WO2022050504A1 - 모바일 디바이스 - Google Patents

모바일 디바이스 Download PDF

Info

Publication number
WO2022050504A1
WO2022050504A1 PCT/KR2020/017004 KR2020017004W WO2022050504A1 WO 2022050504 A1 WO2022050504 A1 WO 2022050504A1 KR 2020017004 W KR2020017004 W KR 2020017004W WO 2022050504 A1 WO2022050504 A1 WO 2022050504A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
image
damage
neural network
Prior art date
Application number
PCT/KR2020/017004
Other languages
English (en)
French (fr)
Inventor
안지영
Original Assignee
디우스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200111493A external-priority patent/KR102529429B1/ko
Priority claimed from KR1020200111495A external-priority patent/KR102470594B1/ko
Priority claimed from KR1020200111494A external-priority patent/KR102529430B1/ko
Priority claimed from KR1020200111496A external-priority patent/KR102223059B1/ko
Application filed by 디우스 주식회사 filed Critical 디우스 주식회사
Publication of WO2022050504A1 publication Critical patent/WO2022050504A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a mobile device performing a vehicle damage information management function, and more particularly, to a mobile device performing a vehicle damage information and damage history management function.
  • One object of the present invention is to provide a mobile device that performs a vehicle damage information management function.
  • Another object of the present invention is to provide a mobile device that performs a function of managing damage information and damage history of a vehicle.
  • a camera for taking an image of a vehicle, an input unit for receiving information from a user, a communication unit for transmitting and receiving wireless signals, a display unit for displaying a message related to existing damage information, and the camera, communication unit and display unit including a control unit to control, wherein the user includes a previous user and a current user, the control unit provides the existing damage information to the current user through the display unit, and the current user agrees to the existing damage information
  • the vehicle is changed to be in a usable state
  • the existing damage information is damage information calculated based on a first image taken by the previous user
  • the display unit determines whether the current user agrees to the existing damage information
  • a mobile device displaying a first notification window from which to select may be provided.
  • a mobile device that performs a vehicle damage information management function may be provided.
  • a mobile device that performs a function of managing damage information and damage history of a vehicle may be obtained.
  • FIG. 1 is a view for explaining a vehicle management method according to an embodiment.
  • FIG. 2 is a diagram for describing a vehicle image according to an exemplary embodiment.
  • FIG. 3 is a diagram for illustrating image data according to an embodiment.
  • FIG. 4 is a diagram illustrating image data according to an embodiment.
  • FIG. 5 is a diagram illustrating image data according to another embodiment.
  • FIG. 6 is a diagram illustrating image data according to an embodiment.
  • FIG. 8 is a diagram for illustrating noise removal processing using a plurality of images.
  • FIG. 9 is a diagram for illustrating noise removal processing using a plurality of images.
  • FIG. 10 is a diagram for explaining a neural network model for acquiring vehicle information according to an embodiment.
  • 11 is a diagram for explaining a neural network model for acquiring vehicle information according to an embodiment.
  • FIG. 12 is a diagram for explaining a neural network model for acquiring vehicle information according to an embodiment.
  • FIG. 13 is a diagram illustrating a neural network model according to an embodiment.
  • FIG. 14 is a diagram for describing part area information according to an exemplary embodiment.
  • 15 is a diagram for describing a vehicle image and part information.
  • 16 is a diagram for describing a vehicle image and part information.
  • 17 is a diagram illustrating parts learning data according to an embodiment.
  • 18 is a diagram illustrating parts learning data according to another embodiment.
  • 19 is a view for explaining damage information according to an embodiment.
  • 20 is a diagram for explaining damaged area information.
  • 21 is a diagram for illustrating impairment learning data.
  • 22 is a diagram for explaining a device for acquiring part-damage information.
  • 23 is a diagram for explaining acquisition of vehicle information according to an exemplary embodiment.
  • 24 is a diagram for explaining a device for acquiring part-damage information.
  • 25 is a diagram for explaining a device for acquiring part-damage information.
  • 26 is a view for explaining new damage information according to an embodiment.
  • 27 is a view for explaining damage history management.
  • 29 is a view for explaining the display of damaged area information according to an embodiment.
  • FIG. 30 is a diagram for describing a vehicle management assistance method according to an exemplary embodiment.
  • 31 is a view for explaining a vehicle damage management method according to an embodiment.
  • 32 is a view for explaining a vehicle damage management method according to an embodiment.
  • 33 is a view for explaining a vehicle damage management method according to an embodiment.
  • 34 is a diagram for explaining the configuration of an on-site vehicle management system.
  • 35 is a diagram for explaining a series of steps performed by the on-site vehicle management process.
  • 36 is a diagram for explaining a step of acquiring vehicle data required for vehicle management in an on-site vehicle management process.
  • FIG. 37 is a diagram for explaining that image data is captured by the camera module at a specific point in time when image data is sensed by the sensing means according to an embodiment.
  • 38 is a diagram for explaining that image data is captured by a camera module at a specific point in time when image data is sensed by a sensor, according to another embodiment.
  • FIG. 39 is a diagram for explaining that image data is captured by a camera module at a specific point in time when image data is detected by a sensor, according to another embodiment.
  • FIG. 40 is a view for explaining that image data is captured by the camera module at a time within a predetermined range from a time when a circuit breaker operates according to another embodiment.
  • 41 is a diagram for describing a method of extracting image data from image data according to an exemplary embodiment.
  • FIG. 42 is a diagram for illustrating noise removal processing using a plurality of images.
  • 43 is a diagram for illustrating noise removal processing using a plurality of images.
  • 44 is a view for explaining a screen for outputting damage information among the output screens of the management device.
  • 45 is a view for explaining a screen for selecting whether a user or an administrator agrees to damage information among the output screens of the management device.
  • 46 is a view for explaining a screen including detailed information regarding damage information among the output screens of the management device.
  • 47 is a view for explaining an output screen including information about a damage history among the output screens of the management device.
  • 48 is a view for explaining an output screen including information about a damage history among the output screens of the management device.
  • 49 is a diagram for explaining the configuration of a mobile-based vehicle management system.
  • 50 is a diagram for explaining a series of steps performed by the mobile-based vehicle management process.
  • 51 is a diagram for explaining a request for re-photographing when vehicle damage information included in image data is not sufficient, according to an exemplary embodiment.
  • FIG. 52 is a diagram for explaining that image data is captured by a camera module at a specific time point according to an embodiment.
  • 53 is a view for explaining a photographing guide provided based on information on a target vehicle when photographing a vehicle with a camera module.
  • 54 is a view for explaining a photographing map provided when photographing a vehicle with a camera module.
  • 55 is a diagram for explaining a screen for outputting vehicle information and/or auxiliary information in a terminal according to an embodiment.
  • 56 is a diagram schematically illustrating a process in which a plurality of shared vehicle users use the shared vehicle and end the use according to time sequence.
  • 57 is a view for explaining a vehicle return process in which a shared vehicle user takes a picture of the vehicle exterior and checks additional damage information after using the shared vehicle.
  • 58 is a diagram for explaining a vehicle use process in which a shared vehicle user displays whether or not to agree to the existing damage information of the shared vehicle before using the shared vehicle, and takes a picture of the exterior of the vehicle when the user does not agree.
  • 59 is a view for explaining a process of re-photographing the appearance of the shared vehicle when the shared vehicle user does not agree with the existing damage information of the shared vehicle.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • a vehicle management assistance apparatus for obtaining vehicle information related to the outside of a vehicle based on a vehicle image, comprising: an image obtaining unit which obtains the vehicle image obtained by photographing the outside of the vehicle; an additional information acquisition unit configured to acquire additional information related to the characteristics of the vehicle; and a processing unit configured to obtain the vehicle information using a neural network model trained to obtain the vehicle information based on the vehicle image.
  • the neural network model is trained to obtain a first feature set based on the vehicle image and a first part comprising at least one convolutional neural network layer and a first part based on the first feature set and the additional information.
  • a vehicle management assistance apparatus may be provided that obtains additional target information related to , and acquires target vehicle information on the target using the neural network model based on the target vehicle image.
  • the neural network model may be trained to obtain damage information related to damage outside the vehicle, and the second feature set may include at least one feature value related to whether or not the vehicle is damaged outside.
  • the neural network model may be trained to acquire part information related to parts constituting the exterior of the vehicle, and the second feature set may include at least one feature value related to parts constituting the exterior of the vehicle.
  • the additional information related to the characteristics of the vehicle may be determined based on at least one of a manufacturer, color information, year, and vehicle model of the vehicle.
  • the additional information related to the characteristic of the vehicle may be obtained based on the vehicle interior image obtained by photographing the interior of the vehicle.
  • the second part acquires the second feature set related to at least one part constituting the exterior of the vehicle based on the first feature set and the additional information, wherein the second feature set comprises the first part a first set of domain features representing the area of distribution and a second set of domain features representing areas over which the second part is distributed.
  • the second part obtains, based on the first set of features and the additional information, the second set of features associated with at least one damaged area located outside of the target vehicle, wherein the second set of features includes: It may include a set of damaged area features indicating the location of the area.
  • vehicle management comprising an image acquisition unit acquiring a vehicle image, an additional information acquiring unit acquiring additional information related to characteristics of a vehicle, and a processing unit acquiring vehicle information based on the vehicle image and the additional information
  • a vehicle management assistance method for acquiring information related to the exterior of the vehicle based on the vehicle image by using an auxiliary device comprising: acquiring a target vehicle image of the target vehicle through the image acquisition unit; acquiring additional target information related to the characteristics of the target vehicle through the additional information acquiring unit; and obtaining, by the processing unit, target vehicle information on the target vehicle based on the target additional information and the target vehicle image;
  • the obtaining of the vehicle information on the target vehicle includes: Based on the target vehicle image, using a neural network model trained to obtain the vehicle information based on the vehicle image, to the target vehicle and obtaining the target vehicle information for the first part and the first feature, wherein the neural network model is trained to obtain a first feature set based on the vehicle image and includes at least one convolutional neural network layer and
  • the neural network model may be trained to obtain damage information related to damage outside the vehicle, and the second feature set may include at least one feature value related to whether or not the vehicle is damaged outside.
  • the neural network model may be trained to acquire part information related to parts constituting the exterior of the vehicle, and the second feature set may include at least one feature value related to parts constituting the exterior of the vehicle.
  • the additional information related to the characteristics of the vehicle may be determined based on at least one of a manufacturer, color information, year, and vehicle model of the vehicle.
  • the additional information related to the characteristic of the vehicle may be obtained based on the vehicle interior image obtained by photographing the interior of the vehicle.
  • the second part acquires the second feature set related to at least one part constituting the exterior of the target vehicle, wherein the second feature set is the first feature set based on the first feature set and the additional information and a first set of region features representative of an area in which the part is distributed and a second set of region features representative of an region in which the second part is distributed.
  • the second part obtains, based on the first set of features and the additional information, the second set of features associated with at least one damaged area located outside of the target vehicle, wherein the second set of features includes: It may include a set of damaged area features indicating the location of the area.
  • a computer-readable recording medium storing a program for performing the vehicle management assistance method may be provided.
  • an output unit for outputting a damaged image and a control unit controlling the output unit to output the damaged image based on a first image photographed at a first time point by the camera and a second image photographed at a second time point by the camera, wherein the first In the image, a first area related to the exterior of the vehicle is photographed, and the first area includes at least one or more fixed areas and variable areas, which are at least one area, and the second image is a second area related to the exterior of the vehicle. At least a partial region of the fixed region and at least a partial region of the variable region are included in the inside of the second region, and the variable region is removed from the first image and the second image in the damaged image.
  • the fixed area is an area for damage to the vehicle
  • the variable area is an area not for damage to the vehicle
  • the first time point and the second time point are different points of view.
  • the first image and the second image include a first feature point among a plurality of feature points related to a vehicle, the first feature point of the first image has a first coordinate, and the first feature point of the second image is a first 2 coordinates, the coordinates representing the fixed region included in the first image are third coordinates, the coordinates representing the fixed region included in the second image are fourth coordinates, and the first coordinate and The first distance between the third coordinates and the second distance between the second coordinates and the fourth coordinates may correspond to each other.
  • the coordinates representing the variable region included in the first image are fifth coordinates
  • the coordinates representing the variable region included in the second image are the sixth coordinates
  • the coordinates between the first coordinates and the fifth coordinates are
  • the third distance may provide a vehicle management device different from a fourth distance between the second coordinate and the sixth coordinate.
  • a difference between the first distance and the second distance may be smaller than a difference between the third distance and the fourth distance.
  • the control unit classifies a fixed region and a variable region in the abnormal region, outputs the damaged image from which the variable region is removed, and the first image and the second image include a first feature point among a plurality of feature points related to the vehicle, , the first feature point of the first image has a first coordinate, the first feature point of the second image has a second coordinate, and the coordinate representing the abnormal region of the first image is a seventh coordinate, The coordinates representing the abnormal region of the second image are eighth coordinates, and the controller is configured to measure a fifth distance between the first coordinate and the seventh coordinate and a sixth distance between the second coordinate and the eighth coordinate. It is possible to provide a vehicle management apparatus for classifying the fixed region and the variable region based on the above.
  • the control unit determines as a variable region, and when the difference between the fifth distance and the sixth distance is less than a predetermined value, the vehicle management apparatus determines as a fixed region.
  • variable region may provide a vehicle management device that is a background region outside the vehicle.
  • variable region may provide a vehicle management apparatus that is a region included in an image by reflecting an external object by external light.
  • the damaged image may be an image in which the variable region is removed from a first image
  • the first image may be an image in which the vehicle is located closer to a central region of the image compared to the second image.
  • the sensor unit includes a first sensor and a second sensor, the first sensor is located in an area close to the vehicle's entrance direction, the second sensor is the vehicle's entrance It is possible to provide a vehicle management device located in an area remote from the direction.
  • the first time point and the second time point are time points within an effective period between the start time point and the end time point, the start time point is a time point when the communication unit receives the first signal from the first sensor, and the end time point is the time point when the communication unit receives the first signal from the first sensor It is the time when the second signal is received from the second sensor.
  • the first image and the second image may provide a vehicle management device included in a plurality of images acquired within the validity period.
  • the start time may be a time when the vehicle is detected by the first sensor and then the detection of the vehicle is finished, and the end time may be a time when the vehicle is first detected by the second sensor.
  • the start time may be a time when the vehicle is first detected by the first sensor, and the end time may be a time when the detection is terminated after the vehicle is detected by the second sensor.
  • a communication unit for receiving the open information from the breaker, wherein the first time point and the second time point are time points within the effective period between the start time and the end time, the time when the breaker is opened is the end time, the breaker is open It is possible to provide a vehicle management apparatus that is included in a plurality of images acquired within the validity period, wherein a predetermined time point before the predetermined time point is a start time point.
  • the camera includes a first camera and a second camera, wherein the first camera is located in an area corresponding to the first sensor to photograph one side of the vehicle, and the second camera corresponds to the second sensor It is possible to provide a vehicle management device that is located in the area where the vehicle is used and captures the other side of the vehicle.
  • the first image and the second image include a first feature point among a plurality of feature points related to a vehicle, and at the first time point, the camera is located at a position having a first distance from the first feature point, and at the second time point
  • the camera may be located at a position having a second distance from the first feature point, and the first distance and the second distance may be different from each other.
  • the vehicle management apparatus may be a mobile device, and the camera may be a camera built into the mobile device.
  • the camera may capture a moving picture between a start time and an end time, and the first image and the second image may be images extracted from the moving image.
  • a vehicle damage management apparatus for acquiring information related to damage to the outside of a vehicle based on a vehicle image, comprising: an image acquisition unit configured to acquire at least one target vehicle image obtained by photographing an exterior of a target vehicle; and a processing unit configured to obtain damage information related to exterior damage of the target vehicle based on the at least one target vehicle image.
  • the at least one target vehicle image includes a first target vehicle image obtained by photographing one surface of the target vehicle, and the first target vehicle image includes a first area corresponding to the target vehicle and the and a second area in which identification information of a target vehicle is located, wherein the first area is larger than the second area, wherein the processing unit includes the vehicle model information and the vehicle model information of the target vehicle determined based on the second area and a vehicle damage management apparatus that is obtained based on the first target vehicle image and obtains the damage information related to the first area.
  • an output unit for outputting the damage information
  • the output unit may provide a vehicle damage management apparatus for outputting the damage information of the target vehicle.
  • the damage information may include damage area information corresponding to damage to the target vehicle, and the output unit may provide a vehicle damage management apparatus that outputs the target vehicle image and the damage area information superimposed on the target vehicle image .
  • An input unit for obtaining a user input further comprising, wherein the processing unit, in response to the output of the damage information, obtains a user response to the damage information through the input unit, it is possible to provide a vehicle damage management apparatus.
  • the processing unit may provide an apparatus for managing vehicle damage to obtain identification information of the target vehicle determined based on the second area.
  • the processing unit obtains identification information of the target vehicle determined based on the second area, obtains a damage history of the target vehicle corresponding to the identification information of the target vehicle, and the damage history includes: It is possible to provide an apparatus for managing vehicle damage, which is obtained based on a second target vehicle image captured before the vehicle image and includes existing damage information related to the exterior damage of the target vehicle.
  • the processing unit may provide a vehicle damage management apparatus that acquires new damage information corresponding to a time point at which the first target vehicle image of the target vehicle is captured, based on the existing damage information and the damage information.
  • the damage information may include first damage information related to the second area included in the first target vehicle image and second damage information stored in advance in association with identification information of the target vehicle obtained based on the first area. It is possible to provide a vehicle damage management device, which is generated based on the
  • the at least one target vehicle image further includes a second target vehicle image obtained by photographing another surface different from the one surface of the target vehicle, wherein the second target vehicle image includes a third area corresponding to the target vehicle and the processing unit vehicle model information of the target vehicle determined based on the second area of the first target vehicle image and the damage related to the third area obtained based on the vehicle model information and the second target vehicle image It is possible to provide a vehicle damage management apparatus for obtaining information.
  • the processing unit may be configured to include, based on the first target region image and the vehicle model information, a first part region included in the first region and corresponding to a first part of the target vehicle and a first part region included in the first region and the target vehicle It is possible to provide an apparatus for managing vehicle damage that obtains parts information including a second part area corresponding to the second part of the .
  • the processing unit may provide a vehicle damage management apparatus for acquiring parts area information corresponding to the damage.
  • the processing unit obtains the second area corresponding to the license plate of the target vehicle from the first target vehicle image, and provides a vehicle damage management method for obtaining the vehicle model information based on the second area corresponding to the license plate can do.
  • the processing unit may provide a vehicle damage management method for obtaining the damage information based on the target vehicle image by using a neural network model trained to obtain the damage information based on the target vehicle image.
  • the damage information may provide the vehicle damage management apparatus including area information indicating an area corresponding to the damage outside the vehicle among the first area.
  • a vehicle damage management method using a device including an image acquisition unit for acquiring a vehicle image and a processing unit for acquiring damage information, at least one obtained by photographing the exterior of a target vehicle through the image acquisition unit Acquiring a target vehicle image of -
  • the at least one target vehicle image includes a first target vehicle image obtained by photographing one surface of the target vehicle, and the first target vehicle image corresponds to the target vehicle. comprising a first area and a second area in which identification information of the target vehicle is located; obtaining, through the processing unit, vehicle model information of the target vehicle determined based on the second area; and obtaining, through the processing unit, damage information related to exterior damage of the target vehicle based on vehicle model information and the first target vehicle image. It is possible to provide a vehicle damage management method comprising a.
  • the method may include: acquiring, through the processing unit, identification information of the target vehicle determined based on the second area; Further comprising, it is possible to provide a vehicle damage management method.
  • the damage history is obtained based on a second target vehicle image taken before the first target vehicle image, and It is possible to provide a vehicle damage management method further comprising a-; including existing damage information related to the damage to the exterior of the target vehicle.
  • a vehicle damage management method further comprising a.
  • the damage information may be included in the first area and may provide a vehicle damage management method including damage area information corresponding to damage to the target vehicle.
  • the at least one target vehicle image further includes a second target vehicle image obtained by photographing another surface different from the one surface of the target vehicle, wherein the second target vehicle image includes a third area corresponding to the target vehicle and obtaining the damage information includes: vehicle model information of the target vehicle determined based on the second region of the first target vehicle image, and obtained based on the vehicle model information and the second target vehicle image, and It is possible to provide a vehicle damage management method further comprising obtaining the damage information related to area 3 .
  • obtaining part region information corresponding to the damage may provide a vehicle damage management method further comprising.
  • the method may further include, wherein the acquiring of the vehicle model information may provide a vehicle damage management method further comprising acquiring the vehicle model information based on the second area corresponding to the license plate.
  • the obtaining of the damage information includes obtaining the damage information based on the target vehicle image by using a neural network model trained to obtain the damage information based on the target vehicle image.
  • the vehicle damage management apparatus further includes an input unit for obtaining a user input, and in response to the processing unit outputting the damage information, obtaining a user response to the damage information through the input unit; It is possible to provide a vehicle damage management method further comprising a.
  • a camera for taking an image of the vehicle; an input unit for receiving information from a user; a communication unit for transmitting and receiving wireless signals; Display unit for displaying a message related to the existing damage information; and a control unit for controlling the camera, the communication unit and the display unit, wherein the user includes a previous user and a current user, and the control unit provides the existing damage information to the current user through the display unit, and the existing damage information When the current user agrees with respect to It is possible to provide a mobile device that displays a first notification window through which the current user can select whether to agree or not.
  • the first image may be an image taken by the previous user when returning the vehicle, and the existing damage information may mean damage information that occurred until the previous user's vehicle use ends.
  • the damage information may provide the mobile device which is information updated by the first image sent by the mobile device of the previous user.
  • the display unit when the current user does not agree with the existing damage information, displays a second notification window requesting the current user to take a second image, and the control unit displays the second notification window when the second image shooting is completed It is possible to provide a mobile device that transmits an image to a server through the communication unit and changes the vehicle to a usable state.
  • the display unit displays a second notification window requesting the current user to take a second image of the entire exterior of the vehicle, and the control unit displays the second image
  • a mobile device that transmits the second image to the server through the communication unit and changes the vehicle to a usable state may be provided.
  • the display unit displays a second notification window requesting the current user to take a second image of a portion of the vehicle exterior that the current user does not agree to, and , the control unit may provide a mobile device that transmits the second image to the server through the communication unit when capturing the second image is completed and changes the vehicle to a usable state.
  • the display unit may provide a mobile device that displays a shooting guide, wherein the shooting guide guides the entire exterior of the vehicle or parts of the vehicle to be photographed when the current user shoots the second image there is.
  • the photographing guide may guide photographing based on vehicle information, and the vehicle information may be obtained through a neural network model trained to obtain information or vehicle information input by the current user.
  • the controller may provide a mobile device that automatically executes a photographing button to store the image when the vehicle is located in the photographing guide by a predetermined ratio or more.
  • the display unit displays a photographing map, wherein the photographing map guides photographing so that at least some of the main parts of the exterior of the vehicle can be included in the second image when the current user photographs the second image device can be provided.
  • the control unit receives a comparison result of which the server compares the second image with the existing damage information to determine whether additional damage has occurred to the vehicle through the communication unit, and the control unit transmits the comparison result through the display unit to the present Provided to the user, the display unit may provide a mobile device that displays a third notification window through which the current user can select whether to agree to the comparison result.
  • the controller may provide a mobile device that changes the vehicle to a usable state.
  • the display unit displays a message that can object to the comparison result, and the control unit changes the vehicle to a usable state when the current user completes the objection. device can be provided.
  • a camera for taking an image of the vehicle; an input unit for receiving information from a user; a communication unit for transmitting and receiving wireless signals; a display unit for displaying a message related to vehicle damage information; and a control unit for controlling the camera, the communication unit and the display unit, wherein the user includes a previous user and a current user, and the display unit requests the current user to take a third image when returning the vehicle of the current user
  • a fourth notification window may be displayed, and the control unit may provide a mobile device that, upon completion of capturing the third image, transmits the third image to the server through the communication unit and processes the vehicle return process to be completed.
  • the display unit may provide a mobile device that displays a photographing guide, and the photographing guide guides the overall appearance of the vehicle or parts of the vehicle to be photographed when the current user photographs the third image. there is.
  • the display unit displays a photographing map, wherein the photographing map guides photographing so that at least some of the main parts of the exterior of the vehicle can be included in the second image when the current user photographs the third image device can be provided.
  • the control unit receives the additional damage information that the server compares the third image with the existing damage information to determine whether additional damage has occurred to the vehicle through the communication unit, and the control unit receives the additional damage information through the display unit It is provided to the current user, and the display unit may provide a mobile device displaying a fifth notification window through which the current user can select whether to agree to the additional damage information.
  • the additional damage information may provide a mobile device that means damage information that has occurred from the start time of the current user's vehicle use to the end time of the current user's vehicle use.
  • control unit may provide a mobile device that processes the return process of the vehicle to be completed.
  • the display unit displays a message that can be objected, and the control unit allows the return process of the vehicle to be completed when the current user completes the objection. It is possible to provide a mobile device for processing.
  • a vehicle management system for managing the state of a vehicle using an image captured by the vehicle may be provided.
  • the vehicle management system may include at least one device.
  • the vehicle management system may include a device having at least one camera module.
  • the vehicle management system may include a device having at least one control unit.
  • the vehicle management system may include at least one device including an input module for obtaining a user input.
  • the vehicle management system may include at least one device having a storage module.
  • the vehicle management system may include at least one device having a communication module.
  • the vehicle management system may include a user device such as a tablet, a smartphone, a PC, or a laptop computer.
  • the user device may include a display, a user interface, a communication module, a camera module, a memory and/or a controller.
  • the vehicle management system may include a server device.
  • the server device may store data or programs.
  • the server device may communicate with the user device.
  • the vehicle management system may include a vehicle photographing device.
  • the vehicle imaging device may communicate with a server device and/or a user device.
  • a vehicle management process for managing the state of the vehicle using an image captured by the vehicle may be provided.
  • the vehicle management process may be performed by the aforementioned vehicle management system.
  • the vehicle management process obtains vehicle data related to a vehicle (S110), obtains vehicle information based on the obtained vehicle data (S130), manages vehicle information (S150), and collects vehicle information It may include outputting (S170).
  • S110 vehicle data related to a vehicle
  • S130 vehicle information based on the obtained vehicle data
  • S150 manages vehicle information
  • S170 collects vehicle information It may include outputting (S170).
  • the vehicle management process may include acquiring vehicle data required for vehicle management.
  • the vehicle data may be provided in various forms.
  • the vehicle data may be image data or non-image data.
  • the vehicle data may be pre-stored in the device or obtained from outside.
  • the vehicle data may be obtained through a camera module or may be obtained through a user input module.
  • the vehicle data may be image data including a vehicle image obtained by photographing the vehicle.
  • the vehicle image may be an image including some parts of the vehicle.
  • the vehicle image may be an image obtained by photographing a part of the vehicle to include identification information for identifying the vehicle.
  • the vehicle data may be vehicle image data obtained by photographing the vehicle.
  • the vehicle data may include image data and image data extracted from the image data.
  • image data may be acquired in the form of a vehicle image corresponding to the vehicle image of the form described below.
  • FIG. 2 is a diagram for describing a vehicle image according to an exemplary embodiment.
  • a vehicle image according to an exemplary embodiment may be an image obtained by photographing the vehicle in one direction, for example, from a side.
  • the vehicle image may be an image obtained by photographing so that the entire vehicle enters the frame in one direction.
  • the vehicle image according to an exemplary embodiment may be an image obtained by photographing the vehicle from the front.
  • the vehicle image may include identification information for identifying the vehicle.
  • the identification information may be a vehicle identification number (VIN) or a vehicle number.
  • a vehicle image according to an exemplary embodiment may include a VIN area in which the VIN of the vehicle is displayed or a license plate area in which a vehicle number is displayed.
  • a vehicle image may be an image captured to include some parts of the vehicle, for example.
  • the vehicle data may include a plurality of vehicle images.
  • the plurality of vehicle images may include one or more images captured at different viewpoints.
  • the plurality of vehicle images may include images captured at different viewpoints with respect to the same vehicle.
  • the plurality of vehicle images may include images captured in the same direction (eg, from the front) with respect to the same vehicle.
  • the image data includes a first image (a) obtained by photographing a vehicle at a first time point, a second image (b) obtained by photographing a vehicle at a second time point after the first time point, and a vehicle at a third time point.
  • the photographed third image (c) may be included.
  • the first image, the second image, and the third image may be images extracted from one image data.
  • the first image, the second image, and the third image may be images taken in the same direction, for example, from the left side with respect to the same vehicle.
  • the plurality of vehicle images may include one or more images obtained by photographing the vehicle in various directions.
  • the image data includes a left image obtained by photographing the left side of the vehicle (a), a right image obtained by photographing the right side of the vehicle (b), and a front image obtained by photographing the front of the vehicle (c) And it may include a rear image (d) obtained by photographing the rear of the vehicle.
  • the image data is a left front image (a) obtained by photographing the left front of the vehicle, a left and rear image (b) obtained by photographing the left and rear of the vehicle, and the right front image obtained by photographing the vehicle It may include a right-front image (c) and a right-rear image (d) obtained by photographing the right-rear image of the vehicle.
  • the plurality of vehicle images may include one or more images captured to include different parts of the vehicle.
  • the image data includes a first image (a) obtained by photographing to include the left front fender of the vehicle, a second image (b) obtained by photographing to include the left front door of the vehicle, and the left side of the vehicle.
  • a third image (c) obtained by photographing to include the rear door and a fourth image (d) obtained by photographing to include the left rear fender of the vehicle may be included.
  • image data obtained by photographing an object other than a vehicle may be obtained.
  • an object image obtained by photographing an object around the vehicle an image photographing the environment around the vehicle, for example, the sky, an image photographing the driver's identification card or driver's license may be acquired.
  • Image data or image data may be acquired through a camera module.
  • the image data or image data may be obtained from an external device, for example, an external device having a camera module.
  • vehicle data in the form of a non-image other than an image may be obtained.
  • the vehicle data may be non-image data.
  • the vehicle data may be non-image data including information related to the vehicle.
  • the vehicle data may include vehicle information indicating a manufacturer, model name, year, manufacturing time, manufacturing location, manufacturer, location, registration base, and the like of the vehicle.
  • the vehicle data may include vehicle model information indicating the type of vehicle.
  • vehicle type information may indicate a vehicle type of a vehicle, such as a sedan, a coupe, a wagon, a convertible, a hatchback, an SUV, a van, a truck, and a bus.
  • the vehicle data may include vehicle identification information for identifying the vehicle.
  • vehicle identification information may include a vehicle number assigned to the vehicle, a vehicle identification number (VIN), and the like.
  • additional information in the form of a non-image may be further obtained.
  • additional information including driver information indicating personal information of the driver or vehicle owner, insurance information indicating whether the vehicle is insured, insurance type, etc., and an accident history of the vehicle may be further acquired.
  • the non-image data may be pre-stored or obtained.
  • the non-image data may be obtained through an input module that obtains a user input.
  • Non-image data may be obtained through a user interface.
  • Non-image data may be obtained from an external device.
  • Processing may be performed on the obtained data.
  • Pre-processing may be performed on the acquired image data.
  • the acquired image eg, vehicle image
  • brightness change, saturation change, color change, color temperature change, luminance change, size change, image cropping number of pixels adjustment, size change, horizontal/vertical ratio adjustment, pixels Pixel linearization, filtering, dead pixel correction, image sharpening, geometric distortion correction, chroma suppression, image scaling, dithering ( dithering), interpolation, compression (compressing), decompressing (decompressing), etc.
  • noise removal processing may be performed on the acquired image data.
  • noise removal processing may be performed for the vehicle image.
  • Noise removal processing for removing noises such as reflected light and stains located in the background area or vehicle area included in the image, ie, image information unnecessary for vehicle management, may be performed.
  • the image may be subjected to processing such as a Gaussian filter, and noise removal processing may be performed.
  • noise removal processing may be performed on the image through a neural network model trained for noise removal.
  • noise removal processing for removing non-vehicle objects from the vehicle image may be performed.
  • the noise removal processing acquires an original image (a) including a vehicle area corresponding to a vehicle and a background area that is a non-vehicle area, and , it may include acquiring a pre-processed image (b) from which the background area is removed.
  • the denoising processing may be performed using a neural network model trained to obtain the vehicle region from the original image.
  • the neural network model includes a convolutional neural network (CNN) layer, and based on training data including a plurality of images in which the vehicle region is masked in the original image, it can be learned to extract the vehicle region from the original image. there is.
  • a noise removal process of extracting a vehicle region from the target original image and removing the remaining regions may be performed using the learned neural network model.
  • noise removal processing may be performed to remove an element that obstructs acquisition of vehicle information from a vehicle image.
  • the noise removal processing for removing a factor that obstructs acquisition of vehicle information may include removing noise included in a vehicle area corresponding to the vehicle.
  • the noise removal process acquires a vehicle image for acquiring vehicle damage information, and corresponds to reflected light independent of damage to the vehicle from the vehicle area. It may include removing the reflected light region.
  • the noise removal processing may be performed using a neural network model trained to obtain an image from which reflected light has been removed from the original image.
  • a neural network model includes a convolutional neural network layer, and based on training data (or an original image including a specular region and an image in which the specular region is manually removed) including a plurality of images in which the specular region is masked in the original image. , can be learned to obtain an image in which the specular region is removed from the original image.
  • a noise removal process for obtaining an image in which the reflected light region is removed from the target original image may be performed.
  • noise removal processing may be performed on image data including a plurality of images.
  • image data including a plurality of images
  • noise removal processing with improved accuracy may be performed by performing noise removal processing on each image or using one or more images together.
  • noise removal processing for obtaining an image from which the background region is removed may be performed.
  • the noise removal process acquires a plurality of images, classifies an object whose position changes (eg, an object corresponding to a vehicle) and an object whose position does not change (eg, an object corresponding to a background), and an object whose position changes Alternatively, it may include removing an object whose position does not change.
  • the positional change may mean a relative positional change within the image frame.
  • the noise removal processing may include acquiring a plurality of images, removing an object whose position does not change, and obtaining an image including only an object whose position does not change.
  • the noise removal processing may include acquiring a plurality of images, removing an object whose position changes, and acquiring an image including only an object whose position does not change.
  • an object whose position changes may be defined as a variable region, and an object whose position does not change may be defined as a fixed region.
  • FIG. 8 is a diagram for illustrating noise removal processing using a plurality of images.
  • a plurality of original images (a, b, and c) having a vehicle region and a background region are acquired, and an image d from which a background region is removed based on the plurality of original images (a, b and c). ) may be subjected to noise removal processing.
  • FIG. 8 a plurality of original images (a, b, and c) having a vehicle region and a background region are acquired, and an image d from which a background region is removed based on the plurality of original images (a, b and c). ) may be subjected to noise removal processing.
  • a region (ie, a background region) corresponding to a background, which is an object having a fixed position in the image is removed, and
  • An image d including a region (ie, a vehicle region) corresponding to a vehicle, which is an object whose position is changed, may be obtained.
  • the image d from which the background is removed may be generated based on any one of the plurality of original images a, b, and c.
  • the denoising process obtains a background area and a vehicle area based on the plurality of original images (a, b and c), and removes the background area from any one of the plurality of original images (a, b and c), It may include acquiring a denoised image (d).
  • noise removal processing may be performed based on at least two of the plurality of original images a, b, and c.
  • the image on which the noise removal process is performed may be defined as a first image and a second image.
  • FIG. 8 may be defined as a first image
  • (b) of FIG. 8 may be defined as a second image.
  • the first image and the second image may be images taken at different time points.
  • the first image may be an image captured at a first time point
  • the second image may be an image captured at a second time point.
  • the first time point and the second time point may be different time points.
  • the noise removal processing may be performed using a neural network model.
  • the neural network model may include a convolutional neural network layer, and may be trained to obtain an image from which the background region is removed by using training data including a plurality of vehicle images in which the vehicle region and/or the background region are masked.
  • the noise removal processing may include acquiring a vehicle image from which a background region is removed from the target original images by using the learned neural network model.
  • noise removal processing for removing reflected light or the like may be performed.
  • the noise removal processing acquires a plurality of images, and distinguishes an object whose position changes (eg, a reflective region corresponding to reflected light) and an object whose position does not change (eg, a vehicle region or a damaged region corresponding to damage to the vehicle) Thus, it may include removing an object whose position is changed or an object whose position does not change. For example, based on a vehicle image including a damaged area corresponding to a damaged part of the vehicle and a reflection area corresponding to light reflected by the surface of the vehicle, noise removal processing to obtain a vehicle image from which the reflection area is removed may be performed. .
  • an object whose position changes may be defined as a variable region
  • an object whose position does not change may be defined as a fixed region. That is, the damaged region may be defined as a fixed region, and the reflective region may be defined as a variable region.
  • FIG. 9 is a diagram for illustrating noise removal processing using a plurality of images.
  • a noise removal process of acquiring a plurality of original images (a and b) including a damaged region and a reflective region, and obtaining an image (c) from which the reflective region is removed may be performed.
  • noise removal processing is performed to obtain an image (c) from which a reflective region whose position or state is changed within the image or within the vehicle region is removed.
  • the image (c) from which the reflection region is removed may be generated based on any one of the plurality of original images (a and b).
  • the noise removal process obtains a reflection area based on a plurality of original images (a and b), and removes the reflection area from any one of the plurality of original images (a and b) to obtain a denoised image may include
  • noise removal processing may be performed based on at least two of the plurality of original images a, b, and c.
  • the image on which the noise removal process is performed may be defined as a first image and a second image.
  • FIG. 9A may be defined as a first image
  • FIG. 9B may be defined as a second image.
  • the first image and the second image may be images taken at different time points.
  • the first image may be an image captured at a first time point
  • the second image may be an image captured at a second time point.
  • the first time point and the second time point may be different time points.
  • the noise removal processing may be performed based on a difference between the positions of the fixed region and the variable region in the first image and the positions of the fixed region and the variable region in the second image.
  • the fixed region and the variable region are classified according to the difference in distance between the abnormal region included in the first image and the second image, and the variable region is removed from the classified fixed region and the variable region to create a damaged image.
  • the damaged image may be an image in which a variable region is removed from an image in which the vehicle is located close to a central region of the first image and the second image.
  • the first image includes a plurality of abnormal regions including a first abnormal region and a second abnormal region
  • the second image includes a plurality of abnormal regions including a third abnormal region and a fourth abnormal region including, wherein the first abnormal region and the third abnormal region correspond, and the second abnormal region and the fourth abnormal region correspond to each other.
  • the noise removal processing may classify the fixed region and the variable region based on the position of each abnormal region in the first image and the position of each abnormal region in the second image.
  • the position of the abnormal region may be a relative position defined based on a partial region of the vehicle. That is, when any one of a plurality of feature points of the vehicle included in the first image and the second image is defined as the first feature point, it may be defined based on the first feature point located in the abnormal region.
  • the first feature point may have different coordinates in each image.
  • a first feature point in the first image may have first coordinates
  • the first feature point in the second image may have second coordinates
  • the noise removal process can define coordinates representing each area.
  • the noise removal process may be defined as a coordinate representing any one of a plurality of coordinates included in each region.
  • the coordinates of the center of each region may be defined as coordinates representing the corresponding region.
  • Coordinates representing the first abnormal region of the first image may be defined as third coordinates, and coordinates representing the second abnormal region may be defined as fourth coordinates.
  • the coordinates representing the third abnormal region may be defined as fifth coordinates
  • the coordinates representing the fourth abnormal region may be defined as the sixth coordinates.
  • a first distance between the first coordinates and the third coordinates and a second distance between the second coordinates and the fifth coordinates may correspond to each other.
  • a third distance between the first coordinates and the fourth coordinates may be different from a fourth distance between the second coordinates and the sixth coordinates.
  • a difference between the first distance and the second distance may be smaller than a difference between the third distance and the fourth distance.
  • the noise removal process may classify whether the abnormal region is a fixed region or a variable region based on a difference value between the first distance and the second distance and a difference value between the third distance and the fourth distance.
  • relative coordinates positioned in the vehicle may not change, and in the variable region, state coordinates positioned in the vehicle may change.
  • the noise removal process may be classified as a fixed region when the difference between the first distance and the second distance is less than a predetermined value, and when the difference between the third distance and the fourth distance is greater than or equal to a predetermined value It can be classified as a variable region.
  • the first abnormal region and the third abnormal region may be classified as a fixed region, and the second abnormal region and the fourth abnormal region may be classified as a variable region.
  • the noise removal processing may be performed using a neural network model.
  • the neural network model may include a convolutional neural network layer, and may be trained to obtain an image in which the reflective region is removed by using training data including a plurality of vehicle images in which the reflective region is masked.
  • the noise removal processing may include acquiring a vehicle image in which a reflection region is removed from the target original images by using the learned neural network model.
  • Pre-processing may be performed on the acquired non-image data.
  • the obtained non-image data may be transformed into a form that is easy to obtain vehicle information.
  • Non-image data can be quantified.
  • Non-image data may be converted into binary data form.
  • a score for obtaining vehicle information may be calculated.
  • the vehicle management process may include obtaining vehicle information based on vehicle data.
  • the vehicle information may include parts information related to parts constituting the target vehicle, damage information related to damage inside/outside the target vehicle, vehicle model information related to the type of the target vehicle, and/or identification information for identifying the target vehicle. .
  • Vehicle information may be extracted from vehicle data or obtained by processing vehicle data. Vehicle information may be obtained using vehicle data as input data, an algorithm designed to obtain vehicle information, or a neural network model trained to obtain vehicle information.
  • a classifier algorithm that classifies or predicts an input image with respect to one or more labels may be used.
  • various types of algorithms may be used. For example, k-nearest neighbor, support vector machine, artificial neural network, decision tree, self-organizing map, logical Logistic regression or the like may be used.
  • the artificial neural network may be a classifier, hybrid classifiers, ensemble classifiers, a linear regression neural network, or the like.
  • An artificial neural network may be a supervised learning, unsupervised learning, or reinforcement learning model.
  • FIG. 10 is a diagram for explaining a neural network model for acquiring vehicle information according to an embodiment.
  • a neural network model may be provided in the form of a classifier.
  • the neural network model includes an input layer (IL), a pooling layer (PL), a convolutional neural network layer (CL), a full-connection layer (FCL), a hidden layer (HL), an output layer (OL), and the like.
  • a feature vector may be obtained based on the input image.
  • the neural network model may be prepared in the form of a classifier that classifies input images into one or more labels.
  • the neural network model may be prepared in the form of a regression model.
  • the neural network model may be prepared as a regression model that obtains a linear output value for specific vehicle information based on an image as an input.
  • the neural network model may acquire output information by taking a vehicle image obtained by photographing a part of the vehicle as an input.
  • the output information may indicate whether the input image includes the target object.
  • the output layer of the neural network model may include an output node to which a probability function is assigned.
  • the output layer of the neural network model may include an output node to which a probability function indicating whether the target image includes the target object is assigned.
  • the output layer may include, with respect to one or more target objects, an output node to which one or more probability functions indicating whether an input image includes each target object are assigned.
  • a neural network model that obtains a segmentation map (or image) including segmentation of one or more objects included in the image may be used, based on an input image.
  • various types of neural networks may be used. For example, a Fully Convolutional Network (FCN), SegNet, UNet, UNet++, DeConvNet, etc. may be used.
  • a neural network model may be an image segmentation neural network model.
  • the neural network model consists of an input layer (IL), a pooling layer (PL) that performs downsampling, a convolutional neural network layer (CL) that acquires a feature map, a deconvolutional neural network layer (DCL) that acquires a segmentation map, and upsampling. It may include an unpooling layer (UPL), an output layer (OL), and the like.
  • the pooling layer may perform maximum value pooling, minimum value pooling, average value pooling, and the like.
  • the unpooling layer may correspond to the pooling layer.
  • the deconvolution layer may generate an intermediate segmentation map.
  • the unpooling layer may upsample the intermediate segmentation map.
  • the unpooling layer may perform maximum value unpooling, nearest neighbor unpooling, and the like.
  • a neural network model that detects one or more objects from an input image may be used.
  • various types of neural network models may be used. It can be performed using YOLO (You Only Look Once), R-CNN, fast-RNN, faster R-CNN, SAS deep learning, SPPnet, etc.
  • a fast-RNN model may be used to obtain part information.
  • a neural network model includes an input layer (OL), a convolutional neural network layer (CNL), a feature map (FM), a region proposal neural network (RPN), and a region of interest (ROI). ; Reason of Interest) It may include a deep learning neural network (DNN) including a bounding box (RBB), an ROI pooling layer (RP), and an all-connection layer.
  • DNN deep learning neural network
  • the region proposal neural network may obtain one or more ROIs (or object proposals) or a bounding box of the ROIs based on the feature map of the image.
  • a region proposal neural network may obtain a score for an individual ROI (or object proposal) or its bounding box. The score may indicate a degree to which the target ROI matches the detection target object.
  • the ROI pooling layer may perform pooling on individual ROIs.
  • the ROI pooling layer may perform pooling on a feature map corresponding to an individual ROI.
  • the ROI pooling layer may perform size adjustment on individual ROIs.
  • the ROI pooling layer may acquire a feature map of a predetermined size.
  • the fully connected neural network may use a value obtained by flattening the feature map obtained through the ROI pooling layer.
  • the neural network model may acquire an identifier of an object included in an individual ROI or a bounding box of an individual object through the all-connected neural network layer and the hidden layer and the output layer connected to the all-connected neural network layer.
  • the neural network models described above are only examples, and the acquisition of vehicle information described herein is not limited thereto. Acquisition of vehicle information may be performed using an algorithm or neural network model not described herein.
  • the neural network model may acquire vehicle information by using the additional information as an additional input.
  • the neural network model may acquire vehicle information based on the additional input generated based on the additional information and the image of the vehicle.
  • the additional input may be obtained based on additional information such as the type, model name, manufacturer, year, and/or color of the vehicle.
  • the additional input may be an input image or a feature value obtained based on an additional image different from the input image.
  • a convolutional neural network and a neural network including a pre-connection layer, a hidden layer, and an output layer may further use additional information to acquire vehicle information.
  • the classifier model includes a convolutional neural network and at least one preconnected layer, and the at least one preconnected layer is an additional input value (AI) obtained based on feature values and additional information obtained through the convolutional neural network. It may include one or more corresponding nodes.
  • the classifier model may include at least one node having an additional input value AI as an input value.
  • the region division neural network model includes an encoding part and a decoding part, and may acquire vehicle information by further using an additional input generated based on the additional information.
  • a region segmentation neural network model may include one or more nodes that use additional inputs generated based on the additional information.
  • the region segmentation neural network model may include one or more layers that use additional inputs generated based on the additional information as parameters.
  • the neural network model includes an input layer, a convolutional neural network layer, a feature map, a region proposal neural network, a reason of interest (ROI) layer, an ROI pooling layer, and a full-connection neural network
  • the fully connected neural network may include a layer including at least one node having an additional input generated based on the additional information as an input value.
  • a vehicle management assistance apparatus for obtaining vehicle information based on a vehicle image and additional information may be provided.
  • the vehicle management assistance device for acquiring vehicle information related to the exterior of the vehicle based on the vehicle image includes an image acquisition unit that acquires a vehicle image obtained by photographing the exterior of the vehicle, and additional information acquisition that acquires additional information related to characteristics of the vehicle and a processing unit configured to acquire vehicle information using a neural network model trained to acquire vehicle information based on the vehicle and vehicle image.
  • the neural network model is trained to obtain a first feature set based on the vehicle image and is trained to obtain a second feature set based on the first feature set and additional information and a first part comprising at least one convolutional neural network layer. It may include a second part.
  • the neural network model may be a classifier or a segmentation model.
  • the neural network model may be prepared in the form of CNN, FCN (Fully Convolutional Network), SegNet, UNet, UNet++, DeConvNet, and the like.
  • the neural network model may be trained to obtain a feature set based on the vehicle image.
  • the neural network model may be trained to obtain part information or damage information of the vehicle based on the vehicle image.
  • the neural network model may be trained using training data including a vehicle image labeled with part information or a vehicle image labeled with damage information.
  • the neural network model may be trained to obtain damage information or parts information based on the vehicle image and additional information.
  • the neural network model may be trained based on training data comprising additional information and a vehicle image associated with the additional information and labeled with damage information or part information.
  • the additional information may be image or non-image information.
  • the additional information related to the characteristics of the vehicle may be determined based on at least one of a vehicle manufacturer, color information, a year, and a vehicle model.
  • the additional information related to the characteristics of the vehicle may be obtained based on an image inside the vehicle obtained by photographing the interior of the vehicle.
  • the processing unit acquires a target vehicle image obtained by photographing the exterior of the target vehicle through the image acquisition unit, obtains target additional information related to the characteristics of the target vehicle through the additional information acquisition unit, and uses a neural network model based on the target vehicle image
  • target vehicle information for the target may be acquired.
  • the neural network model can be trained to obtain damage information related to damage outside the vehicle.
  • the first feature set may include at least one feature value indicating a part, type, color, configuration, shape, etc. of the vehicle.
  • the second feature set may include at least one feature value related to whether the vehicle is damaged or not.
  • the second feature set may include a feature value indicating whether or not the vehicle is damaged externally.
  • the second feature set may include one or more feature values indicating a type of external damage to the vehicle.
  • a feature value constituting the feature set may be obtained as a value of a probability function.
  • the neural network model may be trained to acquire part information related to parts constituting the exterior of the vehicle.
  • the first feature set may include at least one feature value indicating a part, type, color, configuration, shape, etc. of the vehicle.
  • the second feature set may include at least one feature value related to a component constituting the exterior of the vehicle.
  • the second feature set may include one or more feature values indicating types of parts constituting the vehicle. Each feature value may indicate whether or not a specific part is included in the input vehicle image or a probability of including it.
  • the second part may acquire, based on the first feature set and the additional information, a second feature set related to at least one part constituting the exterior of the vehicle.
  • the second set of features may include a first set of regional features representing regions in which the first part is distributed and a second set of regional features indicating regions in which the second part is distributed.
  • the second part may obtain, based on the first feature set and the additional information, a second feature set related to at least one damaged area located outside of the target vehicle.
  • the second set of features may include a set of damage area features indicating the location of the damage area.
  • a vehicle management assistance method for acquiring vehicle information based on a vehicle image and additional information may be provided.
  • the above-described information regarding the vehicle management assistance apparatus may be similarly applied unless otherwise specified.
  • FIG. 30 is a diagram for describing a vehicle management assistance method according to an exemplary embodiment.
  • a vehicle management assistance method for acquiring information related to the exterior of the vehicle based on the image may be provided.
  • the vehicle management assistance method includes the steps of acquiring a target vehicle image (S3010), acquiring additional target information related to characteristics of the target vehicle (S3030), and a target based on the target vehicle image and target additional information
  • the method may further include obtaining vehicle information (S3050).
  • the vehicle management assistance method may include acquiring a target vehicle image of the target vehicle through the image acquisition unit ( S3010 ).
  • the target vehicle image may be an image obtained by photographing the vehicle in an arbitrary direction.
  • the target vehicle image may be an image photographed from the front, side, or rear of the vehicle.
  • the vehicle management assistance method may include acquiring additional target information related to the characteristics of the target vehicle through the additional information obtaining unit ( S3030 ).
  • the vehicle management assistance method may include, by the processor, obtaining target vehicle information on the target vehicle based on the target additional information and the target vehicle image ( S3050 ).
  • the step of obtaining vehicle information on the target vehicle includes, on the basis of the target vehicle image, using a neural network model trained to obtain vehicle information based on the vehicle image to obtain target vehicle information on the target vehicle. may include more.
  • the neural network model is trained to obtain a first feature set based on the vehicle image and is trained to obtain a second feature set based on the first feature set and additional information and a first part comprising at least one convolutional neural network layer. It may include a second part.
  • the neural network model is trained to acquire damage information related to damage to the exterior of the vehicle, and the second feature set may include at least one feature value related to whether or not the vehicle is damaged outside.
  • the neural network model is trained to obtain part information related to parts constituting the exterior of the vehicle, and the second feature set may include at least one feature value related to parts constituting the exterior of the vehicle.
  • the additional information related to the characteristics of the vehicle may be determined based on at least one of a vehicle manufacturer, color information, a year, and a vehicle model.
  • the additional information related to the characteristics of the vehicle may be obtained based on an image inside the vehicle obtained by photographing the interior of the vehicle.
  • the second part may acquire a second feature set related to at least one part constituting the exterior of the target vehicle based on the first feature set and the additional information.
  • the second set of features may include a first set of regional features representing regions in which the first part is distributed and a second set of regional features indicating regions in which the second part is distributed.
  • the second part may obtain, based on the first feature set and the additional information, a second feature set related to at least one damaged area located outside of the target vehicle.
  • the second set of features may include a set of damage area features indicating the location of the damage area.
  • the vehicle management assistance method described in this specification may be provided in the form of a computer-readable recording medium storing a program for performing each method.
  • the neural network model may be trained using training data.
  • the learning data may be prepared differently according to acquisition target information. The form of specific learning data and learning of the neural network model will be described in more detail below in relation to the acquisition of each information.
  • Part information related to parts constituting the vehicle may be acquired.
  • the part information may include the number, type, name, and identification information of parts constituting the vehicle.
  • Part information may be obtained based on non-image data.
  • the part information may be determined by further considering vehicle information such as the type, model name, manufacturer, year, and/or color of the vehicle.
  • the parts information may be obtained from a pre-stored parts information database based on the vehicle information.
  • the part information may be obtained based on the image data.
  • the parts information may be acquired from a pre-stored parts information database based on vehicle information (eg, type of vehicle, model name, manufacturer, color, etc.) acquired based on image data.
  • vehicle information eg, type of vehicle, model name, manufacturer, color, etc.
  • the parts information may be acquired from a pre-stored parts information database based on image data and vehicle information acquired using a neural network model.
  • the parts information may be obtained based on the parts information database stored by matching the number, type, name, identification information, etc. of the parts with classification information such as vehicle model, model name, manufacturer, and year.
  • the parts information database may store the number, type, name, and identification information corresponding to each part constituting a specific year vehicle of a specific model by matching it with the corresponding model year.
  • the part information is included in the vehicle image and may include part area information corresponding to each part.
  • the part region information may include a boundary of an individual part region included in the vehicle image.
  • the part region information may include a parts region included in the vehicle image and a name or identification number of a part corresponding to each part region.
  • the part information may include masked part region information by changing the format of regions corresponding to different parts included in the vehicle image.
  • the part information may include part region information masked with different colors for regions corresponding to different parts included in the vehicle image or parts region information labeled with different tags in regions corresponding to different parts.
  • the part region information may include part region information corresponding to each part in a vehicle image.
  • the part information includes headlight area information HL corresponding to a headlight of the vehicle included in an image photographed from the left front side of the vehicle, and front bumper area information corresponding to the front bumper of the vehicle.
  • FB left front wheel area information
  • LFF left front wheel area information
  • LFD left front door area information
  • LLRD left rear door area corresponding to the left rear door of the vehicle information
  • NP license plate area information
  • NP license plate area information
  • LRF left rear fender area information
  • HO hood area information
  • the part region information may include part region information corresponding to each part in a vehicle image captured from the front of the vehicle.
  • the part information includes headlight area information (LHL, RHL) corresponding to the headlight of the vehicle included in the front image of the vehicle, and front bumper area information (FB) corresponding to the front bumper of the vehicle. ), license plate area information (NP) corresponding to the vehicle's license plate, side mirror area information (LSM, RSM) corresponding to the vehicle's side mirror, windshield area information (FG) corresponding to the vehicle's windshield, vehicle emblem may include emblem area information EM corresponding to , hood area information HO corresponding to the hood of the vehicle, and the like.
  • Each region information may be stored in association with a name or identification information of a part corresponding to each region.
  • the parts area information has been described based on the images taken from the front left and the front of the vehicle, but this is only an example, and the parts area information may be obtained with respect to the vehicle images taken from various directions.
  • the part information may be obtained using a neural network model.
  • the part information may be obtained using a neural network model that performs object recognition.
  • the part information may be obtained using the neural network model described above with reference to FIGS. 10 to 13 .
  • the neural network model may acquire part information by taking a vehicle image as an input.
  • the neural network model may acquire the type or name of a part included in the input vehicle image.
  • the neural network model may acquire whether a specific part is included in the input vehicle image.
  • the output layer of the neural network model may include a probability function indicating whether the input image includes a specific part.
  • the output layer may include, for one or more target parts, one or more probability functions indicating whether the input image includes each target part.
  • the part information may be obtained using the neural network model described above with reference to FIG. 12 .
  • the part information may include region information that is obtained through a neural network model and indicates a region corresponding to an individual part.
  • the neural network model may acquire part information on parts included in the vehicle image by inputting an image (a) of a part of the vehicle as an input.
  • the neural network model may identify a part included in an input image using a neural network model that acquires part information, and may acquire part information corresponding to the identified part.
  • the neural network model may acquire parts information indicating that the left front door is included in the input image using a neural network model that obtains parts information based on the image (a) in which a part of the vehicle is captured.
  • the neural network model may obtain part region information corresponding to a part included in the vehicle image by inputting an image (a) of a part of the vehicle as an input.
  • the neural network model may identify a part included in the vehicle image using the neural network model and acquire a region (or segmentation) corresponding to the identified part.
  • the neural network model may acquire region information corresponding to the left front door included in the vehicle image.
  • the neural network model may acquire part information on one or more parts included in the vehicle image by inputting an image (a) of one side of the vehicle as an input.
  • the neural network model is a part indicating that the left front door, left rear door, left front fender and left rear fender are included in the input image using a neural network model that is based on the image (a) taken of a part of the vehicle and acquires parts information information can be obtained.
  • the neural network model may obtain a segmentation map in which regions corresponding to one or more parts are displayed by receiving a vehicle image as an input. For example, the neural network model may obtain a segmentation map in which a first region corresponding to the first part and a second region corresponding to the second part are displayed differently.
  • the neural network model may obtain part region information (b) corresponding to one or more parts in a part included in the vehicle image by inputting an image (a) of one side of the vehicle as an input.
  • the neural network model may acquire images (b) displayed differently from each other (eg, masked with different colors) for a plurality of regions corresponding to individual parts included in the image.
  • the neural network model may acquire area information corresponding to the front left door, the left rear door, the left front fender, and the left rear fender included in the vehicle image.
  • the part information may be obtained using the neural network model described above with reference to FIGS. 10 to 13 .
  • the part information may include a bounding box that is acquired through a neural network model and displays a region corresponding to an individual part.
  • the neural network model may acquire an identifier of an object included in an individual ROI or a bounding box of an individual ROI through a hidden layer and an output layer connected to the all-connection layer and the all-connection layer.
  • the neural network model may obtain an ROI bounding box for individual parts included in the vehicle image by taking the vehicle image as an input.
  • the neural network model may obtain a classification result for an individual part region corresponding to an individual ROI included in the vehicle image by receiving a vehicle image as an input.
  • the neural network model may be trained and prepared to acquire part information.
  • the neural network model may be trained using part learning data including a plurality of vehicle images labeled with part information.
  • the part learning data may include a plurality of vehicle images.
  • the component learning data may include a plurality of vehicle images photographed in different directions with respect to the vehicle.
  • the component learning data may include a plurality of vehicle images photographed in the same direction with respect to the vehicle.
  • the parts learning data may include a plurality of vehicle images obtained by photographing vehicles of various types, models, or manufacturers.
  • the parts learning data may include a plurality of vehicle images obtained by photographing a vehicle of a single type, model, or manufacturer.
  • the part learning data may include a vehicle image to which a part label corresponding to one or more parts included in the image is given, respectively.
  • the parts learning data may include vehicle images obtained by photographing various types of vehicles and to which parts labels are assigned.
  • the parts label may be differently assigned to each vehicle type, model, or manufacturer.
  • the part learning data may include at least one vehicle image masked (or labeled) in different formats for different parts.
  • the vehicle image may include at least one vehicle image that is masked (or labeled) with different colors for different parts or a vehicle image labeled with different tags for regions corresponding to different parts.
  • the part learning data may include masked vehicle images with respect to various parts.
  • the component learning data may include one or more component areas, for example, information on the left front door corresponding to the left front door and/or the front bumper area information FB corresponding to the front bumper of the vehicle.
  • the component learning data may include one or more pieces of common component area information and may include a plurality of vehicle images photographed in different directions with respect to the vehicle.
  • the part learning data may include one or more vehicle images including at least some different part region information.
  • the parts learning data may include one or more vehicle images masked with each corresponding part information in all parts corresponding regions included in the image.
  • the component learning data may include a plurality of vehicle images obtained by photographing vehicles of various models and in which a specific component, for example, an area corresponding to a left front door is labeled.
  • the plurality of vehicle images may be obtained by photographing different types of vehicles.
  • parts learning data is obtained by photographing vehicles of various models, and a plurality of parts, for example, areas corresponding to the left front door, left rear door, left front fender, and left rear fender are labeled differently. It may include a plurality of vehicle images.
  • the parts learning data has been described based on a case in which a plurality of vehicle images photographed in the same direction with respect to the vehicle are included, but this is only an example, and the parts learning data may include vehicle images photographed in various directions.
  • the neural network model may be supervised, unsupervised, or reinforcement-learned to obtain part information based on a vehicle image by using the part learning data.
  • a neural network model can be trained using a backpropagation method.
  • the neural network model may be trained to classify a vehicle image according to parts included in the vehicle image by using the component learning data described above.
  • the neural network model may be trained to classify the vehicle image according to the parts included in the vehicle image by using learning data including the vehicle image to which a label corresponding to the part included in the vehicle image is given.
  • the neural network model may be trained to obtain whether the vehicle image includes a specific part through the part learning data.
  • the neural network model may be trained to obtain whether each part is included in the target image with respect to a plurality of parts through the part learning data.
  • the neural network model may be trained to acquire region information on a region in which a specific part is distributed in the vehicle image through the part learning data.
  • the neural network model learns to acquire region information on the region in which a specific part is distributed in the vehicle image through the part learning data including the vehicle image in which the type of individual part included in the vehicle image and the region corresponding to the individual part are labeled.
  • the neural network model may be trained to acquire region information on a region in which a specific part is distributed in the vehicle image through the part learning data.
  • the neural network model may be trained to acquire region information on a region in which each part is distributed for each of a plurality of parts included in the vehicle image through the part learning data.
  • the neural network model may be trained using a plurality of parts learning data.
  • the neural network model is a first part learning data including a vehicle image learned by photographing a vehicle of a first type (or a vehicle of a first manufacturer) and a vehicle of a second type of vehicle (or a vehicle of a second manufacturer) learned by photographing It may be learned using the second part learning data including the vehicle image.
  • a plurality of neural network models may be trained and used.
  • the first neural network model may be trained based on the first part learning data
  • the second neural network model may be trained based on the second part learning data.
  • the neural network model may be trained to obtain parts information based on the vehicle image and additional information.
  • the neural network model may be trained to acquire parts information by further using additional information such as vehicle type, model name, manufacturer, and color.
  • the neural network model may be trained to obtain part information based on a first feature set obtained based on the vehicle image and a second feature set obtained based on additional information.
  • Neural network models can be trained to obtain parts information based on vehicle images and other images.
  • the neural network model may be trained to obtain part information based on a first feature set obtained based on the vehicle image and a second feature set obtained based on another image (eg, a background image obtained by photographing a background). there is.
  • Damage information related to damage to the exterior of the vehicle may be obtained.
  • the damage information may be information related to damage such as scratches, dents, dents, breaks, loss, cracks, and the like on the exterior of the vehicle.
  • the damage information may include information about the type, location, degree, number, and occurrence time of vehicle exterior damage.
  • the damage information is included in the vehicle image and may include damage area information corresponding to a location where the damage has occurred.
  • the damaged area information may indicate one or more damaged areas included in the vehicle image.
  • the damaged area information may include a mark for visually distinguishing an area that is included in the vehicle image and corresponds to the damaged area.
  • the damaged area information may include a boundary of the damaged area.
  • the damaged area information may include a bounding box indicating the damaged area.
  • the damaged area information may include coordinate information of the damaged area in the vehicle image.
  • the damage area information may include corner coordinate information in the vehicle image of the bounding box.
  • the damaged area information may include location information or coordinate information of the damaged area with respect to the vehicle.
  • the damaged area information may include absolute position information (eg, coordinate information) of the damaged area based on a specific part of the vehicle (eg, a center line of a license plate, an emblem, etc.).
  • the damage information may include damage area information corresponding to the damaged area included in the vehicle image, and information related to the damaged area and matching the damage area information (eg, the time of occurrence of damage, type of damage, degree of damage, etc.). there is.
  • the damage information may include information related to damage to the exterior of the vehicle included in the vehicle image. Damage information may be obtained in the form of tags or metadata attached to the vehicle image. Referring to (b) of FIG. 19 , the damage information may include a mark for highlighting the damaged area in the vehicle image. Referring to FIG. 19C , the damage information may include an indication, for example, a heat map, for indicating an area where damage is likely to be located in a vehicle image. Referring to (d) of FIG. 19 , the damage information may include a bounding box for displaying a region where the damage is located in the vehicle image.
  • Damage information may be obtained based on image data. Damage information may be obtained using a neural network model trained to obtain damage information based on the vehicle image. Damage information may be obtained using the neural network model described above with reference to FIGS. 10 to 13 .
  • the neural network model may acquire damage information by inputting a vehicle image obtained by photographing a part of the vehicle.
  • the neural network model may acquire whether a damaged part exists in the photographed vehicle based on the input vehicle image.
  • the neural network model may acquire whether a damaged part exists in a specific area of the photographed vehicle based on the input vehicle image.
  • the output layer of the neural network model may include an output node that obtains a probability value indicating whether a damaged region is included in the vehicle image.
  • the neural network model may acquire whether a damaged area is included in the photographed vehicle with respect to one or more types of damage based on the input vehicle image.
  • the output layer of the neural network model may include a plurality of output nodes for obtaining a probability value indicating whether or not damage regions respectively corresponding to a plurality of damage types are included in the vehicle image.
  • the neural network model may acquire a damaged area based on a vehicle image obtained by photographing a part of the vehicle.
  • the neural network model may detect a region corresponding to external damage to the vehicle from the vehicle image.
  • the neural network model may acquire a bounding box or segmentation for a region included in the vehicle image and corresponding to external damage to the vehicle.
  • the neural network model may acquire segmentation for a plurality of damaged regions.
  • the neural network model may obtain a heatmap.
  • the neural network model may acquire a saliency map in the form of a heat map for indicating an area where damage is located as illustrated in FIG. 19(c) .
  • the neural network model may acquire damage area information corresponding to a damaged area by inputting an image (a) of a part of a vehicle taken.
  • Damage region information indicating the damaged area may include a bounding box B1 obtained through a neural network model.
  • the neural network model according to an embodiment may obtain damage area information B2 corresponding to a damaged area by inputting an image (b) of one side of the vehicle as an input.
  • Damage region information indicating the damaged area may include a bounding box obtained through a neural network model.
  • the damage area information may further include a damage type corresponding to the damage area corresponding to each bounding box. The damage type can be obtained by the classifier part of the neural network model.
  • a neural network model can be trained to obtain impairment information.
  • the neural network model may be trained using damage learning data including a plurality of vehicle images labeled with damage information.
  • the damage learning data may include a plurality of vehicle images.
  • the damage learning data may include a plurality of vehicle images taken from different directions with respect to the vehicle.
  • the damage learning data may include a plurality of vehicle images taken in the same direction with respect to the vehicle.
  • Damage learning data may include a plurality of damaged vehicle images obtained by photographing damaged vehicles of various types, models, or manufacturers.
  • the damage learning data may include a plurality of damaged vehicle images obtained by photographing a damaged vehicle of a single type, model, or manufacturer.
  • the damage learning data may include a vehicle image to which a damage label indicating the presence or absence of damage is assigned.
  • Damage learning data may include vehicle images obtained by photographing various types of vehicles and to which damage labels are assigned.
  • the damage label may be provided differently depending on the type of damage (eg, scratch, dent, break, etc.).
  • the damage learning data may include a masked vehicle image in the damaged area.
  • the damage learning data may include masked (or labeled) vehicle images with respect to one or more damaged areas.
  • the damage learning data may include vehicle images that are masked (or labeled) differently with respect to a plurality of types of damage areas.
  • impairment learning data may include vehicle images displayed in a first color for a first type of damage (eg, scratches) and in a second color for a second type of damage (eg, dents). can do.
  • the damage learning data may include a vehicle image in which the damaged area is masked (M1).
  • the damage learning data is masked (M2) with a first color with respect to the damage site where the first type of damage (eg, dent) is located, and the second type of damage ( For example, it may include a vehicle image that is masked (M3) with the second color with respect to the damaged area where the scratch is located.
  • the damage learning data has been described based on a case that includes a plurality of vehicle images photographed in the same direction with respect to the vehicle, but this is only an example, and the damage learning data may include vehicle images photographed in various directions. .
  • the neural network model can be trained using the damage learning data described above.
  • the neural network model may be supervised, unsupervised, or reinforcement trained to obtain damage information based on a vehicle image using damage learning data.
  • a neural network model can be trained using a backpropagation method.
  • the neural network model may be trained to classify a vehicle image according to whether or not it includes a damaged area using damage learning data including a vehicle image labeled as to whether or not the vehicle is damaged.
  • the neural network model may be trained to classify the vehicle image according to the type of damage included in the vehicle image.
  • the neural network model may be trained to obtain whether a target image includes each type of damage with respect to a plurality of injuries through damage learning data including a vehicle image labeled with respect to the presence or absence of multiple types of damage.
  • the neural network model may be trained to acquire damage region information through damage learning data.
  • the neural network model may be trained to detect a damaged area from a target image using damage learning data including a vehicle image masked to the damaged area for one or more types of damage.
  • the neural network model uses damage learning data including a vehicle image labeled with respect to a plurality of types of damage areas, and for each of a plurality of injuries included in the vehicle image, region information about the area and/or type of each damage is distributed. can be learned to acquire.
  • the neural network model may be trained using a plurality of damage learning data.
  • the neural network model is trained by photographing a vehicle having a first type of damage (eg, dent) and first damage learning data including a vehicle image learned by photographing a vehicle having a first type of damage (eg, scratch) It may be learned using the second damage learning data including the vehicle image.
  • a first type of damage eg, dent
  • first damage learning data including a vehicle image learned by photographing a vehicle having a first type of damage (eg, scratch) It may be learned using the second damage learning data including the vehicle image.
  • a plurality of neural network models may be trained and used.
  • the first neural network model may be trained based on the first impairment learning data
  • the second neural network model may be trained based on the second impairment learning data.
  • the second impairment learning data may be at least partially different from the first impairment learning data.
  • the neural network model may be trained to obtain damage information based on the vehicle image and additional information.
  • the neural network model may be trained to acquire damage information by further using additional information such as vehicle type, model name, manufacturer, and color.
  • the neural network model may be trained to obtain damage information based on a first feature set obtained based on the vehicle image and a second feature set obtained based on additional information.
  • Neural network models can be trained to obtain damage information based on vehicle images and other images.
  • the neural network model may be trained to obtain damage information based on a first feature set obtained based on the vehicle image and a second feature set obtained based on another image (eg, a background image taken in the background). there is.
  • the damage information may be used together with the parts information. In this regard, it will be described in more detail below.
  • Vehicle type information related to the type of vehicle may be acquired.
  • the vehicle model information may indicate the vehicle model of a vehicle, such as a sedan, a coupe, a wagon, a convertible, a hatchback, an SUV, a van, a truck, and a bus.
  • the vehicle model information may be obtained based on the non-image data.
  • the vehicle model information may be obtained based on a vehicle registration number, VIN, model name, and the like.
  • the vehicle model information may be obtained from a pre-stored database.
  • Vehicle model information may be obtained using image data.
  • the vehicle type information may be obtained using a neural network model trained to obtain vehicle type information based on the vehicle image.
  • the vehicle model information may be obtained using the neural network model described above with reference to FIG. 10 .
  • the neural network model may acquire vehicle model information based on the vehicle image.
  • the neural network model may classify vehicle images with respect to a plurality of vehicle model labels.
  • the neural network model may include at least one convolutional neural network layer and an output layer having one or more output nodes.
  • the neural network model may include an output node that acquires a feature set related to a vehicle model based on a vehicle image through a convolutional neural network layer, and acquires a probability value for at least one car model label based on the feature set.
  • the neural network model may be trained to obtain vehicle model information.
  • the neural network model may be trained using vehicle model learning data including a plurality of vehicle images labeled with vehicle model information.
  • the neural network model may be supervised, unsupervised, or reinforcement-learned to obtain damage information based on a vehicle image using vehicle model learning data.
  • a neural network model can be trained using a backpropagation method.
  • the vehicle model learning data may include a plurality of vehicle images.
  • the vehicle model learning data may include a plurality of vehicle images photographed in different directions or the same direction with respect to the vehicle.
  • the vehicle model learning data is obtained by photographing the first vehicle type vehicle of the first manufacturer, and includes an image to which the first vehicle type label is assigned and an image obtained by photographing the first vehicle type vehicle of the second manufacturer and to which the first vehicle type label is assigned can do.
  • the vehicle model learning data may include a plurality of vehicle images obtained by photographing vehicles of various colors or manufacturers for a plurality of vehicle types, respectively.
  • the vehicle model learning data may include a first image set including a plurality of images obtained by photographing a vehicle belonging to a first vehicle model (eg, SUV) of various manufacturers and to which a first vehicle model label is assigned, and a first image set of various manufacturers.
  • It may include a second image set including a plurality of images obtained by photographing a vehicle belonging to a second vehicle model (eg, a sedan) and to which a second vehicle model label is assigned.
  • the neural network model may be trained to acquire whether the target image is an image of a specific vehicle model.
  • the neural network model uses car model learning data including a first image to which a first label indicating that the image is related to the first car model is assigned and a second image to which a second label is assigned to represent that the image is not related to the first car model. It may be learned to classify the vehicle image according to whether the first vehicle type is included.
  • the neural network model may be trained to classify vehicle images according to vehicle types by using vehicle model learning data.
  • the neural network model uses vehicle model learning data including a first image to which a first label indicating that it is an image related to a first vehicle model is attached and a second image to which a second label indicating that it is an image related to a second vehicle model is attached, It can be learned to classify images according to related vehicle types.
  • a plurality of neural network models may be trained and used.
  • the first neural network model may be trained based on first car model learning data related to the first car model
  • the second neural network model may be trained based on second car model learning data related to the second car model.
  • the second car model learning data may be at least partially different from the first car model learning data.
  • the first vehicle model learning data may include a vehicle image labeled whether related to a first vehicle model
  • the second vehicle model learning data may include a vehicle image labeled whether related to a second vehicle model different from the first vehicle model.
  • a vehicle photographing guide may be provided based on vehicle model information. In this regard, it will be described in more detail below.
  • Vehicle identification information for identifying the vehicle may be obtained.
  • the vehicle identification information may be a vehicle registration number, VIN, or the like.
  • the vehicle identification information may be obtained based on non-image data. Vehicle identification information may be obtained through a user input. The vehicle identification information may be obtained from a pre-stored database.
  • the vehicle identification information may be obtained based on image data.
  • the vehicle identification information may be obtained based on a vehicle image including an area corresponding to the license plate of the vehicle.
  • the vehicle identification information may be obtained from an image obtained by photographing the front or rear portion of the vehicle.
  • Vehicle identification information may be obtained through an algorithm, program, or neural network model for acquiring vehicle identification information.
  • the vehicle identification information may be obtained based on the pre-processed image.
  • vehicle identification information may be obtained from an image obtained through preprocessing such as grayscale, boundary emphasis (e.g., Thresholding), contouring, rotation, and the like.
  • the vehicle identification information may be obtained based on a region included in the vehicle image and corresponding to the identification information.
  • the area corresponding to the identification information may be extracted from the vehicle image using a horizontal/vertical edge method.
  • the region corresponding to the identification information may be extracted by detecting horizontal and vertical edge images in the vehicle image and setting a rectangle appearing as an edge as a candidate region.
  • the region corresponding to the identification information may be obtained through a change in brightness.
  • the contrast value in the number or letter part of the license plate has a continuous intensity change vector from negative to positive or from positive to negative. It can be obtained by estimating that there is a license plate area where the contrast change occurs symmetrically, and extending the target area from the estimated coordinates.
  • the region corresponding to the identification information may be obtained using a template.
  • the region corresponding to the identification information may be obtained using a template for recognizing a character by applying a reference circular set to a vehicle image, that is, matching an image input to a standard pattern.
  • the region corresponding to the identification information may be obtained using color information.
  • the region corresponding to the identification information may be obtained using Hough transform.
  • the region corresponding to the identification information may be extracted by detecting an edge from the vehicle image using a Sobel operator and then searching for a group of vertical and horizontal straight lines using Hough transform.
  • the region corresponding to the identification information may be obtained using run-length.
  • the region corresponding to the identification information obtains a binary image using the gradient in the neighboring direction, then projects it to an arbitrary angle theta, and applies the run-length method to the projected straight line to find a candidate region, It can be obtained by detecting a position where the ratio of two straight lines is 2:1.
  • Pre-processing may be performed on a region corresponding to the identification information. For example, processing such as rotation for tilt correction, affine transformation, linear regression, and the like may be performed. Alternatively, pre-processing for shading correction may be performed. Alternatively, pre-processing for noise removal may be performed.
  • Vehicle identification information may be obtained using an algorithm for recognizing a license plate.
  • the vehicle identification information may be obtained using an OCR (Optical Character Recognition) algorithm.
  • Vehicle identification information may be obtained using an OCR algorithm implemented through Tesseract, OpenCV, EAST detector, Python, or the like.
  • Vehicle identification information may be obtained through a neural network model.
  • the neural network model may acquire vehicle identification information based on the vehicle image.
  • the neural network model may acquire vehicle identification information based on a vehicle front image obtained by photographing a front portion of the vehicle and/or a vehicle rear image obtained by photographing a rear portion of the vehicle.
  • the neural network model is included in the vehicle front image and may obtain vehicle identification information based on the front license plate area corresponding to the license plate of the vehicle or the rear license plate area included in the vehicle rear image and corresponding to the license plate of the vehicle.
  • the neural network model may acquire vehicle identification information based on a VIN region included in a vehicle image and corresponding to a VIN.
  • the neural network model may include a convolutional neural network.
  • the neural network model may include a Recurrent Neural Network (RNN) and/or Long Short Term Memory (LSTM).
  • RNN Recurrent Neural Network
  • LSTM Long Short Term Memory
  • the neural network model may acquire a feature set from a vehicle image through a convolutional neural network.
  • the neural network model may acquire vehicle identification information (eg, vehicle number or VIN) corresponding to the vehicle image based on the feature set through a long-term memory or a recurrent neural network.
  • the neural network model may be trained to obtain vehicle identification information.
  • the neural network model may be trained to acquire vehicle identification information based on the vehicle image by using identification learning data including vehicle identification information or vehicle images labeled with text information constituting vehicle identification information.
  • the neural network model may be supervised, unsupervised, or reinforcement trained to obtain damage information based on a vehicle image, using identification learning data.
  • a neural network model can be trained using a backpropagation method.
  • the identification information learning data may include a vehicle image photographed in various environments and labeled with vehicle identification information.
  • the identification information learning data may include a vehicle image that is photographed in an environment such as night, daytime, dawn, rain, fog, snowfall, and the like and is labeled with identification information.
  • the identification information learning data may include a vehicle image in which a region corresponding to identification information of the vehicle is displayed.
  • the identification information learning data may include one or more images masked in a region corresponding to identification information of the vehicle and to which an identification information label is assigned.
  • Identification information learning data is obtained by photographing the front of the vehicle and is obtained by photographing the front image of the vehicle and/or the rear of the vehicle to which a label indicating the identification number of the vehicle is given of the vehicle to which the label indicating the identification number of the vehicle is assigned. It may include a back image.
  • the identification information learning data may include an identification region image of a region corresponding to vehicle identification information.
  • the identification information learning data is obtained by photographing the front license plate of the vehicle and assigned an identification number label, the rear license plate image obtained by photographing the rear license plate of the vehicle and assigned an identification number label, and/or the VIN of the vehicle It may include a VIN image obtained by photographing and to which an identification number (VIN) is assigned.
  • driver identification information for identifying a driver (or owner) of a vehicle may be obtained.
  • the driver identification information may be obtained based on non-image data such as a user input or image data such as an image obtained by photographing the driver's identification card.
  • image data such as an image obtained by photographing the driver's identification card.
  • the aforementioned algorithm, program or neural network model may be similarly used.
  • the identification information of the vehicle or the driver identification information may be used to manage the history of the vehicle or the driver, respectively. In this regard, it will be described in more detail in the vehicle information management item.
  • part-damage information indicating damage for each part may be obtained.
  • the part-damage information device 220 including the vehicle image acquisition unit 221 , the parts information acquisition unit 223 , the damage information acquisition unit 225 , and the parts-damage information acquisition unit 227 . ) can be obtained by Hereinafter, the acquisition of parts-damage information will be described with reference to FIG. 22 .
  • the vehicle image acquisition unit 221 may acquire a vehicle image obtained by photographing the exterior of the vehicle.
  • the vehicle image acquisition unit 221 may acquire a vehicle image through a camera module or acquire a vehicle image from an external device.
  • the parts information acquisition unit 223 may acquire parts information constituting the vehicle based on the vehicle image.
  • the parts information acquisition unit 223 may acquire a type (or identification information) of a part included in the input target vehicle image and part region information corresponding to each part.
  • the parts information the contents described in relation to obtaining the parts information may be applied.
  • the damage information acquisition unit 225 may acquire damage information related to damage to the exterior of the vehicle based on the vehicle image.
  • the damage information obtaining unit 225 may acquire information on whether a damaged area exists in the input target vehicle image and/or damage area information corresponding to the damaged area from the target vehicle image.
  • the damage information the contents described in relation to the acquisition of the damage information may be applied.
  • the part-damage information acquisition unit 227 may acquire part-damage information indicating damage information for each individual part included in the target image based on the part information and the damage information.
  • the part-damage information may include damage area information indicating whether a damaged part exists for each individual part included in the target image, the number of damage and/or the damaged part.
  • the part-damage information acquisition unit 227 acquires parts information and damage information, and determines whether a damaged region overlapping a part region corresponding to an individual part exists based on the part region information and the damaged region information.
  • the part-damage information acquisition unit 227 acquires part-damage information indicating that damage exists in the corresponding part (or indicating the number of damage) when there is a damaged area overlapping the part area corresponding to the specific part. can do.
  • the part-damage information obtaining unit 227 may acquire part-damaged area information indicating the location of a damaged part existing in the part when there is a damaged area overlapping the part area corresponding to a specific part.
  • the part information may include first part identification information, second part identification information, a first area corresponding to the first part identification information, and a second area corresponding to the second part identification information.
  • the damage information may indicate that the damaged area is included in the target vehicle image and may include damage area information indicating the location of the damaged area.
  • the parts-damage information obtaining unit 227 compares the damaged area information with the first and second areas in the target vehicle image, and determines that damage exists in the first area where the damaged areas overlap more. can do.
  • the part-damage information acquisition unit 227 may acquire part-damage information indicating that damage exists in the first part.
  • the parts information acquisition unit may acquire a segmentation image b including region information corresponding to each part based on the vehicle image a.
  • the damage information obtaining unit may obtain, based on the same vehicle image (a), a bounding box (BB) indicating an area in which the damage is located or an image (c) including the bounding box (BB).
  • the part-damage information acquisition unit may acquire damage information for each part based on the location of the bounding box BB and the segmentation corresponding to each part.
  • the parts-damage information obtaining unit acquires parts-damage information indicating that damage is located in the left front door and left rear door of the vehicle, based on the distribution coordinates and segmentation information of the bounding box BB. can do.
  • part-damage information indicating damage for each part may be obtained based on the part information and the damage information.
  • parts-damage information is a vehicle image acquisition unit 241 , a parts information acquisition unit 243 , a damage information acquisition unit 245 , and a part-damage information acquisition unit 240 including a part 247 .
  • the contents described above may be similarly applied to the vehicle image obtaining unit 241 , the parts information obtaining unit 243 , and the damage information obtaining unit 245 unless otherwise specified.
  • the acquisition of parts-damage information will be described with reference to FIG. 24 .
  • the part information acquisition unit 243 may acquire a part region (eg, a segmentation or a bounding box of the part region) corresponding to an individual part.
  • a part region eg, a segmentation or a bounding box of the part region
  • the damage information obtaining unit 245 may include damage information indicating whether or not damage is included in the target part area, the type and number of damage included in the target part area, based on the part area corresponding to the individual part included in the vehicle image, and / Alternatively, damage area information in which damage is located among the target part areas may be acquired.
  • the damage information acquisition unit 245 may acquire damage information for each individual part by using a neural network model trained to acquire damage information for each individual part area.
  • the part-damage information acquisition unit 247 may acquire part-damage information according to the target image based on damage information related to damage for each individual part.
  • the part-damage information may include damage area information indicating whether a damaged part exists for each individual part included in the target image, the number of damage and/or the damaged part.
  • the part information may include first part identification information, second part identification information, a first area corresponding to the first part identification information, and a second area corresponding to the second part identification information.
  • the damage information obtaining unit 245 may include first damage information indicating that the damage is located in the first area and second damage information indicating the location of the damaged area included in the first area. 1 Damage area information can be obtained.
  • the damage information obtaining unit may obtain damage information indicating that damage does not exist in the second part.
  • the part-damage information acquisition unit 247 may acquire part-damage information for the first part and the second part based on the damage information and the damaged area information.
  • part-damage information indicating damage for each part may be obtained based on the part information and the damage information.
  • parts-damage information includes a vehicle image acquisition unit 251 , a vehicle model information acquisition unit 253 , a parts information acquisition unit 255 , a damage information acquisition unit 257 , and a parts-damage information acquisition unit ( 259).
  • the contents described above may be similarly applied to the vehicle image obtaining unit 251 , the parts information obtaining unit 253 , and the damage information obtaining unit 255 unless otherwise specified.
  • the acquisition of parts-damage information will be described with reference to FIG. 25 .
  • the vehicle model information acquisition unit 253 may acquire vehicle model information related to the vehicle model of the target vehicle based on the vehicle image.
  • the vehicle model information acquisition unit 253 may be acquired through a user input or a pre-stored database.
  • the parts information acquisition unit 255 may acquire parts information based on vehicle model information.
  • the parts information acquisition unit may acquire the parts information by considering the vehicle model information and the vehicle image together.
  • the parts information acquisition unit 255 may acquire parts information using a neural network model that uses vehicle model information as an additional input and acquires a feature set based on a vehicle image.
  • the parts information acquisition unit 255 may acquire parts information and/or parts region information by mapping the vehicle image and the parts region information using parts information and/or parts region information prepared in advance for each vehicle type.
  • vehicle model information may be obtained from a user input or pre-stored data.
  • the part-damage information acquisition unit 257 may acquire part-damage information based on the part information and the damage information. With respect to the acquisition of part-damage information, the above-described contents with reference to FIGS. 22 and 23 may be similarly applied.
  • the vehicle management process may include managing vehicle information.
  • Managing the vehicle information may include managing the aforementioned part information, damage information, vehicle type information, and/or identification information.
  • Managing the vehicle information may include managing the vehicle information in time series.
  • Managing the vehicle information may include classifying the vehicle information.
  • Managing the vehicle information may include managing one or more pieces of information in association.
  • Managing the vehicle information may include managing the history of the vehicle information.
  • History management of vehicle information may mean listing and/or managing one or more vehicle information acquired at different times in time series.
  • Managing the vehicle information may include managing the part information in time series based on one or more parts information.
  • Managing vehicle information may mean managing, for each individual part, part information indicating replacement, defect, damage, etc. of a corresponding part together with time information indicating a time at which each part information was acquired.
  • managing the vehicle information includes acquiring first information indicating that the first part is damaged at a first time point, acquiring second information indicating that the first part has been replaced at a second time point after the first time point, and It may include managing the first information and the second information in chronological order. The first information or the second information may be obtained based on the vehicle image.
  • Managing the vehicle information may include managing damage information (or parts-damage information) in time series based on one or more pieces of damage information.
  • the vehicle management process may mean managing, with respect to a specific vehicle, damage information indicating damage to the vehicle along with time information indicating a time at which the damage information was acquired. For example, managing the vehicle information acquires first information indicating that the first damage has occurred to the first vehicle at a first time point, and the second damage has occurred to the first vehicle at a second time point that is after the first time point It may include acquiring second information indicating The first information or the second information may be obtained based on the vehicle image. The first information or the second information may include area information corresponding to each damage.
  • Managing the vehicle information may include time-series management of damage information based on one or more images. For example, managing the vehicle information includes first damage information obtained based on a first vehicle image obtained at a first time point and a second vehicle image obtained based on a second vehicle image obtained at a second time point after the first time point. It may include managing damage information in consideration of time.
  • Managing vehicle information may be performed in consideration of user information. For example, managing the vehicle information includes first damage information obtained based on the first vehicle image captured by the first user at the first time point and the second vehicle image captured by the first user at the second time point. It may include managing the acquired second damage information based on time in consideration.
  • History management of damage information may include acquiring new damage information for new damage that has occurred.
  • History management of damage information may include acquiring new damage information based on a plurality of images obtained by photographing the same vehicle at various time points.
  • the new damage information may be obtained based on a plurality of pieces of damage information.
  • the new damage information may be acquired based on the first damage information corresponding to the first time point and the second damage information corresponding to the second time point after the first time point.
  • the new damage information may include the number, degree, and location (eg, coordinates) of the newly generated damage.
  • the new damage information is based on first damage information acquired based on a first image captured at a first time point for the first vehicle and a second image captured at a second time point after the first time point with respect to the first vehicle It may be obtained based on the obtained second damage information.
  • the new damage information may include information on damage newly generated to the first vehicle after the first time point and before the second time point.
  • the new damage information may include the number of new damage acquired based on the number (or degree) of damage according to the first damage information and the number of damage according to the second damage information.
  • the first image and the second image may be images obtained by photographing the vehicle in the same (or similar) direction.
  • the new damage information may include a location, size, distribution, etc. of a region corresponding to the new damage in the vehicle image.
  • the new damage information is based on first damage area information obtained based on a first image captured at a first time point for the first vehicle and a second image captured at a second time point after the first time point with respect to the first vehicle and may be obtained based on the obtained second damaged area information.
  • the new damage information is based on the first damage area information and the second damage area information, after the first time point and before the second time point, the location, size, or distribution of the damage area newly generated in the first vehicle in the vehicle image. may contain information.
  • New damage information may be acquired for each part.
  • the new damage information may include the number, degree, location (eg, coordinates) of the damage newly generated with respect to individual parts, and the location, size, distribution, and the like of a corresponding area.
  • the new damage information includes the first damage information for the first part obtained based on the first image captured at the first time point for the first vehicle and the second time point photographed at a second time point after the first time point with respect to the first vehicle. 2 may be obtained based on the second damage information on the first part obtained based on the image.
  • the new damage information may indicate the number, size, location, etc. of damage newly generated to the first part after the first time point and before the second time point based on the first damage information and the second damage information.
  • new damage information may be acquired based on a first vehicle image (a) acquired at a first time point and a second vehicle image (b) captured at a second time point.
  • First damage information indicating that one damage is present in the vehicle may be obtained based on the first vehicle image, and second damage information indicating that two damages are present in the vehicle may be obtained based on the second vehicle image. there is. Based on the first damage information and the second damage information, new damage information indicating that one new damage (B2 of the rear fender) has occurred may be obtained.
  • First damage information including the first damage area information B1 may be obtained based on the first vehicle image a.
  • Second damage information including the first damage area information B1 and the second damage area information B2 may be obtained based on the second vehicle image b. Based on the first damage information and the second damage information, damage to the rear fender of the vehicle occurring after the first time point and before the second time point may be determined as a new damage.
  • New damage information may include second damage area information corresponding to damage to the rear fender.
  • the newly generated damage overlaps at least partially with the existing damage.
  • the number of damages may not be changed even though new damage has occurred.
  • the new damaged area is included in the existing damaged area or the existing damaged area is included in the new damaged area, such a problem may occur. Even in this case, a means for notifying the user that new damage has occurred is required.
  • the damage history when a new damage overlaps with the existing damage occurs may be obtained using the location, size, coordinates, etc. of the damaged area.
  • managing the damage history includes acquiring the first vehicle image (a) photographed at the first time point and including the first damage area information (B1) based on the first vehicle image (a) and obtaining first damage information.
  • Managing the damage history includes acquiring a second vehicle image (b) photographed at a second time point that is after the first time point and including second damage area information (B2) based on the second vehicle image (b) It may include obtaining damage information.
  • the second damaged area information B2 may overlap with the first damaged area information B1 .
  • the first damaged area information B1 may be included in the second damaged area information B1.
  • the number of damages according to the first damage information and the number of damages according to the second damage information may be the same.
  • the new damage information may be obtained based on a difference between the second damaged area information B2 and the first damaged area information B1.
  • the new damage information may be obtained based on a difference between the size of the second damaged area (the second bounding box) and the size of the first damaged area (the first bounding box) according to the second damaged area information B2 .
  • New damage information is to be obtained based on the difference between the position (eg, coordinates of the center point) of the second damaged area (second bounding box) and the position (eg, coordinates of the center point) of the first damaged area (first bounding box) can
  • the new damage information may be obtained based on a difference between the coordinates of the corners of the second damaged area (the second bounding box) and the coordinates of the corners of the first damaged area (the second bounding box).
  • the vehicle management system may output vehicle information.
  • vehicle information may be output through a user terminal having a display, a manager device, or the like.
  • the vehicle management system may output the obtained vehicle information and/or the obtained auxiliary information based on the vehicle information.
  • the vehicle management system may output vehicle information such as parts information, damage information, vehicle type information, and identification information.
  • vehicle management system may output user information and/or location information together.
  • the vehicle management system may output a vehicle image and vehicle information corresponding to the vehicle image.
  • the vehicle management system may output a plurality of vehicle images and vehicle information corresponding to each vehicle image.
  • the plurality of vehicle images may be images captured at various angles with respect to the vehicle.
  • the vehicle management system may output the vehicle image and a direction indicator indicating a photographing direction of the vehicle of the corresponding image together.
  • the photographing direction may be obtained based on the vehicle image.
  • the direction in which the vehicle was photographed may be obtained through a user input.
  • an output screen includes a vehicle image display unit (CI), a direction indicator (DI) indicating a photographing direction of a vehicle image, a vehicle-related non-image information display unit (IF), and vehicle damage information. It may include a damage information table (DT) indicating the.
  • CI vehicle image display unit
  • DI direction indicator
  • IF vehicle-related non-image information display unit
  • DT damage information table
  • the vehicle image display unit CI may display an image from which noise is removed.
  • the vehicle image display unit CI may display damaged area information.
  • the damaged area information may include an existing damaged area ED and a new damaged area ND.
  • the existing damaged area ED and the new damaged area ND may be displayed differently. Referring to FIG. 28 , the existing damaged area ED and the new damaged area ND may be displayed with different colors or different types of bounding boxes.
  • the direction indicator DI may indicate a photographing direction of the vehicle image being displayed.
  • the direction indicator DI may indicate a left direction of the vehicle, and the vehicle image display unit CI may display a vehicle image photographed from the left side of the vehicle. Vehicle images photographed in different directions may correspond to each of the plurality of directions indicated by the direction indicator DI. A corresponding vehicle image may be displayed in response to a user input for selecting a direction of the direction indicator DI.
  • the non-image information display unit IF may display non-image information related to the vehicle. Referring to FIG. 28 , the non-image information display unit IF may display a time point at which a vehicle image is captured, a vehicle number, a vehicle VIN, a vehicle model, and the like.
  • the damage information table DT may indicate the number of damage for each part corresponding to the vehicle image.
  • the part corresponding to the image may mean a part corresponding to the direction of the currently displayed vehicle image.
  • the damage information table DT may indicate the number of damages for each component with respect to the components located on the left side of the vehicle.
  • the number of damages per component may include the number of existing damages and the number of new damages (separated by +) per component.
  • the damage information table DT may indicate that existing damage is present in the left front door, the left door handle, and the left rear fender, and new damage is present in the left front door and the left rear fender.
  • the damage information table DT is only an example of the damage information display unit, and information on existing damage or new damage may be displayed in another form.
  • the vehicle management system may output auxiliary information obtained based on vehicle information.
  • the auxiliary information is obtained based on vehicle information and may be information for assisting vehicle management.
  • the auxiliary information may be determined according to the degree of damage according to the damage information.
  • the auxiliary information may instruct necessary actions such as repair, painting, replacement of some parts, etc. of the vehicle according to the degree of damage.
  • the auxiliary information may include repair cost information.
  • the repair cost information may be obtained based on the damage information.
  • the repair cost information may include an estimate of a cost required to properly take a repair action according to the damage to the vehicle based on the damage information.
  • the auxiliary information may include insurance-related information.
  • the auxiliary information may include insurance claim information determined based on pre-stored insurance data.
  • a plurality of vehicle images may be used to obtain vehicle information.
  • a plurality of images may be used to remove noise from a vehicle image.
  • it will be described which image among the plurality of images is used as a reference to output vehicle information.
  • the vehicle image and the obtained damage information, particularly damage area information may be provided to the user by overlapping.
  • the vehicle image on which the damaged area information is overlapped may be any one of a plurality of images.
  • the vehicle image on which the damaged area information is overlapped may be an image generated based on a plurality of images.
  • FIG. 29 is a view for explaining the display of damaged area information according to an embodiment.
  • a process for removing noise, such as a background may be performed in the same manner as described with reference to FIG. 7 .
  • FIG. 29D a vehicle image in which a bounding box BB corresponding to a damaged portion of the vehicle is overlapped may be provided.
  • the vehicle image on which the bounding box BB overlaps may be a vehicle image from which a background generated based on a plurality of vehicle images (a), (b) and (c) is removed.
  • the vehicle image on which the bounding box BB overlaps may be an image in which the location of the vehicle is close to the center of the frame among the plurality of vehicle images (a), (b) and (c).
  • the vehicle image on which the bounding box BB overlaps may be an image having the highest vehicle display ratio among the plurality of vehicle images (a), (b), and (c).
  • the display ratio of the vehicle may mean a ratio of a region displayed on the image among the entire exterior of the vehicle.
  • noise removal processing for removing a background is performed based on a plurality of images
  • this may be similarly applied to a case in which noise removal processing for removing reflected light in a vehicle is performed.
  • damage region information may be superimposed on an image from which reflected light is removed and output.
  • a vehicle management system for managing the state of a vehicle using an image captured by an on-site vehicle may be provided.
  • 34 is a diagram for explaining the configuration of an on-site vehicle management system.
  • the on-site vehicle management system may include a management device 341 , a camera module 343 , and a detection means 345 .
  • the management device 341 may be connected to the camera module 343 and the detection means 345 to control the camera module 343 and the detection means 345 .
  • the management device 341 may receive data from the camera module 343 and the detection means 345 .
  • the management device 341 may include at least one of a display, a user interface, a communication module, a memory, and a controller.
  • the management device 341 may be composed of at least one electronic device.
  • the management device 341 may be implemented in the form of a tablet, a smartphone, and a notebook computer.
  • the management device 341 may be connected to a server.
  • the management device 341 may exchange data with the server.
  • the server may be connected to the plurality of management devices 341 to receive and process data from the plurality of management devices 341 .
  • the management device 341 may serve as a server.
  • the management device 341 may be connected to another management device 341 or other electronic devices to exchange and process data.
  • the camera module 343 may photograph a vehicle entering or leaving the vehicle.
  • the camera module 343 may transmit photographing data of the vehicle to the management device 341 .
  • the sensing means 345 may detect the position of the vehicle entering or leaving the vehicle.
  • the sensing means 345 may detect a vehicle entering or exiting.
  • the sensing means 345 may be an optical sensor or a circuit breaker (PB).
  • the sensing means 345 may transmit a sensed value to the management device 341 , and the management device 341 may extract image data used for vehicle management based on the sensed value.
  • the management device 341 may extract image data from the captured data based on the sensed value.
  • the on-site fleet management system may be used for fleet fleet management.
  • An on-site vehicle management system can be used for parking control. More specifically, the on-site vehicle management system may be used for a parking manager to compare and analyze an image of a vehicle entering a parking area and an image of a vehicle leaving the parking area.
  • the on-site vehicle management system may be used for taxi management tasks of a taxi company. More specifically, the on-site vehicle management system may be used for a taxi company to compare and analyze vehicle images before and after the driver's taxi operation.
  • a vehicle management process for managing the state of a vehicle using an image captured on-site may be provided.
  • the on-site vehicle management process may be performed by the above-described on-site vehicle management system.
  • 35 is a diagram for explaining a series of steps performed by the on-site vehicle management process.
  • the on-site vehicle management process includes obtaining vehicle data photographed on-site related to the vehicle ( S3510 ), obtaining vehicle information based on the obtained vehicle data ( S3530 ), and the vehicle It may include a step of managing information (S3550) and a step of outputting vehicle information (S3570).
  • a step of managing information S3550
  • a step of outputting vehicle information S3570
  • the on-site vehicle management process may include acquiring vehicle data required for vehicle management ( S3510 ).
  • the vehicle data may be provided in various forms.
  • the vehicle data may be image data or non-image data.
  • the vehicle data may be pre-stored in the device or obtained from outside.
  • the vehicle data may be obtained through the camera module 343 or may be obtained through a user input module.
  • FIG. 36 is a diagram for explaining a step ( S3510 ) of acquiring vehicle data required for vehicle management in an on-site vehicle management process.
  • the step of acquiring photographed vehicle data ( S3510 ) will be described in more detail with reference to FIG. 36 .
  • the step of obtaining vehicle data according to an embodiment includes obtaining image data including a plurality of images ( S3511 ) and extracting effective image data from among the plurality of obtained images. (S3513) may be included.
  • the vehicle data may be image data including a vehicle image obtained by photographing the vehicle.
  • the vehicle image may be an image including some parts of the vehicle.
  • the vehicle image may be an image obtained by photographing a part of the vehicle to include identification information for identifying the vehicle.
  • the vehicle data may be vehicle image data obtained by photographing the vehicle.
  • the vehicle data may include image data and image data extracted from the image data.
  • the image data may refer to data captured by the camera module 343 between a plurality of specific viewpoints.
  • the plurality of specific time points may mean different time points.
  • the plurality of specific time points will be described in more detail with specific examples with reference to the drawings.
  • FIG. 37 is a diagram for explaining that image data is captured by the camera module 343 at a specific point in time when image data is detected by the sensing means 345 according to an embodiment.
  • the vehicle management system may include a management device 341 , a detection means 345 , and a camera module 343 .
  • the vehicle management system may further include a circuit breaker (PB) for controlling the entrance or exit of the vehicle.
  • PB circuit breaker
  • the camera module 343 may include at least one camera.
  • the camera module 343 may include a first camera C1 and a second camera C2.
  • the sensing means 345 may include at least one or more sensors.
  • the sensing means 345 may include a first sensor S1 and a second sensor S2.
  • the circuit breaker PB may be controlled by the management device 341 .
  • the management device 341 may control the circuit breaker PB when a vehicle entering or leaving the vehicle approaches the circuit breaker PB.
  • the management device 341 may control the circuit breaker PB when a vehicle entering or leaving the vehicle approaches the circuit breaker PB, and entry or exit is permitted.
  • the management device 341 may control the circuit breaker PB according to a sensing value of at least one of the first sensor S1 and the second sensor S2.
  • the management device 341 may control the circuit breaker PB when the vehicle is detected by the first sensor S1.
  • the camera module 343 may be installed in an area adjacent to a movement path of a vehicle entering or exiting the parking lot in order to photograph the vehicle entering or exiting the parking lot.
  • the camera module 343 for photographing a vehicle entering the vehicle will be described.
  • the first camera C1 and the second camera C2 may be installed to photograph the other side of the vehicle.
  • the first camera C1 may be installed at a position capable of photographing the first side of the vehicle
  • the second camera C2 may be installed at a position capable of photographing the second side of the vehicle.
  • the first camera C1 and the second camera C2 may be installed to face each other.
  • the first camera C1 may be installed at a position capable of photographing the side and rear of a vehicle entering or exiting the vehicle.
  • the first camera C1 may be installed such that the second camera C2 is located in a photographing area.
  • the first camera C1 may be installed toward the second camera C2.
  • the first camera C1 may additionally photograph the rear of the entering or exiting vehicle, so that non-image data may be additionally obtained.
  • the second camera C2 may be installed at a position capable of photographing the side and front of the vehicle entering or leaving the vehicle.
  • the second camera C2 may be installed such that the first camera C1 is located in a photographing area.
  • the second camera C2 may be installed toward the first camera C1.
  • the second camera C2 may additionally photograph the front of the vehicle entering or leaving the vehicle, so that non-image data may be additionally obtained.
  • the first camera C1 and the second camera C2 may be positioned parallel to the circuit breaker PB.
  • the first camera C1 and the second camera C2 may be spaced apart from each other.
  • the first camera C1 may be located in an area spaced apart from the blocker PB, and the second camera C2 may be located in an area corresponding to the blocker PB. Since the first camera C1 is located in an area separated from the circuit breaker PB, non-image information of the vehicle can be acquired at a faster time, thereby shortening the processing time.
  • the first sensor S1 may be located in an area spaced apart from the circuit breaker PB, and the second sensor S2 may be located in an area corresponding to the circuit breaker PB.
  • the first sensor S2 may be installed to be spaced apart from the breaker PB to detect a vehicle entering the parking lot, and the second sensor S2 may be installed to detect whether the vehicle is adjacent to the breaker PB. PB) and may be installed to be located in the corresponding area.
  • the management device 341 may acquire photographing data from the first camera C1 and the second camera C2 .
  • the management device 341 may extract image data from the captured data based on the sensed values received from the first sensor S1 and the second sensor S2 .
  • the image data may include data substantially used for vehicle management.
  • the management device 341 may include at least one of the first camera C1 and the second camera C2 based on the sensed value transmitted to at least one of the first sensor S1 and the second sensor S2. You can control one. For example, when the entrance of the vehicle is recognized by the first sensor S1, the first camera C1 and the second camera C2 may be controlled to be in a state in which the vehicle can be photographed, and the second When the entrance of the vehicle is completed by the sensor S2 , the first camera C1 and the second camera C2 may be controlled to change to a state in which the vehicle is not photographed.
  • the management device 341 may define image data as image data as captured data between a time when the vehicle completely passes through the first sensor S1 and a time when the vehicle is first detected by the second sensor S2 .
  • a time when the vehicle is recognized by the first sensor S1 and the recognition is finished may be defined as a start time
  • a time when the vehicle is recognized by the second sensor S2 may be defined as an end time.
  • the management device 341 may define the captured data obtained between the start time and the end time as image data.
  • the management device 341 defines, as image data, the photographing data between the time when the vehicle completely passes the first sensor S1 and the time when the vehicle is first detected by the second sensor S2 as image data, and uses the image data
  • the amount of data stored in the storage unit of the management device 341 can be reduced by using it as data for vehicle management, and the data transmitted from the first camera C1 and the second camera C2 to the management device 341 can be reduced. This has the effect of reducing the amount of data.
  • the first camera C1 may be located in an area corresponding to the first sensor S1
  • the second camera C2 may be located in an area corresponding to the second sensor S2 .
  • the first camera C1 becomes the vehicle Data obtained by photographing all areas on one side of the image may be defined as image data.
  • the second camera C2 is Data obtained by photographing all areas of the other side of the vehicle may be defined as image data. Accordingly, the image data of the first camera C1 and the second camera C2 are defined as data obtained by photographing all areas on both sides of the vehicle, and accordingly, damage to the vehicle can be recognized more accurately.
  • FIG. 38 is a diagram for explaining that image data is captured by the camera module 343 at a specific point in time when image data is sensed by a sensor, according to another embodiment.
  • the management device 341 captures image data between a time when the vehicle is first detected by the first sensor S1 and a time when the vehicle is first detected by the second sensor S2 .
  • data can be defined.
  • a time when the vehicle is recognized by the first sensor S1 may be defined as a start time
  • a time when the vehicle is recognized by the second sensor S2 may be defined as an end time.
  • the management device 341 may define the captured data obtained between the start time and the end time as image data.
  • the management device 341 defines the image data between the time when the vehicle is first detected by the first sensor S1 and the time when the vehicle is first detected by the second sensor S2 as image data, so that the start time point compared to FIG. 37 . can be advanced
  • the management device 341 defines the image data taken at an earlier time point as image data, thereby accurately securing vehicle identification information such as vehicle number or VIN information located in the front of the vehicle, thereby enabling vehicle management to be performed more smoothly.
  • FIG. 39 is a diagram for explaining that image data is captured by the camera module 343 at a specific point in time when image data is sensed by a sensor, according to another embodiment.
  • the management device 341 captures the photographing data between the time when the vehicle is first detected by the first sensor S1 and the time when the vehicle completely passes the second sensor S2 . It can be defined as image data.
  • a time when the vehicle is recognized by the first sensor S1 may be defined as a start time
  • a time when the vehicle is recognized and then recognized by the second sensor S2 may be defined as an end time.
  • the management device 341 may define the captured data obtained between the start time and the end time as image data.
  • the management device 341 defines the captured data at an earlier time point as image data and defines the captured data at a later time point as image data, so that the main part of the vehicle is maximally secured by using the image data to manage the vehicle. can be performed, and as a result, there is an effect of minimizing the omission of damage information occurring on the exterior of the vehicle.
  • the vehicle management system may further include a third sensor, a fourth sensor, a third camera, and a fourth camera.
  • first sensor S1 , second sensor S2 , first camera C1 , and second camera C2 may be for securing image data when entering a parking area of a vehicle
  • the third sensor , the fourth sensor, the third camera, and the fourth camera may be for securing image data when the vehicle is pulled out of a parking area.
  • a third sensor and a third camera may be further included when the vehicle is pulled out, and the third sensor may play a role corresponding to the first sensor S1 when entering the vehicle, and the third camera may be a third camera when entering the vehicle. 1 It may play a role corresponding to the camera C1.
  • the third camera may be installed to photograph the same side of the vehicle photographed by the first camera C1.
  • the vehicle may further include a fourth sensor and a fourth camera when entering the vehicle, and the fourth sensor may serve to correspond to the second sensor S2 upon entering the vehicle, and the fourth camera may be a second camera upon entering the vehicle. It may play a role corresponding to the camera C2.
  • the fourth camera may be installed to photograph the same side of the vehicle photographed by the second camera C2.
  • the first sensor S1 , the second sensor S2 , the first camera C1 , and the second camera C2 are described above for the third sensor, the fourth sensor, the third camera, and the fourth camera.
  • contents overlapping with the first sensor S1 , the second sensor S2 , the first camera C1 and the second camera C2 will be omitted.
  • FIG. 40 is a diagram for explaining that image data is captured by the camera module 343 at a time point within a predetermined range from a time point when the circuit breaker PB operates, according to another embodiment.
  • the vehicle management system according to another embodiment of FIG. 40 is the same as the embodiment of FIG. 37 except that the circuit breaker PB is used as the sensing means 345 as compared with FIG. 33 . Accordingly, in describing the vehicle management system according to the embodiment of FIG. 40 , the same reference numerals are assigned to parts common to those of FIG. 37 and detailed descriptions thereof will be omitted.
  • the vehicle management system may include at least one circuit breaker PB and at least one camera module 343 .
  • the camera module 343 may include a first camera C1 and a second camera C2.
  • the first camera C1 may be located in an area spaced apart from the blocker PB, and the second camera C2 may be located in an area corresponding to the blocker PB.
  • the first camera C1 and the second camera C2 may be installed to be spaced apart, and the first camera C1 and the second camera C2 may photograph the other side of the vehicle.
  • the management device 341 may acquire photographing data from the first camera C1 and the second camera C2 .
  • the management device 341 may extract image data from among the photographing data obtained from the first camera C1 and the second camera C2 .
  • the image data may include data substantially used for vehicle management.
  • the image data may mean an image captured between a plurality of specific time points among the captured data captured by the camera module 343 .
  • the plurality of specific time points may mean a time point within a certain range from a time point at which the circuit breaker PB operates.
  • the time point within a certain range from the time when the circuit breaker PB is operated is a time point having a certain range such that at least some of the main parts of the entire exterior of the vehicle can be included in the image data when the vehicle is photographed at a point within the predetermined range. can mean That is, when the vehicle approaches the parking area, the circuit breaker PB is activated.
  • the plurality of specific time points are the first time point and a predetermined time point before a certain point based on the time when the circuit breaker PB operates according to the approach of the vehicle. It may mean a second time point that is later.
  • the image data may refer to an image captured by the camera module 343 between a first time point before a predetermined time point and a second time point after a predetermined time point based on the time when the circuit breaker PB operates.
  • the management device 341 may define image data as image data captured by the vehicle between a first time point and a second time point. In this case, it can be defined as the start point before a certain point based on the time when the circuit breaker (PB) operates, and when the vehicle completely passes through the circuit breaker (PB) after the circuit breaker (PB) operates as the end point. can The management device 341 may define the captured data obtained between the start time and the end time as image data.
  • the management device 341 defines the captured data obtained between the start time and the end time as image data, and uses the image data as data for vehicle management, so that even in a parking area where a sensor is not provided, a circuit breaker It has the effect of enabling the vehicle management function to be performed using only (PB).
  • the second time point may be a time point corresponding to a time point at which the circuit breaker PB operates. In this case, there is an effect of reducing the amount of data transmitted from the first camera C1 and the second camera C2 to the management device 341 .
  • the camera module 343 according to an exemplary embodiment may be a fixed type in which a photographing time point and an angle are fixed during photographing, but is not limited thereto.
  • the camera module 343 according to an embodiment may be of a rotation type that rotates according to the movement of the vehicle when photographing.
  • the plurality of specific viewpoints described above may be variable within a range in which the image data may include at least some of the main parts of the exterior of the vehicle.
  • the image data extracted from the image data may be any one of vehicle images captured by the camera module 343 at a plurality of specific points in time. Also, the image data extracted from the image data may be any one of vehicle images captured by the camera module 343 between a plurality of specific time points. The image data may be any one of vehicle images captured by the camera module 343 between a start time and an end time.
  • 41 is a diagram for describing a method of extracting image data from image data according to an exemplary embodiment.
  • image data acquired by the camera module 343 at a plurality of specific viewpoints may include a plurality of images.
  • valid image data from among the plurality of images may be extracted so that the on-site vehicle management process can be normally performed.
  • the effective image data may be at least one of the image data between the start time and the end time.
  • the effective image data may be at least one image in an intermediate section of the image data.
  • the intermediate section may be a specific section between a start time and an end time.
  • the intermediate section may include an intermediate point between the start time and the end time.
  • the time interval between the start time and the intermediate time point and the time interval between the intermediate time point and the end time point may correspond to each other.
  • the effective image data may refer to at least one image data including a main part of the exterior of the vehicle among a plurality of images included in the image data.
  • the management device 341 can reduce the amount of data stored in the storage unit of the management device 341 by using the effective image data as data for vehicle management, and effectively reduce the main part of the vehicle exterior. It has a manageable effect.
  • the image data acquired by the management device 341 may be a plurality of images including images (a) to (c) of FIG. 41 .
  • the management device 341 can effectively manage the main parts of the vehicle exterior by extracting the (b) image showing the main parts as effective image data.
  • the effective image data may be an image including only a partial area of the vehicle. Even in this case, the effective image data may be in a form including a major part of the exterior of the vehicle, thereby having an effect of more clearly determining the exterior of the vehicle.
  • vehicle data in the form of a non-image other than an image may be obtained.
  • the vehicle data may be non-image data.
  • the vehicle data may be non-image data including information related to the vehicle.
  • the non-image data may be previously stored or obtained.
  • the non-image data may be acquired by the camera module 343 .
  • the non-image data may be obtained based on photographing data captured by the camera module 343 .
  • the management device 341 may acquire non-image data based on the image data.
  • processing may be performed on the acquired data.
  • pre-processing may be performed on the acquired image data.
  • the management device 341 may pre-process at least one or more valid image data among the image data.
  • the management device 341 may perform noise removal processing based on a plurality of images in an intermediate section between a start time and an end time.
  • the management device 341 may perform noise removal processing based on a plurality of valid image data.
  • the management device 341 obtains a plurality of valid image data (a) to (c) having a vehicle region and a background region, and based on the plurality of valid image data (a) to (c), A noise removal process may be performed to obtain the image d from which the background region is removed.
  • the management device 341 removes an area (ie, a background area) corresponding to the background, which is an object with a fixed position in the effective image data, based on the plurality of valid image data (a) to (c), An image d including a region (ie, a vehicle region) corresponding to a vehicle, which is an object whose position is changed in the valid image data, may be obtained.
  • the camera module 343 captures a moving vehicle at a fixed position, and thus effective image data may include a moving vehicle image and a fixed background image.
  • the background image may be repeatedly learned by the neural network model as a non-vehicle image.
  • the noise removal process may include acquiring a vehicle image from which a background region is removed from the valid image data by using a neural network model in which information about the background image is repeatedly learned.
  • the management device 341 may perform a noise removal process for removing reflected light, etc., based on a plurality of valid image data.
  • the management device 341 acquires a plurality of valid image data, and an object whose position is changed (eg, a reflective region corresponding to reflected light) and an object whose position does not change (eg, a vehicle region or damage corresponding to damage to the vehicle) area) to remove an object whose position is changed or an object whose position does not change.
  • the management device 341 may be configured to obtain a vehicle image from which the reflection area is removed based on effective image data including a damaged area corresponding to a damaged part of the vehicle and a reflection area corresponding to light reflected by the surface of the vehicle.
  • a removal treatment may be performed.
  • the management device 341 obtains a plurality of valid image data (a) and (b) including a damaged region and a reflective region, and removes noise to obtain an image (c) from which the reflective region is removed. processing can be performed.
  • the management device 341 based on the plurality of valid image data (a) and (b), in the image or in the vehicle area, the position or state is changed in the image (c) is removed. ) may be subjected to noise removal processing to obtain
  • the image (c) from which the reflection region is removed may be generated based on any one of a plurality of valid image data (a) and (b).
  • the management device 341 obtains a reflection area based on the plurality of effective image data (a) and (b), and removes the reflection area from any one of the plurality of effective image data (a) and (b). , an image from which noise has been removed can be obtained.
  • the management device 341 may perform noise removal processing using the neural network model.
  • the neural network model may include a convolutional neural network layer, and may be trained to obtain an image in which the reflective region is removed by using training data including a plurality of vehicle images in which the reflective region is masked.
  • the management device 341 may perform a noise removal process for obtaining a vehicle image from which a reflection region is removed from valid image data by using the learned neural network model.
  • An image on which the above-described noise removal processing has been performed may be defined as a damaged image.
  • the management device 341 may determine vehicle information including damage to the vehicle based on the damage image.
  • the management device 341 may omit the noise removal process.
  • vehicle information which will be described later, may be obtained based on valid image data.
  • the damaged image may be the valid image data.
  • the on-site vehicle management process may include obtaining vehicle information based on vehicle data.
  • the vehicle information may include parts information related to parts constituting the target vehicle, damage information related to damage inside/outside the target vehicle, vehicle model information related to the type of the target vehicle, and/or identification information for identifying the target vehicle. .
  • Vehicle information may be extracted from vehicle data or obtained by processing vehicle data. Vehicle information may be obtained using vehicle data as input data, an algorithm designed to obtain vehicle information, or a neural network model trained to obtain vehicle information.
  • the management device 341 may acquire vehicle information based on the damaged image.
  • the management device 341 may acquire damage information based on the damage image.
  • the management device 341 may acquire parking vehicle information using a pre-stored database.
  • the parked vehicle information may include vehicle type information indicating a vehicle model, a manufacturer, a model name, and a year of the parked vehicle.
  • the parking vehicle information may further include part information indicating the number, type, name, identification information, etc. of the parts constituting the parking vehicle.
  • the parking vehicle information may include additional damage information occurring inside/outside the target vehicle.
  • the additional damage information may be calculated based on a damaged image of a vehicle entering and a damaged image of a vehicle leaving the vehicle.
  • the additional damage information may be calculated by comparing a damaged image of a vehicle entering and a damaged image of an exiting vehicle.
  • the additional damage information may be calculated based on damage information calculated based on the damage image of the vehicle entering and damage information calculated based on the damage image of the vehicle leaving the vehicle.
  • the management device 341 stores at least one of the damage image and damage information of the vehicle entering the vehicle, calls it when exiting the vehicle, and compares it with at least one of the damage image and damage information of the vehicle exiting to calculate additional damage information can do.
  • the management device 341 may store non-image data of the vehicle entering the vehicle in association with the damaged image and damage information.
  • the management device 341 may store a damage image and damage information of a vehicle entering the vehicle in association with the vehicle number of the vehicle.
  • the management device 341 loads the damage image and damage information linked to the vehicle number of the vehicle based on the recognized vehicle number when the vehicle is pulled out, and compares it with the damage image and damage information obtained when the vehicle is taken out. Additional damage information can be calculated.
  • the management device 341 may further include additional information including an accident history of the vehicle.
  • the management device 341 may acquire taxi vehicle information using previously stored data.
  • the taxi vehicle information may include vehicle type information indicating a vehicle type, manufacturer, model name, year, manufacturing time, manufacturing location, manufacturer, location, registration base, and the like of the taxi vehicle.
  • the taxi vehicle information may further include parts information indicating the number, type, name, identification information, etc. of the parts constituting the taxi vehicle.
  • the taxi vehicle information may include additional damage information generated inside/outside the target vehicle.
  • the additional damage information may be calculated based on the damage image of the vehicle acquired before the taxi operation and the damage image of the vehicle acquired after the taxi operation.
  • the additional damage information may be calculated by comparing the damage image of the vehicle acquired before the taxi operation with the damage image of the vehicle acquired after the taxi operation.
  • the additional damage information may be calculated based on damage information calculated on the basis of the damage image of the vehicle obtained before taxi operation and damage information calculated on the basis of the damage image of the vehicle obtained after taxi operation.
  • the management device 341 stores at least one of the damage image and damage information of the vehicle acquired before the taxi operation, and calls it after the taxi operation, and at least one of the damage image and the damage information of the vehicle acquired after the taxi operation Comparisons can yield additional damage information.
  • the management device 341 may store the non-image data of the vehicle acquired before driving the taxi in association with the damaged image and damage information.
  • the management device 341 may store the damage image and damage information of the vehicle acquired before driving the taxi in association with the vehicle number of the vehicle.
  • the management device 341 loads the damage image and damage information linked to the vehicle number of the vehicle based on the recognized vehicle number when the vehicle has completed taxi operation, and the damage image and damage information obtained after taxi operation Comparing with , additional damage information can be calculated.
  • the on-site vehicle management process may include managing vehicle information.
  • Managing the vehicle information may include managing the aforementioned part information, damage information, vehicle type information, and/or identification information.
  • managing the vehicle information may include managing the vehicle information in time series.
  • Managing the vehicle information may include classifying the vehicle information.
  • Managing the vehicle information may include managing one or more pieces of information in association.
  • Managing the vehicle information may include managing the history of the vehicle information.
  • History management of vehicle information may mean listing and/or managing one or more vehicle information acquired at different times in time series.
  • managing vehicle information in the on-site vehicle management process means managing damage information indicating damage to the vehicle for a specific vehicle together with time information indicating a time at which the damage information was acquired.
  • managing the vehicle information acquires first information indicating that the first damage has occurred to the first vehicle at a first time point, and the second damage has occurred to the first vehicle at a second time point that is after the first time point It may include acquiring second information indicating
  • managing the vehicle information in the parking management process may mean managing damage information indicating damage to the vehicle with respect to the parked vehicle along with time information indicating the time at which the damage information was acquired.
  • managing the vehicle information in the parking management process means that when the first parked vehicle enters the parking area, acquiring first information indicating that the first parking vehicle has suffered the first damage, and the first parked vehicle enters the parking area It may include acquiring second information indicating that the second damage has occurred to the first parked vehicle when taking the vehicle out, and managing the first information and the second information in chronological order.
  • managing vehicle information in the taxi vehicle management process may mean managing damage information indicating damage to the vehicle for a taxi vehicle together with time information indicating a time at which the damage information was acquired.
  • managing the vehicle information in the taxi vehicle management process means that the first taxi obtains first information indicating that the first damage has occurred in the first taxi before driving, and after the first taxi drives the first taxi, the second in the first taxi It may include acquiring second information indicating that damage has occurred, and managing the first information and the second information in chronological order.
  • History management of damage information may include acquiring new damage information for new damage that has occurred.
  • History management of damage information may include acquiring new damage information based on a plurality of images obtained by photographing the same vehicle at various time points.
  • the damage information history may be managed for each driver in consideration of driver information.
  • the management device 341 may manage the damage information history of the taxi vehicle for each driver in consideration of driver information.
  • the management device 341 manages the damage information history of the taxi vehicle by driver, so that when damage occurs to the taxi vehicle, it is possible to clarify the location of responsibility, It is easy to determine whether it is the case, and it is possible to provide the effect of reducing the taxi vehicle management cost accordingly.
  • the management device 341 manages the damage information history of the taxi vehicle for each driver, so that the driver can be evaluated, for example, a safe driving score, etc. It is possible to provide the effect of facilitating the management of drivers within the company by granting a fine or granting a prize in case of no accident for a certain period of time.
  • the management device 341 managing the damage information history of the taxi vehicle for each driver in consideration of the driver information means that the first damage information obtained based on the first damage image calculated before the first taxi driver is driven And it may include managing the second damage information obtained based on the second damage image calculated after the driving of the first taxi driver in consideration of time.
  • the management device 341 managing the damage information history of the taxi vehicle in consideration of the driver information means that the first taxi driver is the first obtained based on the first damage image calculated before driving the first taxi.
  • the first damage history of the first user obtained by comparing the damage information and the second damage information obtained based on the second damage image calculated after the first taxi driver drives the first taxi, and the first taxi driver 2
  • the damage information history may be managed for each vehicle.
  • the management device 341 may manage the damage information history of the taxi vehicle for each vehicle. Since the management device 341 manages the damage information history of the taxi vehicle for each vehicle, it is possible to provide an effect of easily identifying damage information that has occurred from the past to the present in the taxi vehicle in time series. In addition, the management device 341 manages the damage information history of the taxi vehicle for each vehicle, so that the repair and inspection schedule of the taxi vehicle can be planned according to the condition of the vehicle as a customized schedule for each vehicle, so that efficient vehicle management can be achieved effect can be provided.
  • the management device 341 managing the damage information history of the taxi vehicle for each vehicle means that the first damage information obtained on the basis of the first image taken before the operation of the first taxi and after the operation of the first taxi It may include managing the second damage information acquired based on the second image taken in consideration of time.
  • the management device managing the damage information history of the taxi vehicle for each vehicle means that the first damage information and the first obtained based on the first damage image calculated before the first taxi is driven by the first taxi driver
  • the first damage history of the first taxi obtained by comparing the second damage information obtained based on the second damage image calculated after the taxi is driven by the first taxi driver, and the first taxi by the second taxi driver
  • it may include managing the obtained second damage history of the first taxi in consideration of time.
  • the management device 341 may manage the damage information history of the parked vehicle for each vehicle.
  • the management device 341 managing the damage information history of the parked vehicle for each vehicle means that the first damage information and the first parking vehicle are obtained based on the first damage image calculated when the first parked vehicle is entered. It may include managing the second damage information obtained based on the calculated second damage image when taking out the vehicle in consideration of time.
  • a vehicle damage management apparatus for acquiring information related to damage to the outside of a vehicle based on a vehicle image may be provided.
  • the vehicle damage management apparatus includes an image acquisition unit configured to acquire at least one target vehicle image obtained by photographing the exterior of the target vehicle, and damage information related to exterior damage of the target vehicle based on the at least one target vehicle image It may include a processing unit.
  • the at least one target vehicle image may include a first target vehicle image obtained by photographing one surface of the target vehicle.
  • One surface of the target vehicle may be the front or rear of the vehicle.
  • the at least one target vehicle image may include a vehicle image representing at least one of a front surface, a rear surface, a left surface, a right surface, a left front surface, a left rear surface, a right front surface, a right rear surface, and an upper surface of the vehicle.
  • the first target vehicle image may include a first area corresponding to the target vehicle and a second area in which identification information of the target vehicle is located.
  • the first area may be larger than the second area.
  • the first area may include a second area.
  • the processor may obtain vehicle model information of the target vehicle determined based on the second area and the damage information obtained based on the vehicle model information and the first target vehicle image and related to the first area.
  • the damage information may indicate whether damage exists in the vehicle target vehicle included in the first target vehicle image, and the location, degree, size, type, area, and the like of the damage.
  • the vehicle damage management apparatus may further include an output unit for outputting the damage information.
  • the output unit may output the damage information of the target vehicle.
  • the output unit may output damage information through means such as an image, video, or sound.
  • the output unit may output damage information to an external device through a communication means.
  • the damage information may include damage area information corresponding to damage to the target vehicle.
  • the output unit may output the target vehicle image and the damaged area information superimposed on the target vehicle image.
  • the vehicle damage management apparatus may further include an input unit for obtaining a user input.
  • the processing unit in response to the output of the damage information, may obtain a user response to the damage information through the input unit.
  • the processor may acquire identification information of the target vehicle determined based on the second area.
  • the processing unit may acquire the vehicle number or VIN of the target vehicle determined based on an area corresponding to the license plate or VIN of the vehicle.
  • the processing unit obtains identification information of the target vehicle determined based on the second area, obtains a damage history of the target vehicle corresponding to the identification information of the target vehicle,
  • the damage history may be acquired based on a second target vehicle image captured before the first target vehicle image and may include existing damage information related to the exterior damage of the target vehicle.
  • Existing damage information is damage information acquired on the basis of the second target vehicle image taken before the time when the first target vehicle image is taken, and means damage information, not new damage information to be determined through the first target vehicle image.
  • the processing unit may acquire new damage information corresponding to a time point at which the first target vehicle image of the target vehicle is captured, based on the existing damage information and the damage information.
  • the damage information may include first damage information related to the second area included in the first target vehicle image and second damage information stored in advance in association with identification information of the target vehicle obtained based on the first area. can be created based on
  • the at least one target vehicle image may further include a second target vehicle image obtained by photographing another surface different from the one surface of the target vehicle.
  • the second target vehicle image may be an image obtained by photographing an area that does not include identification information of the target vehicle.
  • the first target vehicle image is a front or rear image obtained by photographing an area including a license plate of the vehicle
  • the second target vehicle image may be an image obtained by photographing a side surface of the vehicle.
  • the second target vehicle image may include a third area corresponding to the target vehicle.
  • the processing unit obtains the vehicle model information of the target vehicle determined based on the second area of the first target vehicle image and the damage information obtained based on the vehicle model information and the second target vehicle image and related to the third area can do.
  • the processing unit may be configured to: based on the first target area image and the vehicle model information, a first part area included in the first area and corresponding to a first part of the target vehicle and a first part area included in the first area and of the target vehicle Part information including a second part area corresponding to the second part may be acquired.
  • the processing unit may acquire part region information corresponding to the damage based on the damage information and the part information.
  • the processing unit may obtain the second area corresponding to the license plate of the target vehicle from the first target vehicle image, and obtain the vehicle model information based on the second area corresponding to the license plate.
  • the processing unit may obtain the damage information based on the target vehicle image by using a neural network model trained to obtain the damage information based on the target vehicle image.
  • the neural network model may be trained to acquire damage information based on the vehicle image by using training data including a vehicle image labeled with a damaged area or damage information.
  • the damage information may include area information indicating an area corresponding to the damage outside the vehicle among the first areas.
  • a vehicle damage management method using an apparatus including an image obtaining unit obtaining a vehicle image and a processing unit obtaining damage information.
  • the vehicle damage management method includes acquiring a target vehicle image ( S3110 ), acquiring vehicle model information of the target vehicle ( S3130 ), and acquiring damage information based on the target vehicle image and vehicle model information (S3150) may be included.
  • the vehicle damage management method may include acquiring at least one target vehicle image obtained by photographing the exterior of the target vehicle through the image acquisition unit ( S3110 ).
  • the at least one target vehicle image includes a first target vehicle image obtained by photographing one surface of the target vehicle, and the first target vehicle image includes a first area corresponding to the target vehicle and identification information of the target vehicle It may include a second area in which is located.
  • the vehicle damage management method may include, through the processing unit, obtaining vehicle model information of the target vehicle determined based on the second area ( S3130 ).
  • the method may include, through the processing unit, acquiring damage information related to the exterior damage of the target vehicle based on the vehicle model information and the first target vehicle image ( S3150 ).
  • a vehicle damage management method comprising: outputting damage information; may further include.
  • the damage information may include damage area information corresponding to damage to the target vehicle, and outputting the damage information may further include outputting the target vehicle image and the damage area information superimposed on the target vehicle image.
  • a vehicle damage management method for acquiring identification information and acquiring a damage history and/or new damage information of a vehicle based thereon may be provided.
  • 32 is a view for explaining a vehicle damage management method according to an embodiment.
  • the vehicle damage management method includes the steps of obtaining identification information of a target vehicle (S3171), obtaining a damage history of the target vehicle (S3173), and/or obtaining new damage information (S3175) may further include.
  • the vehicle damage management method may further include, through the processing unit, obtaining identification information of the target vehicle determined based on the second area ( S3171 ).
  • the vehicle damage management method may further include, through the processing unit, acquiring a damage history of the target vehicle corresponding to the identification information of the target vehicle ( S3173 ).
  • the damage history may be acquired based on a second target vehicle image captured before the first target vehicle image and may include existing damage information related to the exterior damage of the target vehicle.
  • the vehicle damage management method includes, through the processing unit, based on the existing damage information and the damage information, acquiring new damage information corresponding to a time point at which the first target vehicle image of the target vehicle is captured (S3175) may further include.
  • the damage information is included in the first area and may include damage area information corresponding to damage to the target vehicle.
  • the at least one target vehicle image may further include a second target vehicle image obtained by photographing another surface different from the one surface of the target vehicle, and the second target vehicle image may include a third area corresponding to the target vehicle.
  • the obtaining of the damage information includes: vehicle model information of the target vehicle determined based on the second area of the first target vehicle image, and obtained based on the vehicle model information and the second target vehicle image, wherein the third area It may further include obtaining the damage information related to.
  • a vehicle damage management method for acquiring parts information and acquiring parts area information corresponding to the damage based thereon.
  • the vehicle damage management method may further include obtaining parts information of the target vehicle ( S3191 ) and obtaining parts area information corresponding to the damage ( S3193 ).
  • the vehicle damage management method includes, through a processing unit, a first part region and the first region included in the first region and corresponding to the first part of the target vehicle, based on the first target region image and the vehicle model information.
  • the method may further include obtaining part information including a second part area included in the target vehicle and corresponding to the second part of the target vehicle ( S3191 ).
  • the vehicle damage management method may further include, through the processing unit, obtaining part area information corresponding to the damage based on the damage information and the parts information ( S3193 ).
  • Acquiring the part area information corresponding to the damage may include obtaining the name, identification code, number, and the like of the part in which the damaged area is located.
  • Acquiring the part area information corresponding to the damage may include obtaining the part-damage information described herein.
  • the vehicle damage management method may further include, through the processing unit, obtaining the second area corresponding to the license plate of the target vehicle from the first target vehicle image.
  • the obtaining of the vehicle model information may further include obtaining the vehicle model information based on the second area corresponding to the license plate.
  • the obtaining of the damage information may further include obtaining the damage information based on the target vehicle image by using a neural network model trained to obtain the damage information based on the target vehicle image.
  • the vehicle damage management method may further include an input unit for obtaining a user input.
  • the vehicle damage management method may further include, in response to the processing unit outputting the damage information, obtaining a user response to the damage information through the input unit.
  • the above-described vehicle damage management method may be provided as a computer-readable recording medium storing a program for performing the method.
  • the on-site vehicle management system may output vehicle information and auxiliary information obtained based on the vehicle information through the display of the management device 341 . Also, the management device 341 may output vehicle information and auxiliary information through an electronic device connected to the management device 341 .
  • the management device 341 may output vehicle information such as parts information, damage information, vehicle type information, and identification information.
  • vehicle management system may output user information and/or location information together.
  • the management device 341 may output a vehicle image and vehicle information corresponding to the vehicle image.
  • the vehicle management system may output a plurality of vehicle images and vehicle information corresponding to each vehicle image.
  • the plurality of vehicle images may be images captured at various angles with respect to the vehicle.
  • 44 to 48 are diagrams for explaining a screen for outputting vehicle information and/or auxiliary information in the management device 341 according to an exemplary embodiment.
  • the management device 341 may output the obtained vehicle information and/or auxiliary information obtained based on the vehicle information.
  • the management device 341 may output vehicle information and/or auxiliary information to the information communication device of the manager.
  • the above-described vehicle information and/or auxiliary information may be output to an information communication device of a vehicle driver.
  • the management device 341 may output vehicle information and/or auxiliary information when new damage information is detected in the parked vehicle. In addition, the management device 341 may output vehicle information and/or auxiliary information based on an input by the user interface of the management device 341 when the driver asserts that the parked vehicle is damaged during parking. . In addition, the management device 341 may output vehicle information and/or auxiliary information even when new damage information is not detected or the driver does not claim damage during parking for parking vehicle management.
  • the management device 341 may output that additional damage has occurred to the driver of the vehicle in a state in which the circuit breaker PB is not opened. In this case, the management device 341 can output that additional damage has occurred to the information and communication device of the vehicle driver, and when the vehicle driver confirms the additional damage, the management device 341 is a circuit breaker (PB) may be opened.
  • PB circuit breaker
  • the management device 341 may transmit, to the information communication device of the vehicle driver, that additional damage has occurred after opening the circuit breaker PB when new damage information of the outgoing vehicle is detected.
  • 44 is a view for explaining a screen for outputting damage information among the output screens of the management device 341 .
  • the output screen includes a vehicle image display unit (CI), a direction indicator (DI) indicating a photographing direction of a vehicle image, a vehicle-related non-image information display unit (IF), and a damage information table indicating vehicle damage information ( DT) may be included.
  • CI vehicle image display unit
  • DI direction indicator
  • IF vehicle-related non-image information display unit
  • DT damage information table indicating vehicle damage information
  • the vehicle image display unit CI may display an image from which noise is removed.
  • the vehicle image display unit CI may display a vehicle image photographed when the vehicle is taken out of the parking area.
  • the vehicle image display unit CI may display a vehicle image including damage area information of the vehicle photographed when the vehicle is taken out of the parking area.
  • the damaged area information may include an existing damaged area ED and a new damaged area ND.
  • the existing damaged area ED and the new damaged area ND may be displayed differently.
  • the existing damaged area ED and the new damaged area ND may be displayed with different colors or different types of bounding boxes.
  • vehicle image displayed on the vehicle image display unit CI may be output in a form that can be enlarged or reduced by the user.
  • the direction indicator DI may indicate a photographing direction of a vehicle image being displayed. Also, the direction indicator DI may indicate a left direction of the vehicle, and the vehicle image display unit CI may display a vehicle image photographed from the left side of the vehicle. Vehicle images photographed in different directions may correspond to each of the plurality of directions indicated by the direction indicator DI. A corresponding vehicle image may be displayed in response to a user input for selecting a direction of the direction indicator DI.
  • the non-image information display unit IF may display non-image information related to the vehicle.
  • the non-image information display unit IF may display a time point at which a vehicle image is captured, a vehicle number, a vehicle model, and the like.
  • the time at which the vehicle image is captured may mean the time of entering the parking area and the time of leaving the parking area.
  • the non-image information display unit IF may display a vehicle number and a vehicle model name.
  • the damage information table DT may indicate the number of damage for each part corresponding to the vehicle image.
  • the part corresponding to the image may mean a part corresponding to the direction of the currently displayed vehicle image.
  • the damage information table DT since the image taken from the left side of the vehicle is displayed, the damage information table DT may indicate the number of damages for each component with respect to the components located on the left side of the vehicle.
  • the number of damages per component may include the number of existing damages and the number of new damages (separated by +) per component.
  • the damage information table DT may indicate that existing damage is present in the left front door, the left door handle, and the left rear fender, and new damage is present in the left front door and the left rear fender.
  • the damage information table DT is only an example of the damage information display unit, and information on existing damage or new damage may be displayed in another form.
  • Figure 46 is a view for explaining a screen for selecting whether or not the user or the administrator agrees to the damage information among the output screen of the management device 341
  • Figure 46 is related to the damage information among the output screen of the management device (341) It is a diagram for explaining a screen including detailed information.
  • a screen for outputting damage information among the output screens of the management device 341 may include a detailed confirmation button CO. If the user or manager does not agree with the information on the new damaged area ND or wants to obtain more specific information even if they agree, they can click the detailed confirmation button CO included in the vehicle image display unit CI.
  • the output screen of the management device 341 may display the damage image calculated when entering the vehicle and the damage image calculated when exiting the vehicle.
  • the damaged image calculated when entering the vehicle and the damaged image calculated when leaving the vehicle may be vehicle images photographed in directions corresponding to each other.
  • the damage image calculated when entering the vehicle and the damage image calculated when leaving the vehicle may include at least one main part of the vehicle, and at least one main part of the vehicle may be common.
  • the output screen of the management device 341 may display an image in which incident value damage information is mapped to valid image data derived when entering a vehicle. Also, the output screen of the management device 341 may display an image in which damage information is mapped when taking out of a vehicle to valid image data derived when taking out a vehicle.
  • the damaged image calculated upon entering the vehicle may include the existing damaged area ED, and the damaged image calculated upon exiting the vehicle may include the new damaged area ND. That is, when the user or manager clicks the detailed check button, the user or manager can obtain more specific information about the new damage by comparing the vehicle image taken when entering the vehicle and the damage image calculated when leaving the vehicle.
  • the screen for outputting damage information among the output screens of the management device 341 may include a selection window CO for selecting whether to agree to the new damage information.
  • the user or administrator may click the 'Confirm' button if they agree to the information on the new damaged area (ND), or click the 'Objection' button if they do not agree.
  • the output screen of the management device 341 may display a damaged image calculated when entering a vehicle and a damaged image calculated when leaving the vehicle.
  • FIG. 47 is a diagram for explaining an output screen including information on a damage history among the output screens of the management device 341 .
  • the output screen including information about the damage history may include a vehicle image display unit CI, a vehicle-related non-image information display unit IF, and a damage history display unit DH.
  • the damage history display unit DH may display damage information that has occurred in the corresponding vehicle from the past to the present.
  • the damage history display unit DH may display information including the date of occurrence of the damage, the time of occurrence of the damage, the number of damage, the location of the damage, and the like for damage that has occurred in the corresponding vehicle from the past to the present.
  • the information output to the display of the management device 341 of the taxi vehicle management system corresponds to the information output from the parking management system described in 3.2.4.2. Accordingly, descriptions overlapping with those described in the parking management system will be omitted.
  • the management device 341 of the taxi vehicle management system may output the obtained vehicle information and/or the obtained auxiliary information based on the vehicle information.
  • the management device 341 may output vehicle information and/or auxiliary information to the information communication device of the manager.
  • the above-described vehicle information and/or auxiliary information may be output to an information communication device of a taxi driver.
  • FIG. 48 is a diagram for explaining an output screen including information about a damage history among the output screens of the management device 341 .
  • the screen for classifying and outputting the history of damage in the taxi by driver may include a driver-related non-image information display unit (IF), a damage history display unit (DH), and a vehicle image display unit (CI). .
  • IF driver-related non-image information display unit
  • DH damage history display unit
  • CI vehicle image display unit
  • the non-image information display unit IF may display information about the driver, for example, information about the driver's name, driver's license information, and the driver's address.
  • the non-image information display unit IF may display information about the total mileage driven by the driver, the total driving time, the total number of accidents, the total number of repairs/replacements, the total repair/replacement costs, and the like.
  • the damage history display unit DH may display damage information caused by the driver from the past to the present.
  • the damage history display unit DH may display information on damage caused by the driver from the past to the present, such as a damage occurring vehicle number, a damage occurring date, the number of damage, and a location of damage.
  • the vehicle image display unit CI may display details regarding damage information selected by the driver or manager when the driver or manager selects any one of the driver's damage histories.
  • the details regarding the damage information selected by the driver or the manager may include information on the insurance number of the accident vehicle, whether parts are replaced/repaired, and the price of parts replacement/repair, and the like.
  • the damage history information output screen may classify and output the damage history generated in the taxi for each vehicle.
  • the management device 341 may link and display the driver when damage has occurred for each damaged area generated in the taxi.
  • a vehicle management system for managing the state of a vehicle using an image captured by a mobile device may be provided.
  • 49 is a diagram for explaining the configuration of a mobile-based vehicle management system.
  • the mobile-based vehicle management system may include a terminal 490 and a server 499 .
  • the terminal 490 may be connected to the server 499 .
  • the terminal 490 may exchange data with the server 499 .
  • the server 499 may be connected to the plurality of terminals 490 to receive and process data from the plurality of terminals 490 .
  • the terminal 490 may include at least one camera module 491 , a control unit 492 , a storage unit 493 , a communication unit 494 , an input unit 495 , and an output unit 496 .
  • the camera module 491 may photograph the exterior of the vehicle.
  • the camera module 491 may photograph the exterior of the vehicle before and after the shared vehicle is used.
  • the storage unit 493 may store photographing data captured by the camera module 491 . Also, the storage unit 493 may store non-image data.
  • the communication unit 494 is configured to transmit/receive data.
  • the terminal 490 and the server 499 may be connected to each other through the communication unit 494 to exchange data.
  • the input unit 495 is configured to receive data from a user or an administrator.
  • the data may include information about the vehicle, user information, and the like.
  • the output unit 496 is a configuration for outputting vehicle-related information to a user or a manager, and may refer to a module such as a display.
  • the control unit 492 may control the storage unit 493 , the communication unit 494 , the input unit 495 , and the output unit 496 .
  • the control unit 492 controls so that the photographed data photographed by the camera module 491 can be stored in the storage unit 493 , and controls data to be transmitted/received from the communication unit 494 in the form of various embodiments, and the input unit 495 ) can be controlled to receive vehicle information and user information, and the output unit 496 can be controlled to output vehicle information to a user or manager.
  • a vehicle management process for managing the state of a vehicle using an image captured by a mobile device may be provided.
  • the mobile-based vehicle management process may be performed by the aforementioned mobile-based vehicle management system.
  • 50 is a diagram for explaining a series of steps performed by the mobile-based vehicle management process.
  • the mobile-based vehicle management process includes the steps of obtaining vehicle data photographed from the mobile (S510), obtaining vehicle information based on the obtained vehicle data (S530), and managing the vehicle information (S510). S550) and outputting vehicle information (S570).
  • each step will be described in more detail.
  • the mobile-based vehicle management process may include acquiring vehicle data required for vehicle management ( S510 ).
  • vehicle data may be provided in various forms.
  • the vehicle data may be image data or non-image data.
  • the vehicle data may be pre-stored in the device or obtained from outside.
  • Acquiring image data may include acquiring image data including a plurality of images and extracting effective image data from among the plurality of acquired images.
  • the image data and the effective image data have a configuration corresponding to the image data and the effective image data described in 3.2.1.1, respectively, and since the contents have been described above, the overlapping contents will be omitted.
  • 51 is a diagram for explaining a request for re-photographing when vehicle damage information included in image data is not sufficient, according to an exemplary embodiment.
  • the mobile-based vehicle management process can operate normally only when the image data includes information on the number of damage, types of damage, degree of damage, location of damage, and information on damaged parts. Accordingly, when the information about the vehicle damage is not sufficiently expressed in the image data, the terminal 490 may request the user or the manager to re-photograph.
  • the image data photographed by the terminal 490 is transmitted to the server 499, and the server 499 determines whether the information about vehicle damage is sufficiently expressed in the image data received, and the result is described above. may be transmitted to the terminal 490 .
  • the terminal 490 may display the determination result to the user through the output unit 496 .
  • the terminal 490 can inform the user that the photographed image data is suitable for shooting when information about vehicle damage is sufficiently expressed, and when the photographed image data does not sufficiently express information about vehicle damage, You can notify the user that a retake is required.
  • the terminal 490 may determine whether the photographed image data sufficiently expresses information about vehicle damage.
  • the image data MBB1 captured by the camera module 491 does not clearly include information regarding the number of damages, types of damage, degree of damage, and the like.
  • the image data MBB2 photographed by the camera module 491 includes information on the location where the damage occurred during the exterior of the vehicle, information on the damaged parts, etc. is not clearly included.
  • control unit 492 of the terminal 490 sends the user or the manager through the output unit 496 on the number of damage, the type of damage, and the degree of damage to the image data MBB3 as shown in FIG. 51 ( c ).
  • a message requesting re-shooting can be displayed so that information about the location of damage, information on damaged parts, etc. can all be included.
  • control unit 492 of the terminal 490 may display a message requesting re-photographing of the existing damaged portion when the photographing of the existing damaged portion stored in the storage 493 has not proceeded.
  • the image data may refer to data captured by the camera module 491 between a plurality of specific viewpoints.
  • the plurality of specific time points may mean different time points.
  • the plurality of specific time points will be described in more detail with specific examples with reference to the drawings.
  • FIG 52 is a diagram for explaining that image data is captured by the camera module 491 at a specific time point according to an embodiment.
  • the image data may include a plurality of images.
  • the image data may include a first image and a second image.
  • the first image is an image captured by the terminal 490 located at a first point having a first distance D1 from a specific point of the vehicle being photographed.
  • the second image is an image captured by the terminal 490 located at a second point having a second distance D2 from the specific point of the vehicle.
  • the first distance D1 and the second distance D2 may be different.
  • the image data may be an image captured by a user's manipulation.
  • the first image and the second image may be images captured by a user's manipulation. That is, the first image may be photographed by the user's first manipulation of the terminal 490 , and the second image may be captured by the second manipulation.
  • the terminal 490 may extract some of the image data captured by the user's manipulation. That is, the terminal 490 is photographed in the form of a moving picture by a user's manipulation, and the terminal 490 may extract image data in which a main part of the image data is photographed as a first image and a second image.
  • the server 499 may receive the image data, and the server 499 may extract image data in which a main part of the image data is captured as a first image and a second image.
  • the image data When the image data is acquired by the camera module 491 at a point having a first distance D1 and a second distance D2 different from the first distance D1, the image data includes the corresponding damage in addition to vehicle damage information. Various information other than information may be included. Accordingly, the terminal 490 may detect effective image data in which noise is removed from the image data, that is, more accurate information on vehicle damage is included.
  • the first image is an image in which a first area related to the exterior of the vehicle is photographed, and the first area includes at least one main part of the vehicle.
  • the second image is an image in which a second area related to the exterior of the vehicle is photographed, and the second area includes at least one main part of the vehicle. In this case, at least some of the main parts of the vehicle photographed by the terminal 490 may be included in common in the first area and the second area.
  • 53 is a view for explaining a photographing guide provided based on information on a target vehicle when photographing a vehicle with the camera module 491 .
  • the terminal 490 may display a shooting guide through the output unit 496 based on the information of the target vehicle when the user or manager takes a picture of the vehicle with the camera module 491 .
  • the information of the target vehicle may be obtained using a neural network model trained to obtain information input by a vehicle user, reservation information of the vehicle user, or vehicle information. For example, when the vehicle user makes a reservation for a specific vehicle type before using the vehicle, the terminal 490 may provide a shooting guide for the vehicle type to the user or the manager through the output unit 496 based on the user's reservation information. there is.
  • the terminal 490 obtains information about the vehicle model through a neural network model trained to acquire vehicle information, and then relates to the vehicle model.
  • a shooting guide may be provided to a user or an administrator through the output unit 496 .
  • the photographing guide shown in (a) of FIG. 53 is exemplary, and the photographing guide according to an embodiment may include various known types of photographing guides.
  • the controller 492 of the terminal 490 activates the shooting button to enable the user's vehicle shooting and storage.
  • the control unit 492 of the terminal 490 automatically controls the camera module 491 of the vehicle. After controlling to photograph the exterior, it is possible to control so that the photographed image is stored in the storage unit 493 of the terminal 490 .
  • the terminal 490 may provide a photographing guide for each part for photographing specific parts of the vehicle as well as providing a photographing guide for photographing the entire vehicle.
  • the photographing guide for each part may be obtained using a neural network model trained to obtain information input by a vehicle user, reservation information of a vehicle user, or vehicle information, and since this has been described above, overlapping content will be omitted.
  • 54 is a view for explaining a photographing map provided when photographing a vehicle with the camera module 491 .
  • the terminal 490 may display a photographing map to the user through the output unit 496 .
  • the terminal 490 may display, through the output unit 496 , a photographing map that guides the user so that all major parts of the exterior of the vehicle can be photographed when the user photographs the vehicle with the camera module 491 .
  • the photographing map may include a UI for inducing photographing of the vehicle in various directions so that all major parts of the exterior of the vehicle may be photographed.
  • the main parts of the vehicle exterior may include a front surface, a rear surface, a front passenger seat front, a passenger seat rear surface, a driver's seat front surface, and a driver's seat rear surface of the vehicle.
  • the photographing map may include a guide unit GU and a photographing unit CB.
  • a guide unit GU and a photographing unit CB.
  • the terminal 490 may guide the photographing through the guide unit GU so that a main part of the vehicle exterior may be photographed when the user photographs the exterior of the vehicle with the camera module 491 .
  • the guide unit GU may include at least one guide so that all major parts of the exterior of the vehicle can be photographed.
  • the terminal 490 may induce vehicle photographing through the guide unit GU so that the vehicle may be photographed in different directions.
  • the guide unit GU includes a first guide for inducing photographing of the front of the vehicle, a second guide for inducing photographing of the front side of the passenger seat, a third guide for inducing photographing of the rear of the passenger seat, and photographing of the rear of the vehicle. It may include a fourth guide for inducing, a fifth guide for inducing photographing of the rear side of the driver's seat, and a sixth guide for inducing photographing of the front side of the driver's seat.
  • the photographing unit CB may include a function of photographing the exterior of the vehicle and storing the photographed image.
  • the photographing unit CB may include a photographing button capable of photographing a main part of the exterior of the vehicle. More specifically, when the user selects any one of the guides described above, the photographing unit CB may include a photographing button capable of photographing the exterior of the vehicle in which the corresponding guide induces photographing.
  • the terminal 490 uses a photographing button capable of photographing the front portion of the vehicle through the output unit 496 .
  • the activated photographing unit CB may be displayed.
  • the controller 492 of the terminal 490 may classify the photographed image as the front portion of the vehicle and store it in the storage 493 .
  • image data acquired by the camera module 491 may include a plurality of images.
  • valid image data among the plurality of images may be extracted so that the mobile-based vehicle management process can be normally performed.
  • step S3513 of FIG. 36 Since the step of extracting valid image data suitable for the mobile-based vehicle management process from the image data corresponds to step S3513 of FIG. 36 , overlapping content is omitted.
  • vehicle data in the form of a non-image other than an image may be obtained.
  • the vehicle data may be non-image data.
  • the vehicle data may be non-image data including information related to the vehicle. Since the non-image data has been described above in 3.2.1.2, redundant contents will be omitted.
  • the non-image data may be previously stored or obtained.
  • the non-image data may be acquired by the camera module 491 .
  • the non-image data may be obtained based on photographing data captured by the camera module 491 .
  • the management device 341 may acquire non-image data based on the image data.
  • processing may be performed on the acquired data.
  • pre-processing may be performed on the acquired data.
  • the terminal 490 may perform pre-processing on at least one valid image data among the image data.
  • the terminal 490 may perform pre-processing based on the first image and the second image among the image data.
  • the terminal 490 may perform noise removal processing based on a plurality of images captured between a plurality of specific points.
  • the terminal 490 may perform noise removal processing based on a plurality of valid image data.
  • An image on which the above-described noise removal processing has been performed may be defined as a damaged image.
  • the terminal 490 may determine vehicle information including damage to the vehicle based on the damage image.
  • the management device 341 may omit the noise removal process.
  • vehicle information which will be described later, may be obtained based on valid image data.
  • the damaged image may be the valid image data.
  • the terminal 490 may perform noise removal processing for removing reflected light, etc., based on a plurality of valid image data.
  • the terminal 490 acquires a plurality of valid image data, and an object whose position is changed (eg, a reflective region corresponding to reflected light) and an object whose position does not change (eg, a vehicle region or a damaged region corresponding to damage to the vehicle) ), it is possible to remove an object whose position changes or an object whose position does not change.
  • the terminal 490 removes noise to obtain a vehicle image from which the reflection area is removed based on effective image data including a damaged area corresponding to a damaged part of the vehicle and a reflection area corresponding to light reflected by the surface of the vehicle. processing may be performed.
  • the effective image data may be image data including a main part.
  • the terminal 490 Since the terminal 490 is not photographed in a fixed form, the first image having a first distance from the main part and the second image having a second distance to the main part are between the camera module 491 from the main part. It is highly probable that the distance of That is, the first distance and the second distance may be different. Accordingly, when the user captures the first image and the second image by the first and second manipulations while carrying the terminal 490 , and when the user carries the terminal 490 , one In the case of capturing a video by manipulation and extracting the first image and the second image based thereon, the first distance and the second distance are highly likely to be different.
  • the first distance may be a distance between the camera module 491 and a first feature point of the vehicle when a first image is captured, and the second distance is between the camera and a first feature point when a second image is captured It can be the distance between
  • the terminal 490 can perform noise removal processing based on this.
  • the noise removal processing is performed in the terminal 490
  • the noise removal processing may be performed in the server 499 .
  • the mobile-based vehicle management process may include obtaining vehicle information based on vehicle data.
  • the vehicle information may include parts information related to parts constituting the target vehicle, damage information related to damage inside/outside the target vehicle, vehicle model information related to the type of the target vehicle, and/or identification information for identifying the target vehicle. .
  • Vehicle information may be extracted from vehicle data or obtained by processing vehicle data. Vehicle information may be obtained using vehicle data as input data, an algorithm designed to obtain vehicle information, or a neural network model trained to obtain vehicle information.
  • the terminal 490 may acquire vehicle information based on the damaged image.
  • the terminal 490 may acquire damage information based on the damage image.
  • the terminal 490 may acquire shared vehicle information using a pre-stored database.
  • the shared vehicle information may include vehicle type information indicating a vehicle type, manufacturer, model name, year, and the like of the shared vehicle.
  • the shared vehicle information may further include parts information indicating the number, type, name, identification information, and the like of parts constituting the shared vehicle.
  • the shared vehicle information may further include additional information including personal information of the shared vehicle user or an accident history of the shared vehicle.
  • the shared vehicle information may include additional damage information generated inside/outside the target vehicle.
  • the additional damage information may be calculated based on the damage image of the vehicle before the user uses the vehicle and the damage image of the vehicle after the user uses the vehicle.
  • the additional damage information may be calculated by comparing the damage image of the vehicle before the user uses the vehicle with the damage image of the vehicle after the user uses the vehicle.
  • the additional damage information may be calculated based on damage information calculated based on the damage image of the vehicle before the user uses the vehicle and damage information calculated based on the damage image of the vehicle after the user uses the vehicle.
  • the terminal 490 stores at least one of the damage image and damage information of the vehicle before the user uses the vehicle, and calls it after the user uses the vehicle, and the damage image and damage information of the vehicle after the user uses the vehicle It is possible to calculate additional damage information by comparing with at least one of the.
  • the terminal 490 may store non-image data of the vehicle before the user uses the vehicle in association with the damaged image and damage information.
  • the terminal 490 may store the damage image and damage information of the vehicle before the user uses the vehicle in association with the vehicle number of the vehicle.
  • the terminal 490 loads the damage image and damage information linked with the vehicle number of the vehicle based on the recognized vehicle number, and uses this information on the vehicle after the user uses the vehicle. Comparing with the damage image and damage information, additional damage information can be calculated.
  • the mobile-based vehicle management process may include managing vehicle information.
  • Managing the vehicle information may include managing the aforementioned part information, damage information, vehicle type information, and/or identification information.
  • managing the vehicle information may include managing the vehicle information in time series.
  • Managing the vehicle information may include classifying the vehicle information.
  • Managing the vehicle information may include managing one or more pieces of information in association.
  • the vehicle information management may be performed by the server 499 .
  • Managing the vehicle information may include managing the history of the vehicle information.
  • History management of vehicle information may mean listing and/or managing one or more vehicle information acquired at different times in time series.
  • managing vehicle information in the mobile-based vehicle management process may mean managing damage information indicating damage to the vehicle for a specific vehicle together with time information indicating a time at which the damage information was acquired.
  • managing the vehicle information acquires first information indicating that the first damage has occurred to the first vehicle at the first time point, and the second damage has occurred to the first vehicle at a second time point that is after the first time point It may include acquiring second information indicating , and managing the first information and the second information in time order.
  • managing vehicle information in the car-sharing process may mean managing damage information indicating damage to the vehicle with respect to the shared vehicle together with time information indicating a time at which the damage information was acquired.
  • managing vehicle information in the car-sharing process means that the first user obtains first information indicating that the first damage has occurred in the shared vehicle before using the first vehicle, and the first user uses the first vehicle After obtaining second information indicating that the second damage has occurred in the shared vehicle, the first user obtains third information indicating that the third damage has occurred in the shared vehicle before using the second vehicle, and the first user After acquiring the fourth information indicating that the fourth damage has occurred to the shared vehicle after using the second vehicle, it may include managing the first information, the second information, the third information, and/or the fourth information in chronological order.
  • managing vehicle information in the car-sharing process means acquiring first information indicating that the first damage has occurred to the shared vehicle after the first user's use of the shared vehicle, and providing the shared vehicle with the second user before using the shared vehicle. After obtaining the second information indicating that the second damage has occurred, and after obtaining the third information indicating that the third damage has occurred in the shared vehicle after the second user uses the shared vehicle, the first information, the second information and / or may include managing the third information in chronological order.
  • the first user may mean a person who uses the shared vehicle in preference to the second user.
  • History management of damage information may include acquiring new damage information for new damage that has occurred.
  • History management of damage information may include acquiring new damage information based on a plurality of images obtained by photographing the same vehicle at various time points.
  • Damage information history can be managed for each user in consideration of user information.
  • the terminal 490 may manage the damage information history of the shared vehicle for each user in consideration of user information.
  • the terminal 490 manages the damage information history of the shared vehicle for each user, so that when damage occurs to the shared vehicle, it is possible to clarify the location of responsibility, and to determine which user caused the damage that occurred in the shared vehicle in the present or in the past. It is easy to understand, and it can provide the effect of reducing the cost of managing a shared vehicle.
  • the terminal 490 may provide an effect of performing an evaluation of the user by managing the damage information history of the shared vehicle for each user.
  • that the terminal 490 manages the damage information history of the shared vehicle for each user in consideration of user information is first information indicating that the first damage occurred in the shared vehicle before the first user used the first vehicle. and managing additional damage information that occurred during the first user's use of the first vehicle obtained by comparing the second information indicating that the second damage occurred to the shared vehicle after the first user used the first vehicle, and the first user
  • the third information obtained by comparing the third information indicating that the third damage occurred to the shared vehicle before using the second vehicle and the fourth information indicating that the fourth damage occurred to the shared vehicle after the first user used the second vehicle 1 may mean managing additional damage information that occurred while using the user's second vehicle.
  • the damage information history may be managed for each vehicle.
  • the terminal 490 may manage the damage information history of the shared vehicle for each vehicle. Since the terminal 490 manages the damage information history of the shared vehicle for each vehicle, it is possible to provide the effect of easily identifying damage information that has occurred from the past to the present in the shared vehicle in time series. In addition, the terminal 490 manages the damage information history of the shared vehicle for each vehicle, so that the repair and inspection schedule of the shared vehicle can be planned according to the condition of the vehicle as a customized schedule for each vehicle, thereby enabling efficient vehicle management effect can be provided.
  • the terminal 490 manages the damage information history of the shared vehicle for each vehicle
  • the sharing of the first information and the second user indicating that the first damage has occurred in the shared vehicle after the first user uses the shared vehicle It may mean managing additional damage information that occurs during parking of the shared vehicle by comparing the second information indicating that the second damage has occurred in the shared vehicle before using the vehicle.
  • the terminal 490 manages the damage information history of the shared vehicle for each vehicle
  • the first information indicating that the first damage has occurred in the shared vehicle after the first user's use of the shared vehicle or the second user's shared vehicle Comparing the second information indicating that the second damage occurred to the shared vehicle before use with the third information indicating that the third damage occurred to the shared vehicle after the second user used the shared vehicle, the second user is using the shared vehicle It may mean managing additional damage information that has occurred.
  • the mobile-based vehicle management system may output vehicle information and auxiliary information obtained based on the vehicle information through the output unit 496 of the terminal 490 . Also, the terminal 490 may output vehicle information and auxiliary information through the server 499 connected to the terminal 490 .
  • the terminal 490 may output vehicle information such as parts information, damage information, vehicle type information, and identification information.
  • vehicle management system may output user information and/or location information together.
  • the terminal 490 may output a vehicle image and vehicle information corresponding to the vehicle image.
  • the vehicle management system may output a plurality of vehicle images and vehicle information corresponding to each vehicle image.
  • the plurality of vehicle images may be images captured at various angles with respect to the vehicle.
  • 55 is a diagram for explaining a screen for outputting vehicle information and/or auxiliary information in the terminal 490 according to an embodiment.
  • the terminal 490 may output the obtained vehicle information and/or auxiliary information obtained based on the vehicle information.
  • the terminal 490 may output vehicle information and/or auxiliary information to the information communication device of the user or manager.
  • the terminal 490 may output vehicle information and/or auxiliary information when additional damage information is detected in the shared vehicle. Also, the terminal 490 may output vehicle information and/or auxiliary information when additional damage is detected in the shared vehicle before/after the user's shared vehicle use. In addition, the terminal 490 may output vehicle information and/or auxiliary information even if additional damage information is not detected for management of the shared vehicle.
  • 55 (a) is a diagram for explaining a screen for outputting information about the current external state of the shared vehicle.
  • the shared vehicle exterior information screen may include a damage information table and a damage image on which damage information of the vehicle exterior is displayed.
  • the vehicle exterior information output screen may include a damage information table that displays information on damage that has occurred in the shared vehicle.
  • the damage information table may include damaged vehicle parts, types of damage, degree of damage, number of damage, and the like.
  • the vehicle exterior information output screen may include a damage image in which damage information is displayed.
  • the damaged image may include damaged area information, and the damaged area information may include an existing damaged area (ED).
  • ED existing damaged area
  • the vehicle exterior information output screen may include a selection window for selecting whether to agree to the existing damage information. Users can click the 'Confirm' button if they agree to the information about the damaged area, or click the 'Objection' button if they do not agree. When the 'Confirm' button is clicked by the user, the terminal 490 may inform the server 499 that the collective agreement for the existing damage information has been performed.
  • the vehicle exterior information output screen may display a damage image in which damage information is displayed.
  • the terminal 490 may display the vehicle exterior information output screen so that the user's individual consent to the damaged image can be progressed. That is, the information on the damaged image of the terminal 490 may be mapped to the vehicle image and output, and the vehicle image may be rotated, enlarged, reduced, or moved by a user's manipulation.
  • the terminal 490 may display a button for consenting to the damaged part of the vehicle image, and when the user presses the button, it is determined that individual consent has been made, and the consent information is transferred to the server 499 can be sent to
  • 55B is a view for explaining a vehicle exterior photographing request screen among output screens of the shared vehicle management system.
  • the vehicle exterior photographing request screen may include a guide unit and a photographing unit.
  • the vehicle exterior photographing request screen may include a guide unit for guiding photographing so that a major part of the exterior of the vehicle can be photographed, and a photographing unit including a photographing button for photographing the exterior of the vehicle.
  • the vehicle exterior photographing request screen according to an embodiment may be a screen that is essentially output before the user uses the vehicle, but is not limited thereto. That is, the vehicle exterior photographing request screen may be selectively output by the user.
  • FIG. 55C is a view for explaining a screen for outputting information on whether additional damage has occurred to the vehicle after photographing the exterior of the vehicle is completed.
  • the vehicle damage information screen is a damage information table, a selection window for selecting whether to confirm or agree to the occurrence of additional damage and/or damage in which additional damage information is displayed May contain images.
  • the screen for outputting additional damage information may include a damage information table that displays information about damage that has occurred to the shared vehicle.
  • the damage information table may include damaged vehicle parts, types of damage, degree of damage, number of damage, and the like.
  • the screen for outputting the additional damage information may include a selection window for selecting whether to agree to the new damage information.
  • the user can click the 'Confirm' button if they agree to the information about the new damaged area (ND), or click the 'Objection' button if they do not agree.
  • the terminal 490 may inform the server 499 that the collective agreement for the existing damage information has been performed.
  • the terminal 490 may perform a procedure of obtaining an individual consent for the new damage information by using a plurality of individual buttons, like the procedure for obtaining the consent for the existing damage information described above.
  • the screen outputting the additional damage information may include a damage image in which the additional damage information is displayed.
  • the damaged image may include damaged area information
  • the damaged area information may include an existing damaged area ED and a new damaged area ND.
  • the existing damaged area ED and the new damaged area ND may be displayed differently.
  • the existing damaged area ED and the new damaged area ND may be displayed with different colors or different types of bounding boxes.
  • 55 (d) is a view for explaining a screen including detailed information regarding damage information that has occurred in the shared vehicle.
  • the output screen of the shared vehicle management system shows the damaged image extracted before the user's shared vehicle use and the damaged image extracted after the user's shared vehicle use.
  • the damaged image extracted before using the shared vehicle and the damaged image extracted after using the shared vehicle may be damaged images detected in directions corresponding to each other.
  • the damaged image extracted before using the shared vehicle and the damaged image extracted after using the shared vehicle may include at least one main part of the vehicle, and at least one main part of the vehicle may be common.
  • the damaged image extracted before using the shared vehicle and the damaged image extracted after using the shared vehicle may be in the form of mapped onto a processed image, eg, a 3D image of a vehicle, rather than an actual photographed image.
  • the mobile-based vehicle management process may include a step in which the vehicle return process is completed only after the shared vehicle user uses the shared vehicle, photographs the exterior of the shared vehicle, and passes a consent step for additional damage information.
  • the mobile-based vehicle management process may include enabling the vehicle to be used when the shared vehicle user agrees to the current appearance state of the shared vehicle before using the shared vehicle.
  • the steps of re-photographing and registering the part of the vehicle exterior or the entire exterior of the vehicle must be performed. It may include the step of making it available.
  • 56 is a diagram schematically illustrating a process in which a plurality of shared vehicle users use the shared vehicle and end the use according to time sequence.
  • the first user may start using the shared vehicle at a first time point T1 and end using the shared vehicle at a second time point T2 .
  • the second user may start using the shared vehicle at the third time point T3 and end the shared vehicle use at the fourth time point T4 .
  • the first to fourth time points may refer to different time points, respectively, and the first time point may be a time prior to the third time point.
  • the shared vehicle use time of the first user is a first section P1 between the first time point and the second time point
  • the second user's shared vehicle use time is the third time point and the fourth time point. It is the third section P3 that is in between. That is, the first section P1 may mean a period in which the first user uses the vehicle, and the third section P3 may mean a period in which the second user uses the vehicle.
  • the period from the end of the first user's use of the shared vehicle to the start of the second user's use of the shared vehicle may mean a time when the shared vehicle is parked without being driven by the user. That is, the second section P2, which is a period between the second time point T2 and the third time point T3, may mean a section in which the shared vehicle is parked without being driven by the user.
  • the step of using the vehicle after the shared vehicle user agrees to the existing damage information of the shared vehicle before using the shared vehicle
  • the step of using the vehicle after re-photographing the vehicle exterior in case of disagreement and the user of the shared vehicle using the shared vehicle
  • the steps of returning the shared vehicle after taking a picture of it after use will be described in detail.
  • 57 is a view for explaining a vehicle return process in which a shared vehicle user takes a picture of the vehicle exterior and checks additional damage information after using the shared vehicle.
  • a shared vehicle user photographs the exterior of the vehicle after using the shared vehicle and confirms additional damage information will be described.
  • the mobile-based vehicle management system may include a terminal 490 and a server 499 .
  • the terminal 490 may be the terminal 490 of the first user.
  • the vehicle use time of the first user may end at a second time point T2.
  • the first user's terminal 490 may recognize that the vehicle use time has expired under the control of the first user, or the first user's terminal 490 based on information received from the server 499 It may be displayed that the vehicle use time has ended.
  • the first user's terminal 490 may display a shooting guide through the output unit 496 .
  • the display of the photographing guide through the output unit 496 may be an optional process as described in 4.2.1.1.
  • the first user's terminal 490 may take a first image through the camera module 491 under the control of the first user.
  • the first image may include at least one image related to the exterior of the vehicle used by the first user.
  • the first image may be a plurality of images including a main part of the exterior of the vehicle.
  • the first image may be an image captured at a time point corresponding to the second time point T2.
  • the second user's terminal 490 may also take a third image using the camera module 491 at a fourth time T4 when the vehicle use time ends under the control of the second user.
  • the third image may include at least one image related to the exterior of the vehicle used by the second user.
  • the third image may be a plurality of images including a main part of the exterior of the vehicle.
  • the third image may be an image captured at a time point corresponding to the fourth time point T4.
  • the terminal 490 of the first user may transmit the first image to the server 499 through the communication unit 494 after storing the first image in the storage unit 493 .
  • the first user's terminal 490 may transmit the first image to the server 499 at a time point corresponding to the second time point T2 .
  • the second user's terminal 490 may transmit the third image to the server 499 at a time point corresponding to the fourth time point T4 .
  • the server 499 may receive the first image from the first user terminal 490 .
  • the server 499 may determine whether there is additional damage to the vehicle based on the first image.
  • the server 499 may compare the first image with data stored in the server 499 to determine whether the shared vehicle is further damaged.
  • the data stored in the server 499 may be existing damage information of the shared vehicle.
  • the server 499 may analyze the first image to determine whether there is additional damage to the shared vehicle. That is, the server 499 may determine whether there is damage to the vehicle used by the shared vehicle user while the shared vehicle user is driving.
  • the server 499 compares the image of the shared vehicle after the shared vehicle user uses the shared vehicle with the existing damage information of the shared vehicle to determine additional damage information that occurred in the vehicle, thereby taking responsibility for the damage caused to the shared vehicle. can be clarified, and systematic management can be made possible by time-series management of damage to shared vehicles.
  • the server 499 compares the third image with the first image to determine additional damage information, thereby starting from the second time point T2 that is the end point of the first user's use to the second time point that is the end point of the second user's use. Damage information that occurred between 4 time points (T4) can be identified and managed.
  • the server 499 may identify and manage damage information occurring in the second section P2 or the third section P3 by comparing the third image and the first image to determine additional damage information.
  • the server 499 may update damage information about the vehicle when it is determined that no additional damage has occurred to the vehicle. That is, when the server 499 determines that no additional damage has occurred to the vehicle, no additional damage has occurred to the vehicle, and the damage information about the vehicle is the same as the existing damage information. can be updated.
  • the updated damage information may be defined as first information.
  • the damage related to the vehicle Damage information about the vehicle can be updated with the content that the information is the same as the existing damage information.
  • the damage information on the vehicle is the second time point T2 captured at the second time point T2 . 1 It can be updated with the same damage information as determined from the image.
  • the server 499 may transmit the corresponding additional damage information to the user's terminal 490 .
  • the user's terminal 490 may receive additional damage information from the server 499 .
  • the user's terminal 490 may confirm whether the user agrees to the additional damage.
  • the user's terminal 490 may display whether or not to consent to the additional damage to the user by using the output unit 496 and allow the user to select whether to agree to the additional damage information.
  • the user may select whether to agree to whether the additional damage information is damage that occurred during the period of using the vehicle through the input unit 495 .
  • the additional damage information may include additional damage information that occurred during the period of use of the current user.
  • the additional damage information may refer to damage information additionally generated to the vehicle between the first time point T1, which is the start time of the first user's use, and the second time point T2, which is the end point of the first user's use.
  • the additional damage information may refer to damage information additionally generated in the vehicle in the first section P1, which is the period of use of the first user.
  • the additional damage information at the fourth time point T4 is additionally generated in the vehicle between the third time point T3, which is the start time of the second user's use, and the fourth time point T4, which is the use end time point of the second user. It may mean damage information. That is, the additional damage information may refer to damage information additionally generated in the vehicle in the third section P3, which is the period of use of the second user.
  • the additional damage information may refer to damage information additionally generated in the vehicle between the second time point T2, which is the end point of the first user's use, and the fourth time point T4, which is the end point of the second user's use. That is, the additional damage information may refer to damage information additionally generated in the vehicle in the second section P2 or the third section P3.
  • the additional damage information is transmitted between the second time point T2 or the third time point T3 and the fourth time point T4. You can choose whether or not to agree on whether or not the damage has occurred. As another example, whether the second user agrees on whether the additional damage information is damage occurring in the second section (P2) or the third section (P3) when the terminal 490 receives the additional damage information from the server 499 can be selected.
  • the vehicle return process can be completed only after a procedure of confirming the additional damage information by the user's terminal 490 . That is, when the time reserved by the user elapses, the use of the vehicle is terminated, but the vehicle return process can be completed only after the user agrees to or object to the additional damage information.
  • the vehicle return process can be completed. If the user acknowledges that there is no objection to the additional damage information, the vehicle return process may be completed.
  • the vehicle return process may be completed.
  • the vehicle return process may be completed.
  • the user may object to the reason for not agreeing to the additional damage information, and when the objection is completed, the vehicle return process may be completed. That is, when the user does not agree in whole or in part with the additional damage information, the objection procedure may be performed for the part to which the user does not agree, and when the objection procedure is completed, the vehicle return process may be completed.
  • the second user receives the additional damage information from the second time point (T2) or the third time point (T3) to the fourth time point (T4), the damage additionally occurred to the vehicle, or the second section (P2) or In the third section (P3), if you do not fully agree or partially agree that it is an additional damage to the vehicle, you may raise an objection to the part you do not agree with. Thereafter, when the objection procedure is completed, the vehicle return process may be completed.
  • the first user's terminal 490 may transmit the additional damage information to the server 499 by reflecting the user's consent.
  • the server 499 may update the vehicle damage information based on the additional damage information in which the consent of the first user received from the terminal 490 of the first user is reflected.
  • the updated vehicle damage information may be defined as first information.
  • the server 499 can manage the damage information occurring on the exterior of the vehicle in time-series, and damage information on the exterior of the vehicle. By clarifying the location of responsibility for repair, inspection and replacement, it can be done smoothly.
  • the mobile-based vehicle management process may include enabling the vehicle to be used when the shared vehicle user agrees to the existing damage information of the vehicle before using the vehicle.
  • the step of re-photographing the part of the vehicle exterior or the entire exterior of the vehicle must be performed. It may include steps to make this possible.
  • FIGS. 56 and 58 are diagrams for explaining a vehicle use process in which a shared vehicle user displays whether or not to agree to the existing damage information of the shared vehicle before using the shared vehicle, and takes a picture of the exterior of the vehicle when the user does not agree.
  • a series of steps that the shared vehicle user must perform before using the shared vehicle in order to use the shared vehicle will be described with reference to FIGS. 56 and 58 .
  • the user's terminal 490 may activate the smart key before a predetermined time of using the vehicle.
  • the server 499 may control the smart key of the user's terminal 490 to be activated.
  • the second user's terminal 490 may activate the smart key before a predetermined time of the third time point.
  • the second user's terminal 490 may request the server 499 for existing damage information on the vehicle.
  • the existing damage information may mean information about the current appearance state of the shared vehicle.
  • the existing damage information may mean damage information of the vehicle updated by a previous user who used the vehicle just before the current user uses the vehicle.
  • the existing damage information may mean damage information that has already occurred in the shared vehicle before the shared vehicle user uses the shared vehicle.
  • the existing damage information may refer to damage information generated in the shared vehicle by a previous shared vehicle user.
  • the existing damage information may mean damage that occurred before the current shared vehicle user uses the shared vehicle after the previous shared vehicle user completes returning the shared vehicle, for example, damage while parking.
  • the existing damage information may mean first information updated from a first image captured at a second time point T2 after the first user uses the vehicle.
  • the existing damage information is between the first time point (T1) and the second time point (T2) or the third time point (T3). It may mean damage information that has occurred in , and the existing damage information may mean damage information that occurred in the first section P1 or the second section P2.
  • the existing damage information may be an image photographed by the user who has photographed the most recent image.
  • the existing damage information may be expressed through an actual image of the shared vehicle or may be expressed through a processed 3D image.
  • the existing damage information may be provided in a form in which a damaged area is displayed as a bounding box on an actual image of the shared vehicle.
  • the existing damage information may be provided in a form in which a damaged area is displayed as a bounding box on a processed 3D image in which information about a shared vehicle is reflected.
  • the shared vehicle user can more conveniently grasp the overall damage information of the vehicle exterior through a method of rotating the 3D image by 360 degrees.
  • the server 499 may search for the existing damage information and transmit the corresponding content to the second user's terminal 490 .
  • the second user's terminal 490 receives the existing damage information, displays the existing damage information on the second user's terminal 490, and then displays a message to the second user to check the vehicle exterior information. .
  • the second user can choose whether to agree to the existing damage information. That is, the second user's terminal 490 displays information on the existing damage that has occurred in the shared vehicle to the shared vehicle user, and then displays a screen where the second user can select whether to agree to the existing damage information.
  • the consent may include a collective consent and a partial consent for the entire damage information.
  • the terminal 490 of the second user of the mobile-based vehicle management process may activate the door opening function and the starting function of the shared vehicle when the second user agrees to the existing damage information of the shared vehicle before using the shared vehicle.
  • the second user's terminal 490 may activate a door opening function and a starting function of the shared vehicle when the second user inputs a collective agreement through the terminal 490 . That is, the second user can use the shared vehicle when collectively agreeing to the existing damage information of the shared vehicle before using the shared vehicle.
  • that the second user agrees to the existing damage information of the vehicle may mean that the existing damage information displayed on the terminal 490 of the second user agrees with the current exterior state of the vehicle.
  • the second user's terminal 490 may transmit information on the collective agreement to the server 499 .
  • the server 499 may transmit data so that the terminal 490 of the second user can activate the door opening and starting functions after storing the information on the collective agreement.
  • the server 499 may store information indicating that the exterior state of the vehicle is the same as the existing one.
  • the second user's terminal 490 may display the second user to record and register the current exterior state of the vehicle.
  • the second user's terminal 490 may provide a photographing guide so that the second user can photograph the current exterior of the vehicle before using the vehicle. Since the photographing guide overlaps with the contents described in 4.2.1.1, a detailed description thereof will be omitted.
  • the second user's terminal 490 may display the display so that the second user can take a vehicle exterior photograph at a third time point T3 when the vehicle use time starts.
  • the vehicle image taken by the second user before the start of use may be the second image. That is, an image captured by the second user's terminal 490 at a time point corresponding to the third time point T3 may be defined as the second image.
  • the second image is an image related to the exterior of the vehicle, and may include a plurality of images including a main part of the exterior of the vehicle.
  • the first user may also photograph the exterior of the vehicle at the first time point T1 when the vehicle use time starts.
  • the second user's terminal 490 proceeds with the procedure for photographing the exterior only when the second user does not agree with the existing damage information, so that the verification process before using the shared vehicle in case there is no dispute over the damage information It can be further simplified.
  • the image data photographed by the second user may be stored and registered in the terminal 490 of the second user and then transmitted to the server 499 .
  • the second image captured by the second user at the third time point T3 may be stored in the terminal 490 of the second user and then transmitted to the server 499 .
  • an image captured by the first user at the first time point T1 may also be transmitted to the server 499 .
  • the server 499 may determine whether additional damage has occurred to the vehicle based on the second image and the existing damage information. More specifically, after receiving the second image from the second user's terminal 490, the server 499 may compare the second image with existing damage information of the vehicle to determine whether additional damage has occurred to the vehicle. That is, the server 499 may determine whether the current exterior state of the vehicle is different from the existing damage information.
  • the server 499 compares and analyzes the second image captured by the second user at the third time point T3 before use with the first image captured at the second time point T2 after the first user uses it. It can be determined whether additional damage has occurred to the vehicle. That is, the server 499 may determine whether additional damage has occurred in the second section P2 between the second time point T2 and the third time point T3 .
  • the server 499 can update information about the current appearance state of the shared vehicle by determining whether additional damage has occurred, can identify damage information that was missing from the existing damage information, and terminate the use of the previous user It is possible to provide the effect of identifying additional damage information generated during parking after parking.
  • the server 499 compares the second image with the first image to determine additional damage information, so that from the second time point (T2), which is the end point of the first user's use, the second time point that is the use start time of the second user. Damage information occurring between the three time points T3, that is, damage information occurring in the second section P2, may be identified and managed.
  • the second user may not agree with all or part of the existing damage information of the shared vehicle, and the scope of re-photographing the exterior of the shared vehicle may vary depending on whether all or part of the consent is given. A detailed description thereof will be provided later.
  • the server 499 may update damage information about the corresponding vehicle. That is, when determining that additional damage has occurred to the vehicle, the server 499 may update the existing damage information to match the current exterior state of the vehicle. In this case, the updated damage information may be defined as second information.
  • the server 499 may update the existing damage information to match the current exterior state of the vehicle.
  • the update content may relate to damage information that was missing from the existing damage information, and may relate to additional damage information that occurred while parking after the previous user's use of the vehicle was terminated.
  • the server 499 may transmit the determination result to the second user's terminal 490 , and the second user's terminal 490 receives the determination from the server 499 .
  • the second user may select whether to agree to the determination result.
  • the determination result may include information indicating that there is no problem in the existing damage information, that is, information that the existing damage information is the same as the current exterior state of the vehicle.
  • the second user's terminal 490 may activate the door opening and starting functions of the vehicle when the second user completes the procedure for confirming the determination result.
  • the second user's terminal 490 may activate the door opening and starting functions of the vehicle when the second user agrees to the determination result.
  • the server 499 can control the door opening and starting functions of the vehicle to be activated when the second user's terminal 490 transmits the second image, that is, the additional damage described above.
  • the second user's terminal 490 may activate the door opening and starting functions of the vehicle.
  • the server 499 may proceed with the additional damage determination and consent procedure, and proceed with the additional damage determination and consent procedure until the operation of the vehicle is terminated. You can end the return process.
  • the server 499 may perform the additional damage determination and consent procedure after the vehicle return procedure.
  • the server 499 has the effect of simplifying the procedures before starting the vehicle by controlling the door opening and starting functions of the vehicle to be activated when the second user's terminal 490 transmits the second image. there is.
  • the server 499 may store information indicating that the exterior state of the vehicle is the same as before.
  • the second user's terminal 490 may display a display so that the second user can raise an objection to the reason for not agreeing with the determination result. Thereafter, when the second user's objection is completed, the second user's terminal 490 may activate the door opening and starting functions of the vehicle.
  • the server 499 may store information indicating that the exterior state of the vehicle is the same as before or additional damage has occurred according to the objection result. In other words, when the objection to the determination result input by the second user is accepted, the server 499 may store information indicating that additional damage has occurred in the exterior state of the vehicle, and the objection is not accepted. If not, information indicating that the exterior state of the vehicle is the same as the existing one may be stored.
  • the server 499 may update the vehicle damage information based on the existing damage information in which the user's consent and/or objection information received from the terminal 490 is reflected.
  • the updated vehicle damage information may be defined as second information.
  • the second user's terminal 490 is the vehicle when the second user agrees that the existing damage information corresponds to the second image captured at the third time point T3, which is the start point of the second user's use. You can activate the door opening and starting function of the vehicle, and if you do not agree, you can activate the vehicle's door opening and starting function when the objection procedure is completed.
  • the server 499 can control the door opening and starting functions of the vehicle to be activated after the objection procedure by the second user's terminal 490 and the processing procedure therefor are completed, that is, The server 499 may activate the door opening and starting function of the vehicle after the second user's terminal 490 has completed an objection procedure and all consent procedures therefor.
  • the server 499 controls the door opening and starting functions of the vehicle to be activated after the objection procedure by the second user's terminal 490 and the processing procedure therefor are completed, thereby preventing damage to the vehicle that may occur later. There is an effect that can prevent related disputes.
  • the server 499 updates the vehicle damage information based on the information obtained from the terminal 490, so that damage information occurring on the exterior of the vehicle can be managed in a time-series manner, In addition, it is possible to make the repair, inspection, and replacement cost request smoothly by clarifying the location of responsibility for the damage information generated on the exterior of the vehicle.
  • the server 499 updates the vehicle damage information based on the information obtained from the terminal 490, so that the shared vehicle user clarifies the damage information that has already occurred before using the vehicle. You can make it clear that you are not responsible. Furthermore, the server 499 updates the vehicle damage information based on the information obtained from the terminal 490, so that the shared vehicle user can be held responsible only for damage that occurs additionally while using his or her vehicle, and the manager can also damage the vehicle Responsibilities can be clearly identified.
  • the server 499 updates the vehicle damage information based on the information obtained from the terminal 490, so that the manager can grasp the damage information that occurred when the vehicle is parked without being used by the user, and respond accordingly and action may be possible.
  • the server 499 updates the vehicle damage information based on the information obtained from the terminal 490 , so that the manager can use the second time point T2 and the second time point T2, which is the end point of the first user's use. Damage information that occurred between the third time point T3, which is the start time of 2 users, that is, damage information that occurred in the second section P2 may be grasped, and corresponding responses and measures may be taken.
  • the shared vehicle user may not agree with all of the current appearance state of the shared vehicle, and may not partially agree. That is, the shared vehicle user can partially indicate whether or not to agree to the existing damage information of the shared vehicle.
  • FIG. 59 is a view for explaining a process of re-photographing the appearance of the shared vehicle when the shared vehicle user does not agree with the existing damage information of the shared vehicle.
  • a process of re-photographing the exterior of the shared vehicle when the shared vehicle user does not agree with the existing damage information of the shared vehicle will be described with reference to FIG. 59 .
  • the second user's terminal 490 displays the entire exterior of the shared vehicle to be re-photographed. can do.
  • the second user's terminal 490 may output a rephotographing guide that guides all major parts of the exterior of the vehicle to be photographed.
  • the re-photography guide may be provided based on information input by the second user during reservation or information obtained through a learned neural network model.
  • the second user's terminal 490 guides the re-photographing of the part that does not agree.
  • the second user's terminal 490 may display a rephotographing guide corresponding to a part the second user does not agree with.
  • the second user terminal 490 may obtain an image for a part to which the user does not agree.
  • the re-photography guide may be provided based on information input by the shared vehicle user when making a reservation or information obtained through a learned neural network model.
  • the second user's terminal 490 may store the image of the part that does not agree and transmit it to the server 499 .
  • the second user's terminal 490 may simplify the re-photographing procedure by controlling the re-photography to be performed only for the part the second user does not agree with.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 양태는 카메라, 입력부, 통신부, 디스플레이부 및 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 제어부는 기존 손상 정보를 디스플레이부를 통해 현재 사용자에게 제공하고, 기존 손상 정보에 대해 현재 사용자가 동의하는 경우 차량이 사용 가능한 상태가 되도록 변경해 주되, 기존 손상 정보는 이전 사용자가 촬영한 이미지에 기초한 것이고, 디스플레이부는 기존 손상 정보에 대해 현재 사용자가 동의 여부를 선택할 수 있는 알림창을 표시하는 모바일 디바이스에 대한 것이다.

Description

모바일 디바이스
본 발명은 차량 손상 정보 관리 기능을 수행하는 모바일 디바이스에 관한 것으로서, 보다 구체적으로는 차량의 손상 정보와 손상 이력을 관리하는 기능을 수행하는 모바일 디바이스에 관한 것이다.
경제가 발전하고 사회가 고도화됨에 따라, 차량의 판매량은 지속적으로 증가하고 있다. 이에 따라, 주차장, 중고차 거래, 자동차 보험, 렌터카, 공유차 관리 등 차량과 관련된 산업 역시 점차 다양해지며 시장의 크기 역시 날로 증가하고 있다.
관련 시장의 크기가 커짐에 따라, 다양한 소비자의 필요에 의하여 차량의 상태 내지 가치를 평가하고 차량을 지속적으로 관리할 필요성 역시 증가되고 있다. 특히, 차량의 손상 등으로 인한 품질 관리에 실패할 경우, 이는 차량의 가치 하락뿐 아니라 인명 사고 등으로 이어질 가능성도 존재한다. 그러나, 아직까지는 차량의 품질 관리에 대하여는 전문가들을 동원한 인력 투입되는 것이 일반적인 바, 일반 소비자에게는 접근성이 부족한 상황이다.
이에, 일반 소비자들이 다양한 산업 환경에서 차량의 상태를 쉽게 관리할 수 있도록 하는 기술의 개발 필요성이 대두된다.
본 발명의 일 과제는 차량 손상 정보 관리 기능을 수행하는 모바일 디바이스를 제공하는 것이다.
본 발명의 다른 일 과제는 차량의 손상 정보와 손상 이력을 관리하는 기능을 수행하는 모바일 디바이스를 제공하는 것이다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 양태에 따르면, 차량의 이미지를 촬영하는 카메라, 사용자로부터 정보를 입력 받는 입력부, 무선신호를 송수신하는 통신부, 기존 손상 정보와 관련된 메시지를 표시하는 디스플레이부 및 상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 상기 사용자는 이전 사용자 및 현재 사용자를 포함하고, 상기 제어부는 상기 기존 손상 정보를 상기 디스플레이부를 통해 상기 현재 사용자에게 제공하고, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해 주되, 상기 기존 손상 정보는 상기 이전 사용자가 촬영한 제1 이미지를 기초로 산출된 손상 정보이고, 상기 디스플레이부는 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제1 알림창을 표시하는 모바일 디바이스가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 차량 손상 정보 관리 기능을 수행하는 모바일 디바이스가 제공될 수 있다.
본 발명에 의하면, 차량의 손상 정보와 손상 이력을 관리하는 기능을 수행하는 모바일 디바이스가 획득될 수 있다.
본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 차량 관리 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 차량 이미지를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 4는 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 5는 다른 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 6은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다.
도 7은 노이즈 제거 처리를 설명하기 위한 도면이다.
도 8은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 9는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 10은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 신경망 모델을 예시하기 위한 도면이다.
도 14는 일 실시예에 따른 부품 영역 정보를 설명하기 위한 도면이다.
도 15는 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 16은 차량 이미지 및 부품 정보를 설명하기 위한 도면이다.
도 17은 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 18은 다른 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다.
도 19는 일 실시예에 따른 손상 정보를 설명하기 위한 도면이다.
도 20은 손상 영역 정보를 설명하기 위한 도면이다.
도 21은 손상 학습 데이터를 예시하기 위한 도면이다.
도 22는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 차량 정보의 획득을 설명하기 위한 도면이다.
도 24는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 25는 부품-손상 정보를 획득하는 장치에 대하여 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 신규 손상 정보를 설명하기 위한 도면이다.
도 27은 손상 이력 관리를 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 출력 화면을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 손상 영역 정보의 표시를 설명하기 위한 도면이다.
도 30은 일 실시예에 따른 차량 관리 보조 방법을 설명하기 위한 도면이다.
도 31은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 32는 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 33은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다.
도 34는 온-사이트 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 35는 온-사이트 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 36은 온-사이트 차량 관리 프로세스에서 차량 관리에 필요한 차량 데이터를 획득하는 단계를 설명하기 위한 도면이다.
도 37은 일 실시예에 따른 영상 데이터가 감지수단에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 38은 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 39는 또 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 40은 또 다른 실시예에 따른 영상 데이터가 차단기가 작동한 시점부터 일정 범위 내의 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 41은 일 실시예에 따른 영상 데이터로부터 이미지 데이터를 추출하는 방법을 설명하기 위한 도면이다.
도 42는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 43은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다.
도 44는 관리장치의 출력 화면 중 손상 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 45는 관리장치의 출력 화면 중 손상 정보에 대한 사용자 또는 관리자의 동의 여부를 선택할 수 있는 화면을 설명하기 위한 도면이다.
도 46은 관리장치의 출력 화면 중 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 47은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 48은 관리장치의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 49는 모바일 베이스 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 50은 모바일 베이스 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 51은 일 실시예에 따른 영상 데이터에 포함되어 있는 차량 손상 정보가 충분하지 않은 경우 재 촬영 요청을 설명하기 위한 도면이다.
도 52는 일 실시예에 따른 영상 데이터가 특정 시점에서 카메라 모듈에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 53은 카메라 모듈로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 제공되는 촬영 가이드를 설명하기 위한 도면이다.
도 54는 카메라 모듈로 차량을 촬영하는 경우 제공되는 촬영 맵을 설명하기 위한 도면이다.
도 55는 일 실시예에 따른 단말기에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 56은 복수의 공유 차량 이용자가 시간 순서에 따라 공유 차량을 이용하고 이용을 종료하는 과정을 개략적으로 표현한 도면이다.
도 57은 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 차량 반납 프로세스의 설명을 위한 도면이다.
도 58은 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의 여부를 표시하고 동의하지 않을 시 차량 외관을 촬영하는 차량 이용 프로세스의 설명을 위한 도면이다.
도 59는 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량 외관을 재 촬영하는 프로세스를 설명하기 위한 도면이다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장된 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조 부호를 사용하여 설명한다.
본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함 만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
일 예에 따르면, 차량 이미지에 기초하여 차량 외부와 관련된 차량 정보를 획득하는 차량 관리 보조 장치에 있어서, 상기 차량의 외부를 촬영하여 획득된 상기 차량 이미지를 획득하는 이미지 획득부; 상기 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부; 및 상기 차량 이미지에 기초하여 상기 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 상기 차량 정보를 획득하는 처리부; 를 포함하되, 상기 신경망 모델은 상기 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 상기 제1 특징 세트와 상기 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함하고, 상기 처리부는 상기 이미지 획득부를 통하여 대상 차량의 외부를 촬영하여 획득된 대상 차량 이미지를 획득하고, 상기 추가 정보 획득부를 통하여 상기 대상 차량의 특성과 관련된 대상 추가 정보를 획득하고, 상기 대상 차량 이미지에 기초하여 상기 신경망 모델을 이용하여 상기 대상에 대한 대상 차량 정보를 획득하는,차량 관리 보조 장치를 제공할 수 있다.
상기 신경망 모델은 상기 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 상기 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 신경망 모델은 상기 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
차량의 특성과 관련된 상기 추가 정보는, 상기 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
상기 차량의 특성과 관련된 상기 추가 정보는, 상기 차량의 내부를 촬영하여 획득된 상기 차량 내부 이미지에 기초하여 획득될 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 상기 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
일 예에 따르면, 차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 상기 차량 이미지와 상기 추가 정보에 기초하여 차량 정보를 획득하는 처리부를 포함하는 차량 관리 보조 장치를 이용하여, 상기 차량 이미지에 기초하여 상기 차량의 외부와 관련된 정보를 획득하는 차량 관리 보조 방법에 있어서, 상기 이미지 획득부를 통하여 대상 차량에 대한 대상 차량 이미지를 획득하는 단계; 상기 추가 정보 획득부를 통하여 상기 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계; 및 상기 처리부가 상기 대상 추가 정보 및 상기 대상 차량 이미지에 기초하여 상기 대상 차량에 대한 대상 차량 정보를 획득하는 단계; 를 포함하되, 상기 대상 차량에 대한 상기 차량 정보를 획득하는 단계는, 상기 대상 차량 이미지에 기초하여, 상기 차량 이미지에 기초하여 상기 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량에 대한 상기 대상 차량 정보를 획득하는 것을 더 포함하고, 상기 신경망 모델은 상기 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 상기 제1 특징 세트와 상기 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함하는, 차량 관리 보조 방법을 제공할 수 있다.
상기 신경망 모델은 상기 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 상기 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 신경망 모델은 상기 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 상기 제2 특징 세트는 상기 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
상기 차량의 특성과 관련된 추가 정보는, 상기 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
상기 차량의 특성과 관련된 추가 정보는, 상기 차량의 내부를 촬영하여 획득된 상기 차량 내부 이미지에 기초하여 획득될 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 상기 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
상기 제2 부분은 상기 제1 특징 세트 및 상기 추가 정보에 기초하여, 상기 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 상기 제2 특징 세트를 획득하되, 상기 제2 특징 세트는 상기 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
상기 차량 관리 보조 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
일 예에 따르면, 손상 이미지를 출력하는 출력부; 및 카메라에 의해 제1 시점에 촬영된 제1 이미지와 상기 카메라에 의해 제2 시점에 촬영된 제2 이미지를 기초로 상기 손상 이미지를 출력하기 위해 상기 출력부를 제어하는 제어부를 포함하되, 상기 제1 이미지는 차량의 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역의 내부에는 적어도 하나 이상의 이상 영역인 고정 영역 및 가변 영역이 포함되어 있고, 상기 제2 이미지는 차량의 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역의 내부에는 상기 고정 영역 중 적어도 일부 영역 및 상기 가변 영역 중 적어도 일부 영역이 포함되어 있고, 상기 손상 이미지는 상기 제1 이미지 및 상기 제2 이미지로부터 상기 가변 영역이 제거된 이미지이되, 상기 고정 영역은 차량의 손상에 대한 영역이고, 상기 가변 영역은 차량의 손상에 대한 영역이 아닌 영역이고, 상기 제1 시점과 제2 시점은 서로 다른 시점인 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 이미지의 상기 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지의 상기 제1 특징점은 제2 좌표를 가지며, 상기 제1 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제3 좌표이며, 상기 제2 이미지에 포함된 상기 고정 영역을 대표하는 좌표는 제4 좌표이며, 상기 제1 좌표와 제3 좌표 사이의 제1 거리와 상기 제2 좌표와 상기 제4 좌표 사이의 제2 거리는 서로 대응되는 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제5 좌표이고, 상기 제2 이미지에 포함된 상기 가변 영역을 대표하는 좌표는 제6 좌표이며, 상기 제1 좌표와 제5 좌표 사이의 제3 거리는 상기 제2 좌표와 상기 제6 좌표 사이의 제4 거리와 다른 차량 관리 장치를 제공할 수 있다.
상기 제1 거리와 제2 거리의 차이는 상기 제3 거리와 상기 제4 거리의 차이보다 작은 차량 관리장치를 제공할 수 있다.
상기 제어부는 상기 이상 영역에서 고정 영역과 가변 영역을 분류하여, 상기 가변 영역을 제거한 상기 손상 이미지를 출력하고, 상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 이미지의 상기 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지의 상기 제1 특징점은 제2 좌표를 가지고, 상기 제1 이미지의 이상영역을 대표하는 좌표는 제7 좌표이고, 상기 제2 이미지의 이상영역을 대표하는 좌표는 제8 좌표이며, 상기 제어부는 상기 제1 좌표와 상기 제7 좌표 사이의 제5 거리와 상기 제2 좌표와 상기 제8 좌표 사이의 제6 거리에 기초하여 상기 고정 영역과 가변영역을 분류하는 차량 관리 장치를 제공할 수 있다.
상기 제어부는 상기 제5 거리와 제6 거리의 차이가 미리 정해진 값 이상인 경우 가변영역으로 판단하고, 상기 제5 거리와 제6 거리의 차이가 미리 정해진 값 미만인 경우 고정 영역으로 판단하는 차량 관리 장치를 제공할 수 있다.
상기 가변 영역은 차량의 외부의 배경 영역인 차량 관리장치를 제공할 수 있다.
상기 가변 영역은 외부 광에 의해 외부 물체가 반사되어 이미지에 포함된 영역인 차량 관리 장치를 제공할 수 있다.
상기 손상 이미지는 제1 이미지에 상기 가변 영역이 제거된 이미지이고, 상기 제1 이미지는 상기 제2 이미지에 비해 차량이 이미지의 중앙영역에 가깝게 위치하는 이미지인 차량 관리 장치를 제공할 수 있다.
센서부로부터 신호를 수신하는 통신부를 더 포함하고, 상기 센서부는 제1 센서와 제2 센서를 포함하고, 상기 제1 센서는 차량의 진입 방향과 가까운 영역에 위치하고, 상기 제2 센서는 차량의 진입 방향과 먼 영역에 위치하는 차량 관리 장치를 제공할 수 있다.
상기 제1 시점과 상기 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고, 상기 시작시점은 상기 통신부가 제1 센서로부터 제1 신호를 수신한 시점이고, 상기 종료시점은 상기 통신부가 제2 센서로부터 제2 신호를 수신한 시점이며. 상기 제1 이미지와 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는 차량 관리 장치를 제공할 수 있다.
상기 시작 시점은 상기 제1 센서에 의해 차량이 감지된 다음 차량의 감지가 종료된 시점이고, 상기 종료 시점은 상기 제2 센서에 의해 차량이 최초로 감지된 시점인 차량 관리 장치를 제공할 수 있다.
상기 시작 시점은 상기 제1 센서에 의해 차량이 최초로 감지된 시점이고, 상기 종료 시점은 상기 제2 센서에 의해 차량이 감지된 다음 감지가 종료된 시점인 차량 관리 장치를 제공할 수 있다.
차단기로부터 개방 정보를 수신하는 통신부를 더 포함하고, 상기 제1 시점과 제2 시점은 시작시점과 종료시점 사이의 유효 기간 내의 시점이고, 상기 차단기가 개방된 시점은 종료 시점이고, 상기 차단기가 개방된 시점보다 미리 정의된 만큼의 이전의 시점은 시작 시점이며, 상기 제1 이미지와 제2 이미지는 상기 유효 기간 내에 획득된 다수의 이미지에 포함되는 차량 관리 장치를 제공할 수 있다.
상기 카메라는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라는 상기 제1 센서와 대응되는 영역에 위치하여, 차량의 일측면을 촬영하고, 상기 제2 카메라는 상기 제2 센서와 대응되는 영역에 위치하여 차량의 타측면을 촬영하는 차량 관리 장치를 제공할 수 있다.
상기 제1 이미지 및 제2 이미지는 차량과 관련된 다수의 특징점 중 제1 특징점을 포함하고, 상기 제1 시점에 상기 카메라는 상기 제1 특징점과 제1 거리를 가지는 위치에 위치하고, 상기 제2 시점에 상기 카메라는 상기 제1 특징점과 제2 거리를 가지는 위치에 위치하고, 상기 제1 거리와 제2 거리는 상이한 차량 관리 장치를 제공할 수 있다.
상기 차량 관리 장치는 모바일 디바이스이고, 상기 카메라는 상기 모바일 디바이스에 내장된 카메라인 차량 관리 장치를 제공할 수 있다.
상기 카메라는 시작 시점과 종료 시점 사이의 동영상을 촬영하고, 상기 제1 이미지와 상기 제2 이미지는 상기 동영상으로부터 추출된 이미지인 차량 관리 장치를 제공할 수 있다.
일 예에 따르면, 차량 이미지에 기초하여 차량 외부의 손상과 관련된 정보를 획득하는 차량 손상 관리 장치에 있어서, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 이미지 획득부; 및 상기 적어도 하나의 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 처리부; 를 포함하되, 상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함하고- 상기 제1 영역은 상기 제2 영역보다 큼-, 상기 처리부는, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 획득되고 상기 제1 영역과 관련된 상기 손상 정보를 획득하는 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보를 출력하는 출력부; 를 더 포함하되, 상기 출력부는 상기 대상 차량의 상기 손상 정보를 출력하는 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 상기 출력부는 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 차량 손상 관리 장치를 제공할 수 있다.
사용자 입력을 획득하는 입력부;를 더 포함하고, 상기 처리부는, 상기 손상 정보의 출력에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하고, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하고, 상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 손상 정보는, 상기 제1 대상 차량 이미지에 포함되는 상기 제2 영역과 관련된 제1 손상 정보 및 상기 제1 영역에 기초하여 획득되는 상기 대상 차량의 식별 정보와 연관하여 미리 저장된 제2 손상 정보에 기초하여 생성되는, 차량 손상 관리 장치를 제공할 수 있다.
상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함하고, 상기 처리부는 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는, 차량 손상 관리 장치를 제공할 수 있다.
상기 처리부는 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하고, 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부는, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보는 상기 제1 영역 중 상기 차량 외부의 손상과 대응되는 영역을 나타내는 영역 정보를 포함하는 차량 손상 관리 장치를 제공할 수 있다.
일 예에 따르면, 차량 이미지를 획득하는 이미지 획득부 및 손상 정보를 획득하는 처리부를 포함하는 장치를 이용한 차량 손상 관리 방법에 있어서, 상기 이미지 획득부를 통하여, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 단계- 상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함함-; 상기 처리부를 통하여, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보를 획득하는 단계; 및 상기 처리부를 통하여, 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 단계; 를 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보를 출력하는 단계; 를 더 포함하되, 상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 상기 손상 정보를 출력하는 것은 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
일 예에 따르면, 상기 처리부를 통하여, 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는 단계; 를 더 포함하는, 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하는 단계-상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함함-;를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보는 상기 제1 영역에 포함되고 상기 대상 차량의 손상에 대응되는 손상 영역정보를 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함하고, 상기 손상 정보를 획득하는 단계는, 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는 단계;를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 처리부를 통하여, 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하는 단계; 를 더 포함하고, 상기 차종 정보를 획득하는 단계는 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 손상 정보를 획득하는 단계는 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 것을 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
상기 차량 손상 관리 장치는 사용자 입력을 획득하는 입력부를 더 포함하고, 상기 처리부가, 상기 손상 정보를 출력하는 것에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는 단계; 를 더 포함하는 차량 손상 관리 방법을 제공할 수 있다.
일 예로, 상기 차량 손상 관리 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
일 예로, 차량의 이미지를 촬영하는 카메라; 사용자로부터 정보를 입력 받는 입력부; 무선신호를 송수신하는 통신부; 기존 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및 상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 상기 사용자는 이전 사용자 및 현재 사용자를 포함하고, 상기 제어부는 상기 기존 손상 정보를 상기 디스플레이부를 통해 상기 현재 사용자에게 제공하고, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해 주되, 상기 기존 손상 정보는 상기 이전 사용자가 촬영한 제1 이미지를 기초로 산출된 손상 정보이고, 상기 디스플레이부는 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제1 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 제1 이미지는 상기 이전 사용자가 차량 반납 시 촬영한 이미지이며, 상기 기존 손상 정보는 상기 이전 사용자의 차량 이용 종료 시까지 발생한 손상 정보를 의미하는 것인 모바일 디바이스를 제공할 수 있다.
상기 손상 정보는 상기 이전 사용자의 모바일 디바이스에 의해 전송된 상기 제1 이미지에 의해 업데이트된 정보인 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 상기 현재 사용자에게 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 현재 사용자가 상기 기존 손상 정보에 대해 전부 동의하지 않는 경우, 상기 디스플레이부는 상기 현재 사용자에게 차량 전체 외관에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고, 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 현재 사용자가 상기 기존 손상 정보에 대해 일부 동의하지 않는 경우, 상기 디스플레이부는 상기 현재 사용자에게 차량 외관 중 상기 현재 사용자가 동의하지 않은 부분에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고, 상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 가이드를 표시하되, 상기 촬영 가이드는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량의 전체 외관 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 촬영 가이드는 차량 정보에 기초하여 촬영을 가이드해줄 수 있되, 상기 차량 정보는 상기 현재 이용자가 입력한 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 통하여 얻어질 수 있는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 촬영 가이드 내에 상기 차량이 일정 비율 이상 위치하는 경우 자동적으로 촬영 버튼을 실행하여 이미지를 저장하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 맵을 표시하되, 상기 촬영 맵은 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 서버가 상기 제2 이미지와 상기 기존 손상 정보를 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 비교 결과를 상기 통신부를 통해 수신하고, 상기 제어부는 상기 디스플레이부를 통해 상기 비교 결과를 상기 현재 사용자에게 제공하며, 상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제3 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고, 상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량이 사용 가능한 상태가 되도록 변경해주는 모바일 디바이스를 제공할 수 있다.
일 예로, 차량의 이미지를 촬영하는 카메라; 사용자로부터 정보를 입력 받는 입력부; 무선신호를 송수신하는 통신부; 차량 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및 상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되, 상기 사용자는 이전 사용자 및 현재 사용자를 포함하고, 상기 디스플레이부는, 상기 현재 사용자의 차량 반납 시 상기 현재 이용자에게 제3 이미지를 촬영하도록 요구하는 제4 알림창을 표시하고, 상기 제어부는 상기 제3 이미지 촬영이 완료되면 상기 제3 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량의 반납 처리가 완료되도록 처리하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 가이드를 표시하되, 상기 촬영 가이드는 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량의 전체 모습 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 촬영 맵을 표시하되, 상기 촬영 맵은 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 서버가 상기 제3 이미지를 기존 손상 정보와 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 추가 손상 정보를 상기 통신부를 통해 수신하고, 상기 제어부는 상기 디스플레이부를 통해 상기 추가 손상 정보를 상기 현재 사용자에게 제공하며, 상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제5 알림창을 표시하는 모바일 디바이스를 제공할 수 있다.
상기 추가 손상 정보는 상기 현재 사용자의 차량 이용 시작 시점부터 상기 현재 사용자의 차량 이용 종료 시점까지 발생한 손상 정보를 의미하는 것인 모바일 디바이스를 제공할 수 있다.
상기 제어부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량의 반납 처리가 완료되도록 처리하는 모바일 디바이스를 제공할 수 있다.
상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고, 상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량의 반납 처리가 완료될 수 있도록 처리하는 모바일 디바이스를 제공할 수 있다.
아래에서는 도면을 참조하여, 실시 예에 따른 차량관리 장치를 설명한다.
1. 개요
본 명세서에서는 차량의 상태를 관리하기 위한 장치, 방법 및 시스템 등에 대하여 설명한다. 이하에서는 차량의 상태를 관리하기 위한 장치 등에 대하여 몇몇 실시예를 들어 설명한다.
2. 차량 관리 시스템
일 실시예에 따르면, 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
차량 관리 시스템은 적어도 하나의 장치를 포함할 수 있다. 차량 관리 시스템은 적어도 하나의 카메라 모듈을 가지는 장치를 포함할 수 있다. 차량 관리 시스템은 적어도 하나의 제어부를 가지는 장치를 포함할 수 있다. 차량 관리 시스템은 사용자 입력을 획득하는 입력 모듈을 포함하는 장치를 적어도 하나 포함할 수 있다. 차량 관리 시스템은 저장 모듈을 가지는 장치를 적어도 하나 포함할 수 있다. 차량 관리 시스템은 통신 모듈을 가지는 장치를 적어도 하나 포함할 수 있다.
차량 관리 시스템은 태블릿, 스마트폰, PC, 노트북 등의 사용자 장치를 포함할 수 있다. 사용자 장치는 디스플레이, 사용자 인터페이스, 통신 모듈, 카메라 모듈, 메모리 및/또는 컨트롤러를 포함할 수 있다.
차량 관리 시스템은 서버 장치를 포함할 수 있다. 서버 장치는 데이터 또는 프로그램을 저장할 수 있다. 서버 장치는 사용자 장치와 통신할 수 있다.
차량 관리 시스템은 차량 촬영 장치를 포함할 수 있다. 차량 촬영 장치는 서버 장치 및/또는 사용자 장치와 통신할 수 있다.
2.1 차량 관리 프로세스
일 실시예에 따르면, 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 차량 관리 프로세스는 전술한 차량 관리 시스템에 의해 수행될 수 있다.
도 1을 참조하면, 차량 관리 프로세스는 차량과 관련된 차량 데이터를 획득하고(S110), 획득된 차량 데이터에 기초하여 차량 정보를 획득하고(S130), 차량 정보를 관리하고(S150), 차량 정보를 출력하는(S170) 것을 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
2.2 데이터 획득
차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 것을 포함할 수 있다.
차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다. 예컨대, 차량 데이터는 카메라 모듈을 통하여 획득되거나, 사용자 입력 모듈을 통하여 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
2.2.1 이미지 데이터 획득
일 실시예에 따르면, 차량 데이터는 차량을 촬영한 차량 이미지를 포함하는 이미지 데이터일 수 있다. 차량 이미지는 차량의 일부 부품을 포함하는 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보가 포함되도록 차량의 일부를 촬영하여 획득된 이미지일 수 있다.
차량 데이터는 차량을 촬영한 차량 영상 데이터일 수 있다. 차량 데이터는 영상 데이터 및 영상 데이터로부터 추출된 이미지 데이터를 포함할 수 있다. 이하에서는 이미지 데이터를 기준으로 차량 데이터의 실시예에 대하여 설명한다. 다만, 차량 데이터는 이하에서 설명되는 형태의 차량 이미지와 대응되는 형태의 차량 영상 형태로 획득될 수도 있다.
도 2는 일 실시예에 따른 차량 이미지를 설명하기 위한 도면이다.
도 2의 (a)를 참조하면, 일 실시예에 따른 차량 이미지는 차량을 일 방향, 예컨대 측방에서 촬영하여 획득된 이미지일 수 있다. 차량 이미지는 일 방향에서, 프레임 내에 차량 전체가 들어오도록 촬영하여 획득된 이미지일 수 있다.
도 2의 (b)를 참조하면, 일 실시예에 따른 차량 이미지는 차량을 전방에서 촬영하여 획득된 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보를 포함할 수 있다. 식별 정보는 VIN(Vehicle Identification Number) 또는 차번일 수 있다. 도 2의 (b)를 참조하면, 일 실시예에 따른 차량 이미지는 차량의 VIN이 표시된 VIN 영역 또는 차번이 표시된 번호판 영역을 포함할 수 있다.
도 2의 (c)를 참조하면, 일 실시예에 따른 차량 이미지는 차량의 일부 부품, 예컨대 이 포함되도록 촬영된 이미지 일 수 있다.
일 실시예에 따르면, 차량 데이터는 복수의 차량 이미지를 포함할 수 있다.
복수의 차량 이미지는 서로 다른 시점에서 촬영된 하나 이상의 이미지들을 포함할 수 있다. 예컨대, 복수의 차량 이미지는 동일한 차량에 대하여 서로 다른 시점에 촬영된 이미지들을 포함할 수 있다. 복수의 차량 이미지는 동일한 차량을 기준으로, 동일한 방향(예컨대, 전방에서)에서 촬영된 이미지들을 포함할 수 있다.
도 3은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 3을 참조하면, 이미지 데이터는 제1 시점에서 차량을 촬영한 제1 이미지(a), 제1 시점 이후인 제2 시점에서 차량을 촬영한 제2 이미지(b) 및 제3 시점에서 차량을 촬영한 제3 이미지(c)를 포함할 수 있다. 제1 이미지, 제2 이미지 및 제3 이미지는 하나의 영상 데이터로부터 추출된 이미지들일 수 있다. 제1 이미지, 제2 이미지 및 제3 이미지는 동일한 차량에 대하여 같은 방향, 예컨대 좌측에서, 촬영된 이미지일 수 있다.
복수의 차량 이미지는 차량을 다양한 방향에서 촬영하여 획득된 하나 이상의 이미지들을 포함할 수 있다.
도 4는 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 4를 참조하면, 이미지 데이터는 차량의 좌측을 촬영하여 획득된 좌측 이미지(a), 차량의 우측을 촬영하여 획득된 우측 이미지(b), 차량의 전방을 촬영하여 획득된 전방 이미지(c) 및 차량의 후방을 촬영하여 획득된 후방 이미지(d)를 포함할 수 있다.
도 5는 다른 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 5를 참조하면, 이미지 데이터는 차량의 좌전방을 촬영하여 획득된 좌전방 이미지(a), 차량의 좌후방을 촬영하여 획득된 좌후방 이미지(b), 차량의 우전방을 촬영하여 획득된 우전방 이미지(c) 및 차량의 우후방을 촬영하여 획득된 우후방 이미지(d)를 포함할 수 있다.
복수의 차량 이미지는 차량의 서로 다른 부분을 포함하도록 촬영된 하나 이상의 이미지들을 포함할 수 있다.
도 6은 일 실시예에 따른 이미지 데이터를 예시하기 위한 도면이다. 도 6을 참조하면, 이미지 데이터는 차량의 좌전방 휀더가 포함되도록 촬영하여 획득된 제1 이미지(a), 차량의 좌전방 도어가 포함되도록 촬영하여 획득된 제2 이미지(b), 차량의 좌후방 도어를 포함하도록 촬영하여 획득된 제3 이미지(c) 및 차량의 좌후방 휀더가 포함되도록 촬영하여 획득된 제4 이미지(d)를 포함할 수 있다.
일 실시예에 따르면, 차량이 아닌 다른 사물을 촬영한 이미지 데이터가 획득될 수도 있다. 예컨대, 차량 주변 사물을 촬영한 사물 이미지, 차량 주변 환경, 예컨대, 하늘을 촬영한 이미지, 운전자의 신분증 또는 면허증을 촬영한 이미지 등이 획득될 수 있다.
이미지 데이터 또는 영상 데이터는 카메라 모듈을 통하여 획득될 수 있다. 이미지 데이터 또는 영상 데이터는 외부 장치, 예컨대, 카메라 모듈을 가지는 외부 장치로부터 획득될 수 있다.
2.2.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다.
차량 데이터는 차량의 제조사, 모델명, 연식, 제조 시기, 제조 장소, 제조자, 위치, 등록 기준지 등을 나타내는 차량 정보를 포함할 수 있다.
차량 데이터는 차량의 종류를 나타내는 차종 정보를 포함할 수 있다. 차종 정보는 세단, 쿠페, 웨건, 컨버터블, 해치백, SUV, 밴, 트럭, 버스 등, 차량의 차종을 나타낼 수 있다.
차량 데이터는 차량을 식별하기 위한 차량 식별 정보를 포함할 수 있다. 차량 식별 정보는 차량에 부여되는 차량 번호, 차량 식별 번호(VIN) 등을 포함할 수 있다.
일 실시예에 따르면, 비-이미지 형태의 추가 정보가 더 획득될 수 있다. 예컨대, 운전자 또는 차량 소유자의 인적사항을 나타내는 운전자 정보, 차량의 보험 유무, 보험 종류 등을 나타내는 보험 정보, 차량의 사고 이력 등을 포함하는 추가 정보가 더 획득될 수 있다.
비-이미지 데이터는 미리 저장되거나, 획득될 수 있다. 비-이미지 데이터는 사용자 입력을 획득하는 입력 모듈을 통하여 획득될 수 있다. 비-이미지 데이터는 사용자 인터페이스를 통하여 획득될 수 있다. 비-이미지 데이터는 외부 장치로부터 획득될 수 있다.
2.2.3 데이터 처리
획득된 데이터에 대한 처리가 수행될 수 있다.
획득된 이미지 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다. 예컨대, 획득된 이미지(예컨대, 차량 이미지)에 대하여, 밝기 변경, 채도 변경, 색상 변경, 색온도 변경, 휘도 변경, 크기 변경, 이미지 크롭, 화소 수 조정, 사이즈 변경, 가로와 세로의 비율 조정, 화소 선형화(pixel linearization), 필터링, 불량 화소 보정(dead pixel correction), 이미지 선명화(image sharpening), 기하학적 왜곡 보정(geometric distortion correction), 색도 억제(chroma suppression), 이미지 스케일링(image scaling), 디더링(dithering), 보간, 압축(compressing), 압축 해제(decompressing) 등의 처리가 수행될 수 있다.
일 예로, 획득된 이미지 데이터에 대하여 노이즈 제거 처리가 수행될 수 있다. 차량 이미지에 대하여, 노이즈 제거 처리가 수행될 수 있다. 이미지에 포함된 배경 영역 또는 차량 영역에 위치되는 반사광, 얼룩 등의 노이즈, 즉, 차량 관리에 불필요한 이미지 정보를 제거하는 노이즈 제거 처리가 수행될 수도 있다. 이미지에 대하여, 가우시안 필터 등의 처리를 수행하여, 노이즈 제거 처리가 수행될 수 있다. 또는 이미지에 대하여, 노이즈 제거를 위하여 학습된 신경망 모델을 통하여 노이즈 제거 처리가 수행될 수 있다.
도 7은 노이즈 제거 처리를 설명하기 위한 도면이다.
일 실시예에 따르면, 차량 이미지로부터 차량이 아닌 사물을 제거하는 노이즈 제거 처리가 수행될 수 있다. 도 7의 (a) 및 (b)를 참조하면, 일 실시예에 따른 노이즈 제거 처리는 차량에 대응되는 차량 영역 및 차량에 대응되지 않는 영역인 배경 영역을 포함하는 원본 이미지(a)를 획득하고, 배경 영역이 제거된 전처리된 이미지(b)를 획득하는 것을 포함할 수 있다.
노이즈 제거 처리는 원본 이미지로부터 차량 영역을 획득하도록 학습된 신경망 모델을 이용하여 수행될 수 있다. 예컨대, 신경망 모델은 컨벌루션 신경망(CNN; Convolutional Neural Network) 레이어를 포함하고, 원본 이미지에 차량 영역이 마스킹된 복수의 이미지를 포함하는 학습 데이터에 기초하여, 원본 이미지로부터 차량 영역을 추출하도록 학습될 수 있다. 학습된 신경망 모델을 이용하여, 대상 원본 이미지로부터 차량 영역을 추출하고, 나머지 영역은 제거하는 노이즈 제거 처리가 수행될 수 있다.
다른 일 실시예에 따르면, 차량 이미지로부터 차량 정보 획득에 방해가 되는 요소를 제거하기 위한 노이즈 제거 처리가 수행될 수 있다. 차량 정보 획득에 방해가 되는 요소를 제거하기 위한 노이즈 제거 처리는 차량에 대응되는 차량 영역 내에 포함되는 노이즈를 제거하는 것을 포함할 수 있다. 도 7의 (c) 및 (d)를 참조하면, 일 실시예에 따른 노이즈 제거 처리는 차량의 손상 정보를 획득하기 위한 차량 이미지를 획득하고, 차량 영역으로부터 차량의 손상과 무관한 반사광에 대응되는 반사광 영역을 제거하는 것을 포함할 수 있다.
노이즈 제거 처리는 원본 이미지로부터, 반사광이 제거된 이미지를 획득하도록 학습된 신경망 모델을 이용하여 수행될 수 있다. 예컨대, 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 원본 이미지에 반사광 영역이 마스킹된 복수의 이미지를 포함하는 학습 데이터(또는 반사광 영역을 포함하는 원본 이미지 및 반사광 영역이 수작업으로 제거된 이미지)에 기초하여, 원본 이미지로부터 반사광 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 학습된 신경망 모델을 이용하여, 대상 원본 이미지로부터 반사광 영역이 제거된 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다.
다른 일 예로, 복수의 이미지를 포함하는 이미지 데이터에 대하여 노이즈 제거 처리가 수행될 수 있다. 이미지 데이터가 복수의 이미지를 포함하는 경우, 각각의 이미지에 대하여 노이즈 제거 처리를 수행하거나, 하나 이상의 이미지를 함께 이용하여, 보다 정확도가 향상된 노이즈 제거 처리가 수행될 수 있다.
복수의 원본 이미지에 기초하여, 배경 영역이 제거된 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트(예컨대, 차량에 대응되는 오브젝트) 및 위치가 변동되지 않는 오브젝트(예컨대, 배경에 대응되는 오브젝트)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거하는 것을 포함할 수 있다. 위치 변동은 이미지 프레임 내에서의 상대적인 위치 변동을 의미할 수 있다. 예컨대, 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되지 않는 오브젝트를 제거하여, 위치가 변동되는 오브젝트만을 포함하는 이미지를 획득하는 것을 포함할 수 있다. 또 예컨대, 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트를 제거하여, 위치가 변동되지 아니하는 오브젝트만을 포함하는 이미지를 획득하는 것을 포함할 수 있다. 여기서 위치가 변동되는 오브젝트는 가변 영역으로 정의될 수 있고, 위치가 변동되지 아니하는 오브젝트는 고정 영역으로 정의될 수 있다.
도 8은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 8을 참조하면, 차량 영역 및 배경 영역을 가지는 복수의 원본 이미지(a, b 및 c)를 획득하고, 복수의 원본 이미지(a, b 및 c)에 기초하여 배경 영역이 제거된 이미지(d)를 획득하는 노이즈 제거 처리가 수행될 수 있다. 도 8을 참조하면, 복수의 원본 이미지(a, b 및 c)에 기초하여, 이미지 내에서의 위치가 고정된 오브젝트인 배경에 대응되는 영역(즉, 배경 영역)이 제거되고, 이미지 내에서의 위치가 변경되는 오브젝트인 차량에 대응되는 영역(즉, 차량 영역)을 포함하는 이미지(d)가 획득될 수 있다.
배경이 제거된 이미지(d)는 복수의 원본 이미지(a, b 및 c)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 노이즈 제거 처리는 복수의 원본 이미지(a, b 및 c)에 기초하여 배경 영역 및 차량 영역을 획득하고, 복수의 원본 이미지(a, b 및 c)중 어느 하나로부터 배경 영역을 제거하여, 노이즈 제거된 이미지(d)를 획득하는 것을 포함할 수 있다.
여기서, 복수의 원본 이미지(a, b 및 c) 중 적어도 2개의 이미지에 기초하여 노이즈 제거 처리가 수행될 수 있다. 상기 노이즈 제거 처리가 수행되는 이미지는 제1 이미지와 제2 이미지로 정의될 수 있다.
예를 들어, 도 8의 (a)는 제1 이미지로 정의될 수 있고, 도 8의 (b)는 제2 이미지로 정의될 수 있다. 상기 제1 이미지와 제2 이미지는 서로 다른 시점에 촬영된 이미지일 수 있다. 상기 제1 이미지는 제1 시점에 촬영된 이미지일 수 있고, 상기 제2 이미지는 제2 시점에 촬영된 이미지일 수 있다. 상기 제1 시점과 제2 시점은 서로 다른 시점일 수 있다.
노이즈 제거 처리는 신경망 모델을 이용하여 수행될 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 차량 영역 및/또는 배경 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 배경 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 노이즈 제거 처리는 학습된 신경망 모델을 이용하여, 대상 원본 이미지들로부터 배경 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
복수의 원본 이미지에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리가 수행될 수 있다. 노이즈 제거 처리는 복수의 이미지를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거하는 것을 포함할 수 있다. 예컨대, 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 차량 이미지에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 여기서 위치가 변동되는 오브젝트는 가변 영역으로 정의될 수 있고, 위치가 변동되지 아니하는 오브젝트는 고정 영역으로 정의될 수 있다. 즉, 상기 손상 영역은 고정영역으로 정의될 수 있고, 상기 반사 영역은 가변 영역으로 정의될 수 있다.
도 9는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 9를 참조하면, 손상 영역 및 반사 영역을 포함하는 복수의 원본 이미지(a 및 b)를 획득하고, 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리가 수행될 수 있다. 도 9를 참조하면, 복수의 원본 이미지(a 및 b)에 기초하여, 이미지 내에서 또는 차량 영역 내에서 위치 또는 상태가 변경되는 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리가 수행될 수 있다.
반사 영역이 제거된 이미지(c)는 복수의 원본 이미지(a 및 b)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 노이즈 제거 처리는 복수의 원본 이미지(a 및 b)에 기초하여 반사 영역을 획득하고, 복수의 원본 이미지(a 및 b)중 어느 하나로부터 반사 영역을 제거하여, 노이즈 제거된 이미지를 획득하는 것을 포함할 수 있다.
여기서, 복수의 원본 이미지(a, b 및 c) 중 적어도 2개의 이미지에 기초하여 노이즈 제거 처리가 수행될 수 있다. 상기 노이즈 제거 처리가 수행되는 이미지는 제1 이미지와 제2 이미지로 정의될 수 있다.
예를 들어, 도 9의 (a)는 제1 이미지로 정의될 수 있고, 도 9의 (b)는 제2 이미지로 정의될 수 있다. 상기 제1 이미지와 제2 이미지는 서로 다른 시점에 촬영된 이미지일 수 있다. 상기 제1 이미지는 제1 시점에 촬영된 이미지일 수 있고, 상기 제2 이미지는 제2 시점에 촬영된 이미지일 수 있다. 상기 제1 시점과 제2 시점은 서로 다른 시점일 수 있다.
상기 노이즈 제거 처리는 상기 제1 이미지에서의 고정 영역과 가변 영역의 위치와 제2 이미지에서의 고정 영역과 가변 영역의 위치의 차이에 기초하여 수행될 수 있다.
상기 노이즈 제거 처리는 상기 제1 이미지와 제2 이미지에 포함되는 이상 영역의 거리 차이에 의해 고정 영역과 가변 영역이 분류되고, 분류된 고정 영역과 가변 영역 중 가변 영역을 제거하여 손상 이미지를 만드는 것에 의해 처리될 수 있다. 상기 손상 이미지는 상기 제1 이미지와 제2 이미지 중 차량이 이미지의 중앙영역에 가깝게 위치하는 이미지에서 가변 영역을 제거한 이미지일 수 있다.
예를 들어, 상기 제1 이미지는 제1 이상 영역과 제2 이상 영역을 포함하는 다수의 이상 영역을 포함하고, 상기 제2 이미지는 제3 이상 영역과 제4 이상 영역을 포함하는 다수의 이상 영역을 포함하고, 상기 제1 이상 영역과 상기 제3 이상 영역이 대응되고, 상기 제2 이상 영역과 제4 이상 영역이 대응되는 것으로 정의한다.
상기 노이즈 제거처리는 제1 이미지에서의 각각의 이상 영역의 위치와 상기 제2 이미지에서의 각각의 이상 영역의 위치에 기초하여 고정영역과 가변 영역을 분류할 수 있다.
상기 이상 영역의 위치는 차량의 일부 영역을 기준으로 정의되는 상대적 위치일 수 있다. 즉, 제1 이미지와 제2 이미지에 포함된 차량의 다수의 특징점 중 어느 하나의 특징점을 제1 특징점으로 정의하는 경우 상기 이상 영역의 위치하는 상기 제1 특징점을 기준으로 정의될 수 있다.
상기 제1 특징점은 각각의 이미지에서 서로 다른 좌표를 가질 수 있다.
예를 들어, 상기 제1 이미지에서의 제1 특징점은 제1 좌표를 가지고, 상기 제2 이미지에서의 상기 제1 특징점은 제2 좌표를 가질 수 있다.
상기 이상 영역은 하나의 점이 아니라, 면적을 가지는 영역이므로, 상기 제1 특징점과의 비교를 위해서는 각 영역을 대표하는 좌표가 정의되어야 한다. 상기 노이즈 제거처리는 각 영역을 대표하는 좌표를 정의할 수 있다. 상기 노이즈 제거처리는 각 영역에 포함되는 다수의 좌표 중 어느 하나의 좌표를 대표하는 좌표로 정의할 수 있다. 예를 들어, 상기 노이즈 제거처리는 각 영역의 중앙의 좌표를 해당영역을 대표하는 좌표로 정의할 수 있다.
상기 제1 이미지의 제1 이상 영역을 대표하는 좌표는 제3 좌표료 정의될 수 있고, 상기 제2 이상 영역을 대표하는 좌표는 제4 좌표로 정의될 수 있다.
또한, 상기 제2 이미지에서 제3 이상 영역을 대표하는 좌표는 제5 좌표로 정의될 수 있고, 상기 제4 이상 영역을 대표하는 좌표는 제6 좌표로 정의될 수 있다.
상기 제1 좌표와 상기 제3 좌표 사이의 제1 거리와 상기 제2 좌표와 상기 제5 좌표 사이의 제2 거리는 서로 대응될 수 있다. 상기 제1 좌표와 상기 제4 좌표 사이의 제3 거리와 상기 제2 좌표와 상기 제6 좌표 사이의 제4 거리는 다를 수 있다.
상기 제1 거리와 상기 제2 거리의 차이는 상기 제3 거리와 상기 제4 거리의 차이보다 작을 수 있다.
상기 노이즈 제거 처리는 상기 제1 거리와 상기 제2 거리의 차이 값과 상기 제3 거리와 상기 제4 거리의 차이 값에 의해 이상영역이 고정 영역인지 가변 영역인지 분류할 수 있다.
상기 고정 영역은 차량 내에서 위치하는 상대 좌표가 변하지 않고, 상기 가변 영역은 차량 내에서 위치하는 상태 좌표가 변할 수 있다.
상기 노이즈 제거 처리는 상기 제1 거리와 상기 제2 거리의 차이 값이 미리 정해진 값 미만인 경우에 고정 영역으로 분류할 수 있고, 상기 제3 거리와 상기 제4 거리의 차이 값이 미리 정해진 값 이상인 경우 가변 영역으로 분류할 수 있다.
즉, 상기 제1 이상 영역과 제3 이상 영역은 고정 영역으로 분류될 수 있고, 상기 제2 이상 영역과 제4 이상 영역은 가변 영역으로 분류될 수 있다.
노이즈 제거 처리는 신경망 모델을 이용하여 수행될 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 반사 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 반사 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 노이즈 제거 처리는 학습된 신경망 모델을 이용하여, 대상 원본 이미지들로부터 반사 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
한편, 위 실시예들에서는 세 개 또는 두 개의 원본 이미지에 기초하여 노이즈 제거 처리된 이미지를 획득하는 경우를 기준으로 설명하였으나, 이는 예시에 불과하며, 노이즈 제거 처리는 보다 적거나 많은 수의 원본 이미지에 기초하여 수행될 수도 있다.
획득된 비-이미지 데이터에 대한 전처리가 수행될 수 있다.
예컨대, 획득된 비-이미지 데이터는 차량 정보 획득에 용이한 형태로 변형될 수 있다. 비-이미지 데이터는 수치화될 수 있다. 비-이미지 데이터는 바이너리 데이터 형태로 변환될 수 있다. 복수의 비-이미지 데이터에 기초하여, 차량 정보 획득을 위한 점수가 계산될 수 있다.
2.3 차량 정보 획득
차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 정보 획득을 위하여, 입력 이미지를 하나 이상의 라벨에 대하여 분류 또는 예측하는 분류기 알고리즘이 이용될 수 있다. 분류 또는 예측을 위하여, 다양한 형태의 알고리즘이 이용될 수 있다. 예컨대, K-최근접이웃(k-nearest neighbor), 서포트벡터머신(Support Vector Machine), 인공신경망(Artificial Neural Nerwork), 의사결정나무(Decision Tree), 자기조직화 맵(Self-organizing map), 논리적 회귀(Logistic regression) 등이 이용될 수 있다.
인공 신경망은 분류기, 하이브리드형 분류기 (Hybrid classifiers), 앙상블형 분류기 (Ensemble classifiers), 선형 회귀(Linear Regression) 신경망 등일 수 있다. 인공 신경망은 지도 학습, 비지도 학습 또는 강화 학습된 모델일 수 있다.
도 10은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 신경망 모델은 분류기 형태로 마련될 수 있다. 일 실시예에 따르면, 신경망 모델은 입력 레이어(IL), 풀링 레이어(PL), 컨벌루션 신경망 레이어(CL), 전연결 레이어(FCL), 히든 레이어(HL) 및 출력 레이어(OL) 등을 포함하고, 입력 이미지에 기초하여 특징 벡터를 획득할 수 있다. 신경망 모델은 입력 이미지를 하나 이상의 라벨로 분류하는 분류기 형태로 마련될 수 있다. 또는 신경망 모델은 회귀 모델 형태로 마련될 수도 있다. 신경망 모델은 입력에 이미지에 기초하여, 특정 차량 정보에 대한 선형 출력값을 획득하는 회귀 모델로 마련될 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지를 입력으로 하여, 출력 정보를 획득할 수 있다. 출력 정보는 입력된 이미지가 대상 오브젝트를 포함하는지 여부를 나타낼 수 있다. 예컨대, 신경망 모델의 출력 레이어는 확률 함수가 부여된 출력 노드를 포함할 수 있다. 신경망 모델의 출력 레이어는 대상 이미지가 대상 오브젝트를 포함하는지 여부를 나타내는 확률 함수가 부여된 출력 노드를 포함할 수 있다. 출력 레이어는 하나 이상의 대상 오브젝트에 대하여, 입력 이미지가 각각의 대상 오브젝트를 포함하는지 여부를 나타내는 하나 이상의 확률 함수가 부여된 출력 노드를 포함할 수 있다.
차량 정보 획득을 위하여, 입력 이미지에 기초하여, 이미지에 포함된 하나 이상의 오브젝트의 세그멘테이션을 포함하는 세그멘테이션 맵(또는 이미지)를 획득하는 신경망 모델이 이용될 수 있다. 세그멘테이션 맵을 획득하기 위하여, 다양한 형태의 신경망이 이용될 수 있다. 예컨대, FCN(Fully Convolutional Network), SegNet, UNet, UNet++, DeConvNet 등이 이용될 수 있다.
도 11은 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시예에 따른 신경망 모델은 영상 분할(Image Segmentation) 신경망 모델일 수 있다. 신경망 모델은 입력 레이어(IL), 다운샘플링을 수행하는 풀링 레이어(PL), 특징 맵을 획득하는 컨벌루션 신경망 레이어(CL), 세그멘테이션 맵을 획득하는 디컨벌루션 신경망 레이어(DCL), 업샘플링을 수행하는 언풀링 레이어(UPL) 및 출력 레이어(OL) 등을 포함할 수 있다.
풀링 레이어는 최댓값 풀링, 최소값 풀링, 평균값 풀링 등을 수행할 수 있다. 언풀링 레이어는 풀링 레이어에 대응될 수 있다. 디컨벌루션 레이어는 중간(intermediate) 세그멘테이션 맵을 생성할 수 있다. 언풀링 레이어는 중간 세그멘테이션 맵을 업샘플링할 수 있다. 언풀링 레이어는 최대값 언풀링, 최근접 이웃 언풀링 등을 수행할 수 있다.
차량 정보 획득을 위하여, 입력 이미지로부터 하나 이상의 오브젝트를 검출하는 신경망 모델이 이용될 수 있다. 오브젝트의 검출을 위하여, 다양한 형태의 신경망 모델이 이용될 수 있다. YOLO(You Only Look Once), R-CNN, fast-RNN, faster R-CNN, SAS 딥러닝, SPPnet, 등을 이용하여 수행될 수 있다.
도 12는 일 실시예에 따른 차량 정보 획득을 위한 신경망 모델을 설명하기 위한 도면이다. 일 실시예에 따르면, 부품 정보 획득을 위하여, fast-RNN 모델이 이용될 수 있다. 예컨대, 도 12를 참조하면, 일 실시예에 따른 신경망 모델은 입력 레이어(OL), 컨벌루션 신경망 레이어(CNL), 특징 맵(FM), 영역 제안(region proposal) 신경망(RPN), 관심 영역(ROI; Reason of Interest) 바운딩 박스(RBB), ROI 풀링 레이어(RP) 및 전연결 레이어를 포함하는 딥러닝 신경망(DNN)을 포함할 수 있다.
영역 제안 신경망은 이미지의 특징 맵에 기초하여, 하나 이상의 ROI(또는 오브젝트 제안) 또는 ROI의 바운딩 박스를 획득할 수 있다. 영역 제안 신경망은 개별 ROI(또는 오브젝트 제안) 또는 그 바운딩 박스에 대하여, 스코어를 획득할 수 있다. 스코어는 대상 ROI가 검출 대상 오브젝트에 일치하는 정도를 나타낼 수 있다.
ROI 풀링 레이어는 개별 ROI에 대해 풀링을 수행할 수 있다. ROI 풀링 레이어는 개별 ROI에 대응되는 특징 맵에 대하여 풀링을 수행할 수 있다. ROI 풀링 레이어는 개별 ROI에 대하여 사이즈 조절을 수행할 수 있다. ROI 풀링 레이어는 미리 정해진 크기의 특징 맵을 획득할 수 있다. 전연결 신경망은 ROI 풀링 레이어를 통하여 획득된 특징 맵을 플래튼하여 획득된 값을 이용할 수 있다.
신경망 모델은 전연결 신경망 레이어 및 전연결 신경망 레이어와 연결되는 은닉 레이어 및 출력 레이어를 통하여, 개별 ROI에 포함되는 오브젝트의 식별자 또는 개별 오브젝트의 바운딩 박스를 획득할 수 있다.
한편, 위에서 설명한 신경망 모델들은 예시에 불과하며, 본 명세서에서 설명하는 차량 정보의 획득이 이에 한정되지는 아니한다. 차량 정보의 획득은 본 명세서에서 설명되지 아니한 알고리즘 또는 신경망 모델을 이용하여 수행될 수 있다.
신경망 모델은 추가 정보를 추가 입력으로 이용하여, 차량 정보를 획득할 수 있다. 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력 및 차량의 이미지에 기초하여, 차량 정보를 획득할 수 있다. 추가 입력은 차량의 종류, 모델명, 제조사, 연식 및/또는 색상 등의 추가 정보에 기초하여 획득될 수 있다. 추가 입력은 입력 이미지 또는 입력 이미지와 상이한 추가 이미지에 기초하여 획득된 특징값일 수 있다.
도 13은 일 실시예에 따른 신경망 모델을 예시하기 위한 도면이다. 도 13을 참조하면, 합성곱 신경망 네트워크 및 전연결 레이어, 은닉 레이어 및 출력 레이어 등을 포함하는 신경망(예컨대, 이미지 기반 분류기 신경망)은 추가 정보를 더 이용하여 차량 정보를 획득할 수 있다. 예컨대, 분류기 모델은 합성곱 신경망 및 적어도 하나의 전연결 레이어를 포함하고, 적어도 하나의 전연결 레이어는 합성곱 신경망을 통하여 획득된 특징값 및 추가 정보에 기초하여 획득된 추가 입력값(AI)에 대응되는 하나 이상의 노드를 포함할 수 있다. 분류기 모델은 추가 입력값(AI)을 입력값으로 하는 적어도 하나의 노드를 포함할 수 있다.
추가 정보는 도 11에서 예시한 신경망 모델의 경우에도 유사하게 이용될 수 있다. 예컨대, 일 실시예에 따른 영역 분할 신경망 모델은 인코딩 파트 및 디코딩 파트를 포함하고, 추가 정보에 기초하여 생성된 추가 입력을 더 이용하여 차량 정보를 획득할 수 있다. 영역 분할 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력을 이용하는 하나 이상의 노드를 포함할 수 있다. 영역 분할 신경망 모델은 추가 정보에 기초하여 생성된 추가 입력을 파라미터로 이용하는 하나 이상의 레이어를 포함할 수 있다.
추가 정보는 도 12에서 예시한 신경망 모델의 경우에도 유사하게 이용될 수 있다. 예컨대, 일 실시예에 따른 신경망 모델은 입력 레이어, 컨벌루션 신경망 레이어, 특징 맵, 영역 제안(region proposal) 신경망, 관심 영역(ROI; Reason of Interest) 레이어, ROI 풀링 레이어 및 전연결 신경망을 포함하고, 전연결 신경망은 추가 정보에 기초하여 생성된 추가 입력을 입력값으로 하는 적어도 하나의 노드를 포함하는 레이어를 포함할 수 있다.
일 실시예에 따르면, 차량 이미지 및 추가 정보에 기초하여 차량 정보를 획득하는 차량 관리 보조 장치가 제공될 수 있다.
차량 이미지에 기초하여 차량 외부와 관련된 차량 정보를 획득하는 차량 관리 보조 장치는, 차량의 외부를 촬영하여 획득된 차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 차량 이미지에 기초하여 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 차량 정보를 획득하는 처리부를 포함할 수 있다.
신경망 모델은 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 제1 특징 세트와 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함할 수 있다.
신경망 모델은 분류기 또는 분할(segmentation) 모델일 수 있다. 신경망 모델은 CNN, FCN(Fully Convolutional Network), SegNet, UNet, UNet++, DeConvNet 등의 형태로 마련될 수 있다.
신경망 모델은 차량 이미지에 기초하여 특징 세트를 획득하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 기초하여 차량의 부품 정보 또는 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은 부품 정보가 라벨링된 차량 이미지 또는 손상 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터를 이용하여 학습될 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 손상 정보 또는 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 추가 정보 및 추가 정보와 연관되고 손상 정보 또는 부품 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터에 기초하여 학습될 수 있다. 추가 정보는 이미지 또는 비-이미지 정보일 수 있다. 차량의 특성과 관련된 추가 정보는, 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다. 차량의 특성과 관련된 추가 정보는, 차량의 내부를 촬영하여 획득된 차량 내부 이미지에 기초하여 획득될 수도 있다.
처리부는 이미지 획득부를 통하여 대상 차량의 외부를 촬영하여 획득된 대상 차량 이미지를 획득하고, 추가 정보 획득부를 통하여 대상 차량의 특성과 관련된 대상 추가 정보를 획득하고, 대상 차량 이미지에 기초하여 신경망 모델을 이용하여 대상에 대한 대상 차량 정보를 획득할 수 있다.
신경망 모델은 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습될 수 있다. 제1 특징 세트는 차량의 부품, 종류, 색상, 구성, 형태 등을 나타내는 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부 손상 유무를 나타내는 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부 손상의 종류를 나타내는 하나 이상의 특징 값을 포함할 수 있다. 특징 세트를 구성하는 특징 값은 확률 함수의 값으로 획득될 수 있다.
신경망 모델은 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습될 수 있다. 제1 특징 세트는 차량의 부품, 종류, 색상, 구성, 형태 등을 나타내는 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다. 제2 특징 세트는 차량을 구성하는 부품의 종류를 나타내는 하나 이상의 특징 값을 포함할 수 있다. 각 특징 값은, 입력된 차량 이미지에 특정 부품이 포함되는지 여부 또는 포함할 확률을 나타낼 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
다른 일 실시예에 따르면, 차량 이미지 및 추가 정보에 기초하여 차량 정보를 획득하는 차량 관리 보조 방법이 제공될 수 있다. 차량 관리 보조 방법에 대하여, 특별한 설명이 없는 한, 전술한 차량 관리 보조 장치에 관한 내용이 유사하게 적용될 수 있다.
도 30은 일 실시예에 따른 차량 관리 보조 방법을 설명하기 위한 도면이다.
차량 이미지를 획득하는 이미지 획득부, 차량의 특성과 관련된 추가 정보를 획득하는 추가 정보 획득부 및 차량 이미지와 추가 정보에 기초하여 차량 정보를 획득하는 처리부를 포함하는 차량 관리 보조 장치를 이용하여, 차량 이미지에 기초하여 차량의 외부와 관련된 정보를 획득하는 차량 관리 보조 방법이 제공될 수 있다.
도 30을 참조하면, 차량 관리 보조 방법은 대상 차량 이미지를 획득하는 단계(S3010), 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계(S3030) 및 대상 차량 이미지 및 대상 추가 정보에 기초하여 대상 차량 정보를 획득하는 단계(S3050)를 더 포함할 수 있다.
차량 관리 보조 방법은, 이미지 획득부를 통하여 대상 차량에 대한 대상 차량 이미지를 획득하는 단계(S3010)를 포함할 수 있다. 대상 차량 이미지는 차량을 임의의 방향에서 촬영한 이미지일 수 있다. 또는, 대상 차량 이미지는 차량을 정면, 측면 또는 후면에서 촬영한 이미지일 수 있다.
차량 관리 보조 방법은, 추가 정보 획득부를 통하여 대상 차량의 특성과 관련된 대상 추가 정보를 획득하는 단계(S3030)를 포함할 수 있다.
차량 관리 보조 방법은, 처리부가 대상 추가 정보 및 대상 차량 이미지에 기초하여 대상 차량에 대한 대상 차량 정보를 획득하는 단계(S3050)를 포함할 수 있다.
대상 차량에 대한 차량 정보를 획득하는 단계(S3050)는, 대상 차량 이미지에 기초하여, 차량 이미지에 기초하여 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여, 대상 차량에 대한 대상 차량 정보를 획득하는 것을 더 포함할 수 있다.
신경망 모델은 차량 이미지에 기초하여 제1 특징 세트를 획득하도록 학습되고 적어도 하나의 합성곱 신경망 레이어를 포함하는 제1 부분 및 제1 특징 세트와 추가 정보에 기초하여 제2 특징 세트를 획득하도록 학습되는 제2 부분을 포함할 수 있다.
신경망 모델은 차량 외부의 손상과 관련된 손상 정보를 획득하도록 학습되고, 제2 특징 세트는 차량의 외부의 손상 여부와 관련된 적어도 하나의 특징 값을 포함할 수 있다.
신경망 모델은 차량의 외부를 구성하는 부품과 관련된 부품 정보를 획득하도록 학습되고, 제2 특징 세트는 차량의 외부를 구성하는 부품과 관련된 적어도 하나의 특징 값을 포함할 수 있다.
차량의 특성과 관련된 추가 정보는, 차량의 제조사, 색상 정보, 연식, 차종 중 적어도 하나에 기초하여 결정될 수 있다.
차량의 특성과 관련된 추가 정보는, 차량의 내부를 촬영하여 획득된 차량 내부 이미지에 기초하여 획득될 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부를 구성하는 적어도 하나의 부품과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 제1 부품이 분포하는 영역을 나타내는 제1 영역 특징 세트 및 제2 부품이 분포하는 영역을 나타내는 제2 영역 특징 세트를 포함할 수 있다.
제2 부분은 제1 특징 세트 및 추가 정보에 기초하여, 대상 차량의 외부에 위치하는 적어도 하나의 손상 영역과 관련된 제2 특징 세트를 획득할 수 있다. 제2 특징 세트는 손상 영역의 위치를 나타내는 손상 영역 특징 세트를 포함할 수 있다.
본 명세서에서 설명하는 차량 관리 보조 방법은, 각 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체의 형태로 제공될 수 있다.
한편, 신경망 모델은 학습 데이터를 이용하여 학습될 수 있다. 학습 데이터는 획득 대상 정보에 따라 달리 마련될 수 있다. 구체적인 학습 데이터의 형태 및 신경망 모델의 학습에 대하여는 각 정보의 획득과 관련하여 이하에서 보다 상세하게 설명한다.
이하에서는 각 차량 정보의 종류 및 획득 방법에 대하여 설명한다.
2.3.1 부품 정보 획득
차량을 구성하는 부품과 관련된 부품 정보가 획득될 수 있다.
일 실시예에 따르면, 부품 정보는 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 포함할 수 있다.
부품 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 부품 정보는 차량의 종류, 모델명, 제조사, 연식 및/또는 색상 등의 차량 정보를 더 고려하여 결정될 수 있다. 부품 정보는 차량 정보에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다.
부품 정보는 이미지 데이터에 기초하여 획득될 수 있다. 부품 정보는 이미지 데이터에 기초하여 획득된 차량 정보(예컨대, 차량의 종류, 모델명, 제조사, 색상 등)에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다. 부품 정보는 이미지 데이터 및 신경망 모델을 이용하여 획득된 차량 정보에 기초하여, 미리 저장된 부품 정보 데이터베이스로부터 획득될 수 있다.
부품 정보는 부품의 수, 종류, 이름, 식별 정보 등이 차종, 모델명, 제조사, 연식 등의 구분 정보와 매칭되어 저장된 부품 정보 데이터베이스에 기초하여 획득될 수 있다. 예컨대, 부품 정보 데이터베이스는 특정 모델의 특정 연식 차량을 구성하는 부품의 수, 종류, 이름 및 각 부품에 대응되는 식별 정보를 해당 모델의 해당 연식과 매칭하여 저장할 수 있다.
다른 일 실시예에 따르면, 부품 정보는 차량 이미지에 포함되고 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다. 부품 영역 정보는 차량 이미지에 포함되는 개별 부품 영역의 경계(boundary)를 포함할 수 있다. 부품 영역 정보는 차량 이미지 내에 포함되는 부품 영역 및 각 부품 영역에 대응되는 부품의 명칭 또는 식별 번호를 포함할 수 있다.
부품 정보는 차량 이미지에 포함된 서로 다른 부품에 대응되는 영역에 대하여 형식을 달리하여 마스킹된 부품 영역 정보를 포함할 수 있다. 부품 정보는 차량 이미지에 포함된 서로 다른 부품에 대응되는 영역에 대하여 다른 색상으로 마스킹된 부품 영역 정보 또는 서로 다른 부품에 대응되는 영역에 상이한 태그로 라벨링된 부품 영역 정보를 포함할 수 있다.
도 14는 일 실시예에 따른 부품 영역 정보를 설명하기 위한 도면이다. 도 14를 참조하면, 부품 영역 정보는 차량 이미지 내의 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다.
도 14의 (a)를 참조하면, 부품 정보는 차량의 좌전방에서 촬영된 이미지에 포함되는 차량의 헤드라이트에 대응되는 헤드라이트 영역 정보(HL), 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB), 차량의 좌전방 휀더에 대응되는 좌전방 휠 영역 정보(LFF), 차량의 좌전방 도어에 대응되는 좌전방 도어 영역 정보(LFD), 차량의 좌후방 도어에 대응되는 좌후방 도어 영역 정보(LRD), 차량의 번호판에 대응되는 번호판 영역 정보(NP), 차량의 후방 휀더에 대응되는 좌후방 휀더 영역 정보(LRF), 차량의 후드에 대응되는 후드 영역 정보(HO)등을 포함할 수 있다. 각 영역 정보는 각 영역에 대응되는 부품의 명칭 또는 식별 정보와 연관되어 저장될 수 있다.
도 14의 (b)를 참조하면, 부품 영역 정보는 차량의 전방에서 촬영된 차량 이미지 내의 각 부품에 대응되는 부품 영역 정보를 포함할 수 있다. 도 14의 (b)를 참조하면, 부품 정보는 차량의 전방 이미지에 포함되는 차량의 헤드라이트에 대응되는 헤드라이트 영역 정보(LHL, RHL), 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB), 차량의 번호판에 대응되는 번호판 영역 정보(NP), 차량의 사이드 미러에 대응되는 사이드 미러 영역 정보(LSM, RSM), 차량의 앞유리에 대응되는 앞유리 영역 정보(FG), 차량의 엠블럼에 대응되는 엠블럼 영역 정보(EM), 차량의 후드에 대응되는 후드 영역 정보(HO) 등을 포함할 수 있다. 각 영역 정보는 각 영역에 대응되는 부품의 명칭 또는 식별 정보와 연관되어 저장될 수 있다.
도 14에서는 차량의 좌전방 및 전방에서 촬영된 이미지를 기준으로 부품 영역 정보를 설명하였으나, 이는 예시일 뿐이며, 다양한 방향에서 촬영된 차량 이미지에 대하여 부품 영역 정보가 획득될 수 있다.
일 실시예에 따르면, 부품 정보는 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 객체 인식(object recognition)을 수행하는 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 도 10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량 이미지를 입력으로 하여, 부품 정보를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 포함된 부품의 종류 또는 이름을 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 특정 부품이 포함되는지 여부를 획득할 수 있다.
일 실시예에 따르면, 신경망 모델의 출력 레이어는 입력 이미지가 특정 부품을 포함하는지 여부를 나타내는 확률 함수를 포함할 수 있다. 또 예컨대, 출력 레이어는 하나 이상의 대상 부품에 대하여, 입력 이미지가 각각의 대상 부품을 포함하는지 여부를 나타내는 하나 이상의 확률 함수를 포함할 수 있다.
다른 일 실시예에 따르면, 부품 정보는 도 12와 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 신경망 모델을 통하여 획득되고 개별 부품에 대응되는 영역을 표시하는 영역 정보를 포함할 수 있다.
도 15를 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 대한 부품 정보를 획득할 수 있다. 신경망 모델은 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 포함된 부품을 식별하고, 식별된 부품에 대응되는 부품 정보를 획득할 수 있다. 신경망 모델은 차량의 일부가 촬영된 이미지(a)에 기초하고 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 좌전방 도어가 포함되었음을 나타내는 부품 정보를 획득할 수 있다.
도 15를 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 대응되는 부품 영역 정보를 획득할 수 있다. 신경망 모델은 신경망 모델을 이용하여 차량 이미지에 포함된 부품을 식별하고 식별된 부품에 대응되는 영역(또는 세그멘테이션)을 획득할 수 있다. 도 16의 (b)를 참조하면, 신경망 모델은 차량 이미지에 포함된 좌전방 도어에 대응되는 영역 정보를 획득할 수 있다.
도 16을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일 측면이 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 하나 이상의 부품에 대한 부품 정보를 획득할 수 있다. 신경망 모델은 차량의 일부가 촬영된 이미지(a)에 기초하고 부품 정보를 획득하는 신경망 모델을 이용하여 입력된 이미지에 좌전방 도어, 좌후방 도어, 좌전방 휀더 및 좌후방 휀더가 포함되었음을 나타내는 부품 정보를 획득할 수 있다.
신경망 모델은 차량 이미지를 입력으로 하여, 하나 이상의 부품에 대응되는 영역이 표시된 세그멘테이션 맵을 획득할 수 있다. 예컨대, 신경망 모델은 제1 부품에 대응되는 제1 영역 및 제2 부품에 대응되는 제2 영역이 서로 달리 표시된 세그멘테이션 맵을 획득할 수 있다.
도 16을 참조하면, 신경망 모델은 차량의 일 측면이 촬영된 이미지(a)를 입력으로 하여 차량 이미지에 포함된 부품에 하나 이상의 부품에 대응되는 부품 영역 정보(b)를 획득할 수 있다. 신경망 모델은 이미지 내에 포함된 개별 부품에 대응되는 복수의 영역에 대하여, 서로 달리 표시된(예컨대, 상이한 색상으로 마스킹된) 이미지(b)를 획득할 수 있다. 도 16의 (b)를 참조하면, 신경망 모델은 차량 이미지에 포함된 좌전방 도어, 좌후방 도어, 좌전방 휀더 및 좌후방 휀더에 대응되는 영역 정보를 획득할 수 있다.
또 다른 일 실시예에 따르면, 부품 정보는 도10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다. 부품 정보는 신경망 모델을 통하여 획득되고 개별 부품에 대응되는 영역을 표시하는 바운딩 박스를 포함할 수 있다.
신경망 모델은 전연결 레이어 및 전연결 레이어와 연결되는 은닉 레이어 및 출력 레이어를 통하여, 개별 ROI에 포함되는 오브젝트의 식별자 또는 개별 ROI의 바운딩 박스를 획득할 수 있다. 신경망 모델은 차량 이미지를 입력으로 하여, 차량 이미지에 포함되는 개별 부품에 대한 ROI 바운딩 박스를 획득할 수 있다. 신경망 모델은 차량 이미지를 입력으로 하여, 차량 이미지에 포함되는 개별 ROI에 대응되는 개별 부품 영역에 대한 분류 결과를 획득할 수 있다.
신경망 모델은 부품 정보를 획득하도록 학습되어 마련될 수 있다. 신경망 모델은 부품 정보가 라벨링된 복수의 차량 이미지를 포함하는 부품 학습 데이터를 이용하여 학습될 수 있다.
부품 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 다양한 종류, 모델 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 단일 종류, 모델 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다.
부품 학습 데이터는, 이미지에 포함되는 하나 이상의 부품에 각각 대응되는 부품 라벨이 부여된 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 다양한 종류의 차량을 촬영하여 획득되고 부품 라벨이 부여된 차량 이미지를 포함할 수 있다. 부품 라벨은 차량의 종류, 모델 또는 제조사 별로 달리 부여될 수 있다.
부품 학습 데이터는 서로 다른 부품에 대하여 형식을 달리하여 마스킹된(또는 라벨링된) 차량 이미지를 적어도 하나 포함할 수 있다. 차량 이미지는 서로 다른 부품에 대하여 다른 색상으로 마스킹된(또는 라벨링된) 차량 이미지 또는 서로 다른 부품에 대응되는 영역에 대하여 상이한 태그로 라벨링된 차량 이미지를 적어도 하나 포함할 수 있다.
부품 학습 데이터는 다양한 부품에 대하여 마스킹된 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 하나 이상의 부품 영역, 예컨대, 좌전방 도어에 대응되는 좌전방 도어 영역 정보 및/또는 차량의 앞범퍼에 대응되는 앞범퍼 영역 정보(FB)를 포함할 수 있다. 부품 학습 데이터는 하나 이상의 공통되는 부품 영역 정보를 포함하고 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 적어도 일부 상이한 부품 영역 정보를 포함하는 하나 이상의 차량 이미지를 포함할 수 있다. 부품 학습 데이터는 이미지 내에 포함되는 모든 부품 대응 영역에 각 대응 부품 정보로 마스킹된 하나 이상의 차량 이미지를 포함할 수 있다.
도 17은 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다. 도 17을 참조하면, 부품 학습 데이터는, 다양한 모델의 차량을 촬영하여 획득되고, 특정 부품, 예컨대, 좌전방 도어에 대응되는 영역이 라벨링된 복수의 차량 이미지를 포함할 수 있다. 복수의 차량 이미지는 서로 다른 종류의 차량을 촬영하여 획득될 수 있다.
도 18은 다른 일 실시예에 따른 부품 학습 데이터를 예시하기 위한 도면이다. 도 18을 참조하면, 부품 학습 데이터는, 다양한 모델의 차량을 촬영하여 획득되고, 복수의 부품, 예컨대, 좌전방 도어, 좌후방 도어, 좌전방 휀더, 좌후방 휀더에 대응되는 영역이 서로 달리 라벨링된 복수의 차량 이미지를 포함할 수 있다.
도 17 및 18에서는 부품 학습 데이터가, 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함하는 경우를 기준으로 설명하였으나 이는 예시에 불과하며 부품 학습 데이터는 다양한 방향에서 촬영된 차량 이미지를 포함할 수 있다.
신경망 모델은 부품 학습 데이터를 이용하여, 차량 이미지에 기초하여 부품 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
신경망 모델은 위에서 설명한 부품 학습 데이터를 이용하여, 차량 이미지를, 차량 이미지에 포함된 부품에 따라 분류하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 포함된 부품에 대응되는 라벨이 부여된 차량 이미지를 포함하는 학습 데이터를 이용하여, 차량 이미지를, 차량 이미지에 포함된 부품에 따라 분류하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여 차량 이미지가 특정 부품을 포함하는지 여부를 획득하도록 학습될 수 있다. 신경망 모델은 부품 학습 데이터를 통하여, 복수의 부품에 대하여 각 부품이 대상 이미지에 포함되는지 여부를 획득하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차량 이미지에 포함된 개별 부품의 종류 및 개별 부품에 대응되는 영역이 라벨링된 차량 이미지를 포함하는 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 특정 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 부품 학습 데이터를 통하여, 차량 이미지에 포함된 복수의 부품 각각에 대하여, 각 부품이 분포하는 영역에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 복수의 부품 학습 데이터를 이용하여 학습될 수도 있다. 신경망 모델은 제1 차종의 차량(또는 제1 제조사의 차량)을 촬영하여 학습된 차량 이미지를 포함하는 제1 부품 학습 데이터 및 제2 차종의 차량(또는 제2 제조사의 차량)을 촬영하여 학습된 차량 이미지를 포함하는 제2 부품 학습 데이터를 이용하여 학습될 수 있다.
한편, 복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 부품 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 부품 학습 데이터에 기초하여 학습될 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량의 종류, 모델명, 제조사, 색상 등의 추가 정보를 더 이용하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 추가 정보에 기초하여 획득된 제2 특징 세트에 기초하여 부품 정보를 획득하도록 학습될 수 있다.
신경망 모델은 차량 이미지 및 다른 이미지에 기초하여 부품 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 다른 이미지(예컨대, 배경을 촬영한 배경 이미지 등)에 기초하여 획득된 제2 특징 세트에 기초하여, 부품 정보를 획득하도록 학습될 수 있다.
2.3.2 손상 정보 획득
차량 외관의 손상과 관련된 손상 정보가 획득될 수 있다.
손상 정보는 차량 외관의 긁힘, 찍힘, 찌그러짐, 부서짐, 유실, 깨짐, 크랙 등의 손상과 관련된 정보일 수 있다. 손상 정보는, 차량 외관 손상의 종류, 위치, 정도, 개수, 발생 시기 등에 대한 정보를 포함할 수 있다.
손상 정보는 차량 이미지에 포함되고 손상이 발생한 위치와 대응되는 손상 영역 정보를 포함할 수 있다. 손상 영역 정보는 차량 이미지에 포함되는 하나 이상의 손상 부위를 지시할 수 있다. 손상 영역 정보는 차량 이미지에 포함되고 손상 부위에 대응되는 영역을 시각적으로 구분하기 위한 표시를 포함할 수 있다. 손상 영역 정보는 손상 부위의 경계(boundary)를 포함할 수 있다. 손상 영역 정보는 손상 부위를 표시하는 바운딩 박스(Bounding Box)를 포함할 수 있다. 손상 영역 정보는 차량 이미지 내에서 손상 부위의 좌표 정보를 포함할 수 있다. 손상 영역 정보는 바운딩 박스의 차량 이미지 내에서의 모서리 좌표 정보를 포함할 수 있다. 손상 영역 정보는 차량에 대한 손상 부위의 위치 정보 또는 좌표 정보를 포함할 수 있다. 손상 영역 정보는 차량의 특정 부품(예컨대, 번호판의 중심선, 엠블럼 등)을 기준으로 한 손상 부위의 절대 위치 정보(예컨대, 좌표 정보)를 포함할 수 있다.
손상 정보는 차량 이미지 내에 포함되는 손상 부위에 대응되는 손상 영역 정보 및 해당 손상 부위와 관련되고 손상 영역 정보와 매칭되는 정보(예를 들어, 손상 발생 시기, 손상 종류, 손상 정도 등)를 포함할 수 있다.
도 19는 일 실시예에 따른 손상 정보를 설명하기 위한 도면이다. 도 19의 (a)를 참조하면, 손상 정보는 차량 이미지에 포함된 차량 외관 손상과 관련된 정보를 포함할 수 있다. 손상 정보는 차량 이미지에 부여된 태그 내지 메타데이터의 형태로 획득될 수 있다. 도 19의 (b)를 참조하면, 손상 정보는 차량 이미지 내에서 손상 부위를 강조하기 위한 표시를 포함할 수 있다. 도 19의 (c)를 참조하면, 손상 정보는 차량 이미지 내에서 손상이 위치할 가능성이 높은 영역을 나타내기 위한 표시, 예컨대 히트맵을 포함할 수 있다. 도 19의 (d)를 참조하면, 손상 정보는 차량 이미지 내에서 손상이 위치하는 영역을 표시하기 위한 바운딩 박스를 포함할 수 있다.
손상 정보는 이미지 데이터에 기초하여 획득될 수 있다. 손상 정보는 차량 이미지에 기초하여 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여 획득될 수 있다. 손상 정보는 도 10 내지 13과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지를 입력으로 하여 손상 정보를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 촬영된 차량에 손상된 부분이 존재하는지 여부를 획득할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 촬영된 차량의 특정 영역 내에 손상된 부분이 존재하는지 여부를 획득할 수 있다. 신경망 모델의 출력 레이어는 차량 이미지에 손상 영역이 포함되는지 여부를 나타내는 확률값을 획득하는 출력 노드를 포함할 수 있다. 신경망 모델은 입력된 차량 이미지에 기초하여, 하나 이상의 손상 종류에 대하여, 촬영된 차량에 손상 영역이 포함되는지 여부를 획득할 수 있다. 신경망 모델의 출력 레이어는 차량 이미지에 복수의 손상 종류에 각각 대응되는 손상 영역이 포함되는지 여부를 나타내는 확률값을 획득하는 복수의 출력 노드를 포함할 수 있다.
신경망 모델은 차량의 일부를 촬영하여 획득된 차량 이미지에 기초하여 손상 영역을 획득할 수 있다. 신경망 모델은 차량 이미지로부터 차량 외부 손상에 대응되는 영역을 검출할 수 있다. 신경망 모델은 차량 이미지에 포함되고 차량 외부 손상에 대응되는 영역에 대한 바운딩 박스 또는 세그멘테이션을 획득할 수 있다. 신경망 모델은, 복수의 손상 영역에 대한 세그멘테이션을 획득할 수도 있다. 신경망 모델은 히트맵을 획득할 수도 있다. 신경망 모델은 도 19의 (c)에서 예시하는 것과 같이 손상이 위치하는 영역을 표시하기 위한 히트맵 형태의 샐리언시 맵을 획득할 수 있다.
도 20을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일부가 촬영된 이미지(a)를 입력으로 하여 손상 부위에 대응되는 손상 영역 정보를 획득할 수 있다. 손상 부위를 나타내는 손상 영역 정보는, 신경망 모델을 통하여 획득된 바운딩 박스(B1)를 포함할 수 있다. 도 20을 참조하면, 일 실시예에 따른 신경망 모델은 차량의 일 측면이 촬영된 이미지(b)를 입력으로 하여 손상 부위에 대응되는 손상 영역 정보(B2)를 획득할 수 있다. 손상 부위를 나타내는 손상 영역 정보는, 신경망 모델을 통하여 획득된 바운딩 박스를 포함할 수 있다. 손상 영역 정보는, 각 바운딩 박스에 대응되는 손상 영역에 대하여, 대응되는 손상 종류를 더 포함할 수 있다. 손상 종류는 신경망 모델의 분류기 부분에 의해 획득될 수 있다.
신경망 모델은 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은 손상 정보가 라벨링된 복수의 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 학습될 수 있다.
손상 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 차량에 대하여 서로 다른 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 다양한 종류, 모델 또는 제조사의 손상 차량을 촬영하여 획득된 복수의 손상 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 단일 종류, 모델 또는 제조사의 손상 차량을 촬영하여 획득된 복수의 손상 차량 이미지를 포함할 수 있다.
손상 학습 데이터는 손상 유무를 나타내는 손상 라벨이 부여된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 다양한 종류의 차량을 촬영하여 획득되고 손상 라벨이 부여된 차량 이미지를 포함할 수 있다. 손상 라벨은 손상의 종류(예컨대, 긁힘, 찍힘, 파손 등)에 따라 달리 부여될 수 있다.
손상 학습 데이터는 손상 영역에 마스킹된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 하나 이상의 손상 영역에 대하여 마스킹(또는 라벨링)된 차량 이미지를 포함할 수 있다. 손상 학습 데이터는 복수 종류의 손상 영역에 대하여 서로 달리 마스킹(또는 라벨링)된 차량 이미지를 포함할 수 있다. 예컨대, 손상 학습 데이터는 제1 종류의 손상(예를 들어, 긁힘)에 대하여 제1 색상으로 표시되고, 제2 종류의 손상(예를 들어, 찌그러짐)에 대하여 제2 색상으로 표시된 차량 이미지를 포함할 수 있다.
도 21은 손상 학습 데이터를 예시하기 위한 도면이다. 도 21의 (a)를 참조하면 손상 학습 데이터는, 손상 부위가 마스킹(M1)된 차량 이미지를 포함할 수 있다. 도 21의 (b)를 참조하면, 손상 학습 데이터는, 제1 종류의 손상(예를 들어, 찌그러짐)이 위치하는 손상 부위에 대하여 제1 색상으로 마스킹(M2)되고, 제2 종류의 손상(예를 들어, 긁힘)이 위치하는 손상 부위에 대하여 제2 색상으로 마스킹(M3)된 차량 이미지를 포함할 수 있다.
도 21에서는 손상 학습 데이터가, 차량에 대하여 동일한 방향에서 촬영된 복수의 차량 이미지를 포함하는 경우를 기준으로 설명하였으나 이는 예시에 불과하며 손상 학습 데이터는 다양한 방향에서 촬영된 차량 이미지를 포함할 수 있다.
신경망 모델은 위에서 설명한 손상 학습 데이터를 이용하여 학습될 수 있다. 신경망 모델은 손상 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
신경망 모델은 차량 이미지를 손상 여부가 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 손상 부위를 포함하는지 여부에 따라 분류하도록 학습될 수 있다. 신경망 모델은 차량 이미지를 차량 이미지에 포함된 손상의 종류에 따라 분류하도록 학습될 수 있다. 신경망 모델은 복수 종류의 손상의 유무에 대하여 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 통하여, 복수의 손상에 대하여, 대상 이미지가 각 종류의 손상을 포함하는지 여부를 획득하도록 학습될 수 있다.
신경망 모델은 손상 학습 데이터를 통하여 손상 영역 정보를 획득하도록 학습될 수 있다. 신경망 모델은 하나 이상의 종류의 손상에 대하여 손상 부위에 마스킹된 차량 이미지를 포함하는 손상 학습 데이터를 이용하여 대상 이미지로부터 손상 영역을 검출하도록 학습될 수 있다. 신경망 모델은 복수 종류의 손상 영역에 대하여 라벨링된 차량 이미지를 포함하는 손상 학습 데이터를 통하여, 차량 이미지에 포함된 복수의 손상 각각에 대하여, 각 손상이 분포하는 영역 및/또는 종류에 대한 영역 정보를 획득하도록 학습될 수 있다.
신경망 모델은 복수의 손상 학습 데이터를 이용하여 학습될 수도 있다. 신경망 모델은 제1 종류의 손상(예컨대, 긁힘)을 가지는 차량을 촬영하여 학습된 차량 이미지를 포함하는 제1 손상 학습 데이터 및 제2 종류의 손상(예컨대, 찌그러짐)을 가지는 차량을 촬영하여 학습된 차량 이미지를 포함하는 제2 손상 학습 데이터를 이용하여 학습될 수 있다.
한편, 복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 손상 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 손상 학습 데이터에 기초하여 학습될 수 있다. 제2 손상 학습 데이터는 제1 손상 학습 데이터와 적어도 일부 상이할 수 있다.
신경망 모델은 차량 이미지 및 추가 정보에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량의 종류, 모델명, 제조사, 색상 등의 추가 정보를 더 이용하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 추가 정보에 기초하여 획득된 제2 특징 세트에 기초하여 손상 정보를 획득하도록 학습될 수 있다.
신경망 모델은 차량 이미지 및 다른 이미지에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 신경망 모델은, 차량 이미지에 기초하여 획득된 제1 특징 세트 및 다른 이미지(예컨대, 배경을 촬영한 배경 이미지 등)에 기초하여 획득된 제2 특징 세트에 기초하여, 손상 정보를 획득하도록 학습될 수 있다.
일 실시예에 따르면, 손상 정보는 부품 정보와 함께 이용될 수 있다. 이와 관련하여서는, 이하에서 보다 상세히 설명한다.
2.3.3 차량 종류 정보 획득
차량의 종류에 관련된 차종 정보가 획득될 수 있다.
차종 정보는, 세단, 쿠페, 웨건, 컨버터블, 해치백, SUV, 밴, 트럭, 버스 등 차량의 차종을 나타낼 수 있다.
차종 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 차종 정보는 차량의 등록번호, VIN, 모델명 등에 기초하여 획득될 수 있다. 차종 정보는 미리 저장된 데이터베이스로부터 획득될 수 있다.
차종 정보는 이미지 데이터를 이용하여 획득될 수 있다. 차종 정보는 차량 이미지에 기초하여 차종 정보를 획득하도록 학습된 신경망 모델을 이용하여 획득될 수 있다. 차종 정보는 도 10과 관련하여 전술한 신경망 모델을 이용하여 획득될 수 있다.
신경망 모델은 차량 이미지에 기초하여 차종 정보를 획득할 수 있다. 신경망 모델은 복수의 차종 라벨에 대하여 차량 이미지를 분류할 수 있다. 예컨대, 신경망 모델은, 적어도 하나의 합성곱 신경망 레이어 및 하나 이상의 출력 노드를 가지는 출력 레이어를 포함할 수 있다. 신경망 모델은 합성곱 신경망 레이어를 통하여 차량 이미지에 기초하여 차종과 관련된 특징 세트를 획득하고, 특징 세트에 기초하여 적어도 하나의 차종 라벨에 대한 확률값을 획득하는 출력 노드를 포함할 수 있다.
신경망 모델은 차종 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차종 정보가 라벨링된 복수의 차량 이미지를 포함하는 차종 학습 데이터를 이용하여 학습될 수 있다. 신경망 모델은 차종 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
차종 학습 데이터는 복수의 차량 이미지를 포함할 수 있다. 차종 학습 데이터는 차량에 대하여 서로 다른 방향 또는 동일한 방향에서 촬영된 복수의 차량 이미지를 포함할 수 있다. 차종 학습 데이터는 제1 제조사의 제1 차종 차량을 촬영하여 획득되고, 제1 차종 라벨이 부여된 이미지 및 제2 제조사의 제1 차종 차량을 촬영하여 획득되고 제1 차종 라벨이 부여된 이미지를 포함할 수 있다.
차종 학습 데이터는 복수의 차종에 대하여, 각각 다양한 색상 또는 제조사의 차량을 촬영하여 획득된 복수의 차량 이미지를 포함할 수 있다. 예컨대, 차종 학습 데이터는, 다양한 제조사의 제1 차종(예를 들어, SUV)에 속하는 차량을 촬영하여 획득되고 제1 차종 라벨이 부여된 복수의 이미지를 포함하는 제1 이미지 세트 및 다양한 제조사의 제2 차종(예를 들어, 세단)에 속하는 차량을 촬영하여 획득되고 제2 차종 라벨이 부여된 복수의 이미지를 포함하는 제2 이미지 세트를 포함할 수 있다.
신경망 모델은 대상 이미지가 특정 차종을 촬영한 이미지인지 여부를 획득하도록 학습될 수 있다. 신경망 모델은 제1 차종과 관련된 이미지임을 나타내는 제1 라벨이 부여된 제1 이미지 및 및 제1 차종과 관련된 이미지가 아님을 나타내는 제2 라벨이 부여된 제2 이미지를 포함하는 차종 학습 데이터를 이용하여 차량 이미지를 제1 차종 포함 여부에 따라 분류하도록 학습될 수 있다.
신경망 모델은 차종 학습 데이터를 이용하여, 차량 이미지를 차종에 따라 분류하도록 학습될 수 있다. 신경망 모델은, 제1 차종과 관련된 이미지임을 나타내는 제1 라벨이 부여된 제1 이미지, 제2 차종과 관련된 이미지임을 나타내는 제2 라벨이 부여된 제2 이미지를 포함하는 차종 학습 데이터를 이용하여, 차량 이미지를 관련 차종에 따라 분류하도록 학습될 수 있다.
복수의 신경망 모델이 학습 및 이용될 수도 있다. 제1 신경망 모델은 제1 차종과 관련된 제1 차종 학습 데이터에 기초하여 학습되고, 제2 신경망 모델은 제2 차종과 관련된 제2 차종 학습 데이터에 기초하여 학습될 수 있다. 제2 차종 학습 데이터는 제1 차종 학습 데이터와 적어도 일부 상이할 수 있다. 제1 차종 학습 데이터는 제1 차종 관련 여부가 라벨링된 차량 이미지를 포함하고, 제2 차종 학습 데이터는 제1 차종과 상이한 제2 차종 관련 여부가 라벨링된 차량 이미지를 포함할 수 있다.
일 실시예에 따르면, 차종 정보에 기초하여, 차량 촬영 가이드가 제공될 수 있다. 이와 관련하여서는, 이하에서 보다 상세히 설명한다.
2.3.4 식별 정보 획득
차량을 식별하기 위한 차량 식별 정보가 획득될 수 있다.
차량 식별 정보는 차량의 등록 번호, VIN 등일 수 있다.
차량 식별 정보는 비-이미지 데이터에 기초하여 획득될 수 있다. 차량 식별 정보는 사용자입력을 통하여 획득될 수 있다. 차량 식별 정보는 미리 저장된 데이터베이스로부터 획득될 수 있다.
차량 식별 정보는 이미지 데이터에 기초하여 획득될 수 있다. 차량 식별 정보는 차량의 번호판에 대응되는 영역을 포함하는 차량 이미지에 기초하여 획득될 수 있다. 차량 식별 정보는 차량의 전면부 또는 후면부를 촬영하여 획득된 이미지로부터 획득될 수 있다. 차량 식별 정보는 차량 식별 정보를 획득하는 알고리즘, 프로그램 또는 신경망 모델을 통하여 획득될 수 있다.
차량 식별 정보는, 전처리된 이미지에 기초하여 획득될 수 있다. 예컨대, 차량 식별 정보는 그레이스케일, 경계 강조(e.g., Thresholding), 컨투어링, 회전 등의 전처리를 통하여 획득된 이미지로부터 획득될 수 있다. 차량 식별 정보는 차량 이미지 내에 포함되고 식별 정보에 대응되는 영역에 기초하여 획득될 수 있다.
식별 정보에 대응되는 영역은 수평/수직 에지　방식을 이용하여 차량 이미지로부터 추출될 수 있다.　 예컨대, 식별 정보에 대응되는 영역은 차량 이미지에서 수평 및 수직 에지 영상을 검출하고 에지로 나타나는 직사각형을 후보 영역으로 설정하여 추출될 수 있다.
식별 정보에 대응되는 영역은 명암 변화를 통하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은 차량 이미지의 수평 방향으로 한 줄을 읽어 들일 때 번호판의 숫자나 문자 부위에서 명암 값이 음에서 양으로 혹은 양에서 음으로 연속적인 명암 변화 벡터를 가지는 것을 이용하여 명암 변화가 대칭적으로 일어나는 곳에 번호판 영역이 있음을 추정하고,　추정된 좌표로부터 대상 영역을 확장하여 획득될 수 있다.
식별 정보에 대응되는 영역은 템플릿을 이용하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은, 기준 원형 집합을 차량 영상에 적용하여, 즉, 표준 패턴에 입력된 영상을 정합시켜 문자를 인식시키는 템플릿을 이용하여 획득될 수 있다.
식별 정보에 대응되는 영역은 색상 정보를 이용하여 획득될 수 있다.
식별 정보에 대응되는 영역은 허프 변환을 이용하여 획득될 수 있다. 예컨대, 식별 정보에 대응되는 영역은 소벨 연산자를 이용하여 차량 이미지로부터 에지를 검출한 후 허프 변환을 이용하여 수직 직선군과 수평 직선군을 탐색하여 추출될 수 있다.
식별 정보에 대응되는 영역은 run-length를 이용하여 획득될 수도 있다. 예컨대, 식별 정보에 대응되는 영역은, 이웃 방향의 기울기를 이용하여 이진 영상을 얻은 다음 임의의 각도인 세타로 투영하고 이때 투영되는 직선을 run-length 방법을 적용하여 후보 영역을 찾고, 수직을 이루는 두 직선의 비가 2:1인 위치를 검출하여 획득될 수 있다.
식별 정보에 대응되는 영역에 대한 전처리가 수행될 수 있다. 예컨대, 기울기 보정을 위한 회전, 아핀 변환, 선형 회귀, 등의 처리가 수행될 수 있다. 또는 음영 보정을 위한 전처리가 수행될 수 있다. 또는, 노이즈 제거를 위한 전처리가 수행될 수도 있다.
차량 식별 정보는 번호판을 인식하는 알고리즘을 이용하여 획득될 수 있다. 차량 식별 정보는 OCR(Optical Character Recognition, 광학 문자 인식) 알고리즘을 이용하여 획득될 수 있다. 차량 식별 정보는, Tesseract, OpenCV, EAST detector, Python 등을 통하여 구현된 OCR 알고리즘을 이용하여 획득될 수 있다.
차량 식별 정보는 신경망 모델을 통하여 획득될 수 있다. 신경망 모델은 차량 이미지에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량의 전면부를 촬영하여 획득된 차량 전면 이미지 및/또는 차량의 후면부를 촬영하여 획득된 차량 후면 이미지에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량 전면 이미지에 포함되고 차량의 번호판에 대응되는 전면 번호판 영역 또는 차량 후면 이미지에 포함되고 차량의 번호판에 대응되는 후면 번호판 영역에 기초하여 차량 식별 정보를 획득할 수 있다. 신경망 모델은 차량 이미지에 포함되고 VIN에 대응되는 VIN 영역에 기초하여 차량 식별 정보를 획득할 수 있다.
신경망 모델은 합성곱 신경망을 포함할 수 있다. 신경망 모델은 순환 신경망(RNN; Recurrent Neural Network) 및/또는 장단기 메모리(LSTM; Long Short Term Memory)를 포함할 수 있다. 신경망 모델은 합성곱 신경망을 통하여 차량 이미지로부터 특징 세트를 획득할 수 있다. 신경망 모델은 장단기 메모리 또는 순환 신경망을 통하여, 특징 세트에 기초하여 차량 이미지에 대응되는 차량 식별 정보(예컨대, 차량 번호 또는 VIN)을 획득할 수 있다.
신경망 모델은 차량 식별 정보를 획득하도록 학습될 수 있다. 신경망 모델은 차량 식별 정보 또는 차량 식별 정보를 구성하는 문자 정보가 라벨링된 차량 이미지를 포함하는 식별 학습 데이터를 이용하여, 차량 이미지에 기초하여 차량 식별 정보를 획득하도록 학습될 수 있다. 신경망 모델은 식별 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 지도, 비지도 또는 강화 학습될 수 있다. 신경망 모델은 역전파 방식을 이용하여 학습될 수 있다.
식별 정보 학습 데이터는 다양한 환경에서 촬영되고 차량의 식별 정보가 라벨링된 차량 이미지를 포함할 수 있다. 식별 정보 학습 데이터는 야간, 주간, 새벽, 우천, 안개, 강설 등의 환경에서 촬영되고 식별 정보 라벨이 부여된 차량 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역이 표시된 차량 이미지를 포함할 수 있다. 식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역에 마스킹되고 식별 정보 라벨이 부여된 하나 이상의 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 전면을 촬영하여 획득되고 차량의 식별 번호를 나타내는 라벨이 부여된 차량의 전면 이미지 및/또는 차량의 후면을 촬영하여 획득되고 차량의 식별 번호를 나타내는 라벨이 부여된 차량의 후면 이미지를 포함할 수 있다.
식별 정보 학습 데이터는 차량의 식별 정보에 대응되는 영역에 대한 식별 영역 이미지를 포함할 수 있다. 예컨대, 식별 정보 학습 데이터는 차량의 전면 번호판을 촬영하여 획득되고 식별 번호 라벨이 부여된 전면 번호판 이미지, 차량의 후면 번호판을 촬영하여 획득되고 식별 번호 라벨이 부여된 후면 번호판 이미지 및/또는 차량의 VIN을 촬영하여 획득되고 식별 번호(VIN)가 부여된 VIN 이미지를 포함할 수 있다.
일 실시예에 따르면, 차량의 운전자(또는 소유자)를 식별하기 위한 운전자 식별 정보가 획득될 수 있다. 운전자 식별 정보는, 사용자 입력 등의 비-이미지 데이터 또는 운전자의 신분증을 촬영한 이미지 등의 이미지 데이터에 기초하여 획득될 수 있다. 운전자 식별 정보가 이미지 데이터에 기초하여 획득되는 경우, 전술한 알고리즘, 프로그램 또는 신경망 모델이 유사하게 이용될 수 있다.
차량의 식별 정보 또는 운전자 식별 정보는 각각 차량 또는 운전자의 이력 관리에 이용될 수 있다. 이와 관련하여서는 차량 정보 관리 항목에서 보다 상세히 설명한다.
2.3.5 차량 정보 획득 실시예 1
일 실시예에 따르면, 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 22를 참조하면, 부품-손상 정보는 차량 이미지 획득부(221), 부품 정보 획득부(223), 손상 정보 획득부(225) 및 부품-손상 정보 획득부(227)를 포함하는 장치(220)에 의해 획득될 수 있다. 이하에서는 도 22를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
차량 이미지 획득부(221)는 차량의 외관을 촬영하여 획득된 차량 이미지를 획득할 수 있다. 차량 이미지 획득부(221)는 카메라 모듈을 통하여 차량 이미지를 획득하거나, 외부 장치로부터 차량 이미지를 획득할 수 있다.
부품 정보 획득부(223)는 차량 이미지에 기초하여 차량을 구성하는 부품 정보를 획득할 수 있다. 부품 정보 획득부(223)는 입력된 대상 차량 이미지에 포함된 부품의 종류(또는 식별 정보) 및 각 부품에 대응되는 부품 영역 정보를 획득할 수 있다. 부품 정보에 관하여는 부품 정보 획득과 관련하여 설명된 내용이 적용될 수 있다.
손상 정보 획득부(225)는 차량 이미지에 기초하여 차량 외관의 손상과 관련된 손상 정보를 획득할 수 있다. 손상 정보 획득부(225)는 입력된 대상 차량 이미지에 손상 부위가 존재하는지 여부 및/또는 대상 차량 이미지로부터 손상 부위에 대응되는 손상 영역 정보를 획득할 수 있다. 손상 정보에 관하여는 손상 정보 획득과 관련하여 설명된 내용이 적용될 수 있다.
부품-손상 정보 획득부(227)는 부품 정보 및 손상 정보에 기초하여 대상 이미지에 포함된 개별부품 별 손상 정보를 나타내는 부품-손상 정보를 획득할 수 있다. 부품-손상 정보는 대상 이미지에 포함된 개별 부품 별로 손상 부위가 존재하는지 여부, 손상의 개수 및/또는 손상 부위를 나타내는 손상 영역 정보를 포함할 수 있다.
예를 들어, 부품-손상 정보 획득부(227)는 부품 정보 및 손상 정보를 획득하고, 부품 영역 정보 및 손상 영역 정보에 기초하여 개별 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는지 판단할 수 있다. 부품-손상 정보 획득부(227)는 특정 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는 경우 해당 부품에 손상이 존재함을 지시하는(또는 손상의 수를 나타내는) 부품-손상 정보를 획득할 수 있다. 부품-손상 정보 획득부(227)는 특정 부품에 대응되는 부품 영역과 중첩되는 손상 영역이 존재하는 경우 해당 부품에 존재하는 손상 부위의 위치를 표시하는 부품-손상 영역 정보를 획득할 수 있다.
구체적인 예로, 입력된 대상 차량 이미지가 제1 부품 및 제2 부품과 관련되고, 제1 부품은 대상 차량 이미지의 제1 영역과 대응되고 제2 부품은 대상 차량 이미지의 제2 영역과 대응되는 경우, 부품 정보는, 제1 부품 식별 정보, 제2 부품 식별 정보, 제1 부품 식별 정보에 대응되는 제1 영역 및 제2 부품 식별 정보에 대응되는 제2 영역을 포함할 수 있다. 대상 차량의 제1 부품에 손상이 발생된 경우, 손상 정보는 대상 차량 이미지에 손상 영역이 포함됨을 나타내고, 손상 영역의 위치를 나타내는 손상 영역 정보를 포함할 수 있다. 이때, 부품-손상 정보 획득부(227)는, 대상 차량 이미지 내에서 손상 영역 정보를 제1 영역 및 제2 영역과 비교하고, 손상 영역이 보다 많이 중첩되는 제1 영역에 손상이 존재하는 것으로 판단할 수 있다. 부품-손상 정보 획득부(227)는 제1 부품에 손상이 존재함을 지시하는 부품-손상 정보를 획득할 수 있다.
도 23은 일 실시예에 따른 차량 정보의 획득을 설명하기 위한 도면이다. 도 23을 참조하면, 부품 정보 획득부는 차량 이미지(a)에 기초하여, 각 부품에 대응되는 영역 정보를 포함하는 세그멘테이션 이미지(b)를 획득할 수 있다. 손상 정보 획득부는 동일한 차량 이미지(a)에 기초하여, 손상이 위치하는 영역을 나타내는 바운딩 박스(BB) 또는 바운딩 박스(BB)를 포함하는 이미지(c)를 획득할 수 있다. 부품-손상 정보 획득부는 바운딩 박스(BB)의 위치 및 각 부품에 대응되는 세그멘테이션에 기초하여, 부품 별 손상 정보를 획득할 수 있다. 도 23을 참조하면, 부품-손상 정보 획득부는, 바운딩 박스(BB)의 분포 좌표 및 세그멘테이션 정보에 기초하여, 차량의 좌전방 도어 및 좌후방 도어에 손상이 위치하는 것을 나타내는 부품-손상 정보를 획득할 수 있다.
2.3.6 차량 정보 획득 실시예 2
일 실시예에 따르면, 부품 정보와 손상 정보에 기초하여 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 24를 참조하면, 부품-손상 정보는 차량 이미지 획득부(241), 부품 정보 획득부(243), 손상 정보 획득부(245) 및 부품-손상 정보 획득부(247)를 포함하는 장치(240)에 의해 획득될 수 있다. 차량 이미지 획득부(241), 부품 정보 획득부(243) 및 손상 정보 획득부(245)에 대하여 특별한 설명이 없는 한 위에서 설명된 내용이 유사하게 적용될 수 있다. 이하에서는 도 24를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
부품 정보 획득부(243)는 개별 부품에 대응되는 부품 영역(예를 들어, 부품 영역의 세그멘테이션 또는 바운딩 박스)을 획득할 수 있다.
손상 정보 획득부(245)는 차량 이미지에 포함되는 개별 부품에 대응되는 부품 영역에 기초하여, 대상 부품 영역에 손상이 포함되는지 여부, 대상 부품 영역에 포함되는 손상의 종류, 수를 나타내는 손상 정보 및/또는 대상 부품 영역 중 손상이 위치하는 손상 영역 정보를 획득할 수 있다. 손상 정보 획득부(245)는 개별 부품 영역 별로 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 개별 부품 별 손상 정보를 획득할 수 있다.
부품-손상 정보 획득부(247)는 개별 부품 별 손상과 관련된 손상 정보에 기초하여, 대상 이미지에 따른 부품-손상 정보를 획득할 수 있다. 부품-손상 정보는 대상 이미지에 포함된 개별 부품 별로 손상 부위가 존재하는지 여부, 손상의 개수 및/또는 손상 부위를 나타내는 손상 영역 정보를 포함할 수 있다.
구체적인 예로, 입력된 대상 차량 이미지가 제1 부품 및 제2 부품과 관련되고, 제1 부품은 대상 차량 이미지의 제1 영역과 대응되고 제2 부품은 대상 차량 이미지의 제2 영역과 대응되는 경우, 부품 정보는, 제1 부품 식별 정보, 제2 부품 식별 정보, 제1 부품 식별 정보에 대응되는 제1 영역 및 제2 부품 식별 정보에 대응되는 제2 영역을 포함할 수 있다. 대상 차량의 제1 부품에 손상이 발생된 경우, 손상 정보 획득부(245)는, 제1 영역에 손상이 위치함을 나타내는 제1 손상 정보 및 제1 영역에 포함되는 손상 영역의 위치를 나타내는 제1 손상 영역 정보를 획득할 수 있다. 손상 정보 획득부는 제2 부품에 손상이 존재하지 아니함을 나타내는 손상 정보를 획득할 수 있다. 부품-손상 정보 획득부(247)는, 손상 정보 및 손상 영역 정보에 기초하여, 제1 부품 및 제2 부품에 대한 부품-손상 정보를 획득할 수 있다.
2.3.7 차량 정보 획득 실시예 3
일 실시예에 따르면, 부품 정보와 손상 정보에 기초하여 부품 별 손상을 나타내는 부품-손상 정보가 획득될 수 있다.
도 25를 참조하면, 부품-손상 정보는 차량 이미지 획득부(251), 차종 정보 획득부(253), 부품 정보 획득부(255), 손상 정보 획득부(257) 및 부품-손상 정보 획득부(259)를 포함하는 장치(250)에 의해 획득될 수 있다. 차량 이미지 획득부(251), 부품 정보 획득부(253) 및 손상 정보 획득부(255)에 대하여 특별한 설명이 없는 한 위에서 설명된 내용이 유사하게 적용될 수 있다. 이하에서는 도 25를 참조하여 부품-손상 정보의 획득에 대하여 설명한다.
차종 정보 획득부(253)는 차량 이미지에 기초하여 대상 차량의 차종과 관련된 차종 정보를 획득할 수 있다. 차종 정보 획득부(253)는 사용자 입력 또는 미리 저장된 데이터베이스를 통하여 획득될 수도 있다.
부품 정보 획득부(255)는 차종 정보에 기초하여 부품 정보를 획득할 수 있다. 부품 정보 획득부는 차종 정보와 차량 이미지를 함께 고려하여 부품 정보를 획득할 수 있다. 부품 정보 획득부(255)는 차종 정보를 추가 입력으로 이용하고 차량 이미지에 기초하여 특징 세트를 획득하는 신경망 모델을 이용하여 부품 정보를 획득할 수 있다. 부품 정보 획득부(255)는 차종 별로 미리 마련된 부품 정보 및/또는 부품 영역 정보를 이용하여 차량 이미지와 부품 영역 정보를 맵핑함으로써 부품 정보 및/또는 부품 영역 정보를 획득할 수 있다.
일반적으로, 차종 별로 차량을 구성하는 부품이 달라지는 경향이 있어, 차종을 함께 고려하여 부품 또는 부품 영역을 판단할 경우, 정확도가 향상될 수 있다. 한편, 여기에서는 차종 정보가 차량 이미지에 기초하여 획득되는 경우를 기준으로 설명하였으나, 차종 정보는 사용자 입력 또는 미리 저장된 데이터 등으로부터 획득될 수도 있다.
부품-손상 정보 획득부(257)는 부품 정보 및 손상 정보에 기초하여 부품-손상 정보를 획득할 수 있다. 부품-손상 정보의 획득과 관련하여서는, 도 22 및 23과 관련하여 전술한 내용이 유사하게 적용될 수 있다.
2.4 차량 정보 관리
차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
2.4.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
차량 정보를 관리하는 것은 하나 이상의 부품 정보에 기초하여, 부품 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 개별 부품 별로, 해당 부품의 교체, 결손, 손상 등을 나타내는 부품 정보를 각 부품 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 부품이 파손되었음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 부품이 교체되었음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 제1 정보 또는 제2 정보는 차량 이미지에 기초하여 획득될 수 있다.
차량 정보를 관리하는 것은 하나 이상의 손상 정보에 기초하여 손상 정보(또는 부품-손상 정보)를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 관리 프로세스는 특정 차량에 대하여, 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 제1 정보 또는 제2 정보는 차량 이미지에 기초하여 획득될 수 있다. 제1 정보 또는 제2 정보는 각 손상에 대응되는 영역 정보를 포함할 수 있다.
차량 정보를 관리하는 것은 하나 이상의 이미지에 기초하여 손상 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 획득된 제1 차량 이미지에 기초하여 획득된 제1 손상 정보 및 제1 시점 이후인 제2 시점에 획득된 제2 차량 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
차량 정보를 관리하는 것은 사용자 정보를 고려하여 수행될 수 있다. 예컨대, 차량 정보를 관리하는 것은, 제1 사용자에 의해 제1 시점에 촬영된 제1 차량 이미지에 기초하여 획득된 제1 손상 정보 및 제1 사용자에 의해 제2 시점에 촬영된 제2 차량 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
사용자 정보를 고려하여 차량 정보를 관리하는 것은, 이하의 온-사이트 차량 관리 프로세스 및 모바일 베이스 차량 관리 프로세스에서 보다 상세히 설명한다.
2.4.2 손상 이력 관리 실시예 1 - 신규 손상
손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
신규 손상 정보는 복수의 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 시점에 대응되는 제1 손상 정보 및 제1 시점 이후인 제2 시점에 대응되는 제2 손상 정보에 기초하여 획득될 수 있다.
신규 손상 정보는 새롭게 발생한 손상의 개수, 정도, 위치(예컨대, 좌표) 등을 포함할 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 손상 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제2 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 시점 이후 및 제2 시점 이전에 제1 차량에 새롭게 발생한 손상에 대한 정보를 포함할 수 있다. 예컨대, 신규 손상 정보는 제1 손상 정보에 따른 손상의 개수(또는 정도)와 제2 손상 정보에 따른 손상의 개수에 기초하여 획득된 새로이 발생한 손상의 수를 포함할 수 있다. 제1 이미지 및 제2 이미지는 차량을 동일한(또는 유사한)방향으로 촬영하여 획득된 이미지일 수 있다.
신규 손상 정보는 차량 이미지 내의 신규 손상에 대응되는 영역의 위치, 크기, 분포 등을 포함할 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 손상 영역 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제2 손상 영역 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 손상 영역 정보 및 제2 손상 영역 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 제1 차량에 새롭게 발생한 손상 영역의 차량 이미지 내에서의 위치, 크기 내지 분포에 대한 정보를 포함할 수 있다.
신규 손상 정보는 부품 별로 획득될 수도 있다. 신규 손상 정보는 개별 부품에 대하여 새롭게 발생한 손상의 개수, 정도, 위치(예컨대, 좌표), 대응되는 영역의 위치, 크기, 분포 등을 포함할 수 있다. 신규 손상 정보를 부품 별로 독립적으로 관리함으로써 개별 부품 별 상태 관리가 용이해질 수 있다.
신규 손상 정보는 제1 차량에 대하여 제1 시점에 촬영된 제1 이미지에 기초하여 획득된 제1 부품에 대한 제1 손상 정보 및 제1 차량에 대하여 제1 시점 이후인 제2 시점에 촬영된 제2 이미지에 기초하여 획득된 제1 부품에 대한 제2 손상 정보에 기초하여 획득될 수 있다. 신규 손상 정보는 제1 손상 정보 및 제2 손상 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 제1 부품에 새로이 발생한 손상의 수, 크기, 위치 등을 나타낼 수 있다.
도 26은 일 실시예에 따른 신규 손상 정보를 설명하기 위한 도면이다. 도 26을 참조하면, 제1 시점에 획득된 제1 차량 이미지(a) 및 제2 시점에 촬영된 제2 차량 이미지(b)에 기초하여 신규 손상 정보가 획득될 수 있다.
제1 차량 이미지에 기초하여 차량에 1개의 손상이 존재함을 나타내는 제1 손상 정보가 획득되고, 제2 차량 이미지에 기초하여 차량에 2개의 손상이 존재함을 나타내는 제2 손상 정보가 획득될 수 있다. 제1 손상 정보 및 제2 손상 정보에 기초하여, 하나의 신규 손상(후방 휀더의 B2)이 발생하였음을 나타내는 신규 손상 정보가 획득될 수 있다.
제1 차량 이미지(a)에 기초하여 제1 손상 영역 정보(B1)를 포함하는 제1 손상 정보가 획득될 수 있다. 제2 차량 이미지(b)에 기초하여 제1 손상 영역 정보(B1) 및 제2 손상 영역 정보(B2)를 포함하는 제2 손상 정보가 획득될 수 있다. 제1 손상 정보 및 제2 손상 정보에 기초하여, 제1 시점 이후 및 제2 시점 이전에 발생된 차량 후방 휀더의 손상을 신규 손상으로 판단할 수 있다. 신규 손상 정보 후방 휀더의 손상에 대응되는 제2 손상 영역 정보를 포함할 수 있다.
2.4.3 손상 이력 관리 실시예 2 - 손상 중첩
새로 발생한 손상이 기존 손상과 적어도 일부 중첩되는 경우가 발생할 수 있다. 이러한 경우, 새로 손상이 발생하였음에도 불구하고 손상의 개수가 변경되지 않을 수 있다. 특히, 신규 손상 영역이 기존 손상 영역에 포함되거나 기존 손상 영역이 신규 손상 영역에 포함되는 경우 이러한 문제가 발생할 수 있다. 이러한 경우에도 사용자에게 신규 손상이 발생하였음을 고지하기 위한 수단이 요구된다.
도 27은 기존 손상과 중첩되는 신규 손상이 발생한 경우의 손상 이력 관리를 설명하기 위한 도면이다. 기존 손상과 중첩되는 신규 손상이 발생한 경우의 손상 이력은 손상 부위의 위치, 크기, 좌표 등을 이용하여 획득될 수 있다.
도 27을 참조하면, 손상 이력을 관리하는 것은, 제1 시점에 촬영된 제1 차량 이미지(a)를 획득하고 제1 차량 이미지(a)에 기초하여 제1 손상 영역 정보(B1)를 포함하는 제1 손상 정보를 획득하는 것을 포함할 수 있다. 손상 이력을 관리하는 것은 제1 시점 이후인 제2 시점에 촬영된 제2 차량 이미지(b)를 획득하고 제2 차량 이미지(b)에 기초하여 제2 손상 영역 정보(B2)를 포함하는 제2 손상 정보를 획득하는 것을 포함할 수 있다.
도 27을 참조하면, 제2 손상 영역 정보(B2)는 제1 손상 영역 정보(B1)와 중첩될 수 있다. 제1 손상 영역 정보(B1)는 제2 손상 영역 정보(B1)에 포함될 수 있다. 제1 손상 영역 정보(B1)가 제2 손상 영역 정보(B1)와 적어도 일부 중첩되는 경우, 제1 손상 정보에 따른 손상의 개수 및 제2 손상 정보에 따른 손상의 개수는 동일할 수 있다.
신규 손상 정보는 제2 손상 영역 정보(B2) 및 제1 손상 영역 정보(B1)의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역 정보(B2)에 따른 제2 손상 영역(제2 바운딩 박스)의 크기 및 제1 손상 영역(제1 바운딩 박스)의 크기의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역(제2 바운딩 박스)의 위치(예컨대, 중심점의 좌표) 및 제1 손상 영역(제1 바운딩 박스)의 위치(예컨대, 중심점의 좌표)의 차이에 기초하여 획득될 수 있다. 신규 손상 정보는 제2 손상 영역(제2 바운딩 박스)의 모서리의 좌표 및 제1 손상 영역(제2 바운딩 박스)의 모서리의 좌표의 차이에 기초하여 획득될 수 있다.
2.5 차량 정보 출력 및 차량 정보 출력 인터페이스
차량 관리 시스템은 차량 정보를 출력할 수 있다. 차량 정보는 디스플레이를 구비하는 사용자 단말, 관리자 장치 등을 통하여 출력될 수 있다.
2.5.1 출력되는 정보
차량 관리 시스템은 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다.
차량 관리 시스템은 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
차량 관리 시스템은 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
차량 관리 시스템은 차량 이미지 및 해당 이미지의 차량에 대한 촬영 방향을 나타내는 방향 지시자를 함께 출력할 수 있다. 촬영 방향은 차량 이미지에 기초하여 획득될 수 있다. 차량을 촬영한 방향은 사용자의 입력을 통하여 획득될 수도 있다.
도 28은 일 실시예에 따른 출력 화면을 설명하기 위한 도면이다.
도 28을 참조하면, 일 실시예에 따른 출력 화면은 차량 이미지 표시부(CI), 차량 이미지의 촬영 방향을 나타내는 방향 지시자(DI), 차량과 관련된 비-이미지 정보 표시부(IF), 차량의 손상 정보를 나타내는 손상 정보 테이블(DT)을 포함할 수 있다.
차량 이미지 표시부(CI)는 노이즈가 제거된 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 손상 영역 정보를 표시될 수 있다. 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 도 28을 참조하면, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
방향 지시자(DI)는 표시되고 있는 차량 이미지의 촬영 방향을 나타낼 수 있다. 도 28을 참조하면, 방향 지시자(DI)는 차량의 좌측 방향을 지시하고, 차량 이미지 표시부(CI)는 차량의 좌측에서 촬영된 차량 이미지를 표시할 수 있다. 방향 지시자(DI)에 의해 지시되는 복수의 방향 각각에 대하여 서로 다른 방향에서 촬영된 차량 이미지가 대응될 수 있다. 방향 지시자(DI)의 방향을 선택하는 사용자 입력에 응답하여 대응되는 차량 이미지가 표시될 수 있다.
비-이미지 정보 표시부(IF)는 차량과 관련된 비-이미지 정보를 표시할 수 있다. 도 28을 참조하면, 비-이미지 정보 표시부(IF)는 차량 이미지가 촬영된 시점, 차량의 번호, 차량의 VIN, 차량의 모델 등을 표시할 수 있다.
손상 정보 테이블(DT)은 차량 이미지에 대응되는 부품 별로 손상의 수를 나타낼 수 있다. 이미지에 대응되는 부품은 현재 표시되고 있는 차량 이미지의 방향에 대응되는 부품을 의미할 수 있다. 예컨대, 도 28에서는 차량의 좌측을 촬영한 이미지가 표시되고 있으므로, 손상 정보 테이블(DT)은 차량의 좌측에 위치된 부품에 대한 부품 별 손상의 수를 나타낼 수 있다. 부품 별 손상의 수는 부품별 기존 손상의 수 및 신규 손상의 수(+로 구분됨)를 포함할 수 있다. 도 28을 참조하면, 손상 정보 테이블(DT)은 좌전방 도어, 좌측 도어 핸들, 좌후방 휀더에 기존 손상이 존재하며, 좌전방 도어 및 좌후방 휀더에 신규 손상이 존재함을 나타낼 수 있다.
한편, 손상 정보 테이블(DT)은 손상 정보 표시부의 일 실시예일 뿐이며, 기존 손상 또는 신규 손상에 대한 정보는 다른 형태로 표시될 수도 있다.
일 실시예에 따르면, 차량 관리 시스템은 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 보조 정보는 차량 정보에 기초하여 획득되고 차량 관리를 보조하기 위한 정보일 수 있다.
보조 정보는 손상 정보에 따른 손상의 정도에 따라 결정될 수 있다. 예컨대, 보조 정보는 손상 정도에 따라 차량의 수리, 도색, 일부 부품의 교체 등 필요한 조치를 지시할 수 있다.
보조 정보는 수리비 정보를 포함할 수 있다. 수리비 정보는 손상 정보에 기초하여 획득될 수 있다. 수리비 정보는 손상 정보에 기초하여 차량의 손상에 따라 적절히 수리 조치하는데 소요되는 비용의 추정치를 포함할 수 있다.
보조 정보는 보험 관련 정보를 포함할 수 있다. 보조 정보는 미리 저장된 보험 데이터에 기초하여 결정된 보험 청구 정보를 포함할 수 있다.
2.5.2 차량 정보 출력 실시예 1 - 복수 이미지 이용시 출력 이미지 선택
일 실시예에 따르면, 차량 정보 획득을 위하여 복수의 차량 이미지가 이용될 수 있다. 예컨대, 2.2.3에서 전술한 바와 같이 차량 이미지의 노이즈 제거를 위하여 복수의 이미지가 사용되는 경우가 있을 수 있다. 이와 같이 복수의 이미지를 이용하여 얻어진 차량 정보를 출력하는 경우에, 복수의 이미지 중 어느 이미지를 기준으로 하여 차량 정보를 출력할지에 대하여 살펴본다.
복수의 이미지를 이용하여 차량의 손상 정보(또는 부품-손상 정보)가 획득된 경우, 차량 이미지와 획득된 손상 정보, 특히 손상 영역 정보가 중첩되어 사용자에게 제공될 수 있다. 이때, 손상 영역 정보가 중첩되는 차량 이미지는 복수의 이미지 중 어느 하나일 수 있다. 손상 영역 정보가 중첩되는 차량 이미지는 복수의 이미지에 기초하여 생성된 이미지일 수 있다.
도 29는 일 실시예에 따른 손상 영역 정보의 표시를 설명하기 위한 도면이다. 도 29의 (a), (b) 및 (c)을 참조하면, 도 7에서 설명한 것과 동일하게, 배경 등의 노이즈 제거를 위한 처리가 수행될 수 있다. 도 29의 (d)를 참조하면, 차량의 손상 부위에 대응되는 바운딩 박스(BB)가 중첩된 차량 이미지가 제공될 수 있다. 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c)에 기초하여 생성된 배경이 제거된 차량 이미지일 수 있다. 또는, 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c) 중 차량의 위치가 프레임 중앙에 가까운 이미지일 수 있다. 또는, 또는, 바운딩 박스(BB)가 중첩되는 차량 이미지는 복수의 차량 이미지 (a), (b) 및 (c) 중 차량의 표시 비율이 가장 높은 이미지일 수 있다. 차량의 표시 비율은 차량의 전체 외면 중 이미지에 표시된 영역의 비율을 의미할 수 있다.
도 29에서는 복수의 이미지에 기초하여 배경 제거를 위한 노이즈 제거 처리를 수행하는 경우를 기준으로 설명하였으나, 이는 차량 내의 반사광 제거를 위한 노이즈 제거 처리가 수행되는 경우에도 유사하게 적용될 수 있다. 반사광 제거를 위한 노이즈 제거 처리의 경우, 반사광이 제거된 이미지에 손상 영역 정보가 중첩되어 출력될 수 있다.
3. 온-사이트 차량 관리 시스템
3.1 온-사이트 시스템
일 실시예에 따르면, 온-사이트(On-site)에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
도 34는 온-사이트 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 34를 참조하면, 일 실시예에 따른 온-사이트 차량 관리 시스템은 관리장치(341), 카메라 모듈(343) 및 감지수단(345)을 포함할 수 있다.
관리장치(341)는 카메라 모듈(343) 및 감지수단(345)과 연결되어, 상기 카메라 모듈(343) 및 감지수단(345)을 제어할 수 있다. 상기 관리장치(341)는 카메라 모듈(343) 및 감지수단(345)으로부터 데이터를 전달받을 수 있다. 상기 관리장치(341)는 디스플레이, 사용자 인터페이스, 통신 모듈, 메모리 및 컨트롤러 중 적어도 하나를 포함할 수 있다.
상기 관리장치(341)는 적어도 하나 이상의 전자기기로 구성될 수 있다. 상기 관리장치(341)는 태블릿, 스마트폰 및 노트북의 형태로 구현될 수 있다.
도시하지 않았지만 상기 관리장치(341)는 서버와 연결될 수 있다. 상기 관리장치(341)가 서버와 연결되는 경우 상기 관리장치(341)는 서버와 데이터를 교환할 수 있다. 이 경우 서버는 다수의 관리장치(341)와 연결되어, 다수의 관리장치(341)로부터 데이터를 수신하여 처리할 수 있다.
또는 상기 관리장치(341)는 서버의 역할을 할 수 있다. 이 경우 상기 관리장치(341)는 다른 관리장치(341) 또는 다른 전자기기와 연결되어 데이터를 교환하고 처리할 수 있다.
카메라 모듈(343)은 입차 또는 출차하는 차량을 촬영할 수 있다. 상기 카메라 모듈(343)은 차량을 촬영한 촬영 데이터를 상기 관리장치(341)로 전달할 수 있다.
감지수단(345)은 입차 또는 출차하는 차량의 위치를 감지할 수 있다. 상기 감지수단(345)은 입차 또는 출차하는 차량을 감지할 수 있다. 상기 감지수단(345)은 광학적 센서 또는 차단기(PB)일 수 있다.
상기 감지수단(345)은 상기 관리장치(341)로 센싱 값을 전달하고, 상기 관리장치(341)는 상기 센싱 값에 기초하여 차량의 관리에 이용되는 영상 데이터를 추출할 수 있다. 상기 관리장치(341)는 센싱 값에 기초하여 상기 촬영 데이터 중 영상 데이터를 추출할 수 있다.
온-사이트 차량 관리 시스템은 차량 집합 관리에 사용될 수 있다.
온-사이트 차량 관리 시스템은 주차 관제에 사용될 수 있다. 보다 구체적으로, 온-사이트 차량 관리 시스템은 주차 관리자가 주차 구역으로 입차 하는 차량의 이미지와 주차 구역에서 출차 하는 차량의 이미지를 비교 분석하는 작업에 사용될 수 있다.
또한, 온-사이트 차량 관리 시스템은 택시 회사의 택시 관리 업무에 사용될 수 있다. 보다 구체적으로, 온-사이트 차량 관리 시스템은 택시 회사가 운전자의 택시 운행 전, 후의 차량 이미지를 비교 분석하는 업무에 사용될 수 있다.
3.2 온-사이트 차량 관리 프로세스
일 실시예에 따르면, 온-사이트에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 온-사이트 차량 관리 프로세스는 전술한 온-사이트 차량 관리 시스템에 의해 수행될 수 있다.
도 35는 온-사이트 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 35를 참조하면, 온-사이트 차량 관리 프로세스는 차량과 관련된 온-사이트에서 촬영된 차량 데이터를 획득하는 단계(S3510), 획득된 차량 데이터에 기초하여 차량 정보를 획득하는 단계(S3530), 차량 정보를 관리하는 단계(S3550) 및 차량 정보를 출력하는 단계(S3570)를 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
3.2.1 온-사이트 차량 데이터 획득
온-사이트 차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 단계(S3510)를 포함할 수 있다.
차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다. 예컨대, 차량 데이터는 카메라 모듈(343)을 통하여 획득되거나, 사용자 입력 모듈을 통하여 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
3.2.1.1 이미지 데이터 획득
도 36은 온-사이트 차량 관리 프로세스에서 차량 관리에 필요한 차량 데이터를 획득하는 단계(S3510)를 설명하기 위한 도면이다. 이하에서는 도 36을 참조하여 촬영된 차량 데이터를 획득하는 단계(S3510)에 대하여 보다 구체적으로 설명한다.
도 36을 참조하면, 일 실시예에 따른 차량 데이터를 획득하는 단계(S3510)는 복수의 이미지를 포함하는 영상 데이터를 획득하는 단계(S3511) 및 획득한 복수의 이미지 중 유효 이미지 데이터를 추출하는 단계(S3513)를 포함할 수 있다.
일 실시예에 따르면, 차량 데이터는 차량을 촬영한 차량 이미지를 포함하는 이미지 데이터일 수 있다. 차량 이미지는 차량의 일부 부품을 포함하는 이미지일 수 있다. 차량 이미지는 차량을 식별하기 위한 식별 정보가 포함되도록 차량의 일부를 촬영하여 획득된 이미지일 수 있다.
차량 데이터는 차량을 촬영한 차량 영상 데이터일 수 있다. 차량 데이터는 영상 데이터 및 영상 데이터로부터 추출된 이미지 데이터를 포함할 수 있다.
영상 데이터는 카메라 모듈(343)이 복수의 특정 시점 사이에 촬영한 데이터를 의미할 수 있다. 이때, 상기 복수의 특정 시점은 서로 다른 시점을 의미할 수 있다. 이하에서는 도면을 참조하여 상기 복수의 특정 시점을 구체적인 예시를 들어 보다 상세히 설명한다.
도 37은 일 실시예에 따른 영상 데이터가 감지수단(345)에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 37을 참조하면, 일 실시예에 따른 차량관리 시스템은 관리장치(341), 감지수단(345) 및 카메라 모듈(343)을 포함할 수 있다. 또한, 차량관리 시스템은 차량의 입차 또는 출차를 제어하기 위한 차단기(PB)를 더 포함할 수 있다.
상기 카메라 모듈(343)은 적어도 하나 이상의 카메라를 포함할 수 있다. 상기 카메라 모듈(343)은 제1 카메라(C1) 및 제2 카메라(C2)를 포함할 수 있다.
상기 감지수단(345)은 적어도 하나 이상의 센서를 포함할 수 있다. 상기 감지수단(345)은 제1 센서(S1) 및 제2 센서(S2)를 포함할 수 있다.
상기 차단기(PB)는 상기 관리장치(341)에 의해 제어될 수 있다. 상기 관리장치(341)는 입차 또는 출차하는 차량이 차단기(PB)에 접근하는 경우 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 입차 또는 출차하는 차량이 차단기(PB)에 접근하고, 입차 또는 출차가 허가되는 경우에 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 상기 제1 센서(S1) 및 제2 센서(S2) 중 적어도 하나의 센싱 값에 의해 차단기(PB)를 제어할 수 있다. 상기 관리장치(341)는 제1 센서(S1)에 의해 차량이 감지되는 경우 차단기(PB)를 제어할 수 있다.
상기 카메라 모듈(343)은 주차장에 입차 또는 출차하는 차량의 촬영하기 위해 입차 또는 출차하는 차량의 이동경로와 인접한 영역에 설치될 수 있다. 아래에서는 입차하는 차량을 촬영하는 카메라 모듈(343)에 대해서 설명한다.
상기 제1 카메라(C1)와 제2 카메라(C2)는 차량의 다른 측면을 촬영하기 위해 설치될 수 있다. 예를 들어, 제1 카메라(C1)는 차량의 제1 측면을 촬영할 수 있는 위치에 설치되고, 제2 카메라(C2)는 차량의 제2 측면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제1 카메라(C1)와 제2 카메라(C2)는 서로 마주보는 방향으로 설치될 수 있다.
상기 제1 카메라(C1)는 입차 또는 출차하는 차량의 측면과 후면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제1 카메라(C1)는 상기 제2 카메라(C2)가 촬영영역에 위치하도록 설치될 수 있다. 상기 제1 카메라(C1)는 제2 카메라(C2)를 향해 설치될 수도 있다. 상기 제1 카메라(C1)가 입차 또는 출차하는 차량의 후면을 추가로 촬영할 수 있어, 비-이미지 데이터를 추가로 획득할 수도 있다.
상기 제2 카메라(C2)는 입차 또는 출차하는 차량의 측면과 전면을 촬영할 수 있는 위치에 설치될 수 있다. 상기 제2 카메라(C2)는 상기 제1 카메라(C1)가 촬영영역에 위치하도록 설치될 수 있다. 상기 제2 카메라(C2)는 제1 카메라(C1)를 향해 설치될 수도 있다. 상기 제2 카메라(C2)가 입차 또는 출차하는 차량의 전면을 추가로 촬영할 수 있어, 비-이미지 데이터를 추가로 획득할 수도 있다.
상기 제1 카메라(C1)와 제2 카메라(C2)는 상기 차단기(PB)와 평행하도록 위치할 수 있다.
또는 상기 제1 카메라(C1)와 제2 카메라(C2)는 서로 이격되어 위치할 수 있다. 상기 제1 카메라(C1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 카메라(C2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)가 차단기(PB)와 이격되는 영역에 위치함으로써 차량의 비-이미지 정보를 보다 빠른 시점에 획득하여 처리시간을 단축할 수 있는 효과가 있다. 제1 센서(S1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 센서(S2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 제1 센서(S2)는 주차장에 진입하는 차량을 감지하기 위해 차단기(PB)와 이격되어 설치될 수 있고, 제2 센서(S2)는 차량이 차단기(PB)와 인접하였는지를 감지하기 위해 상기 차단기(PB)와 대응되는 영역에 위치하도록 설치될 수 있다.
관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터의 촬영 데이터를 획득할 수 있다. 관리장치(341)는 제1 센서(S1)와 제2 센서(S2)로부터 전달받은 센싱 값에 기초하여 상기 촬영 데이터 중 영상 데이터를 추출할 수 있다. 여기서 영상 데이터는 차량 관리에 실질적으로 이용되는 데이터를 포함할 수 있다.
또는 관리장치(341)는 제1 센서(S1) 및 제2 센서(S2) 중 적어도 어느 하나의 센서로 전달받은 센싱값에 기초하여 제1 카메라(C1) 및 제2 카메라(C2) 중 적어도 어느 하나를 제어할 수 있다. 예를 들어, 상기 제1 센서(S1)에 의해 차량의 진입이 인식되는 경우 상기 제1 카메라(C1) 및 제2 카메라(C2)가 차량을 촬영할 수 있는 상태가 되도록 제어할 수 있고, 제2 센서(S2)에 의해 차량의 입차가 완료되는 경우 제1 카메라(C1) 및 제2 카메라(C2)가 차량을 촬영하지 않는 상태로 변경되도록 제어할 수 있다.
관리장치(341)는 차량이 제1 센서(S1)를 완전히 통과한 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식되었다가 인식이 종료된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)를 완전히 통과한 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의하고, 상기 영상 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 관리장치(341)의 저장부에 저장되는 데이터의 양을 줄일 수 있고, 제1 카메라(C1)와 제2 카메라(C2)로부터 관리장치(341)로 전달되는 데이터의 양을 줄일 수 있는 효과가 있다.
제1 카메라(C1)는 상기 제1 센서(S1)와 대응되는 영역에 위치하고, 제2 카메라(C2)는 제2 센서(S2)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)를 상기 제1 센서(S1)와 대응되는 영역에 위치시키고, 차량이 제1 센서(S1)를 완전히 통과한 시점을 시작시점으로 정의함으로써 제1 카메라(C1)가 차량의 일 측의 모든 영역을 촬영한 데이터를 영상 데이터로 정의할 수 있다. 또한, 상기 제2 카메라(C2)를 제2 센서(S2)와 대응되는 영역에 위치시키고, 차량이 제2 센서(S2)에 최초로 감지된 시점을 종료시점으로 정의함으로써 제2 카메라(C2)가 차량의 타 측의 모든 영역을 촬영한 데이터를 영상 데이터로 정의할 수 있다. 이로써, 제1 카메라(C1) 및 제2 카메라(C2)의 영상 데이터는 차량의 양측 모든 영역을 촬영한 데이터로 정의되고, 이에 따라 차량의 손상을 보다 정확히 인식할 수 있다.
도 38은 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 38을 참조하면, 다른 실시예에 따른 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)에 최초로 감지된 시점 사이의 촬영 데이터를 영상 데이터로 정의함으로써 도 37에 비해 시작시점을 앞당길 수 있다. 상기 관리장치(341)는 보다 이른 시점에서의 촬영 데이터를 영상 데이터로 정의함으로써 차량 앞 부분에 위치한 차량 번호 또는 VIN 정보 등의 차량 식별 정보를 정확하게 확보함으로써 차량 관리가 보다 원활히 수행될 수 있도록 하는 효과가 있다.
도 39는 또 다른 실시예에 따른 영상 데이터가 센서에 감지되는 특정 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 39를 참조하면, 또 다른 실시예에 따른 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)를 완전히 통과한 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 제1 센서(S1)에 차량이 인식된 시점을 시작시점으로 정의할 수 있고, 제2 센서(S2)에 차량이 인식되었다가 인식이 종료된 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 차량이 제1 센서(S1)에 최초로 감지된 시점과 차량이 제2 센서(S2)를 완전히 통과한 시점 사이의 촬영 데이터를 영상 데이터로 정의함으로써 도 37 및 도 38에 비해 시작시점을 앞당기고 종료시점을 늦출 수 있다. 상기 관리장치(341)는 보다 이른 시점에서의 촬영 데이터를 영상 데이터로 정의하고, 보다 늦은 시점에서의 촬영 데이터를 영상 데이터로 정의함으로써 차량의 주요 부위가 최대로 확보된 영상 데이터를 이용하여 차량관리를 수행할 수 있고, 그 결과로 차량 외관에 발생하는 손상 정보의 누락을 최소화할 수 있는 효과가 있다.
한편, 도면에 표시되지는 않았지만, 일 실시예에 따른 차량 관리 시스템은 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라를 더 포함할 수 있다.
상술한 제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)가 차량의 주차 구역으로 입차 시의 영상 데이터 확보를 위한 것일 수 있으며, 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라는 차량의 주차 구역밖으로 출차 시의 영상 데이터 확보를 위한 것일 수 있다.
다시 말해, 출차 시는 제3 센서와 제3 카메라를 더 포함할 수 있고, 제3 센서는 입차 시의 제1 센서(S1)와 대응되는 역할을 할 수 있고, 제3 카메라는 입차 시의 제1 카메라(C1)와 대응되는 역할을 할 수 있다. 이 경우 제3 카메라는 제1 카메라(C1)가 촬영하는 차량의 동일한 측면을 촬영하기 위해 설치될 수 있다. 또한, 출차 시는 제4 센서와 제4 카메라를 더 포함할 수 있고, 제4 센서는 입차 시의 제2 센서(S2)와 대응되는 역할을 할 수 있고, 제4 카메라는 입차 시의 제2 카메라(C2)와 대응되는 역할을 할 수 있다. 이 경우 제4 카메라는 제2 카메라(C2)가 촬영하는 차량의 동일한 측면을 촬영하기 위해 설치될 수 있다.
제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)에 관하여는 상술한 바, 제3 센서, 제4 센서, 제3 카메라 및 제4 카메라에 관한 내용 중 제1 센서(S1), 제2 센서(S2), 제1 카메라(C1) 및 제2 카메라(C2)와 중복되는 내용은 생략한다.
도 40은 또 다른 실시예에 따른 영상 데이터가 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점에서 카메라 모듈(343)에 의해 촬영되는 것을 설명하기 위한 도면이다.
도 40의 또 다른 실시 예에 따른 차량관리 시스템은 도 33과 비교하여 감지수단(345)으로 차단기(PB)가 사용되는 것 이외에는 도 37의 실시 예와 동일하다. 따라서, 도 40의 일 실시 예에 따른 차량관리 시스템을 설명함에 있어서, 도 37과 공통되는 부분에 대해서는 동일한 도면번호를 부여하고 상세한 설명을 생략한다.
도 40을 참조하면, 또 다른 실시 예에 따른 차량관리 시스템은 적어도 하나 이상의 차단기(PB)와 적어도 하나 이상의 카메라 모듈(343)을 포함할 수 있다.
상기 카메라 모듈(343)은 제1 카메라(C1) 및 제2 카메라(C2)를 포함할 수 있다. 제1 카메라(C1)는 차단기(PB)와 이격되는 영역에 위치할 수 있고, 제2 카메라(C2)는 차단기(PB)와 대응되는 영역에 위치할 수 있다. 상기 제1 카메라(C1)와 제2 카메라(C2)는 이격되도록 설치될 수 있고, 상기 제1 카메라(C1)와 제2 카메라(C2)는 차량의 다른 측면을 촬영할 수 있다.
관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터 촬영 데이터를 획득할 수 있다. 관리장치(341)는 제1 카메라(C1)와 제2 카메라(C2)로부터 획득된 촬영 데이터 중 영상 데이터를 추출할 수 있다. 여기서 영상 데이터는 차량 관리에 실질적으로 이용되는 데이터를 포함할 수 있다.
영상 데이터는 상기 카메라 모듈(343)에 의해 촬영된 촬영 데이터 중 복수의 특정 시점 사이에 촬영된 영상을 의미할 수 있다. 이때 복수의 특정 시점은 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점을 의미할 수 있다. 한편, 차단기(PB)가 작동한 시점부터 일정 범위 내의 시점이란, 상기 일정 범위 내의 시점에서 차량이 촬영될 경우 영상 데이터에 차량 전체 외관의 주요 부위 중 적어도 일부가 포함될 수 있을 정도 일정 범위를 가지는 시점을 의미할 수 있다. 즉, 주차 구역으로 차량이 접근하는 경우 차단기(PB)가 작동하게 되는데, 복수의 특정 시점은 차량의 접근에 따라 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전인 제1 시점과 일정 시점 이후인 제2 시점을 의미할 수 있다.
다시 말해, 영상 데이터는 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전인 제1 시점과 일정 시점 이후인 제2 시점 사이에 카메라 모듈(343)에 의해 촬영된 영상을 의미할 수 있다.
관리장치(341)는 차량이 제1 시점과 제2 시점 사이의 촬영 데이터를 영상 데이터로 정의할 수 있다. 이 경우 차단기(PB)가 작동한 시점을 기준으로 일정 시점 이전을 시작시점으로 정의할 수 있고, 차단기(PB)가 작동한 후 차량이 차단기(PB)를 완전히 통과한 시점을 종료시점으로 정의할 수 있다. 상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의할 수 있다.
상기 관리장치(341)는 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터를 영상 데이터로 정의하고, 상기 영상 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 센서가 구비되어 있지 않은 주차 구역에서도 차단기(PB)만을 이용해 차량 관리 기능 수행이 가능하게 하는 효과가 있다.
또한, 상기 제2 시점은 차단기(PB)가 작동한 시점과 대응되는 시점일 수도 있다. 이 경우 제1 카메라(C1)와 제2 카메라(C2)로부터 관리장치(341)로 전달되는 데이터의 양을 줄일 수 있는 효과가 있다
한편, 일 실시예에 따른 카메라 모듈(343)은 촬영 시 촬영 시점 및 각도가 고정되어 있는 고정식일 수 있으나 이에 한정되는 것은 아니다. 다른 예로, 일 실시예에 따른 카메라 모듈(343)은 촬영 시 차량의 움직임에 따라 회전하는 회전식일 수 있다.
일 실시예에 따른 카메라 모듈(343)이 회전식으로 구비되는 경우, 상술한 복수의 특정 시점은 영상 데이터가 차량 외관의 주요 부위 중 적어도 일부를 포함할 수 있는 범위에서 가변적일 수 있다.
이하에서는 도면을 참조하여 상기 영상 데이터로부터 온-사이트 차량 관리 프로세스에 적합한 이미지 데이터를 추출하는 방법을 설명한다.
영상 데이터로부터 추출된 이미지 데이터는 카메라 모듈(343)이 상술한 복수의 특정 시점에 촬영한 차량 이미지 중 어느 하나일 수 있다. 또한, 상기 영상 데이터로부터 추출된 이미지 데이터는 복수의 특정 시점 사이에 카메라 모듈(343)에 의해 촬영된 차량 이미지 중 어느 하나일 수 있다. 상기 이미지 데이터는 시작시점과 종료시점 사이에 카메라 모듈(343)에 의해 촬영된 차량 이미지 중 어느 하나일 수 있다.
도 41은 일 실시예에 따른 영상 데이터로부터 이미지 데이터를 추출하는 방법을 설명하기 위한 도면이다.
상술한 바와 같이 복수의 특정 시점에서 카메라 모듈(343)에 의해 획득된 영상 데이터는 복수의 이미지를 포함할 수 있다. 이때, 온-사이트 차량 관리 프로세스가 정상적으로 수행될 수 있게 하기 위하여 상기 복수의 이미지 중 유효 이미지 데이터가 추출될 수 있다.
관리장치(341)에 의해 상기 시작시점과 종료시점 사이에 획득된 촬영 데이터가 영상 데이터로 정의된 경우, 유효 이미지 데이터는 상기 시작시점과 종료시점 사이에 있는 영상 데이터 중 적어도 하나일 수 있다.
상기 유효 이미지 데이터는 영상 데이터 중 중간 구간에서의 적어도 하나의 이미지일 수 있다. 상기 중간 구간은 시작시점과 종료시점 사이의 특정 구간일 수 있다. 상기 중간 구간은 상기 시작시점과 종료시점의 중간시점을 포함할 수 있다. 이 때, 상기 시작시점과 중간시점 간의 시간간격과 중간시점과 종료시점 간의 시간간격은 대응될 수 있다.
유효 이미지 데이터는 상기 영상 데이터가 포함하고 있는 복수의 이미지 중 차량 외관의 주요 부위가 포함되어 있는 적어도 하나 이상의 이미지 데이터를 의미할 수 있다.
결국, 상기 관리장치(341)는 상기 유효 이미지 데이터를 이용하여 차량관리를 위한 데이터로 사용함으로써 관리장치(341)의 저장부에 저장되는 데이터의 양을 줄일 수 있고, 차량 외관의 주요 부위를 효과적으로 관리할 수 있는 효과가 있다.
상기 관리장치(341)가 획득하는 영상 데이터는 도 41의 (a) 내지 (c)이미지를 포함하는 복수의 이미지일 수 있다. 상기 관리장치(341)는 주요 부위가 도시된 (b) 이미지를 유효 이미지 데이터로 추출하여 차량 외관의 주요 부위를 효과적으로 관리할 수 있다.
한편, 상기 유효 이미지 데이터는 차량의 일부 영역만 포함된 이미지일 수도 있다. 이 경우에도 상기 유효 이미지 데이터는 차량 외관의 주요 부위를 포함하는 형태일 수도 있고, 이로써 차량 외관을 보다 명확히 판단하는 효과가 있다.
3.2.1.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다. 상기 비-이미지 데이터는 미리 저장되거나 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(343)에 의해 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(343)에 의해 촬영된 촬영 데이터에 기초하여 획득될 수 있다. 상기 관리장치(341)는 상기 영상 데이터에 기초하여 비-이미지 데이터를 획득할 수 있다.
3.2.1.3 데이터 처리
온-사이트 차량 관리 프로세스에서는 획득된 데이터에 대한 처리가 수행될 수 있다.
온-사이트 차량 관리 프로세스에서는 획득된 이미지 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다.
상기 관리장치(341)는 영상 데이터 중 적어도 하나 이상의 유효 이미지 데이터에 대한 전처리를 수행할 수 있다.
상기 관리장치(341)는 시작시점과 종료시점 사이의 중간 구간의 다수의 이미지에 기초하여 노이즈 제거처리를 수행할 수 있다. 상기 관리장치(341)는 다수의 유효 이미지 데이터에 기초하여 노이즈 제거 처리를 수행할 수 있다.
도 42는 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 42를 참조하면, 관리장치(341)는 차량 영역 및 배경 영역을 가지는 복수의 유효 이미지 데이터 (a) 내지 (c)를 획득하고, 복수의 유효 이미지 데이터 (a) 내지 (c)에 기초하여 배경 영역이 제거된 이미지(d)를 획득하는 노이즈 제거 처리를 수행할 수 있다. 상기 관리장치(341)는 복수의 유효 이미지 데이터 (a) 내지 (c)에 기초하여, 유효 이미지 데이터 내에서의 위치가 고정된 오브젝트인 배경에 대응되는 영역(즉, 배경 영역)이 제거되고, 유효 이미지 데이터 내에서의 위치가 변경되는 오브젝트인 차량에 대응되는 영역(즉, 차량 영역)을 포함하는 이미지(d)가 획득될 수 있다.
예시적으로, 주차 관제 회사 또는 택시 회사의 경우, 카메라 모듈(343)은 고정된 위치에서 움직이는 차량을 촬영하므로, 유효 이미지 데이터는 움직이는 차량 이미지와 고정되어 있는 배경 이미지를 포함할 수 있다. 이 경우, 배경 이미지는 신경망 모델에 의해 차량 이미지가 아닌 것으로 반복 학습될 수 있다. 따라서, 상기 노이즈 제거 처리는 배경 이미지에 관한 정보가 반복 학습되어 있는 신경망 모델을 이용하여, 상기 유효 이미지 데이터들로부터 배경 영역이 제거된 차량 이미지를 획득하는 것을 포함할 수 있다.
상기 관리장치(341)는 복수의 유효 이미지 데이터에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리를 수행할 수 있다. 관리장치(341)는 복수의 유효 이미지 데이터를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거할 수 있다. 예컨대, 관리장치(341)는 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 유효 이미지 데이터에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다.
도 43은 복수의 이미지를 이용한 노이즈 제거 처리를 예시하기 위한 도면이다. 도 43을 참조하면, 관리장치(341)는 손상 영역 및 반사 영역을 포함하는 복수의 유효 이미지 데이터(a) 및 (b)를 획득하고, 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리를 수행할 수 있다. 도 43을 참조하면, 관리장치(341)는 복수의 유효 이미지 데이터(a) 및 (b)에 기초하여, 이미지 내에서 또는 차량 영역 내에서 위치 또는 상태가 변경되는 반사 영역이 제거된 이미지(c)를 획득하는 노이즈 제거 처리를 수행할 수 있다.
반사 영역이 제거된 이미지(c)는 복수의 유효 이미지 데이터 (a) 및 (b)중 어느 하나에 기초하여 생성될 수 있다. 예컨대, 관리장치(341)는 복수의 유효 이미지 데이터(a) 및 (b)에 기초하여 반사 영역을 획득하고, 복수의 유효 이미지 데이터 (a) 및 (b)중 어느 하나로부터 반사 영역을 제거하여, 노이즈 제거된 이미지를 획득할 수 있다.
관리장치(341)는 신경망 모델을 이용하여 노이즈 제거 처리를 수행할 수 있다. 신경망 모델은 컨벌루션 신경망 레이어를 포함하고, 반사 영역이 마스킹된 복수의 차량 이미지를 포함하는 학습 데이터를 이용하여, 반사 영역이 제거된 이미지를 획득하도록 학습될 수 있다. 관리장치(341)는 학습된 신경망 모델을 이용하여, 유효 이미지 데이터들로부터 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리를 수행할 수 있다.
상술한 노이즈 제거 처리가 수행된 이미지는 손상 이미지로 정의될 수 있다. 상기 관리장치(341)는 상기 손상 이미지를 기초로 차량의 손상을 포함하는 차량의 정보를 판단할 수 있다.
상기 카메라 모듈(343)이 노이즈가 발생하지 않는 환경에 설치된 경우 상기 관리장치(341)는 노이즈 제거 처리를 생략할 수도 있다. 이 경우 후술할 차량 정보 획득은 유효 이미지 데이터를 기초로 수행될 수 있다. 이 때의 손상 이미지는 상기 유효 이미지 데이터일 수 있다.
3.2.2 온-사이트 차량 정보 획득
온-사이트 차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 데이터에 기초하여 차량 정보를 획득하는 것은 2.3에서 상술한 바 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면 관리장치(341)는 손상 이미지에 기초하여 차량정보를 획득할 수 있다. 상기 관리장치(341)는 상기 손상 이미지에 기초하여 손상정보를 획득할 수 있다.
일 실시예에 따르면, 주차 관제 회사의 경우 관리장치(341)는 미리 저장되어 있는 데이터베이스를 이용하여 주차 차량 정보를 획득할 수 있다. 상기 주차 차량 정보는 주차 차량의 차종, 제조사, 모델명, 연식 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 주차 차량 정보는 주차 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다.
주차 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 입차하는 차량의 손상 이미지와 출차하는 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 입차하는 차량의 손상 이미지와 출차하는 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 입차하는 차량의 손상 이미지를 기초로 산출된 손상정보와 출차하는 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 관리장치(341)는 입차하는 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 출차시 이를 불러와 출차하는 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 관리장치(341)는 입차하는 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 관리장치(341)는 입차하는 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 관리장치(341)는 해당 차량이 출차하는 경우 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 출차시 획득한 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
다른 예로, 상기 관리장치(341)는 주차 차량이 2회 이상 주차 시설을 이용하는 경우, 상기 주차 차량 정보는 차량의 사고 이력 등을 포함하는 추가 정보를 더 포함할 수 있다.
다른 일 실시예에 따르면, 택시 회사 경우 관리장치(341)는 미리 저장되어 있는 데이터를 이용하여 택시 차량 정보를 획득할 수 있다. 상기 택시 차량 정보는 택시 차량의 차종, 제조사, 모델명, 연식, 제조 시기, 제조 장소, 제조자, 위치, 등록 기준지 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 택시 차량 정보는 택시 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다.
택시 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 택시 운행전에 획득한 차량의 손상 이미지와 택시 운행 후에 획득한 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 택시 운행 전에 획득한 차량의 손상 이미지와 택시 운행 후에 획득한 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 택시 운행 전에 획득한 차량의 손상 이미지를 기초로 산출된 손상정보와 택시 운행 후에 획득된 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 관리장치(341)는 택시 운행 전에 획득한 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 택시 운행 후에 이를 불러와 택시 운행 후에 획득한 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 관리장치(341)는 택시 운행 전에 획득한 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 관리장치(341)는 택시 운행 전에 획득한 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 관리장치(341)는 해당 차량이 택시 운행을 마친 경우 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 택시 운행 후 획득한 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
3.2.3 차량 정보 관리
온-사이트 차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
또한, 차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
3.2.3.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
일 실시예에 따르면, 온-사이트 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 특정 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
예시적으로, 주차 관리 프로세스에서 차량 정보를 관리한다는 것은, 주차 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 주차 관리 프로세스에서 차량 정보를 관리한다는 것은 제1 주차 차량이 주차 구역으로 입차 시에 제1 주차 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 주차 차량이 주차 구역 밖으로 출차 시에 제1 주차 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
다른 예로, 택시 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 택시 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 택시 차량 관리 프로세스에서 차량 정보를 관리한다는 것은 제1 택시가 운행 전 제1 택시에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 택시가 운행 후 제1 택시에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보와 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
3.2.3.2 손상 이력 관리 실시예 1 - 운전자 별 관리
온-사이트 차량 관리 프로세스에서 손상 정보의 이력을 관리할 수 있다. 손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
손상 정보 이력은 운전자 정보를 고려하여 운전자 별로 관리될 수 있다.
일 실시예에 따르면, 관리장치(341)는 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 운전자 별로 관리할 수 있다. 관리장치(341)는 택시 차량의 손상 정보 이력을 운전자 별로 관리함으로써, 택시 차량에 손상이 발생하는 경우 책임 소재를 명확하게 할 수 있고, 택시 차량에 현재 또는 과거에 발생한 손상이 어느 운전자에 의해 발생한 것인지 파악하기가 용이하며, 그에 따른 택시 차량 관리 비용을 절감할 수 있는 효과를 제공할 수 있다. 또한, 관리장치(341)는 택시 차량의 손상 정보 이력을 운전자 별로 관리함으로써, 해당 운전자에 대한 평가 예컨대, 안전 운행 점수 등을 수행할 수 있고, 해당 운전자에 대한 상벌 예컨대, 일정 횟수 이상 사고 발생 시 벌금 부여 또는 일정 기간 무사고 시 상금 부여 등을 수행하여 회사 내 운전자들에 대한 관리가 용이하게 이루어지게 할 수 있는 효과를 제공할 수 있다.
예시적으로, 관리장치(341)가 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 운전자별로 관리한다는 것은, 제1 택시 운전자의 운행 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시 운전자의 운행 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리하는 것을 포함할 수 있다.
다른 예로, 관리장치(341)가 운전자 정보를 고려하여 택시 차량의 손상 정보 이력을 관리한다는 것은, 제1 택시 운전자가 제1 택시를 운행하기 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시 운전자가 제1 택시를 운행한 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 비교하여 얻은 제1 사용자의 제1 손상 이력과, 제1 택시 운전자가 제2 택시를 운행하기 전 산출된 제3 손상 이미지에 기초하여 획득된 제3 손상 정보 및 제1 택시 운전자가 제2 택시를 운행한 후 산출된 제4 손상 이미지에 기초하여 획득된 제4 손상 정보를 비교하여 얻은 제1 사용자의 제2 손상 이력을 시간을 고려하여 관리하는 것을 포함할 수 있다.
3.2.3.3 손상 이력 관리 실시예 2 - 차량 별 관리
손상 정보 이력은 차량 별로 관리될 수 있다.
일 실시예에 따르면, 관리장치(341)는 택시 차량의 손상 정보 이력을 차량 별로 관리할 수 있다. 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리함으로써, 택시 차량에 과거부터 현재까지 발생한 손상 정보를 시계열적으로 용이하게 파악할 수 있는 효과를 제공할 수 있다. 또한, 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리함으로써, 택시 차량의 수리 및 점검 일정을 차량의 상태에 따라 차량 별로 맞춤 일정으로 계획할 수 있게 하여 효율적인 차량 관리가 이루어질 수 있게 하는 효과를 제공할 수 있다.
예시적으로, 관리장치(341)가 택시 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 택시의 운행 전 촬영된 제1 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시의 운행 후 촬영된 제2 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리한다는 것을 포함할 수 있다.
다른 예로, 관치장치가 택시 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 택시가 제1 택시 운전자에 의해 운행되기 전 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 택시가 제1 택시 운전자에 의해 운행된 후 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 비교하여 얻은 제1 택시의 제1 손상 이력과, 제1 택시가 제2 택시 운전자에 의해 운행되기 전 산출된 제3 손상 이미지에 기초하여 획득된 제3 손상 정보 및 제1 택시가 제2 택시 운전자에 의해 운행된 후 산출된 제4 손상 이미지에 기초하여 획득된 제4 손상 정보를 비교하여 얻은 제1 택시의 제2 손상 이력을 시간을 고려하여 관리하는 것을 포함할 수 있다.
다른 실시예에 따르면, 관리장치(341)는 주차 차량의 손상 정보 이력을 차량 별로 관리할 수 있다.
예시적으로, 관리장치(341)가 주차 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 주차 차량의 입차 시 산출된 제1 손상 이미지에 기초하여 획득된 제1 손상 정보 및 제1 주차 차량의 출차 시 산출된 제2 손상 이미지에 기초하여 획득된 제2 손상 정보를 시간을 고려하여 관리한다는 것을 포함할 수 있다.
3.2.3.4 차량 정보 관리 실시예
일 실시예에 따르면, 차량 이미지에 기초하여 차량 외부의 손상과 관련된 정보를 획득하는 차량 손상 관리 장치가 제공될 수 있다.
차량 손상 관리 장치는, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 이미지 획득부 및 적어도 하나의 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 처리부를 포함할 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함할 수 있다. 대상 차량의 일면은 차량의 전면 또는 후면일 수 있다. 적어도 하나의 대상 차량 이미지는 차량의 전면, 후면, 좌측면, 우측면, 좌전방면, 좌후방면, 우전방면, 우후방면 및 상면 중 적어도 하나를 나타내는 차량 이미지를 포함할 수 있다.
상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함할 수 있다. 제1 영역은 상기 제2 영역보다 클 수 있다. 제1 영역은 제2 영역을 포함할 수 있다.
처리부는, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 획득되고 상기 제1 영역과 관련된 상기 손상 정보를 획득할 수 있다. 예컨대 손상 정보는 제1 대상 차량 이미지에 포함된 차량 대상 차량에 손상이 존재하는지 여부, 손상의 위치, 정도, 크기, 종류, 영역 등을 나타낼 수 있다.
차량 손상 관리 장치는, 상기 손상 정보를 출력하는 출력부를 더 포함할 수 있다. 상기 출력부는 상기 대상 차량의 상기 손상 정보를 출력할 수 있다. 출력부는 이미지, 영상, 음성 등의 수단을 통하여 손상 정보를 출력할 수 있다. 출력부는 통신 수단을 통하여 외부 장치로 손상 정보를 출력할 수도 있다.
상기 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함할 수 있다. 출력부는 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력할 수 있다.
차량 손상 관리 장치는, 사용자 입력을 획득하는 입력부를 더 포함할 수 있다. 처리부는, 상기 손상 정보의 출력에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득할 수 있다.
처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득할 수 있다. 처리부는, 차량의 번호판 또는 VIN에 대응되는 영역에 기초해서 결정되는 대상 차량의 차량 번호 또는 VIN을 획득할 수 있다.
상기 처리부는 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하고, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하고,
상기 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함할 수 있다. 기존 손상 정보는 제1 대상 차량 이미지가 촬영된 시점 이전에 촬영된 제2 대상 차량 이미지에 기초하여 획득된 손상 정보로서 제1 대상 차량 이미지를 통하여 판단하고자 하는 신규 손상 정보가 아닌 손상 정보를 의미할 수 있다.
처리부는 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득할 수 있다.
상기 손상 정보는, 상기 제1 대상 차량 이미지에 포함되는 상기 제2 영역과 관련된 제1 손상 정보 및 상기 제1 영역에 기초하여 획득되는 상기 대상 차량의 식별 정보와 연관하여 미리 저장된 제2 손상 정보에 기초하여 생성될 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함할 수 있다. 여기서의 제2 대상 차량 이미지는 대상 차량의 식별 정보를 포함하지 아니하는 영역을 촬영하여 획득된 이미지일 수 있다. 예컨대, 제1 대상 차량 이미지가 차량의 번호판을 포함하는 영역을 촬영하여 획득된 전면 또는 후면 이미지인 경우, 제2 대상 차량 이미지는 차량의 측면을 촬영하여 획득된 이미지일 수 있다.
제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함할 수 있다. 처리부는 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득할 수 있다.
처리부는, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득할 수 있다.
처리부는, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득할 수 있다.
처리부는 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하고, 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득할 수 있다.
처리부는, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득할 수 있다. 신경망 모델은 손상 영역 또는 손상 정보가 라벨링된 차량 이미지를 포함하는 학습 데이터를 이용하여, 차량 이미지에 기초하여 손상 정보를 획득하도록 학습될 수 있다. 손상 정보는 상기 제1 영역 중 상기 차량 외부의 손상과 대응되는 영역을 나타내는 영역 정보를 포함할 수 있다.
다른 일 실시예에 따르면, 차량 이미지를 획득하는 이미지 획득부 및 손상 정보를 획득하는 처리부를 포함하는 장치를 이용한 차량 손상 관리 방법이 제공될 수 있다.
도 31은 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다. 도 31을 참조하면, 차량 손상 관리 방법은 대상 차량 이미지를 획득하는 단계(S3110), 대상 차량의 차종 정보를 획득하는 단계(S3130), 대상 차량 이미지 및 차종 정보에 기초하여 손상 정보를 획득하는 단계(S3150)를 포함할 수 있다.
차량 손상 관리 방법은, 이미지 획득부를 통하여, 대상 차량의 외관을 촬영하여 획득된 적어도 하나의 대상 차량 이미지를 획득하는 단계(S3110)를 포함할 수 있다. 적어도 하나의 대상 차량 이미지는 상기 대상 차량의 일면을 촬영하여 획득된 제1 대상 차량 이미지를 포함하고, 상기 제1 대상 차량 이미지는, 상기 대상 차량에 대응되는 제1 영역 및 상기 대상 차량의 식별 정보가 위치되는 제2 영역을 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보를 획득하는 단계(S3130)를 포함할 수 있다.
처리부를 통하여, 차종 정보와 상기 제1 대상 차량 이미지에 기초하여 상기 대상 차량의 외관 손상과 관련된 손상 정보를 획득하는 단계(S3150)를 포함할 수 있다.
차량 손상 관리 방법은, 손상 정보를 출력하는 단계; 를 더 포함할 수도 있다. 손상 정보는 상기 대상 차량의 손상에 대응되는 손상 영역 정보를 포함하고, 손상 정보를 출력하는 것은 상기 대상 차량 이미지 및 상기 대상 차량 이미지에 중첩되는 상기 손상 영역 정보를 출력하는 것을 더 포함할 수 있다.
일 실시예에 따르면, 식별 정보를 획득하고 이에 기초하여 차량의 손상 이력 및/또는 신규 손상 정보를 획득하는 차량 손상 관리 방법이 제공될 수 있다. 도 32는 일 실시예에 따른 차량 손상 관리 방법을 설명하기 위한 도면이다. 도 32를 참조하면, 차량 손상 관리 방법은, 대상 차량의 식별 정보를 획득하는 단계(S3171), 대상 차량의 손상 이력을 획득하는 단계(S3173) 및/또는 신규 손상 정보를 획득하는 단계(S3175)를 더 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제2 영역에 기초해서 결정되는 상기 대상 차량의 식별 정보를 획득하는 단계(S3171)를 더 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 대상 차량의 식별 정보에 대응되는 상기 대상 차량의 손상 이력을 획득하는 단계(S3173)를 더 포함할 수 있다. 손상 이력은, 상기 제1 대상 차량 이미지보다 먼저 촬영된 제2 대상 차량 이미지에 기초하여 획득되고 상기 대상 차량의 상기 외관 손상과 관련된 기존 손상 정보를 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 기존 손상 정보 및 상기 손상 정보에 기초하여, 상기 대상 차량의 상기 제1 대상 차량 이미지가 촬영된 시점에 대응되는 신규 손상 정보를 획득하는 단계(S3175)를 더 포함할 수 있다.
손상 정보는 상기 제1 영역에 포함되고 상기 대상 차량의 손상에 대응되는 손상 영역정보를 포함할 수 있다.
적어도 하나의 대상 차량 이미지는 상기 대상 차량의 상기 일면과 다른 타면을 촬영하여 획득된 제2 대상 차량 이미지를 더 포함하고, 상기 제2 대상 차량 이미지는 상기 대상 차량에 대응되는 제3 영역을 포함할 수 있다.
상기 손상 정보를 획득하는 단계는, 상기 제1 대상 차량 이미지의 상기 제2 영역에 기초하여 결정된 상기 대상 차량의 차종 정보 및 상기 차종 정보와 상기 제2 대상 차량 이미지에 기초하여 획득되고 상기 제3 영역과 관련된 상기 손상 정보를 획득하는 것을 더 포함할 수 있다.
일 실시예에 따르면, 부품 정보를 획득하고 이에 기초하여 손상과 대응되는 부품 영역 정보를 획득하는 차량 손상 관리 방법이 제공될 수 있다. 차량 손상 관리 방법은, 대상 차량의 부품 정보를 획득하는 단계(S3191), 손상과 대응되는 부품 영역 정보를 획득하는 단계(S3193)를 더 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제1 대상 영역 이미지 및 상기 차종 정보에 기초하여, 상기 제1 영역에 포함되고 상기 대상 차량의 제1 부품에 대응되는 제1 부품 영역 및 상기 제1 영역에 포함되고 상기 대상 차량의 제2 부품에 대응되는 제2 부품 영역을 포함하는 부품 정보를 획득하는 단계(S3191)를 더 포함할 수 있다.
차량 손상 관리 방법은, 상기 처리부를 통하여, 상기 손상 정보 및 상기 부품 정보에 기초하여, 상기 손상과 대응되는 부품 영역 정보를 획득하는 단계(S3193)를 더 포함할 수 있다. 손상과 대응되는 부품 영역 정보를 획득하는 것은, 손상 영역이 위치하는 부품의 명칭, 식별 부호, 개수 등을 획득하는 것을 포함할 수 있다. 손상과 대응되는 부품 영역 정보를 획득하는 것은, 본 명세서에 설명하는 부품-손상 정보를 획득하는 것을 포함할 수 있다.
차량 손상 관리 방법은, 처리부를 통하여, 상기 제1 대상 차량 이미지로부터 상기 대상 차량의 번호판에 대응되는 상기 제2 영역을 획득하는 단계를 더 포함할 수 있다. 차종 정보를 획득하는 단계는 상기 번호판에 대응되는 상기 제2 영역에 기초하여 상기 차종 정보를 획득하는 것을 더 포함할 수 있다.
상기 손상 정보를 획득하는 단계는 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하도록 학습된 신경망 모델을 이용하여, 상기 대상 차량 이미지에 기초하여 상기 손상 정보를 획득하는 것을 더 포함할 수 있다.
차량 손상 관리 방법은, 사용자 입력을 획득하는 입력부를 더 포함할 수 있다. 이때, 차량 손상 관리 방법은, 상기 처리부가, 상기 손상 정보를 출력하는 것에 응답하여, 상기 입력부를 통하여 상기 손상 정보에 대한 사용자 응답을 획득하는 단계를 더 포함할 수 있다.
전술한 차랑 손상 관리 방법은, 방법을 수행하는 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체로 제공될 수 있다.
3.2.4 차량 정보 출력
3.2.4.1 출력되는 정보
온-사이트 차량 관리 시스템은 관리장치(341)의 디스플레이를 통해 차량 정보 및 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 또한, 상기 관리장치(341)는 상기 관리장치(341)와 연결된 전자기기를 통해 차량 정보 및 보조 정보를 출력할 수 있다.
상기 관리장치(341)는 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
상기 관리장치(341)는 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
이하에서는, 도 44 내지 도 47을 참조하여 주차 관리 시스템 및 택시 차량 관리 시스템의 차량 정보 출력 화면을 설명하도록 한다.
3.2.4.2 차량 정보 출력 실시예 1 - 주차 관제 회사
도 44 내지 도 48은 일 실시예에 따른 관리장치(341)에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따르면, 관리장치(341)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 관리장치(341)는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다. 도면에는 도시되지 않았지만, 상술한 차량 정보 및/또는 보조 정보는 차량 운전자의 정보 통신 기기에 출력될 수 있다.
관리장치(341)는 주차 차량에 신규 손상 정보가 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 관리장치(341)는 운전자가 주차 차량에 주차 중 손상이 발생되었다고 주장하는 경우, 상기 관리장치(341)의 사용자 인터페이스에 의한 입력에 기초하여 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 관리장치(341)는 주차 차량 관리를 위해 신규 손상 정보가 검출되지 않거나 운전자가 주차 중 손상 발생을 주장하지 않는 경우에도, 차량 정보 및/또는 보조 정보를 출력할 수 있다.
또한 상기 관리장치(341)는 출차하는 차량의 신규 손상 정보가 검출되는 경우 차단기(PB)를 개방하지 않은 상태에서 차량 운전자에 추가 손상이 발생하였음을 출력할 수 있다. 이 경우 관리장치(341)는 차량 운전자의 정보통신기기에 추가 손상이 발생하였음이 출력되도록 할 수 있고, 차량 운전자가 추가 손상에 대한 컨펌을 진행하는 경우 상기 관리장치(341)는 차단기(PB)를 개방할 수도 있다.
또는, 상기 관리장치(341)는 출차하는 차량의 신규 손상 정보가 검출되는 경우 차단기(PB)를 개방한 후에 추가손상이 발생하였음을 상기 차량 운전자의 정보통신기기에 전달할 수 있다.
도 44는 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따른 출력 화면은 차량 이미지 표시부(CI), 차량 이미지의 촬영 방향을 나타내는 방향 지시자(DI), 차량과 관련된 비-이미지 정보 표시부(IF), 차량의 손상 정보를 나타내는 손상 정보 테이블(DT)을 포함할 수 있다.
일 실시예에 따른 차량 이미지 표시부(CI)는 노이즈가 제거된 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 주차 구역에서 출차 시 촬영된 차량 이미지를 표시할 수 있다. 차량 이미지 표시부(CI)는 주차 구역에서 출차 시 촬영된 차량의 손상 영역 정보가 포함된 차량 이미지를 표시할 수 있다. 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 또한, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
또한, 차량 이미지 표시부(CI)에 표시되는 차량 이미지는 사용자에 의해 확대 또는 축소가 가능한 형태로 출력될 수 있다.
일 실시예에 따른 방향 지시자(DI)는 표시되고 있는 차량 이미지의 촬영 방향을 나타낼 수 있다. 또한, 방향 지시자(DI)는 차량의 좌측 방향을 지시하고, 차량 이미지 표시부(CI)는 차량의 좌측에서 촬영된 차량 이미지를 표시할 수 있다. 방향 지시자(DI)에 의해 지시되는 복수의 방향 각각에 대하여 서로 다른 방향에서 촬영된 차량 이미지가 대응될 수 있다. 방향 지시자(DI)의 방향을 선택하는 사용자 입력에 응답하여 대응되는 차량 이미지가 표시될 수 있다.
일 실시예에 따른 비-이미지 정보 표시부(IF)는 차량과 관련된 비-이미지 정보를 표시할 수 있다. 도 44를 참조하면, 비-이미지 정보 표시부(IF)는 차량 이미지가 촬영된 시점, 차량의 번호, 차량의 모델 등을 표시할 수 있다. 예시적으로, 차량 이미지가 촬영된 시점은 주차 구역으로 입차한 시간 및 주차 구역에서 출차한 시간을 의미할 수 있다. 또한, 비-이미지 정보 표시부(IF)는 차량 번호 및 차량 모델명을 표시할 수 있다.
일 실시예에 따른 손상 정보 테이블(DT)은 차량 이미지에 대응되는 부품 별로 손상의 수를 나타낼 수 있다. 이미지에 대응되는 부품은 현재 표시되고 있는 차량 이미지의 방향에 대응되는 부품을 의미할 수 있다. 예컨대, 도 44에서는 차량의 좌측을 촬영한 이미지가 표시되고 있으므로, 손상 정보 테이블(DT)은 차량의 좌측에 위치된 부품에 대한 부품 별 손상의 수를 나타낼 수 있다. 부품 별 손상의 수는 부품별 기존 손상의 수 및 신규 손상의 수(+로 구분됨)를 포함할 수 있다. 도 44를 참조하면, 손상 정보 테이블(DT)은 좌전방 도어, 좌측 도어 핸들, 좌후방 휀더에 기존 손상이 존재하며, 좌전방 도어 및 좌후방 휀더에 신규 손상이 존재함을 나타낼 수 있다.
한편, 손상 정보 테이블(DT)은 손상 정보 표시부의 일 실시예일 뿐이며, 기존 손상 또는 신규 손상에 대한 정보는 다른 형태로 표시될 수도 있다.
도 45는 관리장치(341)의 출력 화면 중 손상 정보에 대한 사용자 또는 관리자의 동의 여부를 선택할 수 있는 화면을 설명하기 위한 도면이고, 도 46은 관리장치(341)의 출력 화면 중 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 45의 (a)를 참조하면, 일 실시예에 따른 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면은 상세 확인 버튼(CO)을 포함할 수 있다. 사용자 또는 관리자는 신규 손상 영역(ND)에 관한 정보에 동의하지 않거나, 동의하더라도 보다 구체적인 정보를 얻고 싶은 경우 차량 이미지 표시부(CI)에 포함되어 있는 상세 확인 버튼(CO)을 클릭할 수 있다.
사용자 또는 관리자가 상세 확인 버튼(CO)을 클릭하는 경우, 관리장치(341)의 출력 화면은 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지를 표시할 수 있다. 이때, 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지는 서로 대응되는 방향에서 촬영된 차량 이미지일 수 있다. 다른 예로, 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지는 적어도 하나 이상의 차량의 주요 부위를 포함하되, 상기 차량의 주요 부위는 적어도 하나 이상 공통될 수 있다.
또는, 상기 관리장치(341)의 출력 화면은 입차시 도출된 유효 이미지 데이터에 입사치 손상 정보가 매핑된 이미지를 표시할 수 있다. 또한, 상기 관리장치(341)의 출력 화면은 출차시 도출된 유효 이미지 데이터에 출차시 손상 정보가 매핑된 이미지를 표시할 수 있다.
입차 시 산출된 손상 이미지에는 기존 손상 영역(ED)이 포함될 수 있고, 출차 시 산출된 손상 이미지에는 신규 손상 영역(ND)이 포함될 수 있다. 즉, 사용자 또는 관리자가 상세 확인 버튼을 클릭하는 경우, 사용자 또는 관리자는 입차 시 촬영된 차량 이미지와 출차 시 산출된 손상 이미지를 비교하여 신규 손상에 관한 보다 구체적인 정보를 획득할 수 있다.
도 45의 (b)를 참조하면, 다른 실시예에 따른 관리장치(341)의 출력 화면 중 손상 정보를 출력하는 화면은 신규 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창(CO)을 포함할 수 있다. 사용자 또는 관리자는 신규 손상 영역(ND)에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다.
도 46를 참조하면, 사용자 또는 관리자가 'Objection'버튼을 클릭하는 경우, 관리장치(341)의 출력 화면은 입차 시 산출된 손상 이미지 및 출차 시 산출된 손상 이미지를 표시할 수 있다.
도 47은 관리장치(341)의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 47을 참조하면, 일 실시예에 따른 손상 이력에 관한 정보를 포함하는 출력 화면은 차량 이미지 표시부(CI), 차량과 관련된 비-이미지 정보 표시부(IF) 및 손상 이력 표시부(DH)를 포함할 수 있다.
차량 이미지 표시부(CI) 및 비-이미지 정보 표시부(IF)에 관한 내용은 상술한 바 있으므로 자세한 설명은 생략한다.
손상 이력 표시부(DH)는 과거부터 현재까지 해당 차량에 발생한 손상 정보를 표시할 수 있다. 또한, 손상 이력 표시부(DH)는 과거부터 현재까지 해당 차량에 발생한 손상에 대해 손상 발생 날짜, 손상 발생 시간, 손상 개수, 손상 위치 등을 포함하는 정보를 표시할 수 있다.
3.2.4.3 차량 정보 출력 실시예 2 - 택시 회사
택시 차량 관리 시스템의 관리장치(341)의 디스플레이에 출력되는 정보는 3.2.4.2에서 서술한 주차 관리 시스템에서 출력하는 정보와 대응된다. 따라서, 주차관리 시스템에서 설명했던 내용과 중복되는 설명은 생략한다.
일 실시예에 따르면, 택시 차량 관리 시스템의 관리장치(341)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 상기 관리장치(341)는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다. 도면에는 도시되지 않았지만, 상술한 차량 정보 및/또는 보조 정보는 택시 운전자의 정보 통신 기기에 출력될 수 있다.
도 48은 관리장치(341)의 출력 화면 중 손상 이력에 관한 정보를 포함하는 출력 화면을 설명하기 위한 도면이다.
도 48을 참조하면, 택시에 발생한 손상 이력을 운전자 별로 분류하여 출력하는 화면은 운전자와 관련된 비-이미지 정보 표시부(IF), 손상 이력 표시부(DH) 및 차량 이미지 표시부(CI)를 포함할 수 있다.
일 실시예에 따른 비-이미지 정보 표시부(IF)는 운전자에 관한 정보 예컨대, 운전자 이름, 운전자의 면허 정보, 운전자의 주소 등에 관한 정보를 표시할 수 있다. 또한, 비-이미지 정보 표시부(IF)는 해당 운전자가 주행한 총 주행 거리, 총 주행 시간, 총 사고 횟수, 총 수리/교체 횟수, 총 수리/교체 비용 등에 관한 정보를 표시할 수 있다.
일 실시예에 따른 손상 이력 표시부(DH)는 과거부터 현재까지 해당 운전자에 의해 발생한 손상 정보를 표시할 수 있다. 또한, 손상 이력 표시부(DH)는 과거부터 현재까지 해당 운전자에 의해 발생한 손상에 대해 손상 발생 차량 번호, 손상 발생 날짜, 손상 개수, 손상 위치 등에 관한 정보를 표시할 수 있다.
일 실시예에 따른 차량 이미지 표시부(CI)는 운전자 또는 관리자가 해당 운전자의 손상 이력 중 어느 하나를 선택하는 경우 운전자 또는 관리자가 선택한 손상 정보에 관한 상세 내용을 표시할 수 있다. 이때, 상기 운전자 또는 관리자가 선택한 손상 정보에 관한 상세 내용은 사고 발생 차량의 보험 번호, 부품 교체/수리 여부, 부품 교체/수리 가격 등에 관한 정보를 포함할 수 있다.
또한, 손상 이력 정보 출력 화면은 택시에 발생한 손상 이력을 차량 별로 분류하여 출력할 수도 있다. 상기 관리장치(341)는 해당 택시에서 발생한 손상 영역 별로 손상이 발생하였을 때의 운전자를 연계하여 표시할 수 있다.
4. 모바일 베이스 차량 관리 시스템
4.1 모바일 시스템
일 실시예에 따르면, 모바일에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 시스템이 제공될 수 있다.
도 49는 모바일 베이스 차량 관리 시스템의 구성을 설명하기 위한 도면이다.
도 49를 참조하면, 일 실시예에 따른 모바일 베이스 차량 관리 시스템은 단말기(490) 및 서버(499)를 포함할 수 있다.
단말기(490)는 서버(499)와 연결될 수 있다. 상기 단말기(490)가 서버(499)와 연결되는 경우 상기 단말기(490)는 서버(499)와 데이터를 교환할 수 있다. 이 경우 서버(499)는 다수의 단말기(490)와 연결되어, 다수의 단말기(490)로부터의 데이터를 수신하여 처리할 수 있다.
단말기(490)는 적어도 하나 이상의 카메라 모듈(491), 제어부(492), 저장부(493), 통신부(494), 입력부(495) 및 출력부(496)를 포함할 수 있다.
카메라 모듈(491)은 차량의 외관을 촬영할 수 있다. 카메라 모듈(491)은 공유 차량의 이용 전과 후에 차량의 외관을 촬영할 수 있다.
저장부(493)는 상기 카메라 모듈(491)에 의해 촬영된 촬영 데이터를 저장할 수 있다. 또한, 저장부(493)는 비-이미지 데이터를 저장할 수 있다.
통신부(494)는 데이터를 송/수신하는 구성이다. 단말기(490)와 서버(499)는 상기 통신부(494)를 통해 서로 연결되어 데이터를 교환할 수 있다.
입력부(495)는 이용자 또는 관리자로부터 데이터를 입력 받는 구성이다. 상기 데이터는 차량에 관한 정보, 이용자 정보 등을 포함할 수 있다.
출력부(496)는 이용자 또는 관리자에게 차량에 관한 정보를 출력하는 구성으로, 디스플레이 등의 모듈을 지칭할 수 있다.
제어부(492)는 저장부(493), 통신부(494), 입력부(495) 및 출력부(496)를 제어할 수 있다. 제어부(492)는 카메라 모듈(491)에 의해 촬영된 촬영 데이터가 저장부(493)에 저장될 수 있도록 제어하며, 다양한 실시예의 형태로서 통신부(494)에서 데이터가 송수신되도록 제어하고, 입력부(495)를 통해 차량에 관한 정보 및 이용자 정보 등을 입력 받도록 제어하고, 출력부(496)를 통해 이용자 또는 관리자에게 차량에 관한 정보를 출력하도록 제어할 수 있다.
4.2 모바일 베이스 차량 관리 프로세스
일 실시예에 따르면, 모바일에서 차량을 촬영한 이미지를 이용하여 차량의 상태를 관리하기 위한 차량 관리 프로세스가 제공될 수 있다. 모바일 베이스 차량 관리 프로세스는 전술한 모바일 베이스 차량 관리 시스템에 의해 수행될 수 있다.
도 50은 모바일 베이스 차량 관리 프로세스에 의해 수행되는 일련의 단계들을 설명하기 위한 도면이다.
도 50을 참조하면, 모바일 베이스 차량 관리 프로세스는 모바일에서 촬영된 차량 데이터를 획득하는 단계(S510), 획득된 차량 데이터에 기초하여 차량 정보를 획득하는 단계(S530), 차량 정보를 관리하는 단계(S550) 및 차량 정보를 출력하는 단계(S570)를 포함할 수 있다. 이하에서는 각 단계에 대하여 보다 구체적으로 설명한다.
4.2.1 모바일 차량 데이터 획득
모바일 베이스 차량 관리 프로세스는 차량 관리에 필요한 차량 데이터를 획득하는 단계(S510)를 포함할 수 있다. 차량 데이터는 다양한 형태로 마련될 수 있다. 예컨대, 차량 데이터는 이미지 데이터 또는 비-이미지 데이터일 수 있다. 차량 데이터는 장치에 미리 저장되거나 외부로부터 획득될 수 있다.
차량 데이터 및 차량 데이터의 획득에 대하여는 이하에서 구체적인 예시를 들어 보다 상세히 설명한다.
4.2.1.1 이미지 데이터 획득
일 실시예에 따른 이미지 데이터 획득은 복수의 이미지를 포함하는 영상 데이터를 획득하고, 획득한 복수의 이미지 중 유효 이미지 데이터를 추출하는 것을 포함할 수 있다. 상기 영상 데이터 및 유효 이미지 데이터는 3.2.1.1에서 서술한 영상 데이터 및 유효 이미지 데이터와 각각 서로 대응되는 구성이며, 그에 관한 내용은 상술한 바 있으므로 중복되는 내용은 생략하도록 한다.
도 51은 일 실시예에 따른 영상 데이터에 포함되어 있는 차량 손상 정보가 충분하지 않은 경우 재 촬영 요청을 설명하기 위한 도면이다.
모바일 베이스 차량 관리 프로세스는 영상 데이터에 손상 개수, 손상 종류, 손상 정도에 관한 정보 및 손상이 발생한 위치, 손상이 발생한 부품 정보 등이 모두 포함되어 있어야 정상적으로 작동할 수 있다. 따라서, 영상 데이터에 상기 차량 손상에 관한 정보가 충분히 표현되어 있지 않은 경우 단말기(490)는 이용자 또는 관리자에게 재 촬영할 것을 요청할 수 있다.
즉, 단말기(490)에 의해 촬영된 영상 데이터는 서버(499)로 전송되고, 서버(499)가 전달받은 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는지 여부를 판단하고, 그 결과를 상기 단말기(490)에 전송할 수 있다. 상기 단말기(490)는 출력부(496)를 통해 판단 결과를 이용자에게 표시할 수 있다. 상기 단말기(490)는 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는 경우에는 적합한 촬영임을 이용자에게 알릴 수 있고, 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있지 않은 경우에는 이용자에게 재촬영이 필요함을 알릴 수 있다.
또는 상기 단말기(490)는 촬영된 영상 데이터가 차량 손상에 관한 정보가 충분히 표현되어 있는지 여부를 판단할 수도 있다.
도 51의 (a)를 참조하면, 카메라 모듈(491)에 의해 촬영된 영상 데이터(MBB1)에 손상 개수, 손상 종류, 손상 정도 등에 관한 정보가 명확히 포함되어 있지 않다. 또한, 도 51의 (b)를 참조하면, 손상 부위를 확대 촬영한 결과 카메라 모듈(491)에 의해 촬영된 영상 데이터(MBB2)에 차량 외관 중 손상이 발생한 위치, 손상이 발생한 부품 정보 등에 관한 정보가 명확히 포함되어 있지 않다.
이 경우, 단말기(490)의 제어부(492)는 출력부(496)를 통해 이용자 또는 관리자에게 도 51의 (c)에 도시된 바와 같이 영상 데이터(MBB3)에 손상 개수, 손상 종류, 손상 정도에 관한 정보 및 손상이 발생한 위치, 손상이 발생한 부품 정보 등이 모두 포함될 수 있도록 재 촬영을 요청하는 메시지를 표시할 수 있다.
또는 상기 단말기(490)의 제어부(492)는 저장부(493)에 저장된 기존 손상부위에 대한 촬영이 진행되지 않은 경우 기존 손상부위에 대한 재촬영을 요청하는 메시지를 표시할 수도 있다.
한편, 영상 데이터는 카메라 모듈(491)이 복수의 특정 시점 사이에 촬영한 데이터를 의미할 수 있다. 이때, 상기 복수의 특정 시점은 서로 다른 시점을 의미할 수 있다. 이하에서는 도면을 참조하여 상기 복수의 특정 시점을 구체적인 예시를 들어 보다 상세히 설명한다.
도 52는 일 실시예에 따른 영상 데이터가 특정 시점에서 카메라 모듈(491)에 의해 촬영되는 것을 설명하기 위한 도면이다.
영상 데이터는 복수의 이미지를 포함할 수 있다. 영상 데이터는 제1 이미지 및 제2 이미지를 포함할 수 있다. 상기 제1 이미지는 촬영되는 차량의 특정 지점으로부터 제1 거리(D1)를 가지는 제1 지점에 위치한 단말기(490)에 의해 촬영된 이미지이다. 상기 제2 이미지는 상기 차량의 상기 특정 지점으로부터 제2 거리(D2)를 가지는 제2 지점에 위치한 단말기(490)에 의해 촬영된 이미지이다. 이때, 상기 제1 거리(D1)와 제2 거리(D2)는 상이할 수 있다.
예를 들어, 상기 영상 데이터는 이용자의 조작에 의해 촬영된 이미지일 수 있다. 상기 제1 이미지 및 제2 이미지는 이용자의 조작에 의해 촬영된 이미지일 수 있다. 즉, 이용자의 상기 단말기(490)에 대한 제1 조작에 의해 제1 이미지가 촬영되고, 제2 조작에 의해 제2 이미지가 촬영될 수 있다.
또는, 상기 단말기(490)는 이용자의 조작에 의해 촬영된 영상 데이터 중 일부를 추출할 수 있다. 즉, 상기 단말기(490)는 이용자의 조작에 의해 동영상 형태로 촬영되고, 상기 단말기(490)는 상기 영상 데이터 중 주요 부위가 촬영된 영상 데이터를 제1 이미지와 제2 이미지로 추출할 수 있다. 또는 상기 서버(499)가 영상 데이터를 전송받고, 상기 서버(499)는 상기 영상 데이터 중 주요 부위가 촬영된 영상 데이터를 제1 이미지와 제2 이미지로 추출할 수 있다.
영상 데이터가 카메라 모듈(491)에 의해 제1 거리(D1)와 상기 제1 거리(D1)와 상이한 제2 거리(D2)를 가지는 지점에서 획득되는 경우, 상기 영상 데이터에는 차량 손상 정보 외에도 해당 손상 정보 이외의 다양한 정보가 포함될 수 있다. 이에 따라, 단말기(490)는 영상 데이터로부터 노이즈가 제거된 즉, 차량 손상에 관한 보다 정확한 정보가 포함되어 있는 유효 이미지 데이터를 검출할 수 있다.
또한, 상기 제1 이미지는 차량 외관에 관한 제1 영역이 촬영되되, 상기 제1 영역에는 적어도 하나 이상의 차량 주요 부위가 포함되어 있는 이미지이다. 상기 제2 이미지는 차량 외관에 관한 제2 영역이 촬영되되, 상기 제2 영역에는 적어도 하나 이상의 차량 주요 부위가 포함되어 있는 이미지이다. 이때, 단말기(490)에 의해 촬영된 차량 주요 부위 중 적어도 일부는 제1 영역 및 제2 영역에 공통적으로 포함될 수 있다.
도 53은 카메라 모듈(491)로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 제공되는 촬영 가이드를 설명하기 위한 도면이다.
도 53의 (a)를 참조하면, 단말기(490)는 이용자 또는 관리자가 카메라 모듈(491)로 차량을 촬영하는 경우 대상 차량의 정보에 기초하여 출력부(496)를 통해 촬영 가이드를 표시할 수 있다. 상기 대상 차량의 정보는 차량 이용자가 입력한 정보, 차량 이용자의 예약 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다. 예시적으로, 차량 이용자가 차량 이용 전 특정 차종을 예약하는 경우, 단말기(490)는 이용자의 예약 정보에 기초하여 해당 차종에 관한 촬영 가이드를 출력부(496)를 통해 이용자 또는 관리자에게 제공할 수 있다. 다른 예로, 차량 이용자가 차량 이용을 위해 카메라 모듈(491)로 차량을 촬영하는 경우, 단말기(490)는 차량 정보를 획득하도록 학습된 신경망 모델을 통해 해당 차종에 관한 정보를 획득 후 해당 차종에 관한 촬영 가이드를 출력부(496)를 통해 이용자 또는 관리자에게 제공할 수 있다. 한편, 도 53의 (a)에 도시된 촬영 가이드는 예시적인 것으로 일 실시예의 촬영 가이드는 기 알려진 다양한 촬영 가이드의 형태를 포함할 수 있다.
도 53의 (b) 및 (c)를 참조하면, 상술한 촬영 가이드에 기초하여 이용자가 차량을 촬영할 때 촬영 가이드 내에 해당 차량이 일정 비율 이상 적합하게 위치할 경우, 단말기(490)의 제어부(492)는 촬영 버튼을 활성화하여 이용자의 차량 촬영 및 저장이 가능하도록 할 수 있다.
또한, 상술한 촬영 가이드에 기초하여 이용자가 차량을 촬영할 때 촬영 가이드 내에 해당 차량이 일정 비율 이상 적합하게 위치할 경우, 단말기(490)의 제어부(492)는 카메라 모듈(491)이 자동적으로 차량의 외관을 촬영하도록 제어한 후, 촬영된 이미지가 단말기(490)의 저장부(493)에 저장되도록 제어할 수 있다.
한편, 도 53에는 도시되지 않았지만, 단말기(490)는 차량 전체 모습을 촬영하기 위한 촬영 가이드를 제공하는 것뿐만 아니라, 차량의 특정 부품을 촬영하기 위한 부품 별 촬영 가이드를 제공할 수 있다. 상기 부품 별 촬영 가이드는 차량 이용자가 입력한 정보, 차량 이용자의 예약 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있으며, 이에 관하여는 상술한 바 있으므로 중복되는 내용은 생략한다.
도 54는 카메라 모듈(491)로 차량을 촬영하는 경우 제공되는 촬영 맵을 설명하기 위한 도면이다.
도 54를 참조하면, 단말기(490)는 출력부(496)를 통해 이용자에게 촬영 맵을 표시할 수 있다. 단말기(490)는 이용자가 카메라 모듈(491)로 차량을 촬영하는 경우 차량 외관의 주요 부위가 모두 촬영될 수 있도록 가이드해주는 촬영 맵을 출력부(496)를 통해 이용자에게 표시할 수 있다. 보다 구체적으로, 촬영 맵은 차량 외관의 주요 부위가 모두 촬영될 수 있도록 하기 위해 다양한 방향에서 차량을 촬영할 수 있도록 유도하는 UI를 포함할 수 있다. 예시적으로, 상기 차량 외관의 주요 부위는 차량의 전면, 후면, 보조석 앞면, 보조석 뒷면, 운전석 앞면, 운전석 뒷면 등을 포함할 수 있다.
촬영 맵은 가이드부(GU)와 촬영부(CB)를 포함할 수 있다. 이하에서는 도면을 참조하여 상기 가이드부(GU)와 촬영부(CB)에 관한 구체적인 실시예에 대하여 설명한다.
단말기(490)는 이용자가 카메라 모듈(491)로 차량 외관을 촬영하는 경우 차량 외관의 주요 부위가 촬영될 수 있도록 상기 가이드부(GU)를 통해 촬영을 가이드해 줄 수 있다. 상기 가이드부(GU)는 차량 외관의 주요 부위가 모두 촬영될 수 있도록 적어도 하나 이상의 가이드를 포함할 수 있다. 단말기(490)는 서로 다른 방향에서 차량이 촬영될 수 있도록 상기 가이드부(GU)를 통해 차량 촬영을 유도할 수 있다.
예시적으로, 상기 가이드부(GU)는 차량의 전면부 촬영을 유도하는 제1 가이드, 보조석 앞면의 촬영을 유도하는 제2 가이드, 보조석 뒷면의 촬영을 유도하는 제3 가이드, 차량의 후면부 촬영을 유도하는 제4 가이드, 운전석 뒷면의 촬영을 유도하는 제5 가이드 및 운전석 앞면의 촬영을 유도하는 제6 가이드를 포함할 수 있다.
한편, 촬영부(CB)는 차량의 외관 촬영 및 촬영된 이미지를 저장하는 기능을 포함할 수 있다. 촬영부(CB)는 차량 외관의 주요 부위를 촬영할 수 있는 촬영 버튼을 포함할 수 있다. 보다 구체적으로, 촬영부(CB)는 이용자가 상술한 가이드 중 어느 하나를 선택하는 경우 해당 가이드가 촬영을 유도하고 있는 차량 외관의 촬영이 가능한 촬영 버튼을 포함할 수 있다.
예를 들어, 이용자가 상기 가이드부(GU)에서 차량의 전면부 촬영을 유도하는 제1 가이드를 선택하는 경우, 단말기(490)는 출력부(496)를 통해 차량의 전면부 촬영이 가능한 촬영 버튼이 활성화되어 있는 촬영부(CB)를 표시할 수 있다. 이때, 이용자가 상기 촬영 버튼을 클릭하여 차량의 전면부를 촬영하는 경우, 단말기(490)의 제어부(492)는 촬영된 이미지를 차량의 전면부로 분류하여 저장부(493)에 저장할 수 있다.
한편, 카메라 모듈(491)에 의해 획득된 영상 데이터는 복수의 이미지를 포함할 수 있다. 이때, 모바일 베이스 차량 관리 프로세스가 정상적으로 수행될 수 있게 하기 위하여 상기 복수의 이미지 중 유효 이미지 데이터가 추출될 수 있다.
상기 영상 데이터로부터 모바일 베이스 차량 관리 프로세스에 적합한 유효 이미지 데이터를 추출하는 단계는 도 36의 S3513 단계와 대응하므로, 중복되는 내용은 생략한다.
4.2.1.2 비-이미지 데이터 획득
일 실시예에 따르면, 이미지가 아닌 비-이미지 형태의 차량 데이터가 획득될 수 있다. 차량 데이터는 비-이미지 데이터일 수 있다. 차량 데이터는 차량과 관련된 정보를 포함하는 비-이미지 데이터일 수 있다. 상기 비-이미지 데이터에 관하여는 3.2.1.2에서 상술한 바 있으므로 중복되는 내용은 생략하도록 한다.
상기 비-이미지 데이터는 미리 저장되거나 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(491)에 의해 획득될 수 있다. 상기 비-이미지 데이터는 상기 카메라 모듈(491)에 의해 촬영된 촬영 데이터에 기초하여 획득될 수 있다. 상기 관리장치(341)는 상기 영상 데이터에 기초하여 비-이미지 데이터를 획득할 수 있다.
4.2.1.3 데이터 처리
모바일 베이스 차량 관리 프로세스에서는 획득된 데이터에 대한 처리가 수행될 수 있다.
모바일 베이스 차량 관리 프로세스에서는 획득된 데이터에 대한 전처리(또는 후처리)가 수행될 수 있다. 상기 단말기(490)는 영상 데이터 중 적어도 하나 이상의 유효 이미지 데이터에 대한 전처리를 수행할 수 있다. 상기 단말기(490)는 상기 영상 데이터 중 상기 제1 이미지와 제2 이미지를 기초로 전처리를 수행할 수 있다.
상기 단말기(490)는 복수의 특정 지점사이에 촬영된 다수의 이미지에 기초하여 노이즈 제거처리를 수행할 수 있다. 상기 단말기(490)는 다수의 유효 이미지 데이터에 기초하여 노이즈 제거 처리를 수행할 수 있다.
상술한 노이즈 제거 처리가 수행된 이미지는 손상 이미지로 정의될 수 있다. 상기 단말기(490)는 상기 손상 이미지를 기초로 차량의 손상을 포함하는 차량의 정보를 판단할 수 있다.
상기 카메라 모듈(491)이 노이즈가 발생하지 않는 환경에 설치된 경우 상기 관리장치(341)는 노이즈 제거 처리를 생략할 수도 있다. 이 경우 후술할 차량 정보 획득은 유효 이미지 데이터를 기초로 수행될 수 있다. 이 때의 손상 이미지는 상기 유효 이미지 데이터일 수 있다.
상기 단말기(490)는 복수의 유효 이미지 데이터에 기초하여, 반사광 등을 제거하기 위한 노이즈 제거 처리를 수행할 수 있다. 단말기(490)는 복수의 유효 이미지 데이터를 획득하고, 위치가 변동되는 오브젝트(예컨대, 반사광에 대응되는 반사 영역) 및 위치가 변동되지 않는 오브젝트(예컨대, 차량 영역 또는 차량의 손상에 대응되는 손상 영역)를 구분하여, 위치가 변동되는 오브젝트 또는 위치가 변동되지 않는 오브젝트를 제거할 수 있다. 예컨대, 단말기(490)는 차량의 손상된 부분에 대응되는 손상 영역 및 차량의 표면에 의한 반사광에 대응되는 반사 영역을 포함하는 유효 이미지 데이터에 기초하여, 반사 영역이 제거된 차량 이미지를 획득하는 노이즈 제거 처리가 수행될 수 있다. 상기 유효 이미지 데이터는 주요 부위가 포함된 이미지 데이터일 수 있다.
상기 단말기(490)는 고정된 형태로 촬영되는 것이 아니므로, 주요 부위로부터 제1 거리를 가지는 제1 이미지와 상기 주요 부위로 제2 거리를 가지는 제2 이미지는 주요부위로부터 카메라 모듈(491) 사이의 거리가 달라질 확률이 크다. 즉, 제1 거리와 제2 거리는 다를 수 있다. 이로써, 이용자가 상기 단말기(490)를 휴대한 상태에서 상기 제1 조작과 제2 조작에 의해 제1 이미지와 제2 이미지를 촬영한 경우와 이용자가 상기 단말기(490)를 휴대한 상태에서 한 번의 조작에 의해 동영상을 촬영하고, 이를 기초로 제1 이미지와 제2 이미지를 추출하는 경우 모두 제1 거리와 제2 거리는 다를 가능성이 높다.
상기 제1 거리는 제1 이미지가 촬영되는 경우의 상기 카메라 모듈(491)과 상기 차량의 제1 특징점 사이의 거리일 수 있고, 상기 제2 거리는 제2 이미지가 촬영되는 경우의 상기 카메라와 제1 특징점 사이의 거리일 수 있다.
따라서, 별도의 노력 없이 노이즈 처리를 수행할 수 있는 유효 이미지 데이터를 얻을 수 있고, 상기 단말기(490)는 이를 기초로 노이즈 제거처리를 수행할 수 있다.
상기 노이즈 제거처리는 단말기(490)에서 수행되는 것을 기재하였으나, 상기 노이즈 제거처리는 서버(499)에서 수행될 수도 있다.
4.2.2 모바일 차량 정보 획득
모바일 베이스 차량 관리 프로세스는 차량 데이터에 기초하여 차량 정보를 획득하는 것을 포함할 수 있다.
차량 정보는 대상 차량을 구성하는 부품과 관련된 부품 정보, 대상 차량 내/외부의 손상과 관련된 손상 정보, 대상 차량의 종류와 관련된 차종 정보 및/또는 대상 차량을 식별하기 위한 식별 정보를 포함할 수 있다.
차량 정보는 차량 데이터로부터 추출되거나, 차량 데이터를 처리하여 얻어질 수 있다. 차량 정보는 차량 데이터를 입력 데이터로 하여, 차량 정보를 획득하도록 설계된 알고리즘 또는 차량 정보를 획득하도록 학습된 신경망 모델을 이용하여 얻어질 수 있다.
차량 데이터에 기초하여 차량 정보를 획득하는 것은 2.3에서 상술한 바 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면 단말기(490)는 손상 이미지에 기초하여 차량정보를 획득할 수 있다. 상기 단말기(490)는 상기 손상 이미지에 기초하여 손상정보를 획득할 수 있다.
일 실시예에 따르면, 카쉐어링 회사의 경우 단말기(490)는 미리 저장되어 있는 데이터베이스를 이용하여 공유 차량 정보를 획득할 수 있다. 상기 공유 차량 정보는 공유 차량의 차종, 제조사, 모델명, 연식 등을 나타내는 차량 종류 정보를 포함할 수 있다. 또한, 상기 공유 차량 정보는 공유 차량을 구성하는 부품의 수, 종류, 이름, 식별 정보 등을 나타내는 부품 정보를 더 포함할 수 있다. 또한, 상기 공유 차량 정보는 공유 차량 이용자의 인적사항 또는 공유 차량의 사고 이력 등을 포함하는 추가 정보를 더 포함할 수 있다.
공유 차량 정보는 대상 차량 내/외부에 발생한 추가 손상 정보를 포함할 수 있다. 상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지와 이용자가 차량을 이용한 후의 차량의 손상 이미지에 기초하여 산출될 수 있다. 상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지와 이용자가 차량을 이용한 후의 차량의 손상 이미지를 비교하여 산출될 수 있다.
상기 추가 손상 정보는 이용자가 차량을 이용하기 전의 차량의 손상 이미지를 기초로 산출된 손상 정보와 이용자가 차량을 이용한 후의 차량의 손상 이미지를 기초로 산출된 손상 정보에 기초하여 산출될 수 있다.
상기 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나를 저장하고, 이용자가 차량을 이용한 후에 이를 불러와 이용자가 차량을 이용한 후의 차량의 손상 이미지 및 손상 정보 중 적어도 어느 하나와 비교하여 추가 손상 정보를 산출할 수 있다.
상기 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 비-이미지 데이터와 상기 손상 이미지 및 손상 정보를 연동하여 저장할 수 있다. 예를 들어, 단말기(490)는 이용자가 차량을 이용하기 전의 차량의 손상 이미지 및 손상 정보를 상기 차량의 차량번호와 연동하여 저장할 수 있다.
상기 단말기(490)는 이용자가 해당 차량을 이용을 종료한 경우, 인식된 차량번호에 기초하여 해당 차량의 차량번호와 연동된 손상 이미지 및 손상 정보를 로드하고, 이를 이용자가 차량을 이용한 후의 차량의 손상 이미지 및 손상 정보와 비교하여 추가 손상 정보를 산출할 수 있다.
4.2.3 차량 정보 관리
모바일 베이스 차량 관리 프로세스는 차량 정보를 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 전술한 부품 정보, 손상 정보, 차량 종류 정보 및/또는 식별 정보를 관리하는 것을 포함할 수 있다.
또한, 차량 정보를 관리하는 것은 차량 정보를 시계열적으로 관리하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 차량 정보를 분류하는 것을 포함할 수 있다. 차량 정보를 관리하는 것은 하나 이상의 정보를 연관하여 관리하는 것을 포함할 수 있다. 상기 차량 정보 관리는 상기 서버(499)에서 수행될 수 있다.
이하에서는 차량 정보의 관리에 대하여 몇몇 실시예를 들어 설명한다.
4.2.3.1 이력 관리
차량 정보를 관리하는 것은 차량 정보를 이력 관리하는 것을 포함할 수 있다. 차량 정보를 이력 관리하는 것은 서로 다른 시점에 획득된 하나 이상의 차량 정보를 시계열적으로 나열 및/또는 관리하는 것을 의미할 수 있다.
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스에서 차량 정보를 관리한다는 것은, 특정 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다. 예컨대, 차량 정보를 관리하는 것은 제1 시점에 제1 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 시점 이후인 제2 시점에 제1 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 정보 및 제2 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
예시적으로, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 공유 차량에 대하여 차량에 발생한 손상을 나타내는 손상 정보를 손상 정보가 획득된 시간을 나타내는 시간 정보와 함께 관리하는 것을 의미할 수 있다.
보다 구체적으로, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 제1 이용자가 제1 차량 이용 전 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제1 이용자가 제1 차량 이용 후 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제1 이용자가 제2 차량 이용 전 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보를 획득하고, 제1 이용자가 제2 차량 이용 후 공유 차량에 제4 손상이 발생하였음을 나타내는 제4 정보를 획득한 후, 제1 정보, 제2 정보, 제3 정보 및/또는 제4 정보를 시간 순으로 관리하는 것을 포함할 수 있다.
또한, 카쉐어링 프로세스에서 차량 정보를 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보를 획득하고, 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 획득하고, 제2 이용자의 공유 차량 이용 후에 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보를 획득한 후, 제1 정보, 제2 정보 및/또는 제3 정보를 시간 순으로 관리하는 것을 포함할 수 있다. 이때, 제1 이용자는 제2 이용자 보다 우선하여 공유 차량을 이용한 사람을 의미할 수 있다.
4.2.3.2 손상 이력 관리 실시예 1 - 운전자 별
모바일 베이스 차량 관리 프로세스에서 손상 정보의 이력을 관리할 수 있다. 손상 정보의 이력 관리는 새롭게 발생한 신규 손상에 대한 신규 손상 정보를 획득하는 것을 포함할 수 있다. 손상 정보의 이력 관리는 동일한 차량을 다양한 시점에 촬영하여 획득된 복수의 이미지에 기초하여, 신규 손상 정보를 획득하는 것을 포함할 수 있다.
손상 정보 이력은 이용자 정보를 고려하여 이용자 별로 관리될 수 있다.
일 실시예에 따르면, 단말기(490)는 이용자 정보를 고려하여 공유 차량의 손상 정보 이력을 이용자 별로 관리할 수 있다. 단말기(490)는 공유 차량의 손상 정보 이력을 이용자 별로 관리함으로써, 공유 차량에 손상이 발생하는 경우 책임 소재를 명확하게 할 수 있고, 공유 차량에 현재 또는 과거에 발생한 손상이 어느 이용자에 의해 발생한 것인지 파악하기가 용이하며, 그에 따른 공유 차량 관리 비용을 절감할 수 있는 효과를 제공할 수 있다. 또한, 단말기(490)는 공유 차량의 손상 정보 이력을 이용자 별로 관리함으로써, 해당 이용자에 대한 평가 등을 수행할 수 있는 효과를 제공할 수 있다.
예시적으로, 단말기(490)가 이용자 정보를 고려하여 공유 차량의 손상 정보 이력을 이용자 별로 관리한다는 것은, 제1 이용자가 제1 차량 이용 전 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보와 제1 이용자가 제1 차량 이용 후 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 비교하여 획득된 제1 이용자의 제1 차량 이용 중 발생한 추가 손상 정보를 관리하는 것과, 제1 이용자가 제2 차량 이용 전 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보와 제1 이용자가 제2 차량 이용 후 공유 차량에 제4 손상이 발생하였음을 나타내는 제4 정보를 비교하여 획득된 제1 이용자의 제2 차량 이용 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
4.2.3.3 손상 이력 관리 실시예 2 - 차량 별 관리
손상 정보 이력은 차량 별로 관리될 수 있다.
일 실시예에 따르면, 단말기(490)는 공유 차량의 손상 정보 이력을 차량 별로 관리할 수 있다. 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리함으로써, 공유 차량에 과거부터 현재까지 발생한 손상 정보를 시계열적으로 용이하게 파악할 수 있는 효과를 제공할 수 있다. 또한, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리함으로써, 공유 차량의 수리 및 점검 일정을 차량의 상태에 따라 차량 별로 맞춤 일정으로 계획할 수 있게 하여 효율적인 차량 관리가 이루어질 수 있게 하는 효과를 제공할 수 있다.
예시적으로, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보와 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 비교하여 공유 차량의 주차 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
다른 예로, 단말기(490)가 공유 차량의 손상 정보 이력을 차량 별로 관리한다는 것은, 제1 이용자의 공유 차량 이용 후에 공유 차량에 제1 손상이 발생하였음을 나타내는 제1 정보 또는 제2 이용자의 공유 차량 이용 전에 공유 차량에 제2 손상이 발생하였음을 나타내는 제2 정보를 제2 이용자의 공유 차량 이용 후에 공유 차량에 제3 손상이 발생하였음을 나타내는 제3 정보와 비교하여 제2 이용자의 공유 차량 이용 중 발생한 추가 손상 정보를 관리하는 것을 의미할 수 있다.
4.2.4 차량 정보 출력
4.2.4.1 출력되는 정보
모바일 베이스 차량 관리 시스템은 단말기(490)의 출력부(496)를 통해 차량 정보 및 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 또한, 상기 단말기(490)는 상기 단말기(490)와 연결된 서버(499)를 통해 차량 정보 및 보조 정보를 출력할 수 있다.
상기 단말기(490)는 부품 정보, 손상 정보, 차량 종류 정보, 식별 정보 등의 차량 정보를 출력할 수 있다. 차량 관리 시스템은 사용자 정보 및/또는 위치 정보를 함께 출력할 수 있다.
상기 단말기(490)는 차량 이미지 및 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 차량 관리 시스템은 복수의 차량 이미지 및 각 차량 이미지에 대응되는 차량 정보를 출력할 수 있다. 복수의 차량 이미지는 차량에 대하여 다양한 각도에서 촬영된 이미지일 수 있다.
이하에서는, 도 55를 참조하여 공유 차량 관리 시스템의 차량 정보 출력 화면을 설명하도록 한다.
4.2.4.2 차량 정보 출력 실시예
도 55는 일 실시예에 따른 단말기(490)에서 차량 정보 및/또는 보조 정보를 출력하는 화면을 설명하기 위한 도면이다.
일 실시예에 따르면, 단말기(490)는 획득된 차량 정보 및/또는 차량 정보에 기초하여 획득된 보조 정보를 출력할 수 있다. 단말기(490)는 이용자 또는 관리자의 정보 통신 기기에 차량 정보 및/또는 보조 정보를 출력할 수 있다
단말기(490)는 공유 차량에 추가 손상 정보가 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 단말기(490)는 이용자의 공유 차량 이용 전/후 공유 차량에 추가 손상이 검출된 경우, 차량 정보 및/또는 보조 정보를 출력할 수 있다. 또한, 단말기(490)는 공유 차량의 관리를 위해 추가 손상 정보가 검출되지 않아도, 차량 정보 및/또는 보조 정보를 출력할 수 있다.
도 55의 (a)는 공유 차량의 현재 외관 상태에 관한 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 55의 (a)를 참조하면, 일 실시예에 따른 공유 차량 외관 정보 화면은 손상 정보 테이블 및 차량 외관의 손상 정보가 표시되는 손상 이미지를 포함할 수 있다.
차량 외관 정보 출력 화면은 공유 차량에 발생한 손상에 관한 정보를 표시하는 손상 정보 테이블을 포함할 수 있다. 손상 정보 테이블에는 손상이 발생한 차량 부품, 손상 종류, 손상 정도, 손상 개수 등을 포함할 수 있다.
차량 외관 정보 출력 화면은 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다. 상기 손상 이미지에는 손상 영역 정보가 포함될 수 있는데, 손상 영역 정보는 기존 손상 영역(ED)을 포함할 수 있다.
차량 외관 정보 출력 화면은 기존 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창을 포함할 수 있다. 이용자는 손상 영역에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다. 상기 단말기(490)는 이용자에 의해 'Confirm'버튼이 클릭된 경우 상기 기존 손상 정보에 대한 일괄 동의가 수행되었음을 서버(499)로 알려줄 수 있다.
또는 차량 외관 정보 출력화면은 손상 정보가 표시되어 있는 손상 이미지를 표시할 수 있다. 상기 단말기(490)는 상기 손상 이미지에 대한 이용자의 개별 동의가 진행될 수 있도록 차량 외관 정보 출력화면을 표시할 수 있다. 즉, 상기 단말기(490)의 손상 이미지에 대한 정보는 차량 이미지에 매핑되어 출력될 수 있고, 사용자의 조작에 의해 차량 이미지는 회전, 확대, 축소 또는 이동될 수 있다. 상기 단말기(490)는 차량 이미지 중 손상이 있는 부위에 동의를 할 수 있는 버튼을 표시할 수 있고, 이용자가 상기 버튼을 누르는 경우 개별 동의가 진행된 것으로 판단하여, 상기 동의 정보를 상기 서버(499)로 보낼 수 있다.
도 55의 (b)는 공유 차량 관리 시스템의 출력 화면 중 차량 외관 촬영 요구 화면을 설명하기 위한 도면이다.
도 55의 (b)를 참조하면, 일 실시예에 따른 차량 외관 촬영 요구 화면은 가이드부와 촬영부를 포함할 수 있다. 차량 외관 촬영 요구 화면은 차량 외관의 주요 부위가 촬영될 수 있도록 촬영을 가이드해주는 가이드부와 차량 외관 촬영을 위한 촬영 버튼을 포함하는 촬영부를 포함할 수 있다. 이때, 일 실시예에 따른 차량 외관 촬영 요구 화면은 이용자가 차량을 이용하기 전에 필수적으로 출력되는 화면일 수 있으나, 이에 한정되는 것은 아니다. 즉, 차량 외관 촬영 요구 화면은 이용자에 의해 선택적으로 출력될 수 있다.
도 55의 (c)는 차량 외관 촬영이 완료된 후 차량에 발생된 추가 손상 여부에 관한 정보를 출력하는 화면을 설명하기 위한 도면이다.
도 55의 (c)를 참조하면, 일 실시예에 따른 차량 손상 정보 화면은 손상 정보 테이블, 추가 손상 발생에 대해 확인 또는 동의 여부를 선택할 수 있는 선택창 및/또는 추가 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다.
추가 손상 정보를 출력하는 화면은 공유 차량에 발생한 손상에 관한 정보를 표시하는 손상 정보 테이블을 포함할 수 있다. 손상 정보 테이블에는 손상이 발생한 차량 부품, 손상 종류, 손상 정도, 손상 개수 등을 포함할 수 있다.
추가 손상 정보를 출력하는 화면은 신규 손상 정보에 대해 동의 여부를 선택할 수 있는 선택창을 포함할 수 있다. 이용자는 신규 손상 영역(ND)에 관한 정보에 동의하는 경우 'Confirm' 버튼을 클릭할 수 있고, 동의하지 않는 경우 'Objection'버튼을 클릭할 수 있다. 상기 단말기(490)는 이용자에 의해 'Confirm'버튼이 클릭된 경우 상기 기존 손상 정보에 대한 일괄 동의가 수행되었음을 서버(499)로 알려줄 수 있다.
또는 상기 단말기(490)는 상술한 상기 기존 손상 정보에 대한 동의를 받는 절차와 같이 다수의 개별 버튼에 의해 신규 손상 정보에 대해 개별 동의를 받는 절차를 수행할 수도 있다.
추가 손상 정보를 출력하는 화면은 추가 손상 정보가 표시되어 있는 손상 이미지를 포함할 수 있다. 상기 손상 이미지에는 손상 영역 정보가 포함될 수 있는데, 손상 영역 정보는 기존 손상 영역(ED) 및 신규 손상 영역(ND)을 포함할 수 있다. 이때, 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 달리 표시될 수 있다. 기존 손상 영역(ED) 및 신규 손상 영역(ND)은 서로 다른 색상 또는 서로 다른 형태의 바운딩 박스로 표시될 수 있다.
도 55의 (d)는 공유 차량에 발생된 손상 정보에 관한 상세한 내용이 포함된 화면을 설명하기 위한 도면이다.
도 55의 (d)를 참조하면, 공유 차량 관리 시스템의 출력 화면은 이용자가 'Objection'버튼을 클릭하는 경우, 이용자의 공유 차량 이용 전 추출된 손상 이미지 및 이용자의 공유 차량 이용 후 추출된 손상 이미지를 표시할 수 있다. 이때, 공유 차량 이용 전 추출된 손상 이미지 및 공유 차량 이용 후 추출된 손상 이미지는 서로 대응되는 방향에서 검출된 손상 이미지일 수 있다. 다른 예로, 공유 차량 이용 전 추출된 손상 이미지 및 공유 차량 이용 후 추출된 손상 이미지는 적어도 하나 이상의 차량의 주요 부위를 포함하되, 상기 차량의 주요 부위는 적어도 하나 이상 공통될 수 있다. 한편, 공유 차량 이용 전 추출된 손상 이미지와 공유 차량 이용 후 추출된 손상 이미지는 실제 촬영된 이미지가 아닌 가공된 이미지 예컨대, 차량의 3D 이미지 상에 맵핑된 형태일 수 있다.
4.3 컨펌 시나리오
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 후 공유 차량의 외관을 촬영하고 추가 손상 정보에 대한 동의 단계를 거쳐야 차량 반납 처리가 완료되는 단계를 포함할 수 있다.
또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 현재 외관 상태에 동의하는 경우 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 현재 외관 상태에 동의하지 않는 경우 차량 외관 중 동의하지 않는 부분 또는 차량 외관 전체에 대해 재촬영 및 등록하는 단계를 수행하여야 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
도 56은 복수의 공유 차량 이용자가 시간 순서에 따라 공유 차량을 이용하고 이용을 종료하는 과정을 개략적으로 표현한 도면이다.
도 56을 참조하면, 제1 이용자는 제1 시점(T1)에 공유 차량 이용을 시작하고, 제2 시점(T2)에 공유 차량 이용을 종료할 수 있다. 또한, 제2 이용자는 제3 시점(T3)에 공유 차량 이용을 시작하고, 제4 시점(T4)에 공유 차량 이용을 종료할 수 있다. 이때, 제1 이용자와 제2 이용자는 동일한 공유 차량을 이용함을 전제할 수 있다. 또한, 제1 시점 내지 제4 시점은 각각 서로 다른 시점을 의미하고, 제1 시점은 제3 시점보다 앞선 시점일 수 있다.
또한, 도 56을 참조하면, 제1 이용자의 공유 차량 이용 시기는 제1 시점과 제2 시점 사이인 제1 구간(P1)이고, 제2 이용자의 공유 차량 이용 시기는 제3 시점과 제4 시점 사이인 제3 구간(P3)이다. 즉, 제1 구간(P1)은 제1 이용자가 차량을 이용한 기간을 의미할 수 있고, 제3 구간(P3)은 제2 이용자가 차량을 이용한 기간을 의미할 수 있다.
한편, 제1 이용자의 공유 차량 이용 종료 이후부터 제2 이용자의 공유 차량 이용 시작 전까지의 시기는 공유 차량이 이용자에 의해 운행되지 않고 주차되어 있는 시기를 의미할 수 있다. 즉, 제2 시점(T2)과 제3 시점(T3)사이의 시기인 제2 구간(P2)은 공유 차량이 이용자에 의해 운행되지 않고 주차되어 있는 구간을 의미할 수 있다.
이하에서는 도 56을 참조하여, 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 대하여 동의 후 차량을 이용하는 단계, 동의하지 않는 경우 차량 외관을 재촬영 후 이용하는 단계 및 공유 차량 이용자가 공유 차량 이용 후 공유 차량의 외관 촬영 후 반납하는 단계에 관하여 상세히 설명한다.
4.3.1 차량 이용 후 차량 외관 촬영 및 추가 손상 관리
도 57은 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 차량 반납 프로세스의 설명을 위한 도면이다. 이하에서는 도 56 및 도 57을 참조하여, 공유 차량 이용자가 공유 차량 이용 후 차량 외관을 촬영하고 추가 손상 정보를 확인하는 과정을 설명하도록 한다.
도 57을 참조하면, 모바일 베이스 차량관리 시스템은 단말기(490) 및 서버(499)를 포함할 수 있다. 상기 단말기(490)는 제1 이용자의 단말기(490)일 수 있다. 상기 제1 이용자의 차량 이용 시간은 제2 시점(T2)에 종료될 수 있다.
상기 제1 이용자의 단말기(490)는 상기 제1 이용자의 제어에 의해 차량 이용 시간이 종료되었음을 인식할 수 있고, 또는 상기 서버(499)로부터 전달받은 정보에 의해 상기 제1 이용자의 단말기(490)에 차량 이용 시간이 종료되었음이 표시될 수도 있다.
상기 제1 이용자의 단말기(490)는 출력부(496)를 통해 촬영 가이드를 표시할 수 있다. 상기 출력부(496)를 통한 촬영 가이드의 표시는 4.2.1.1에서 설명한 바와 같이 선택적인 과정일 수 있다.
상기 제1 이용자의 단말기(490)는 상기 제1 이용자의 제어에 의해 상기 카메라 모듈(491)을 통해 제1 이미지를 촬영할 수 있다. 상기 제1 이미지는 제1 이용자가 이용한 차량의 외관과 관련된 적어도 하나 이상의 이미지를 포함할 수 있다. 상기 제1 이미지는 차량 외관의 주요 부위를 포함하는 복수의 이미지를 일 수 있다. 상기 제1 이미지는 제2 시점(T2)과 대응되는 시점에 촬영된 이미지일 수 있다.
제2 이용자의 단말기(490) 또한 상기 제2 이용자의 제어에 의해 차량 이용시간이 종료되는 제4 시점(T4)에 카메라 모듈(491)을 이용하여 제3 이미지를 촬영할 수 있다. 상기 제3 이미지는 제2 이용자가 이용한 차량의 외관과 관련된 적어도 하나 이상의 이미지를 포함할 수 있다. 상기 제3 이미지는 차량 외관의 주요 부위를 포함하는 복수의 이미지를 일 수 있다. 상기 제3 이미지는 제4 시점(T4)과 대응되는 시점에 촬영된 이미지일 수 있다.
상기 제1 이용자의 단말기(490)는 제1 이미지를 상기 저장부(493)에 저장한 후 상기 통신부(494)를 통해 상기 서버(499)로 전송할 수 있다. 상기 제1 이용자의 단말기(490)는 제2 시점(T2)과 대응되는 시점에 상기 제1 이미지를 상기 서버(499)로 전송할 수 있다. 또한, 제2 이용자의 단말기(490)도 제4 시점(T4)과 대응되는 시점에 상기 제3 이미지를 상기 서버(499)로 전송할 수 있다.
상기 서버(499)는 상기 제1 이용자 단말기(490)로부터 상기 제1 이미지를 수신할 수 있다.
상기 서버(499)는 상기 제1 이미지에 기초하여 차량의 추가손상 유무를 판단할 수 있다.
상기 서버(499)는 상기 제1 이미지와 서버(499)에 저장된 데이터를 비교하여 공유 차량의 추가손상 유무를 판단할 수 있다. 상기 서버(499)에 저장된 데이터는 해당 공유 차량의 기존 손상정보일 수 있다. 상기 서버(499)는 상기 제1 이미지를 분석하여 해당 공유 차랑의 추가손상 유무를 판단할 수 있다. 즉, 서버(499)는 공유 차량 이용자가 이용한 차량에 공유 차량 이용자의 운행 중 발생한 손상이 있는지 판단할 수 있다.
결국, 서버(499)는 공유 차량 이용자가 이용 종료 후 공유 차량을 촬영한 이미지를 공유 차량의 기존 손상 정보와 비교하여 해당 차량에 발생한 추가 손상 정보를 파악함으로써, 공유 차량에 발생한 손상에 대해 책임 소재를 명확히 할 수 있고, 공유 차량에 발생하는 손상을 시계열적으로 관리하여 체계적인 관리가 가능하도록 할 수 있다. 예시적으로, 서버(499)는 제3 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 발생한 손상 정보를 파악 및 관리할 수 있다. 다시 말해, 서버(499)는 제3 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제2 구간(P2) 또는 제3 구간(P3)에 발생한 손상 정보를 파악 및 관리할 수 있다.
상기 서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 즉, 서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우 해당 차량에 추가 손상이 발생되지 않았으며, 해당 차량에 관한 손상 정보는 기존 손상 정보와 동일하다는 내용으로 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 손상 정보를 제1 정보로 정의할 수 있다.
예시적으로, 서버(499)는 제2 시점(T2) 또는 제4 시점(T4)에 촬영된 제1 이미지 또는 제3 이미지로부터 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보는 기존 손상 정보와 동일하다는 내용으로 해당 차량에 관한 손상 정보를 업데이트할 수 있다.
다른 예로, 서버(499)는 제4 시점(T4)에 촬영된 제3 이미지로부터 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 차량에 관한 손상 정보는 제2 시점(T2)에 촬영된 제1 이미지로부터 판단된 손상 정보와 동일하다는 내용으로 업데이트할 수 있다.
서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 추가 손상 정보를 이용자의 단말기(490)로 전송할 수 있다.
이용자의 단말기(490)는 서버(499)로부터 추가 손상 정보를 수신할 수 있다.
상기 추가 손상 정보가 수신된 경우 상기 이용자의 단말기(490)는 상기 이용자에게 추가 손상에 대한 동의여부를 확인할 수 있다.
상기 이용자의 단말기(490)는 출력부(496)를 이용하여 상기 이용자에게 추가 손상에 대한 동의여부를 표시할 수 있고, 이용자로하여금 해당 추가 손상 정보에 대한 동의 여부를 선택하도록 할 수 있다. 이용자는 입력부(495)를 통해 상기 추가 손상 정보가 자신의 차량 이용 기간 중 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다.
이 경우 상기 추가 손상 정보는 현재 이용자의 이용 기간 중 발생한 추가 손상 정보를 포함할 수 있다. 예시적으로, 상기 추가 손상 정보는 제1 이용자의 이용 시작시점인 제1 시점(T1)부터 제1 이용자의 이용 종료시점인 제2 시점(T2)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제1 이용자의 이용 기간인 제1 구간(P1)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
상기 제4 시점(T4)에서의 상기 추가 손상 정보는 제2 이용자의 이용 시작시점인 제3 시점(T3)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제2 이용자의 이용 기간인 제3 구간(P3)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
상기 추가 손상 정보는 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 종료시점인 제4 시점(T4)사이에 차량에 추가로 발생한 손상 정보를 의미할 수 있다. 즉, 상기 추가 손상 정보는 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상 정보를 의미할 수 있다.
다시 말해, 제2 이용자는 단말기(490)가 서버(499)로부터 상기 추가 손상 정보를 수신하면 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4) 사이에 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다. 다른 예로, 제2 이용자는 단말기(490)가 서버(499)로부터 상기 추가 손상 정보를 수신하면 상기 추가 손상 정보가 제2 구간(P2) 또는 제3 구간(P3)에서 발생한 손상인지에 대하여 동의 여부를 선택할 수 있다.
이용자의 단말기(490)에 의한 상기 추가 손상 정보를 확인하는 절차를 거쳐야 차량 반납 처리는 완료될 수 있다. 즉, 이용자가 예약한 시간이 경과하면 차량 이용은 종료되지만, 이후 이용자가 상기 추가 손상 정보에 동의 또는 이의제기 단계를 거쳐야 차량 반납 처리가 완료될 수 있다.
이용자가 상기 추가 손상 정보에 동의하는 경우 차량 반납 처리는 완료될 수 있다. 이용자가 상기 추가 손상 정보에 이의가 없다고 인정하는 경우 차량 반납 처리는 완료될 수 있다.
예시적으로, 제1 이용자가 상기 제1 이용자 단말기(490)를 이용하여 상기 추가 손상 정보에 동의하는 경우 차량 반납 처리는 완료될 수 있다.
제2 이용자가 제2 이용자 단말기(490)를 이용하여 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4)사이에 차량에 추가로 발생한 손상이거나, 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상임임에 동의하는 경우 차량 반납 처리는 완료될 수 있다.
이용자가 상기 추가 손상 정보에 동의하지 않는 경우 이용자는 상기 추가 손상 정보에 동의하지 않는 이유에 대해 이의제기를 할 수 있고, 이의제기가 완료되면 차량 반납 처리는 완료될 수 있다. 즉, 이용자가 상기 추가 손상 정보에 전부 또는 일부 동의하지 않는 경우, 동의하지 않는 부분에 대해서 이의제기 절차를 거칠 수 있고, 상기 이의제기 절차가 완료되면 차량 반납 처리는 완료될 수 있다.
예시적으로, 제2 이용자가 상기 추가 손상 정보가 제2 시점(T2) 또는 제3 시점(T3)부터 제4 시점(T4)사이에 차량에 추가로 발생한 손상이거나, 제2 구간(P2) 또는 제3 구간(P3)에서 차량에 추가로 발생한 손상임임에 전부 동의하지 않거나 일부 동의하지 않는 경우, 동의하지 않는 부분에 대해서 이의제기를 거칠 수 있다. 이후, 상기 이의제기 절차가 완료되면 차량 반납 처리는 완료될 수 있다.
제1 이용자의 단말기(490)는 차량 반납 처리가 완료되면 추가 손상 정보에 이용자의 동의 여부를 반영하여 서버(499)에 전송할 수 있다.
또한, 서버(499)는 상기 제1 이용자의 단말기(490)로부터 수신된 제1 이용자의 동의 여부가 반영된 추가 손상 정보를 토대로 차량 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 차량 손상 정보를 제1 정보로 정의할 수 있다.
이처럼 서버(499)가 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써 차량의 외관에 발생되어 있는 손상 정보를 시계열적으로 관리할 수 있고, 또한 차량의 외관에 발생되어 있는 손상 정보의 책임 소재를 명확히 하여 수리, 점검 및 교체 비용 청구가 원활히 이루어질 수 있도록 할 수 있다.
4.3.2 차량 이용 전 기존 손상 정보에 대한 동의 여부 및 차량 외관 재촬영
일 실시예에 따르면, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 차량 이용 전 차량의 기존 손상 정보에 동의하는 경우 차량 이용이 가능하도록 하는 단계를 포함할 수 있다. 또한, 모바일 베이스 차량 관리 프로세스는 공유 차량 이용자가 차량 이용 전 차량의 기존 손상 정보에 전부 또는 일부 동의하지 않는 경우 차량 외관 중 동의하지 않는 부분 또는 차량 외관 전체에 대해 재 촬영하는 단계를 수행하여야 차량 이용이 가능하도록 하는 단계를 포함할 수 있다.
도 58은 공유 차량 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의 여부를 표시하고 동의하지 않을 시 차량 외관을 촬영하는 차량 이용 프로세스의 설명을 위한 도면이다. 이하에서는 도 56 및 도 58을 참조하여, 공유 차량 이용자가 공유 차량 이용을 위해 공유 차량 이용 전 수행해야 하는 일련의 단계들에 대하여 설명한다.
도 58을 참조하면, 이용자의 단말기(490)는 차량 이용 일정시간 이전에 스마트키를 활성화시킬 수 있다. 상기 서버(499)는 상기 이용자의 단말기(490)의 스마트키가 활성화될 수 있도록 제어할 수 있다. 상기 제2 이용자의 단말기(490)는 상기 제3 시점의 일정시간 이전에 스마트키를 활성화시킬 수 있다.
상기 제2 이용자의 단말기(490)는 상기 스마트키가 활성화되면 서버(499)에 해당 차량에 관한 기존 손상 정보를 요청할 수 있다.
이때, 상기 기존 손상 정보는 공유 차량의 현재 외관 상태에 대한 정보를 의미할 수 있다. 또한, 상기 기존 손상 정보는 현재 이용자가 차량을 이용하기 직전에 차량을 이용한 이전 이용자에 의해 업데이트 되어있는 차량의 손상 정보를 의미할 수 있다. 예시적으로, 상기 기존 손상 정보는 공유 차량 이용자가 공유 차량을 이용하기 전 공유 차량에 이미 발생되어 있던 손상 정보를 의미할 수 있다. 다른 예로, 상기 기존 손상 정보는 이전 공유 차량 이용자에 의해 공유 차량에 발생된 손상 정보를 의미할 수 있다. 또 다른 예로, 상기 기존 손상 정보는 이전 공유 차량 이용자가 공유 차량 반납 완료 후 현재 공유 차량 이용자가 공유 차량을 이용하기 전 발생된 손상 예컨대, 주차 중 손상 등을 의미할 수 있다.
또한, 도 56 및 도 58을 참조하면, 상기 기존 손상 정보는 제1 이용자가 차량 이용 후 제2 시점(T2)에서 촬영한 제1 이미지로부터 업데이트 되어 있는 제1 정보를 의미할 수 있다. 예를 들어, 제2 이용자를 현재 이용자로 정의하고, 제1 이용자를 이전 이용자로 정의하면, 상기 기존 손상 정보는 제1 시점(T1)부터 제2 시점(T2) 또는 제3 시점(T3)사이에 발생한 손상 정보를 의미할 수 있고, 또한 상기 기존 손상 정보는 제1 구간(P1) 또는 제2 구간(P2)에서 발생한 손상 정보를 의미할 수 있다. 또는, 상기 제1 이용자가 어떠한 촬영도 진행하지 않은 경우에 상기 기존 손상 정보는 가장 최근의 이미지를 촬영한 이용자가 촬영한 이미지일 수 있다.
한편, 상기 기존 손상 정보는 공유 차량의 실제 이미지를 통해 표현되거나 가공된 3D 이미지를 통해 표현될 수 있다. 예를 들어, 기존 손상 정보는 공유 차량의 실제 이미지 상에 손상 부위가 바운딩 박스로 표시된 형태로 제공될 수 있다. 다른 예로, 기존 손상 정보는 공유 차량에 관한 정보가 반영된 가공된 3D 이미지 상에 손상 부위가 바운딩 박스로 표시된 형태로 제공될 수 있다. 이때, 기존 손상 정보가 가공된 3D 이미지 형태로 제공되는 경우, 공유 차량 이용자는 상기 3D 이미지를 360도 회전하는 방법 등을 통해 차량 외관의 전체적인 손상 정보를 보다 편리하게 파악할 수 있다.
서버(499)는 제2 이용자의 단말기(490)로부터 기존 손상 정보 요청 메시지를 수신한 후, 기존 손상 정보를 검색하여 해당 내용을 제2 이용자의 단말기(490)에 전송할 수 있다. 이후 제2 이용자의 단말기(490)는 상기 기존 손상 정보를 수신하고 제2 이용자의 단말기(490)에 기존 손상 정보를 표시한 후, 제2 이용자에게 차량 외관 정보를 확인하라는 메시지를 표시할 수 있다.
제2 이용자는 상기 기존 손상 정보에 동의 여부를 선택할 수 있다. 즉, 제2 이용자의 단말기(490)는 공유 차량 이용자에게 공유 차량에 발생되어 있는 기존 손상 정보를 표시한 후, 상기 제2 이용자가 기존 손상 정보에 대한 동의 여부를 선택할 수 있는 화면을 표시할 수 있다. 상기 동의는 전체 손상 정보에 대한 일괄 동의와 부분동의를 포함할 수 있다.
모바일 베이스 차량 관리 프로세스의 제2 이용자의 단말기(490)는 제2 이용자가 공유 차량 이용 전 공유 차량의 기존 손상 정보에 동의하는 경우 공유 차량의 문 열림 기능 및 시동 기능을 활성화시킬 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 단말기(490)를 통해 일괄 동의를 입력하는 경우 공유 차량의 문 열림 기능 및 시동 기능을 활성화할 수 있다. 즉, 제2 이용자는 공유 차량 이용 전 공유 차량의 기존 손상 정보에 일괄 동의하는 경우 공유 차량을 이용할 수 있다.
이때, 제2 이용자가 해당 차량의 기존 손상 정보에 동의한다는 것은 제2 이용자의 단말기(490)에 표시되어 있는 기존 손상 정보와 현재 차량의 외관 상태가 일치한다는 것에 동의한다는 것을 의미할 수 있다.
도시하지 않았지만, 상기 제2 이용자에 의한 일괄 동의가 입력되는 경우 상기 제2 이용자의 단말기(490)는 상기 서버(499)로 일괄 동의에 대한 정보를 전송할 수 있다. 상기 서버(499)는 일괄 동의에 대한 정보를 저장한 후 상기 제2 이용자의 단말기(490)가 문열림 및 시동기능을 활성화시킬 수 있도록 데이터를 전송할 수도 있다.
상기 제2 이용자에 의한 일괄 동의가 입력되는 경우 상기 서버(499)는 차량의 외관상태가 기존과 동일하다는 정보를 저장할 수 있다.
제2 이용자가 차량 이용 전 기존 손상 정보에 동의하지 않을 시 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량의 현재 외관 상태에 대한 촬영 및 등록을 수행할 수 있도록 표시할 수 있다. 이때, 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량 이용 전 차량의 현재 외관을 촬영할 수 있도록 촬영 가이드를 제공할 수 있다. 상기 촬영 가이드는 4.2.1.1에서 상술한 내용과 중복되므로, 자세한 설명은 생략한다.
보다 구체적으로, 도 56을 참조하면, 상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 차량 이용 시간이 시작되는 제3 시점(T3)에 차량 외관 촬영을 할 수 있도록 표시할 수 있다. 이때 상기 제2 이용자에 의해 이용 시작 전 촬영되는 차량 이미지는 제2 이미지일 수 있다. 즉, 제3 시점(T3)과 대응되는 시점에 제2 이용자의 단말기(490)에 의해 촬영되는 이미지는 제2 이미지로 정의될 수 있다. 제2 이미지는 차량 외관에 관한 이미지이며, 차량 외관의 주요 부위를 포함하는 복수의 이미지를 포함할 수 있다. 제1 이용자 또한 차량 이용 시간이 시작되는 제1 시점(T1)에 차량 외관 촬영을 할 수 있다.
상기 제2 이용자의 단말기(490)는 상기 제2 이용자가 기존 손상 정보에 동의하지 않을 경우에만 외관 촬영에 대한 절차를 진행하도록 함으로써, 손상 정보에 대한 다툼이 없는 경우에 공유 차량 이용 전 확인 프로세스를 보다 간소화할 수 있다.
제2 이용자에 의해 촬영된 이미지 데이터는 제2 이용자의 단말기(490)에 저장 및 등록된 후 서버(499)로 전송될 수 있다. 예를 들어, 제2 이용자에 의해 제3 시점(T3)에 촬영된 제2 이미지는 제2 이용자의 단말기(490)에 저장된 후 서버(499)로 전송될 수 있다. 또한, 제1 이용자에 의해 제1 시점(T1)에 촬영된 이미지도 마찬가지로 서버(499)로 전송될 수 있다.
서버(499)는 제2 이용자의 단말기(490)로부터 제2 이미지를 수신한 후 상기 제2 이미지와 기존 손상정보에 기초하여 차량에 추가손상이 발생되었는지 판단할 수 있다. 보다 구체적으로 서버(499)는 제2 이용자의 단말기(490)로부터 제2 이미지를 수신한 후 상기 제2 이미지를 해당 차량의 기존 손상 정보와 비교하여 차량에 추가 손상이 발생되었는지 판단할 수 있다. 즉, 서버(499)는 차량의 현재 외관 상태가 기존 손상 정보와 차이가 있는지 판단할 수 있다.
예시적으로, 서버(499)는 제2 이용자가 이용 전 제3 시점(T3)에서 촬영한 제2 이미지를 제1 이용자가 이용 후 제2 시점(T2)에서 촬영한 제1 이미지와 비교 분석하여 차량에 추가 손상이 발생하였는지 판단할 수 있다. 즉, 서버(499)는 제2 시점(T2)과 제3 시점(T3)사이인 제2 구간(P2)에서 추가 손상이 발생하였는지 판단할 수 있다.
결국, 서버(499)는 추가 손상 발생 여부 판단을 수행함으로써, 공유 차량의 현재 외관 상태에 관한 정보를 업데이트할 수 있고, 기존 손상 정보에서 누락되어 있던 손상 정보를 파악할 수 있으며, 이전 이용자의 이용 종료 후 주차 중 발생된 추가 손상 정보를 파악할 수 있는 효과를 제공할 수 있다. 예시적으로, 서버(499)는 제2 이미지와 제1 이미지를 비교하여 추가 손상 정보를 파악함으로써, 제1 이용자의 이용 종료시점인 제2 시점(T2)부터 제2 이용자의 이용 시작시점인 제3 시점(T3)사이에 발생한 손상 정보, 즉 제2 구간(P2)에서 발생한 손상 정보를 파악 및 관리할 수 있다.
한편, 제2 이용자는 공유 차량의 기존 손상 정보에 대해 전부 동의하지 않을 수 있고, 일부 동의하지 않을 수 있으며, 전부 또는 일부 동의 여부에 따라 공유 차량의 외관 재 촬영하는 범위가 달라질 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 차량에 관한 손상 정보를 업데이트할 수 있다. 즉, 서버(499)는 차량에 추가 손상이 발생되었다고 판단하는 경우 해당 차량의 현재 외관 상태에 맞도록 기존 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 손상 정보를 제2 정보로 정의할 수 있다.
예시적으로, 서버(499)는 제3 시점(T3)에 촬영된 제2 이미지부터 차량에 추가 손상이 발생되었다고 판단하는 경우, 해당 차량의 현재 외관 상태에 맞도록 기존 손상 정보를 업데이트할 수 있다. 상기 업데이트 내용은 기존 손상 정보에서 누락되어 있던 손상 정보에 관한 것일 수 있고, 이전 사용자의 이용 종료 후 주차 중 발생된 추가 손상 정보에 관한 것일 수 있다.
서버(499)는 차량에 추가 손상이 발생되지 않았다고 판단하는 경우, 해당 판단 결과를 제2 이용자의 단말기(490)로 전송할 수 있고, 제2 이용자의 단말기(490)가 서버(499)로부터 상기 판단 결과를 수신하면 제2 이용자는 상기 판단 결과에 대한 동의 여부를 선택할 수 있다. 이때, 상기 판단 결과는 기존 손상 정보에 문제가 없음을 나타내는 정보, 즉 기존 손상 정보가 현재 차량의 외관 상태와 동일하다는 정보를 포함할 수 있다.
제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과를 확인하는 절차를 완료하면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과에 동의하는 경우 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
도시하지 않았지만, 상기 서버(499)는 상기 제2 이용자의 단말기(490)가 제2 이미지를 전송한 경우에 상기 차량의 문 열림 및 시동 기능이 활성화 되도록 제어할 수 있다, 즉, 앞서 설명한 추가 손상에 대한 판단과 동의절차가 진행되기 전에 상기 제2 이용자의 단말기(490)는 차량의 문 열림 및 시동 기능을 활성화 할 수 있다. 이 경우 차량의 운행과정에서 서버(499)는 추가 손상 판단과 동의절차를 진행할 수 있고, 차량의 운행이 종료되기 전까지 추가 손상 판단과 동의절차를 진행하여 추가 손상 판단과 동의절차가 완료된 이후에 차량 반납 절차를 종료할 수 있다. 또는 상기 서버(499)는 추가 손상 판단과 동의절차를 차량 반납 절차 이후에 진행할 수도 있다. 상기 서버(499)는 상기 제2 이용자의 단말기(490)가 제2 이미지를 전송한 경우에 상기 차량의 문 열림 및 시동 기능이 활성화되도록 제어함으로써 차량의 운행시작 전의 절차들을 간소화할 수 있는 효과가 있다.
상기 제2 이용자에 의해 상기 판단 결과에 대한 동의가 입력되는 경우 상기 서버(499)는 차량의 외관상태가 기존과 동일하다는 정보를 저장할 수 있다.
또한, 제2 이용자의 단말기(490)는 제2 이용자가 상기 판단 결과에 동의하지 않는 경우 제2 이용자가 상기 판단 결과에 동의하지 않는 이유에 대해 이의 제기할 수 있도록 표시할 수 있다. 이후, 제2 이용자의 단말기(490)는 제2 이용자의 이의제기가 완료되면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
상기 제2 이용자에 의해 상기 판단 결과에 대한 이의제기가 입력되는 경우 상기 서버(499)는 상기 이의제기 결과에 따라 차량의 외관 상태가 기존과 동일하거나 추가 손상이 발생되었다는 정보를 저장할 수 있다. 다시 말해, 서버(499)는 상기 제2 이용자에 의해 입력된 상기 판단 결과에 대한 이의제기가 받아들여지는 경우 차량의 외관 상태에 추가 손상이 발생하였다는 정보를 저장할 수 있고, 이의제기가 받아들여지지 않는 경우 차량의 외관 상태가 기존과 동일하다는 정보를 저장할 수 있다.
또한, 서버(499)는 단말기(490)로부터 수신된 이용자의 동의 여부 및/또는 이의제기 정보가 반영된 상기 기존 손상 정보를 토대로 차량 손상 정보를 업데이트할 수 있다. 이때, 상기 업데이트된 차량 손상 정보를 제2 정보로 정의할 수 있다.
예시적으로, 제2 이용자의 단말기(490)는 제2 이용자가 상기 기존 손상 정보가 제2 이용자의 이용 시작시점인 제3 시점(T3)에 촬영된 제2 이미지와 대응한다는 것에 동의하는 경우 차량의 문 열림 및 시동 기능을 활성화할 수 있고, 동의하지 않는 경우 이의제기 절차가 완료되면 차량의 문 열림 및 시동 기능을 활성화할 수 있다.
도시하지 않았지만, 상기 서버(499)는 상기 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 처리 절차가 완료된 이후에 차량의 문 열림 및 시동 기능이 활성화 되도록 제어할 수 있다, 즉, 상기 서버(499)는 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 모든 동의절차가 완료된 이후에 차량의 문 열림 및 시동 기능을 활성화 할 수 있다. 상기 서버(499)는 상기 제2 이용자의 단말기(490)에 의한 이의 제기 절차와 이에 대한 처리 절차가 완료된 이후에 차량의 문 열림 및 시동 기능이 활성화 되도록 제어함으로써 이후에 발생할 수 있는 차량의 손상과 관련된 분쟁을 예방할 수 있는 효과가 있다.이처럼 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 차량 외관에 발생되어 있는 손상 정보를 시계열적으로 관리할 수 있고, 또한 차량의 외관에 발생되어 있는 손상 정보의 책임 소재를 명확히 하여 수리, 점검 및 교체 비용 청구가 원활히 이루어질 수 있도록 할 수 있다.
또한, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 공유 차량 이용자는 자신이 차량을 이용하기 전에 이미 발생되어 있던 손상 정보를 명확히 하여 차량의 기존 손상에 대하여는 책임이 없음을 명확히 할 수 있다. 나아가, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 공유 차량 이용자는 자신의 차량 이용 중 추가로 발생된 손상에 대해서만 책임질 수 있고, 관리자도 차량에 발생한 손상에 관해 책임 소재를 분명히 할 수 있다.
또한, 서버(499)는 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 관리자는 차량이 이용자에 의해 이용되지 않고 주차되어 있는 시기에 발생한 손상 정보를 파악할 수 있고 그에 따른 대응 및 조치가 가능할 수 있다. 예를 들어, 도 56을 참조하면, 서버(499)가 단말기(490)로부터 획득된 정보를 토대로 차량 손상 정보를 업데이트함으로써, 관리자는 제1 이용자의 이용 종료시점인 제2 시점(T2)과 제2 이용자의 이용 시작시점인 제3 시점(T3) 사이에 발생한 손상 정보 즉, 제2 구간(P2)에서 발생한 손상 정보를 파악할 수 있고, 그에 따른 대응 및 조치가 가능할 수 있다.
한편, 상술한 바와 같이 공유 차량 이용자는 공유 차량의 현재 외관 상태에 대해 전부 동의하지 않을 수 있고, 일부 동의하지 않을 수 있다. 즉, 공유차량 이용자는 공유 차량의 기존 손상 정보에 대해 부분적으로 동의 여부를 표시할 수 있다.
도 59는 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량 외관을 재 촬영하는 프로세스를 설명하기 위한 도면이다. 이하에서는, 도 59를 참조하여 공유 차량 이용자가 공유 차량의 기존 손상 정보에 동의하지 않는 경우 공유 차량의 외관을 재 촬영하는 프로세스를 설명한다.
도 59의 (a)를 참조하면, 제2 이용자가 공유 차량의 기존 손상 정보에 대해 전부 동의하지 않는 경우, 제2 이용자의 단말기(490)는 공유 차량 외관 전체에 대해 재촬영을 진행할 수 있도록 표시할 수 있다. 이때, 제2 이용자의 단말기(490)는 차량 외관의 주요 부위가 모두 촬영될 수 있도록 가이드해주는 재촬영 가이드를 출력할 수 있다. 상기 재촬영 가이드는 제2 이용자가 예약 시 입력한 정보 또는 학습된 신경망 모델을 통해 획득된 정보를 기초로 제공될 수 있다.
도 59의 (b)를 참조하면, 제2 이용자가 공유 차량의 기존 손상 정보에 대해 일부 동의하지 않는 경우, 제2 이용자의 단말기(490)는 동의하지 않는 부분에 대한 재촬영을 진행하도록 가이드할 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 동의하지 않는 부분에 대응되는 재촬영 가이드를 표시할 수 있다. 상기 제2 이용자는 상기 재촬영 가이드에 따라 촬영을 진행함으로써 상기 제2 이용자 단말기(490)는 동의하지 않는 부분에 대한 이미지를 얻을 수 있다. 상기 재촬영 가이드는 공유 차량 이용자가 예약 시 입력한 정보 또는 학습된 신경망 모델을 통해 획득된 정보를 기초로 제공될 수 있다. 이러한 과정에 의해 상기 제2 이용자의 단말기(490)는 동의하지 않는 부분의 이미지를 저장하고 서버(499)에 전송할 수 있다. 상기 제2 이용자의 단말기(490)는 제2 이용자가 동의하지 않는 부분에 대해서만 재촬영을 진행할 수 있도록 제어하여 재촬영 절차를 간소화시킬 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.

Claims (20)

  1. 차량의 이미지를 촬영하는 카메라;
    사용자로부터 정보를 입력 받는 입력부;
    무선신호를 송수신하는 통신부;
    기존 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및
    상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되,
    상기 사용자는 이전 사용자 및 현재 사용자를 포함하고,
    상기 제어부는 상기 기존 손상 정보를 상기 디스플레이부를 통해 상기 현재 사용자에게 제공하고,
    상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해 주되,
    상기 기존 손상 정보는 상기 이전 사용자가 촬영한 제1 이미지를 기초로 산출된 손상 정보이고,
    상기 디스플레이부는 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제1 알림창을 표시하는,
    모바일 디바이스.
  2. 제1항에 있어서,
    상기 제1 이미지는 상기 이전 사용자가 차량 반납 시 촬영한 이미지이며,
    상기 기존 손상 정보는 상기 이전 사용자의 차량 이용 종료 시까지 발생한 손상 정보를 의미하는 것인,
    모바일 디바이스.
  3. 제1항에 있어서,
    상기 손상 정보는 상기 이전 사용자의 모바일 디바이스에 의해 전송된 상기 제1 이미지에 의해 업데이트된 정보인
    모바일 디바이스.
  4. 제1항에 있어서,
    상기 디스플레이부는, 상기 기존 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 상기 현재 사용자에게 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고
    상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는,
    모바일 디바이스.
  5. 제4항에 있어서,
    상기 현재 사용자가 상기 기존 손상 정보에 대해 전부 동의하지 않는 경우,
    상기 디스플레이부는 상기 현재 사용자에게 차량 전체 외관에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고,
    상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는,
    모바일 디바이스.
  6. 제4항에 있어서,
    상기 현재 사용자가 상기 기존 손상 정보에 대해 일부 동의하지 않는 경우,
    상기 디스플레이부는 상기 현재 사용자에게 차량 외관 중 상기 현재 사용자가 동의하지 않은 부분에 대한 제2 이미지를 촬영하도록 요구하는 제2 알림창을 표시하고,
    상기 제어부는 상기 제2 이미지 촬영이 완료되면 상기 제2 이미지를 상기 통신부를 통해 상기 서버로 전송하고 상기 차량이 사용 가능한 상태가 되도록 변경해주는,
    모바일 디바이스.
  7. 제4항에 있어서,
    상기 디스플레이부는 촬영 가이드를 표시하되,
    상기 촬영 가이드는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량의 전체 외관 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인,
    모바일 디바이스.
  8. 제7항에 있어서,
    상기 촬영 가이드는 차량 정보에 기초하여 촬영을 가이드해줄 수 있되,
    상기 차량 정보는 상기 현재 이용자가 입력한 정보 또는 차량 정보를 획득하도록 학습된 신경망 모델을 통하여 얻어질 수 있는 것인,
    모바일 디바이스.
  9. 제7항에 있어서,
    상기 제어부는 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 촬영 가이드 내에 상기 차량이 일정 비율 이상 위치하는 경우 자동적으로 촬영 버튼을 실행하여 이미지를 저장하는,
    모바일 디바이스.
  10. 제4항에 있어서,
    상기 디스플레이부는 촬영 맵을 표시하되,
    상기 촬영 맵은 상기 현재 사용자가 상기 제2 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인,
    모바일 디바이스.
  11. 제4항에 있어서,
    상기 제어부는 상기 서버가 상기 제2 이미지와 상기 기존 손상 정보를 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 비교 결과를 상기 통신부를 통해 수신하고,
    상기 제어부는 상기 디스플레이부를 통해 상기 비교 결과를 상기 현재 사용자에게 제공하며,
    상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제3 알림창을 표시하는,
    모바일 디바이스.
  12. 제11항에 있어서,
    상기 제어부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하는 경우 상기 차량이 사용 가능한 상태가 되도록 변경해주는,
    모바일 디바이스.
  13. 제11항에 있어서,
    상기 디스플레이부는 상기 비교 결과에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고,
    상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량이 사용 가능한 상태가 되도록 변경해주는,
    모바일 디바이스.
  14. 차량의 이미지를 촬영하는 카메라;
    사용자로부터 정보를 입력 받는 입력부;
    무선신호를 송수신하는 통신부;
    차량 손상 정보와 관련된 메시지를 표시하는 디스플레이부; 및
    상기 카메라, 통신부 및 디스플레이부를 제어하는 제어부를 포함하되,
    상기 사용자는 이전 사용자 및 현재 사용자를 포함하고,
    상기 디스플레이부는, 상기 현재 사용자의 차량 반납 시 상기 현재 이용자에게 제3 이미지를 촬영하도록 요구하는 제4 알림창을 표시하고,
    상기 제어부는 상기 제3 이미지 촬영이 완료되면 상기 제3 이미지를 상기 통신부를 통해 서버로 전송하고 상기 차량의 반납 처리가 완료되도록 처리하는,
    모바일 디바이스.
  15. 제14항에 있어서,
    상기 디스플레이부는 촬영 가이드를 표시하되,
    상기 촬영 가이드는 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량의 전체 모습 또는 상기 차량의 부품이 촬영될 수 있도록 가이드해주는 것인,
    모바일 디바이스.
  16. 제14항에 있어서,
    상기 디스플레이부는 촬영 맵을 표시하되,
    상기 촬영 맵은 상기 현재 사용자가 상기 제3 이미지를 촬영하는 경우 상기 차량 외관의 주요 부위 중 적어도 일부가 상기 제2 이미지에 포함될 수 있도록 촬영을 가이드해주는 것인,
    모바일 디바이스.
  17. 제14항에 있어서,
    상기 제어부는 상기 서버가 상기 제3 이미지를 기존 손상 정보와 비교하여 상기 차량에 추가 손상이 발생되었는지 판단한 추가 손상 정보를 상기 통신부를 통해 수신하고,
    상기 제어부는 상기 디스플레이부를 통해 상기 추가 손상 정보를 상기 현재 사용자에게 제공하며,
    상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의 여부를 선택할 수 있는 제5 알림창을 표시하는,
    모바일 디바이스.
  18. 제17항에 있어서,
    상기 추가 손상 정보는 상기 현재 사용자의 차량 이용 시작 시점부터 상기 현재 사용자의 차량 이용 종료 시점까지 발생한 손상 정보를 의미하는 것인,
    모바일 디바이스.
  19. 제17항에 있어서,
    상기 제어부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하는 경우 상기 차량의 반납 처리가 완료되도록 처리하는,
    모바일 디바이스.
  20. 제17항에 있어서,
    상기 디스플레이부는 상기 추가 손상 정보에 대해 상기 현재 사용자가 동의하지 않는 경우 이의 제기할 수 있는 메시지를 표시하고,
    상기 제어부는 상기 현재 사용자가 상기 이의 제기를 완료하면 상기 차량의 반납 처리가 완료될 수 있도록 처리하는,
    모바일 디바이스.
PCT/KR2020/017004 2020-09-02 2020-11-26 모바일 디바이스 WO2022050504A1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020200111493A KR102529429B1 (ko) 2020-09-02 2020-09-02 차량 관리 보조 방법 및 차량 관리 보조 장치
KR10-2020-0111495 2020-09-02
KR1020200111495A KR102470594B1 (ko) 2020-09-02 2020-09-02 차량 손상 관리 방법 및 차량 손상 관리 장치
KR10-2020-0111496 2020-09-02
KR10-2020-0111494 2020-09-02
KR10-2020-0111493 2020-09-02
KR1020200111494A KR102529430B1 (ko) 2020-09-02 2020-09-02 차량 관리 장치
KR1020200111496A KR102223059B1 (ko) 2020-09-02 2020-09-02 모바일 디바이스

Publications (1)

Publication Number Publication Date
WO2022050504A1 true WO2022050504A1 (ko) 2022-03-10

Family

ID=80491208

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017004 WO2022050504A1 (ko) 2020-09-02 2020-11-26 모바일 디바이스

Country Status (1)

Country Link
WO (1) WO2022050504A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903016B1 (ko) * 2008-12-12 2009-06-16 손용원 온라인을 통한 자동차 외형 복원 분석 및 견적 산출 방법
KR20140031418A (ko) * 2012-08-27 2014-03-13 주식회사 얼라이드인터내셔널 무인 자동화 차량대여 시스템 및 그 방법
KR20150082737A (ko) * 2014-01-07 2015-07-16 이승원 온라인 차량 대여 및 관리시스템
KR20160121242A (ko) * 2015-04-10 2016-10-19 주식회사 리코시스 차량 촬영 가이드 장치
KR20190067488A (ko) * 2017-12-07 2019-06-17 이승주 차량 탁송 안내 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100903016B1 (ko) * 2008-12-12 2009-06-16 손용원 온라인을 통한 자동차 외형 복원 분석 및 견적 산출 방법
KR20140031418A (ko) * 2012-08-27 2014-03-13 주식회사 얼라이드인터내셔널 무인 자동화 차량대여 시스템 및 그 방법
KR20150082737A (ko) * 2014-01-07 2015-07-16 이승원 온라인 차량 대여 및 관리시스템
KR20160121242A (ko) * 2015-04-10 2016-10-19 주식회사 리코시스 차량 촬영 가이드 장치
KR20190067488A (ko) * 2017-12-07 2019-06-17 이승주 차량 탁송 안내 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2019039912A1 (ko) 진단 보조 시스템 및 그 제어 방법
WO2021201349A1 (ko) 차량의 손상 분석 시스템 및 방법
WO2020050499A1 (ko) 객체 정보 획득 방법 및 이를 수행하는 장치
WO2019022497A1 (en) EXTERIOR MIRROR FOR A VEHICLE
WO2015122677A1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
WO2018070583A1 (ko) 자동주차 보조장치 및 이를 포함하는 차량
WO2020085540A1 (en) Augmented reality method and apparatus for driving assistance
WO2021230708A1 (en) Image processing method, electronic device and readable storage medium
WO2019035652A1 (en) DRIVING ASSISTANCE SYSTEM AND VEHICLE COMPRISING THE SAME
WO2020117006A1 (ko) Ai 기반의 안면인식시스템
WO2017018729A1 (ko) 차량용 레이더, 및 이를 구비하는 차량
WO2021261680A1 (ko) 센서 데이터 공유 및 활용 방법
WO2012086966A9 (ko) 무선통신장치를 이용하여 양질의 홍채 및 피사체 영상을 편리하게 촬영하기 위한 방법 및 한 개의 밴드패스필터로 가시광선과 근적외선 일부영역을 투과시키는 카메라 장치
WO2016052855A1 (en) Method and system for automatic selection of channel line up, set top box (stb) ir codes, and pay tv operator for televisions controlling an stb
WO2020106010A1 (ko) 이미지 분석 시스템 및 분석 방법
WO2018088614A1 (ko) 차량용 사용자 인터페이스 장치 및 차량
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2022050504A1 (ko) 모바일 디바이스
EP3440593A1 (en) Method and apparatus for iris recognition
WO2021215589A1 (ko) Ocr 기반 문서 분석 시스템 및 방법
WO2021215730A1 (ko) 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치
WO2019066477A1 (en) AUTONOMOUS VEHICLE AND ITS CONTROL METHOD
WO2020184747A1 (ko) 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법
WO2017217656A1 (ko) 동영상 압축방법, 장치 및 이에 대한 컴퓨터 프로그램
WO2020116923A1 (ko) 영상 분석 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20952602

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/07/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20952602

Country of ref document: EP

Kind code of ref document: A1