WO2024154840A1 - 이동체에 가해진 충격의 판정 - Google Patents

이동체에 가해진 충격의 판정 Download PDF

Info

Publication number
WO2024154840A1
WO2024154840A1 PCT/KR2023/000735 KR2023000735W WO2024154840A1 WO 2024154840 A1 WO2024154840 A1 WO 2024154840A1 KR 2023000735 W KR2023000735 W KR 2023000735W WO 2024154840 A1 WO2024154840 A1 WO 2024154840A1
Authority
WO
WIPO (PCT)
Prior art keywords
impact
level
moving object
risk level
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2023/000735
Other languages
English (en)
French (fr)
Inventor
조지욱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Symphony Inc
Original Assignee
Rakuten Symphony Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Symphony Inc filed Critical Rakuten Symphony Inc
Priority to PCT/KR2023/000735 priority Critical patent/WO2024154840A1/ko
Publication of WO2024154840A1 publication Critical patent/WO2024154840A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/02—Registering or indicating driving, working, idle, or waiting time only
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems

Definitions

  • This disclosure relates to technology for determining an impact applied to a moving object.
  • black boxes which are devices that photograph the exterior of a car and dynamically record the captured images.
  • Conventional black box-related technology has low sensitivity to recording, so it reacts to even the slightest touch to the car, so the user has to check the images recorded according to the reaction one by one.
  • the technical problem to be solved through the present disclosure is to provide a technology that can determine an impact applied to a moving object.
  • Another technical problem to be solved through the present disclosure is to provide a technology that can verify the determination result of an impact applied to a moving object using heterogeneous sensors.
  • Another technical problem to be solved through this disclosure is to provide a technology that can selectively extract images that a user needs to check.
  • Another technical problem to be solved through this disclosure is to provide a technology that can immediately notify the user of an image that the user needs to view.
  • Another technical problem to be solved through this disclosure is to provide technology that can immediately notify the subject involved in the accident of the occurrence of the accident when an accident occurs on a moving object.
  • Another technical problem to be solved through the present disclosure is to provide technology that can immediately notify the optimal subject of the occurrence of the accident according to the operating situation of the moving object when an accident occurs on a moving object.
  • An electronic device includes an image sensor configured to detect an object external to a moving object, a communication interface configured to enable communication with an external device, and a computer program including one or more instructions.
  • a processor configured to include a memory configured to load the computer program, and when the computer program is executed by the processor, the processor detects an impact applied to the moving object based on an image set obtained from the image sensor. Determine an impact event indicating the occurrence of, calculate the size of the impact corresponding to the impact event based on time-series changes in the image set, and indicate the degree of damage to the moving object based on the size of the impact.
  • a risk level may be determined, and based on the risk level, an alarm notifying the shock event may be transmitted to the external device.
  • a method includes the operation of determining an impact event indicating the occurrence of an impact applied to the moving object based on an image set acquired from an image sensor configured to detect an object external to the moving object, the image An operation of calculating the magnitude of an impact corresponding to the impact event based on the three time-series changes, an operation of determining a risk level indicating the degree of damage to the moving object based on the magnitude of the impact, and Based on this, it may include transmitting an alarm notifying the impact event to an external device.
  • an impact applied to a moving object can be determined.
  • the determination result of an impact applied to a moving object can be verified using heterogeneous sensors.
  • images that the user needs to check can be selectively extracted.
  • the occurrence of the accident can be immediately notified to the subject involved in the accident.
  • the occurrence of the accident can be immediately notified to the optimal subject according to the operating situation of the moving object.
  • Figure 1 shows an environment in which devices according to an embodiment of the present disclosure can be applied.
  • FIG. 2 illustrates a computing device that can implement devices according to an embodiment of the present disclosure.
  • Figure 3 illustrates the determination operation of an impact determination model that may be referenced in various embodiments of the present disclosure.
  • Figure 4 illustrates a learning operation of an impact determination model that may be referenced in various embodiments of the present disclosure.
  • Figure 5 shows a flowchart showing a method according to another embodiment of the present disclosure.
  • FIG. 6 shows a flowchart showing detailed operations of the impact event determination operation described with reference to FIG. 5 .
  • FIG. 7 shows a flowchart showing detailed operations of the risk level determination operation described with reference to FIG. 5 .
  • FIG. 8 shows a flowchart showing detailed operations of the risk level determination operation described with reference to FIG. 5 .
  • expressions such as “A, B, and C,” “A, B, or C,” “at least one of A, B, and C,” or “at least one of A, B, or C” refer to each of the listed It can refer to an item or all possible combinations of listed items.
  • “at least one of A or B” may refer to both (1) at least one A, (2) at least one B, (3) at least one A and at least one B.
  • the expression "based on” is used to describe one or more factors that influence the act or action of decision, judgment, or action described in the phrase or sentence containing this expression, and is used in this disclosure. does not exclude additional factors influencing the decision, act of judgment, or action.
  • a certain component e.g., a first component
  • another component e.g., a second component
  • a processor configured to perform a specific operation refers to a general purpose processor capable of performing that specific operation by executing software. It may mean, or it may mean a special purpose computer structured through programming to perform a specific operation.
  • artificial intelligence used in this disclosure may refer to technology that imitates human learning ability, reasoning ability, or perception ability and implements this on a computer. Specifically, artificial intelligence can perform judgment or prediction based on input data by analyzing input data and generating output data based on the results of the analysis. Additionally, artificial intelligence can perform technologies that mimic the cognitive or judgment functions of the human brain (e.g., verbal understanding, visual understanding, reasoning/prediction, knowledge expression, or movement control, etc.). In one embodiment, artificial intelligence may include concepts of machine learning or symbolic logic.
  • machine learning used in this disclosure may refer to a series of processes that train an artificial neural network model using experience processing data. Through this machine learning, artificial neural network models can improve their data processing capabilities.
  • artificial neural network model used in this disclosure is constructed by modeling the correlation between data, and the correlation can be expressed by a plurality of parameters.
  • This artificial neural network model simulates human brain structure, for example, neurons of a human neural network, and can be implemented on a computer to include a plurality of network nodes with weights.
  • This artificial neural network model can optimize the parameters of the artificial neural network model by extracting features from given learning data, analyzing the extracted features, and repeating a series of operations to derive correlations between the data. This process of optimizing the parameters of an artificial neural network model can be referred to as machine learning.
  • an artificial neural network model can learn the mapping (correlation) between input and output for data given as input-output pairs, and this can be referred to as supervised learning.
  • an artificial neural network model can learn relationships by deriving regularities between given data even when only input data is given, and this can be referred to as unsupervised learning.
  • an artificial neural network model may be referred to interchangeably as a “model,” “artificial neural network,” “neural network model,” “artificial intelligence learning model,” or “machine learning model.”
  • the “plurality of network nodes” constituting the above-described artificial neural network model may have a connection relationship with each other by simulating the synaptic activity of neurons in which human neurons send and receive signals through synapses.
  • multiple network nodes are located in layers of different depths (e.g., hidden layers) and can exchange data according to convolutional connection relationships.
  • a plurality of network nodes with various connection relationships may be included in the artificial neural network model, and if the function to be simulated through the artificial neural network model in the present disclosure can be performed, various known artificial neural networks Models can be applied to the present disclosure.
  • Figure 1 shows an environment in which devices according to an embodiment of the present disclosure can be applied.
  • This environment may include the mobile object 110, an external device 120 related to an alarm due to an impact applied to the mobile object 110, and a user terminal 130.
  • Figure 1 shows an environment in which one mobile object 110, one external device 120, and one user terminal 130 are applied, but this is only for convenience of understanding, and the mobile object 110 and the external device 130 are applied.
  • the number of devices 120 and user terminals 130 may vary. For example, when a first user uses a first user terminal and a first moving object and a second user uses a second user terminal and a second moving object, the first user terminal, the second user terminal, the first moving object, and the second user terminal 2
  • the moving object can be applied to this environment.
  • the first device and the second device may be applied to the present environment.
  • Figure 1 only shows a preferred embodiment for achieving the purpose of the present disclosure, and some components may be merged, added, or deleted as needed.
  • the mobile object 110 refers to an object that can move, and may be understood in a broad sense including, for example, a vehicle or an airplane.
  • the mobile unit 110 may be a manned mobile vehicle in which a human can ride inside the mobile unit 110 .
  • the mobile unit 110 may be an unmanned mobile unit in which a human does not ride inside the mobile unit 110.
  • the mobile body 110 may include one or more modules.
  • the mobile body 110 may include known modules, including, for example, a module related to running the mobile body 110 or a module related to control of the mobile body 110.
  • the mobile body 110 may include a module that determines an impact applied to the mobile body 110 (hereinafter referred to as the “impact determination module 111”).
  • the impact determination module 111 determines the occurrence of an impact applied to the moving object 110 based on signals detected by one or more sensors, calculates the size of the impact, or determines the size of the moving object 110 based on the size of the impact.
  • the degree of damage can be determined or an alarm notifying the occurrence of the impact can be transmitted to the external device 120 or the user terminal 130.
  • specific operations performed by the impact determination module 111 will be described later with reference to the drawings of FIG. 5 and below.
  • the impact determination module 111 may be implemented with one or more computing devices. For example, all functions of impact determination module 111 may be implemented in a single computing device. As another example, the first function of the impact determination module 111 may be implemented in a first computing device, and the second function may be implemented in a second computing device. Such a computing device may be any type of device equipped with a computing function, but in an environment where the impact determination module 111 is mounted on the mobile body 110 and implemented, for example, an ECU (Electronic Control Unit) or a black box. The impact determination module 111 can be implemented by referring to (black box), etc.
  • ECU Electronic Control Unit
  • the impact determination module 111 has been described as a module included in the mobile body 110, but in one embodiment, the impact determination module 111 may be implemented independently of the mobile body 110.
  • the impact determination module 111 may be implemented as a device independent of the mobile body 110 without using the resources (eg, processor or memory, etc.) of the mobile body 110.
  • the external device 120 may be a device that obtains an alarm from the impact determination module 111.
  • the external device 120 may be an insurance company server, a security company server, or a file sharing server related to the mobile object 110.
  • the illustrated individual subject's server obtains an alarm from the impact determination module 111, it initiates reception of an accident for the mobile object 110, initiates dispatch to inspect the mobile object 110, or is accompanied by the transmission of the alarm. Processing such as saving the acquired image (e.g., clip) can be performed.
  • a web browser or application may be installed on the external device 120. there is.
  • This external device 120 may be, for example, a desktop computer, a laptop computer, an application server, a proxy server, or a cloud server. However, it is not limited to this, and the external device 120 can be implemented with reference to all types of devices equipped with computing functions.
  • the user terminal 130 may be a user terminal that sets the operation of the impact determination module 111 or obtains an alarm from the impact determination module 111.
  • a web browser or application may be installed on the user terminal 130.
  • This user terminal 130 may be, for example, a desktop computer, a laptop computer, a tablet computer, a wearable device, or a smart phone, but is not limited thereto and is not limited to computing.
  • the user terminal 130 can be implemented with reference to all types of devices equipped with functions.
  • At least some of the impact determination module 111, external device 120, and user terminal 130 related to the mobile object 110 may communicate through a network.
  • Networks can be any type of wired or wireless network, for example, Local Area Network (LAN), Wide Area Network (WAN), Mobile Radio Communication Network (MRCN), Wireless Broadband (WiBro), etc. It can be implemented as a network.
  • computing device 200 may be referred to interchangeably with an electronic device.
  • the impact determination module 111, external device 120, and user terminal 130 related to the moving object 110 described above with reference to FIG. 1 may each be implemented by the computing device 200.
  • Computing device 200 may include one or more processors 210, one or more memories 220, or a communication interface 230. In one embodiment, some components may be deleted from computing device 200 or other components (e.g., a display, an input device, or one or more sensors, etc.) may be added to computing device 200. Additionally, some components may be integrated and implemented additionally or alternatively, or may be implemented as a single or plural entity. In this disclosure, one or more processors 210 may be referred to as processor 210. The term processor 210 may mean a set of one or more processors, unless the context clearly expresses otherwise. Additionally, in this disclosure, one or more memories 220 may be referred to as memory 220 . The term memory 220 may mean a set of one or more memories, unless the context clearly expresses otherwise.
  • the processor 210 may perform operations or data processing related to control or communication of each component of the computing device 200. Specifically, the processor 210 may control at least one component of the computing device 200 connected to the processor 210 by running software (or computer program) received from another component. As an example, processor 210 loads instructions (e.g., instructions, code, or code segments) or data into memory 220, processes the instructions or data stored in memory 220, and performs processing according to the processing. The resulting data can be stored in the memory 220. Additionally, the processor 210 may be operatively connected to components of the computing device 200 and perform various operations such as calculation, processing, generation, or processing related to the present disclosure.
  • instructions e.g., instructions, code, or code segments
  • the processor 210 may be operatively connected to components of the computing device 200 and perform various operations such as calculation, processing, generation, or processing related to the present disclosure.
  • Memory 220 can store various data. Data stored in the memory 220 is data acquired, processed, or used by at least one component of the computing device 200, and may include software. Software, when loaded into memory 220, may include one or more instructions that cause processor 210 to perform operations according to various embodiments of the present disclosure. That is, the processor 210 may perform operations according to various embodiments of the present disclosure by executing one or more instructions described above. Memory 220 may include, for example, volatile or non-volatile memory.
  • the program is software stored in the memory 220, and is an operating system, application, or application for controlling the resources of the computing device 200 and provides various functions to the application so that the application can utilize the resources of the computing device 200. It may include provided middleware, etc.
  • the communication interface 230 can establish a wired or wireless communication channel with another device and transmit and receive various data with the other device.
  • the communication interface 230 may include at least one port to be connected to another device with a wired cable in order to communicate with the other device by wire.
  • the communication interface 230 can communicate with another device connected by wire through at least one port.
  • communication interface 230 may include a cellular communication module and be configured to connect to a cellular network (e.g., 3G, LTE, 5G, Wibro, or Wimax).
  • the communication interface 230 includes a short-range communication module and can transmit and receive data with another device using short-range communication (eg, Wi-Fi, Bluetooth, Bluetooth Low Energy (BLE), or UWB).
  • the communication interface 230 may include a contactless communication module for contactless communication.
  • Non-contact communication may include at least one non-contact proximity communication technology, such as, for example, Near Field Communication (NFC) communication, Radio Frequency Identification (RFID) communication, or Magnetic Secure Transmission (MST) communication.
  • NFC Near Field Communication
  • RFID Radio Frequency Identification
  • MST Magnetic Secure Transmission
  • the computing device 200 may be implemented in various known ways for communicating with other devices, and the scope of the present disclosure is not limited by the examples described above.
  • computing device 200 may include a display.
  • the display can display various screens based on control of the processor 210.
  • the display may set the impact determination module 111 related to the moving object 110 or display a screen to which various interfaces for obtaining an alarm from the impact determination module 111 are applied. You can.
  • a web browser or a dedicated application may be installed on the computing device 200.
  • the display is a component capable of interacting with the user and can receive user input from the user.
  • Such a display may be implemented in the form of a touch sensor panel (TSP) that can recognize the contact or proximity of various external objects (eg, a user's finger or stylus).
  • TSP touch sensor panel
  • computing device 200 may include an input device (eg, a mouse or keyboard).
  • the input device may receive data to be used in components of the computing device 200 from outside the computing device 200 (eg, a user).
  • computing device 200 may include one or more sensors.
  • the sensor is an element configured to detect an object external to the moving body 110.
  • the sensor includes, for example, an image sensor, an impact sensor, a vibration sensor, an angular velocity sensor, an acceleration sensor, a sound sensor, and a radar (RADAR, RAdio Detection And Ranging). ) sensor, ultrasonic sensor, or LiDAR (Light Detection And Ranging) sensor.
  • the illustrated individual sensors may detect one or more physical quantities for objects external to the moving body 110 .
  • processor 210 memory 220, or communication interface 230 shown in FIG. 2 is a bus, General Purpose Input/Output (GPIO), Serial Peripheral Interface (SPI), or Mobile Industry Processor (MIPI). They are connected to each other through an interface, etc., and can send or receive data or signals.
  • GPIO General Purpose Input/Output
  • SPI Serial Peripheral Interface
  • MIPI Mobile Industry Processor
  • the impact determination model is an artificial neural network model used by the impact determination module 111 described with reference to FIG. 1, and is, for example, an artificial neural network model that determines the occurrence of an impact applied to the moving object 110, that is, an impact event. You can.
  • the impact determination model may be implemented with Convolutional Neural Networks (CNN).
  • CNN Convolutional Neural Networks
  • This convolutional artificial neural network is a model that combines an artificial neural network with filter technology, and may be an optimized model so that the artificial neural network can better learn the characteristics of the input data.
  • the impact determination model may include an artificial neural network with a graph structure consisting of a plurality of layers and a plurality of network nodes constituting each layer, and the plurality of layers include one or more input layers, one or more hidden layers, and one or more output layers. can do.
  • the input layer may refer to a layer that receives data to be analyzed or learned in the layer structure of an artificial neural network
  • the output layer may refer to a layer that outputs results in the layer structure of an artificial neural network.
  • a hidden layer can refer to all layers except the input layer and output layer in the layer structure of an artificial neural network.
  • An artificial neural network is composed of successive layers of neurons, and neurons in each layer can be connected to neurons in the next layer. If the input layer and output layer are directly connected without a hidden layer, each input independently contributes to the output regardless of other inputs, making it difficult to obtain accurate results.
  • input data is interdependent and combined to affect the output in a complex structure, so adding a hidden layer can allow neurons in the hidden layer to capture subtle interactions between inputs that affect the final output.
  • the impact determination model may be implemented with a tensorflow algorithm.
  • Figure 3 shows the judgment operation of the impact judgment model.
  • the impact determination model 310 may output a determination result 330 of an impact event as output data.
  • the image set 320 may include one or more images acquired from an image sensor included in the impact determination module 111.
  • the image set 320 includes a plurality of images detected at predetermined time intervals.
  • the second image included in the image set 320 is the time when the first image was detected. It may be an image detected at a predetermined time interval from . In other words, by comparing the second image and the first image, time-series changes in the image can be observed.
  • the shock event determination result 330 is a value for determining the shock event and may be implemented to be output in a binary format, for example, “yes” or “no.” Specifically, if “yes” is output as the decision result 330 of the impact event, it may be determined that an impact has occurred in the moving object 110, and if “no” is output as the decision result 330 of the impact event, the moving object 110 may be determined to have suffered an impact. It may be determined that no impact occurred at (110).
  • Figure 4 shows the learning operation of the impact determination model.
  • the learning image set 420 and the impact occurrence result 430 corresponding to the learning image set 420 are used as a pair, thereby learning the impact determination model 410.
  • the learning image set 420 may be an image set used for learning.
  • the shock occurrence result 430 may be a value representing the shock occurrence result corresponding to the learning image set 420 in a binary format such as “yes” or “no.”
  • the impact determination model 410 can be trained by using one or more learning image sets 420 and one or more impact occurrence results 430 corresponding to the one or more learning image sets 420 in pairs. This machine learning may be performed in the impact determination module 111 described with reference to FIG.
  • the impact determination model 410 stored in the memory of the impact determination module 111 can determine an impact event according to the method described with reference to FIG. 3.
  • the impact judgment model 410 includes the texture of the image included in the learning image set 420, the density of the image, the color of the image, the shape of the external object projected on the image, and the speed of the external object projected on the image. Or, extract various features that can be extracted from the learning image, such as the direction of movement of the external object projected on the image, and establish a correlation between the impact occurrence result 430 and the learning image set 420 based on the extracted features. It can be learned to derive it.
  • a machine learning algorithm that can be used to learn the impact judgment model 410, for example, a deep neural network algorithm, a recurrent neural network algorithm, a convolutional neural network algorithm, a classification-regression analysis algorithm, or a reinforcement learning algorithm may be referenced.
  • impact events can be determined in an automated manner with minimal user intervention.
  • each step of the methods to be described with reference to the drawings below may be performed by a computing device.
  • each step of the methods may be implemented as one or more instructions executed by a processor of a computing device. All steps included in these methods may be performed by a single physical computing device; however, the first steps of the method may be performed by a first computing device and the second steps of the method may be performed by a second computing device. It could be.
  • the description will be continued assuming that each step of the above-described methods is performed by the impact determination module 111 described with reference to FIG. 1. However, for convenience of explanation, the description of the operator of each step included in the methods may be omitted.
  • Figure 5 shows a flow chart illustrating a method according to an embodiment of the present disclosure.
  • the method shown in FIG. 5 acquires an image set including one or more images representing the exterior of the moving object 110 from an image sensor, and processes the image set to an external device 120 or a user terminal ( 130) relates to performing a report (e.g., transmission of an alarm or transmission of a clip).
  • a report e.g., transmission of an alarm or transmission of a clip.
  • an impact event indicating the occurrence of an impact applied to the moving object 110 may be determined (S510).
  • the impact determination module 111 may acquire an image set including one or more images representing the exterior of the moving object 110 and determine an impact event through image processing on the image set.
  • an impact determination model may be used to determine impact events.
  • the impact determination module 111 includes a shock sensor configured to detect an impact from the outside, and an impact event may be determined based on a signal obtained from the shock sensor.
  • the determination operation of an impact event using an impact sensor (hereinafter referred to as “second determination operation”) is a verification operation for the determination operation of an impact event using an image set (hereinafter referred to as “first determination operation”). It can be performed as.
  • the determination operation of the impact event using an image set is basically performed as the first determination operation
  • the verification operation of the impact event using the impact sensor is performed as a means to verify whether there was an error in the first determination operation. It may be performed as a second judgment operation.
  • a more accurate determination result for an impact event can be derived. Additionally, by comparing the results of the first determination operation and the results of the second determination operation, either the first determination operation or the second determination operation can be improved by reflecting the results of the other determination operation.
  • the second determination operation may be performed only for the portion for which the first determination operation was performed.
  • a first determination operation is basically performed on a plurality of image sets with different acquisition points, and a second determination operation can be performed using a signal from an impact sensor corresponding to a selected part of the plurality of image sets.
  • resources generated by using a plurality of sensors can be saved.
  • the number of times the second judgment operation is performed increases, and the difference between the result of the first decision operation and the result of the second judgment operation increases.
  • the number of times the second judgment operation is performed decreases, thereby saving resources while deriving a more accurate judgment result for the impact event.
  • the result of the second determination operation is an error in the impact event according to the result of the first determination operation (i.e., when the result of the first determination operation and the result of the second determination operation are different)
  • the image set corresponding to the impact event can be saved as training data for the impact determination model.
  • the image set and the result of the second judgment operation corresponding to the image set may be stored as a pair as learning data.
  • the learning data stored in this way can be used for learning directly in the impact judgment module 111 or indirectly in an external learning device (not shown), thereby being used as data to improve the accuracy of the first judgment operation.
  • the size of the shock corresponding to the shock event can be calculated (S520). Specifically, if the impact determination module 111 determines that there is an impact event according to the impact event determination operation (S510), a specific object approaching the moving object 110 through time-series changes in the image set corresponding to the impact event. can be identified. This identification operation of a specific object may refer to known techniques for object detection. Additionally, the impact determination module 111 may calculate the speed of a specific object and the size of the specific object through image processing. The calculation of this speed takes into account the distance change through the time interval of the individual images contained in the image set and the distance between the specific object projected on that individual image and a reference point (i.e. a point that always appears fixed in the image).
  • the size of a specific object projected on an individual image included in the image set and the size of a reference object may be taken into consideration. Additionally, the impact determination module 111 may calculate the size of the impact applied to the moving object 110 using the speed of the specific object and the size of the specific object.
  • the impact determination module 111 includes an impact sensor configured to detect an impact from the outside, and the size of the impact is calculated based on the signal obtained from the impact sensor.
  • the operation of calculating the size of the impact using an impact sensor (hereinafter referred to as the “second calculation operation”) is the operation of calculating the size of the impact using the time-series change in the image set (hereinafter referred to as the “first calculation operation”). It can be performed as a correction operation for ).
  • a calculation operation using time-series changes in the image set is basically performed as the first calculation operation, and a calculation operation of the size of the impact using an impact sensor as a means to correct the first calculation operation is the second calculation operation. It can be performed as. According to this embodiment, by using a plurality of sensors to calculate the size of the impact, a more accurate calculation result of the size of the impact can be derived.
  • All technical concepts related to the above-described verification operation related to determination of an impact event can be applied to the above-described correction operation related to calculation of the magnitude of the impact. For example, by comparing the results of the first calculation operation and the results of the second calculation operation, either the first calculation operation or the second calculation operation can be improved by reflecting the results of the other calculation operation.
  • the second calculation operation may be performed only for a portion of the data on which the first calculation operation was performed.
  • a risk level indicating the degree of damage to the moving object may be determined (S530).
  • the impact determination module 111 may refer to a table mapping the relationship between the size of the impact and the risk level and determine the risk level according to the calculated size of the impact.
  • the table is reference data that defines the relationship between the size of the impact and the level of risk, and may include one or more thresholds.
  • the threshold can be understood as a value for the magnitude of impact that distinguishes risk levels.
  • the threshold may be a value that can be adjusted based on input from a user using the user terminal 130. For example, a user can set a threshold to classify a certain number of magnitudes of impact into a certain risk level.
  • the impact determination module 111 may classify the size of a specific impact intended by the user among the sizes of impacts applied to the moving object 110 into a specific risk level.
  • the user can set a series of operations related to the determination of the impact applied to the moving object 110 through the user terminal 130 in a variety of ways.
  • the user may set the specific operation shown in FIG. 5 to “on” or “off” through the user terminal 130.
  • the user may set the specific operation shown in FIG. 5 to “on” or “off” during daytime hours through the user terminal 130.
  • the user may set a specific operation shown in FIG. 5 to “on” or “off” while driving through the user terminal 130.
  • an alarm notifying an impact event may be transmitted to the external device 120 (S540). Additionally, based on the risk level, an alarm notifying an impact event may be transmitted to the user terminal 130. Specifically, the impact determination module 111 may transmit an alarm according to the risk level to the external device 120 or the user terminal 130 by referring to the alarm rule that specifies the relationship between the risk level and alarm transmission.
  • the alarm rule may be a rule that transmits an alarm to the insurance company server, security company server, file sharing server, or user terminal 130, or omits transmission of the alarm (i.e., does not transmit the alarm), depending on the risk level.
  • Various known technologies may be referred to in the alarm transmission operation (S540), and operations that can notify each subject related to the external device 120 or the user terminal 130 of a shock event may be included in the scope of the present disclosure.
  • a clip corresponding to the impact event may be transmitted (S550).
  • the impact determination module 111 may transmit a clip corresponding to the impact event to the external device 120 or the user terminal 130.
  • clips may be transmitted accompanying transmission of an alarm. That is, the clip may be transmitted along with the transmission of the alarm to the subject to whom the alarm is to be transmitted according to the above-mentioned alarm rules.
  • the above-mentioned clip is a fragment of video and may mean a subset of an image set. For example, if the image set corresponding to the shock event includes N images (N is a natural number), the clip means at least M images (M is a natural number less than or equal to N) selected from the image set. You can.
  • the clip includes a first image corresponding to a time before a first interval from the occurrence of the impact event, and a second image corresponding to a time after a second interval from the occurrence of the impact event. It can mean a time series set up to.
  • the timing of occurrence of an impact event may be obtained based on signals detected by one or more sensors included in the impact determination module 111.
  • the time of occurrence of the impact event may be obtained based on the image projected with the shortest distance between the object approaching the moving object 110 and the moving object 110 among the images acquired from the image sensor.
  • the time of occurrence of the shock event may be obtained based on the largest signal among the signals obtained from the shock sensor.
  • the clip corresponding to the shock event can be transmitted to the external device 120 or the user terminal 130 by specifying the time of occurrence of the shock event and generating the surrounding image as a clip.
  • the number of images included in the clip may be increased in proportion to the size of the impact.
  • the number of images included in the clip can be determined using the result of the operation to calculate the size of the impact (S520). For example, as the size of the impact increases, the number of images included in the clip may increase, and as the size of the impact decreases, the number of images included in the clip may decrease.
  • a detailed report can be transmitted to the external device 120 or the user terminal 130
  • a simple report can be transmitted to the external device 120 or the user terminal 130.
  • the first interval that determines the start point of the clip may be longer than the second interval that determines the end point of the clip. That is, the number of images before the occurrence of the shock event may be greater than the number of images after the occurrence of the shock event. According to this embodiment, more images before the occurrence of the shock event, which makes it relatively easy to analyze the cause of the shock, are included in the clip than images after the occurrence of the shock event, so that the external device 120 or the user It may be transmitted to the terminal 130.
  • the impact applied to the moving object can be determined.
  • the user since a report is transmitted only for the occurrence of impacts that the user needs to check, the user can immediately check only for impacts that may cause damage to the moving object 110.
  • FIG. 6 shows a flowchart showing detailed operations of the impact event determination operation S510 described with reference to FIG. 5 . That is, the operation S600 of FIG. 6 may correspond to the impact event determination operation S510 of FIG. 5.
  • An image set may be input to an impact determination model (S610), and an impact event may be determined based on the output of the impact determination model (S620).
  • the impact determination module 111 can determine an impact event by using an impact determination model stored in memory. For specific operations using the impact determination model, refer to the descriptions of FIGS. 3 and 4.
  • FIG. 7 shows a flowchart showing detailed operations of the risk level determination operation (S530) described with reference to FIG. 5. That is, operation S700 of FIG. 7 may correspond to operation S530 of determining the risk level of FIG. 5. In particular, referring to FIG. 7, the operation of dividing the risk level into two levels can be explained.
  • the risk level may be determined as the first level (S720), and if the size of the impact exceeds the threshold (S710), the risk level may be determined as the second level (S730) .
  • the impact determination module 111 determines the risk level as the first level, and omits sending the alarm to the first device and the second device. can do. Additionally, when the mobile object 110 is traveling, if the impact determination module 111 determines the risk level as the second level, transmission of the alarm to the first device may be omitted and the alarm may be transmitted to the second device.
  • the first level may mean a risk level where the magnitude of the impact is relatively low
  • the second level may mean a risk level where the magnitude of the impact is relatively high.
  • the first device may refer to the user terminal 130
  • the second device may refer to an insurance company server.
  • a report may not be generated.
  • the user can directly experience the impact applied to the mobile object 110, so the report is sent to the user terminal 130. ) may not be transmitted.
  • a report can be sent to the insurance company's server to immediately proceed with the handling of the accident due to the impact.
  • the impact determination module 111 determines the risk level as the first level, the first device and the second device Alarm transmission can be omitted. Additionally, when the mobile object 110 is not traveling and is in daytime hours, the impact determination module 111 may determine the risk level to be the second level and transmit an alarm to the first device and the second device.
  • the first level may mean a risk level where the magnitude of the impact is relatively low, and the second level may mean a risk level where the magnitude of the impact is relatively high.
  • the first device may refer to the user terminal 130, and the second device may refer to an insurance company server or a security company server.
  • a report may not be generated.
  • the report can be transmitted to the terminal 130, and the report can also be transmitted to the insurance company's server or security company's server to immediately proceed with the handling of the accident due to the impact.
  • the impact determination module 111 determines the risk level as the first level, and the first device and the second device Alarm transmission can be omitted.
  • the impact determination module 111 determines the risk level as the second level, transmission of the alarm to the first device is omitted and the alarm is transmitted to the second device.
  • the first level may mean a risk level where the magnitude of the impact is relatively low
  • the second level may mean a risk level where the magnitude of the impact is relatively high.
  • the first device may refer to the user terminal 130
  • the second device may refer to an insurance company server or a security company server.
  • a report may not be generated.
  • the report may not be transmitted to the user terminal 130.
  • the report may be transmitted to the insurance company's server or the security company's server to immediately proceed with the handling of the accident due to the impact.
  • FIG. 8 shows a flowchart showing a detailed operation (S530) of the risk level determination operation described with reference to FIG. 5. That is, operation S800 of FIG. 8 may correspond to operation S530 of determining the risk level of FIG. 5. In particular, referring to FIG. 8, the operation of dividing the risk level into three levels can be explained.
  • the risk level can be determined as the first level (S820), and if the size of the impact exceeds the lower limit threshold (S810) but is less than the upper limit threshold (S830), the risk level can be determined to be the second level. It can be determined (S840), and if the magnitude of the impact exceeds the upper threshold (S830), the risk level can be determined to be the third level (S850).
  • the impact determination module 111 determines the risk level as the first level
  • transmission of the alarm to the first device and the second device may be omitted.
  • the impact determination module 111 determines the risk level as the second level
  • transmission of the alarm to the first device may be omitted and the alarm may be transmitted to the second device.
  • the impact determination module 111 determines the risk level to be the third level, it can transmit an alarm to the first device and the second device.
  • the size of the impact in the order of the first level, second level, and third level may mean a relatively high risk level.
  • the first device may refer to the user terminal 130
  • the second device may refer to an insurance company server or a security company server.
  • a report may not be generated.
  • the report may not be transmitted to the user terminal 130, but may only be transmitted to the insurance company server or security company server.
  • a report may be transmitted to the user terminal 130 and the insurance company server or security company server.
  • the operation of dividing the risk level into four or more levels is not excluded from the scope of the present disclosure. That is, any operation that determines the risk level according to the size of the impact using one or more thresholds may be included in the scope of the present disclosure.
  • the alarm rule is set in a way to improve the user's convenience, but if it is an operation that can report an impact event that the user needs to check or report to a specific entity to resolve an accident due to an impact applied to the moving object 110, , all operations may be included in the scope of the present disclosure.
  • each step of the method or algorithm is described in sequential order, but each step may be performed in an order that can be arbitrarily combined in addition to being performed sequentially.
  • the description of the flowcharts of this disclosure does not exclude making changes or modifications to the method or algorithm, nor does it imply that any step is required or desirable.
  • at least some of the steps may be performed in parallel, iteratively, or heuristically.
  • at least some steps may be omitted or other steps may be added.
  • Various embodiments of the present disclosure may be implemented as software in a storage medium (MRSM, Machine-Readable Storage Medium) that can be read by a computing device.
  • the software may be software for implementing various embodiments of the present disclosure.
  • Software can be inferred from various embodiments of the present disclosure by programmers in the technical field to which this disclosure pertains.
  • software may be a computer program that contains instructions that can be read by a computing device.
  • a computing device is a device that can operate according to instructions retrieved from a storage medium, and may be referred to interchangeably with, for example, an electronic device.
  • a processor of the computing device may execute the called instruction, causing components of the computing device to perform a function corresponding to the instruction.
  • a storage medium may refer to any type of recording medium in which data is stored that can be read by a device.
  • Storage media may include, for example, ROM, RAM, CD-ROM, magnetic tape, floppy disk, or optical data storage devices.
  • the storage medium may be implemented in a distributed form, such as in a networked computer system. At this time, the software may be distributed, stored, and executed on a computer system, etc.
  • the storage medium may be a non-transitory storage medium.
  • Non-transitory storage media refers to media that exist regardless of whether data is stored semi-permanently or temporarily, and do not include signals that propagate temporarily (transitory).
  • An image sensor configured to detect an object external to the moving object
  • a communication interface configured to enable communication with an external device
  • a processor configured to execute a computer program including one or more instructions
  • the processor When the computer program is executed by the processor, the processor:
  • an impact event indicating the occurrence of an impact applied to the moving object, wherein the image set includes one or more images acquired from the image sensor,
  • An electronic device that transmits an alarm notifying the shock event to the external device based on the risk level.
  • the memory is,
  • the processor executes
  • the impact determination model is an artificial neural network model that learns the correlation between the training image set and the occurrence of impact.
  • the electronic device is,
  • an impact sensor configured to detect an impact from the outside of the moving object
  • the processor executes
  • an shock event is determined.
  • the processor executes
  • the image set corresponding to the shock event is stored as training data for the shock judgment model
  • the impact determination model is an artificial neural network model that learns the correlation between the image set and the signal.
  • the electronic device is,
  • an impact sensor configured to detect an impact from the outside of the moving object
  • the processor executes
  • the magnitude of the shock is calculated.
  • the processor executes
  • the risk level is determined as a first level
  • the risk level is determined to be a second level distinct from the first level.
  • the external device is,
  • the processor executes
  • the mobile object is traveling and the risk level is determined to be the first level, omitting transmission of the alarm to the first device and the second device,
  • the threshold is,
  • the processor executes
  • the risk level is determined as a first level
  • the risk level is determined to be a third level that is distinct from each of the first level and the second level.
  • the external device is,
  • the processor executes
  • the risk level is determined to be the first level, omitting transmission of the alarm to the first device and the second device,
  • the alarm is transmitted to the first device and the second device.
  • the processor executes
  • a clip corresponding to the shock event is transmitted to the external device.
  • the clip is,
  • the number of images included in the set increases in proportion to the size of the impact.
  • the first interval is longer than the second interval.
  • a method comprising transmitting an alarm notifying the shock event to an external device based on the risk level.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Alarm Systems (AREA)

Abstract

이동체에 가해진 충격을 판정하는 기술이 제공된다. 본 개시의 일 실시예에 따른 전자 장치는, 이동체의 외부의 객체를 감지하도록 구성된 이미지 센서, 외부 장치와의 통신이 가능하도록 구성된 통신 인터페이스, 하나 이상의 인스트럭션(instruction)을 포함하는 컴퓨터 프로그램을 실행하도록 구성된 프로세서 및 상기 컴퓨터 프로그램을 로드(load)하도록 구성된 메모리를 포함하고, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 시, 상기 프로세서는, 상기 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정하고, 상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하고, 상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하고, 상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 상기 외부 장치에 전송할 수 있다.

Description

이동체에 가해진 충격의 판정
본 개시는 이동체에 가해진 충격을 판정하는 기술에 관한 것이다.
자동차 사고의 원인을 분석하는데 있어서, 자동차의 외부를 촬영하고 촬영한 영상을 동적으로 기록하는 장치인 블랙박스가 보편적으로 사용되고 있다. 종래의 블랙박스 관련 기술은, 기록에 대한 민감도가 낮아 자동차에 가해진 사소한 접촉에도 반응함으로써, 그 반응에 따라 기록된 영상을 사용자가 일일이 확인해야했다.
본 개시를 통해 해결하고자 하는 기술적 과제는, 이동체에 가해진 충격을 판정할 수 있는 기술을 제공하는 것이다.
본 개시를 통해 해결하고자 하는 다른 기술적 과제는, 이종의 센서를 이용하여 이동체에 가해진 충격의 판정 결과를 검증할 수 있는 기술을 제공하는 것이다.
본 개시를 통해 해결하고자 하는 또 다른 기술적 과제는, 사용자가 확인할 필요가 있는 영상을 선택적으로 추출할 수 있는 기술을 제공하는 것이다.
본 개시를 통해 해결하고자 하는 또 다른 기술적 과제는, 사용자가 확인할 필요가 있는 영상을 즉각적으로 사용자에게 알릴 수 있는 기술을 제공하는 것이다.
본 개시를 통해 해결하고자 하는 또 다른 기술적 과제는, 이동체에 대한 사고의 발생 시, 그 사고와 관련된 주체에게 그 사고의 발생을 즉각적으로 알릴 수 있는 기술을 제공하는 것이다.
본 개시를 통해 결하고자 하는 또 다른 기술적 과제는, 이동체에 대한 사고의 발생 시, 이동체의 운행 상황에 따라 최적의 주체에게 그 사고의 발생을 즉각적으로 알릴 수 있는 기술을 제공하는 것이다.
본 개시의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 명세서의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따른 전자 장치는, 이동체의 외부의 객체를 감지하도록 구성된 이미지 센서, 외부 장치와의 통신이 가능하도록 구성된 통신 인터페이스, 하나 이상의 인스트럭션(instruction)을 포함하는 컴퓨터 프로그램을 실행하도록 구성된 프로세서 및 상기 컴퓨터 프로그램을 로드(load)하도록 구성된 메모리를 포함하고, 상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 시, 상기 프로세서는, 상기 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정하고, 상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하고, 상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하고, 상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 상기 외부 장치에 전송할 수 있다.
본 개시의 다른 일 실시예에 따른 방법은, 이동체의 외부의 객체를 감지하도록 구성된 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정하는 동작, 상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하는 동작, 상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하는 동작 및 상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 외부 장치에 전송하는 동작을 포함할 수 있다.
본 개시에 따르면, 이동체에 가해진 충격을 판정할 수 있다.
본 개시에 따르면, 이종의 센서를 이용하여 이동체에 가해진 충격의 판정 결과를 검증할 수 있다.
본 개시에 따르면, 사용자가 확인할 필요가 있는 영상을 선택적으로 추출할 수 있다.
본 개시에 따르면, 사용자가 확인할 필요가 있는 영상을 즉각적으로 사용자에게 알릴 수 있다.
본 개시에 따르면, 이동체에 대한 사고의 발생 시, 그 사고와 관련된 주체에게 그 사고의 발생을 즉각적으로 알릴 수 있다.
본 개시에 따르면, 이동체에 대한 사고의 발생 시, 이동체의 운행 상황에 따라 최적의 주체에게 그 사고의 발생을 즉각적으로 알릴 수 있다.
본 개시의 기술적 사상에 따른 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 명세서의 기재로부터 본 개시의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 장치들이 적용될 수 있는 환경을 도시한다.
도 2는 본 개시의 일 실시예에 따른 장치들을 구현할 수 있는 컴퓨팅 장치를 도시한다.
도 3은 본 개시의 다양한 실시예에서 참조될 수 있는 충격 판정 모델의 판정 동작을 도시한다.
도 4는 본 개시의 다양한 실시예에서 참조될 수 있는 충격 판정 모델의 학습 동작을 도시한다.
도 5는 본 개시의 다른 일 실시예에 따른 방법을 나타내는 순서도를 도시한다.
도 6은 도 5를 참조하여 설명된 충격 이벤트의 판정 동작의 세부 동작을 나타내는 순서도를 도시한다.
도 7은 도 5를 참조하여 설명된 위험도 레벨의 결정 동작의 세부 동작을 나타내는 순서도를 도시한다.
도 8은 도 5를 참조하여 설명된 위험도 레벨의 결정 동작의 세부 동작을 나타내는 순서도를 도시한다.
본 개시에 기재된 다양한 실시예는, 본 개시의 기술적 사상을 명확히 설명하기 위한 목적으로 예시된 것이며, 이를 특정한 실시 형태로 한정하려는 것이 아니다. 본 개시의 기술적 사상은, 본 개시에 기재된 각 실시예의 다양한 변경(modifications), 균등물(equivalents), 대체물(alternatives) 및 각 실시예의 전부 또는 일부로부터 선택적으로 조합된 실시예를 포함한다. 또한 본 개시의 기술적 사상의 권리범위는 이하에 제시되는 다양한 실시예나 이에 대한 구체적 설명으로 한정되지 않는다.
기술적이거나 과학적인 용어를 포함해서, 본 개시에서 사용되는 용어들은, 달리 정의되지 않는 한, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 가질 수 있다.
본 개시에서 사용되는 "포함한다", "포함할 수 있다", "구비한다", "구비할 수 있다", "가진다", "가질 수 있다" 등과 같은 표현들은, 대상이 되는 특징(예: 기능, 동작 또는 구성요소 등)이 존재함을 의미하며, 다른 추가적인 특징의 존재를 배제하지 않는다. 즉, 이와 같은 표현들은 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.
본 개시에서 사용되는 단수형의 표현은, 문맥상 다르게 뜻하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구항에 기재된 단수형의 표현에도 마찬가지로 적용된다.
본 개시에서 사용되는 "제1", "제2", 또는 "첫째", "둘째" 등의 표현은, 문맥상 다르게 뜻하지 않는 한, 복수의 동종 대상들을 지칭함에 있어 한 대상을 다른 대상과 구분하기 위해 사용되며, 대상들 간의 순서 또는 중요도를 한정하는 것은 아니다.
본 개시에서 사용되는 "A, B 및 C," "A, B 또는 C," "A, B 및 C 중 적어도 하나" 또는 "A, B 또는 C 중 적어도 하나" 등의 표현은, 각각의 나열된 항목 또는 나열된 항목들의 가능한 모든 조합들을 의미할 수 있다. 예를 들어, "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A, (2) 적어도 하나의 B, (3) 적어도 하나의 A 및 적어도 하나의 B를 모두 지칭할 수 있다.
본 개시에서 사용되는 "~에 기초하여"라는 표현은, 이 표현이 포함되는 어구 또는 문장에서 기술되는, 결정, 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는 데에 사용되고, 이 표현은 그 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.
본 개시에서 사용되는, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "연결되어" 있다거나 "접속되어" 있다는 표현은, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결 또는 접속되는 것뿐 아니라, 새로운 다른 구성요소(예: 제3 구성요소)를 매개로 하여 연결 또는 접속되는 것을 의미할 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(configured to)"은 문맥에 따라, "~하도록 설정된", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는" 등의 의미를 가질 수 있다. 이 표현은, "하드웨어적으로 특별히 설계된"의 의미로 제한되지 않으며, 예를 들어 특정 동작을 수행하도록 구성된 프로세서란, 소프트웨어를 실행함으로써 그 특정 동작을 수행할 수 있는 범용 프로세서(generic purpose processor)를 의미하거나, 그 특정 동작을 수행하도록 프로그래밍을 통해 구조화된 특수 목적 컴퓨터(special purpose computer)를 의미할 수 있다.
본 개시에서 사용되는 용어 "인공 지능(AI, Artificial Intelligence)"은, 인간의 학습 능력, 추론 능력 또는 지각 능력을 모방하고, 이를 컴퓨터로 구현하는 기술을 의미할 수 있다. 구체적으로, 인공 지능은 입력 데이터를 분석하고 그 분석의 결과에 기초한 출력 데이터를 생성함으로써, 입력 데이터에 기초한 판단이나 예측을 수행할 수 있다. 또한, 인공 지능은 인간 두뇌의 인지 또는 판단의 기능(예: 언어적 이해, 시각적 이해, 추론/예측, 지식 표현 또는 동작 제어 등)을 모사하는 기술들을 수행할 수 있다. 일 실시예에서, 인공 지능은 기계 학습 또는 심볼릭 로직의 개념을 포함할 수 있다.
본 개시에서 사용되는 용어 "기계 학습(ML, Machine Learning)"은, 데이터를 처리한 경험을 이용하여 인공 신경망 모델을 훈련시키는 일련의 처리를 의미할 수 있다. 이러한 기계 학습을 통해 인공 신경망 모델은 데이터 처리 능력이 향상될 수 있다.
본 개시에서 사용되는 용어 "인공 신경망 모델"은, 데이터 사이의 상관 관계를 모델링하여 구축된 것으로서, 그 상관 관계는 복수의 파라미터에 의해 표현될 수 있다. 이러한 인공 신경망 모델은 인간의 뇌 구조, 예를 들어, 인간의 신경망의 뉴런(neuron)을 모의하며 가중치를 가지는 복수의 네트워크 노드를 포함하도록 컴퓨터 상에서 구현될 수 있다. 이 인공 신경망 모델은 주어진 학습 데이터로부터 특징들을 추출하고, 추출된 특징들을 분석하여 데이터 사이의 상관 관계를 도출하는 일련의 동작을 반복함으로써, 인공 신경망 모델의 파라미터를 최적화할 수 있다. 이렇게 인공 신경망 모델의 파라미터를 최적화 해 나가는 것을 기계 학습이라 지칭할 수 있다. 구체적인 예를 들어, 인공 신경망 모델은 입출력 쌍으로 주어지는 데이터에 대하여, 입력과 출력 사이의 매핑(상관 관계)을 학습할 수 있고, 이를 지도 학습(supervised learning)이라 지칭할 수 있다. 다른 예를 들어, 인공 신경망 모델은 입력 데이터만 주어지는 경우에도 주어진 데이터 사이의 규칙성을 도출하여 그 관계를 학습할 수 있고, 이를 비지도 학습(unsupervised learning)이라 지칭할 수 있다. 본 개시에서 인공 신경망 모델은 "모델", "인공 신경망", "신경망 모델", "인공 지능 학습 모델" 또는 "기계 학습 모델"로 상호 교환적으로 지칭될 수 있다.
전술한 인공 신경망 모델을 구성하는 "복수의 네트워크 노드"는, 인간의 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의함으로써, 서로 간의 연결 관계를 가질 수 있다. 예를 들어, 인공 신경망 모델에서 복수의 네트워크 노드는 서로 다른 깊이의 레이어(예: 은닉층)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 이외에도 다양한 연결 관계(예: 순환(recurrent) 등)를 갖는 복수의 네트워크 노드들이 인공 신경망 모델에 포함될 수 있고, 본 개시에서 인공 신경망 모델을 통해 모사하고자 하는 기능을 수행할 수 있다면 공지된 다양한 인공 신경망 모델들이 본 개시에 적용될 수 있다.
이하, 첨부된 도면들을 참조하여, 본 개시에 기재된 다양한 실시예를 설명한다. 첨부된 도면 및 도면에 대한 설명에서, 동일하거나 실질적으로 동등한(substantially equivalent) 구성요소에는 동일한 참조부호가 부여될 수 있다. 또한, 이하 다양한 실시예의 설명에서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있으나, 이는 그 구성요소가 그 실시예에 포함되지 않는 것을 의미하지는 않는다.
도 1은 본 개시의 일 실시예에 따른 장치들이 적용될 수 있는 환경을 도시한다. 이 환경은 이동체(110), 이동체(110)에 가해진 충격에 따른 알람에 관계된 외부 장치(120) 및 사용자 단말(130)을 포함할 수 있다. 도 1은 한 개의 이동체(110), 한 개의 외부 장치(120) 및 한 개의 사용자 단말(130)이 적용된 환경을 도시하고 있으나, 이는 이해의 편의를 제공하기 위한 것일 뿐이고, 이동체(110), 외부 장치(120) 및 사용자 단말(130)의 개수는 얼마든지 달라질 수 있다. 예를 들어, 제1 사용자가 제1 사용자 단말과 제1 이동체를 이용하고 제2 사용자가 제2 사용자 단말과 제2 이동체를 이용하는 경우, 제1 사용자 단말, 제2 사용자 단말, 제1 이동체 및 제2 이동체가 본 환경에 적용될 수 있다. 다른 예를 들어, 외부 장치(120)가 복수인 경우, 제1 장치 및 제2 장치가 본 환경에 적용될 수 있다. 또한, 도 1은 본 개시의 목적을 달성하기 위한 바람직한 실시예를 도시하고 있을 뿐이고, 필요에 따라 일부 구성요소가 병합되거나 추가되거나 삭제될 수 있다.
이하, 도 1에 도시된 각 구성요소에 대해 보다 구체적으로 설명한다.
이동체(110)는 이동할 수 있는 객체를 의미하는 것으로서, 예를 들어, 차량 또는 비행체 등을 포함하는 광의의 개념으로 이해될 수 있다. 일 실시예에서, 이동체(110)는 인간이 그 이동체(110)의 내부에 승차할 수 있는 유인 이동체일 수 있다. 다른 일 실시예에서, 이동체(110)는 인간이 그 이동체(110)의 내부에 승차하지 않는 무인 이동체일 수 있다.
이동체(110)는 하나 이상의 모듈을 포함할 수 있다. 이동체(110)는, 예를 들어, 이동체(110)의 주행에 관계된 모듈 또는 이동체(110)의 제어에 관계된 모듈 등을 포함하는 공지된 모듈을 포함할 수 있다. 일 실시예에서, 이동체(110)는 이동체(110)에 가해지는 충격을 판정하는 모듈(이하 "충격 판정 모듈(111)"이라고 함)을 포함할 수 있다. 충격 판정 모듈(111)은 하나 이상의 센서가 감지한 신호에 기초하여 이동체(110)에 가해진 충격의 발생을 판정하거나, 그 충격의 크기를 산출하거나, 그 충격의 크기에 기초하여 이동체(110)의 손상의 정도를 판정하거나, 그 충격의 발생을 알리는 알람을 외부 장치(120) 또는 사용자 단말(130)에 전송할 수 있다. 중복된 설명을 피하기 위하여, 충격 판정 모듈(111)이 수행하는 구체적인 동작에 대해서는 도 5 이하의 도면을 참조하여 추후 설명한다.
충격 판정 모듈(111)은 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 예를 들어, 충격 판정 모듈(111)의 모든 기능은 단일 컴퓨팅 장치에서 구현될 수 있다. 다른 예를 들어, 충격 판정 모듈(111)의 제1 기능은 제1 컴퓨팅 장치에서 구현되고, 제2 기능은 제2 컴퓨팅 장치에서 구현될 수 있다. 이러한 컴퓨팅 장치는 컴퓨팅 기능이 구비된 모든 종류의 장치가 될 수 있으나, 충격 판정 모듈(111)이 이동체(110)에 탑재되어 구현되는 환경이라면, 예를 들어, ECU(Electronic Control Unit) 또는 블랙박스(black box) 등을 참조하여 충격 판정 모듈(111)을 구현할 수 있다.
이상에서, 충격 판정 모듈(111)을 이동체(110)에 포함된 일 모듈로서 설명하였으나, 일 실시예에서, 충격 판정 모듈(111)은 이동체(110)와 독립적으로 구현될 수 있다. 예를 들어, 충격 판정 모듈(111)은 이동체(110)의 리소스(예: 프로세서 또는 메모리 등)를 이용하지 않으면서 이동체(110)와 독립된 장치로서 구현될 수 있다.
외부 장치(120)는 충격 판정 모듈(111)로부터 알람을 획득하는 장치일 수 있다. 예를 들어, 외부 장치(120)는 이동체(110)와 관계된 보험사 서버, 경비 업체 서버 또는 파일 공유 서버 등일 수 있다. 예시된 개별 주체의 서버는, 충격 판정 모듈(111)로부터 알람을 획득한 경우, 이동체(110)에 대한 사고의 접수를 개시하거나 이동체(110)를 검사하기 위한 출동을 개시하거나 알람의 전송에 수반하여 획득된 영상(예: 클립(clip))을 저장하는 등의 처리를 수행할 수 있다. 일 실시예에서, 외부 장치(120)와 관계된 주체가 충격 판정 모듈(111)이 제공하는 기능을 사용하기 위해, 외부 장치(120)에는 웹 브라우저(web browser) 또는 애플리케이션(application)이 설치될 수 있다. 이러한 외부 장치(120)는, 예를 들어, 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 애플리케이션 서버(application server), 프록시 서버(proxy server) 또는 클라우드 서버(cloud server) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 참조하여 외부 장치(120)를 구현할 수 있다.
사용자 단말(130)은 충격 판정 모듈(111)의 동작을 설정하거나 그 충격 판정 모듈(111)로부터 알람을 획득하는 사용자의 단말일 수 있다. 일 실시예에서, 사용자가 충격 판정 모듈(111)이 제공하는 기능을 사용하기 위해, 사용자 단말(130)에는 웹 브라우저 또는 애플리케이션이 설치될 수 있다. 이러한 사용자 단말(130)은, 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터(tablet computer), 웨어러블 디바이스(wearable device) 또는 스마트폰(smart phone) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능이 구비된 모든 종류의 장치를 참조하여 사용자 단말(130)을 구현할 수 있다.
이동체(110)와 관계된 충격 판정 모듈(111), 외부 장치(120) 및 사용자 단말(130) 중 적어도 일부는 네트워크를 통해 통신할 수 있다. 네트워크는 예를 들어, 근거리 통신망(LAN, Local Area Network), 광역 통신망(WAN, Wide Area Network), 이동 통신망(MRCN, Mobile Radio Communication Network), WiBro(Wireless Broadband) 등과 같은 모든 종류의 유선 또는 무선 네트워크로 구현될 수 있다.
도 2는 본 개시의 일 실시예에 따른 장치들을 구현할 수 있는 컴퓨팅 장치(200)를 도시한다. 본 개시에서 컴퓨팅 장치(200)는 전자 장치와 상호 교환적으로 지칭될 수 있다. 도 1을 참조하여 전술한 이동체(110)와 관계된 충격 판정 모듈(111), 외부 장치(120) 및 사용자 단말(130) 각각은 이 컴퓨팅 장치(200)에 의해 구현될 수 있다.
컴퓨팅 장치(200)는, 하나 이상의 프로세서(210), 하나 이상의 메모리(220) 또는 통신 인터페이스(230)를 포함할 수 있다. 일 실시예에서, 컴퓨팅 장치(200)에서 일부 구성요소가 삭제되거나 다른 구성요소(예: 디스플레이, 입력 장치 또는 하나 이상의 센서 등)가 컴퓨팅 장치(200)에 추가될 수 있다. 또한, 추가적으로 또는 대체적으로 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다. 본 개시에서, 하나 이상의 프로세서(210)는 프로세서(210)라고 지칭될 수 있다. 이러한 프로세서(210)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 프로세서의 집합을 의미할 수 있다. 또한, 본 개시에서, 하나 이상의 메모리(220)는 메모리(220)라고 지칭될 수 있다. 이러한 메모리(220)라는 용어는, 문맥상 명백히 다르게 표현하지 않는 이상, 하나 또는 그 이상의 메모리의 집합을 의미할 수 있다.
이하, 도 2에 도시된 각 구성요소에 대해 보다 구체적으로 설명한다.
프로세서(210)는, 컴퓨팅 장치(200)의 각 구성요소들의 제어 또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 구체적으로, 프로세서(210)는 다른 구성요소로부터 수신된 소프트웨어(또는 컴퓨터 프로그램)를 구동하여 프로세서(210)에 연결된 컴퓨팅 장치(200)의 적어도 하나의 구성요소를 제어할 수 있다. 일례로서, 프로세서(210)는 명령(예: 인스트럭션, 코드 또는 코드 세그먼트) 또는 데이터를 메모리(220)에 로드(load)하고, 메모리(220)에 저장된 명령 또는 데이터를 처리하고, 그 처리에 따른 결과 데이터를 메모리(220)에 저장할 수 있다. 또한, 프로세서(210)는 컴퓨팅 장치(200)의 구성요소들과 작동적으로 연결되어 본 개시와 관련된 다양한 연산, 처리, 생성 또는 가공 등의 동작을 수행할 수 있다.
메모리(220)는 다양한 데이터를 저장할 수 있다. 메모리(220)에 저장되는 데이터는, 컴퓨팅 장치(200)의 적어도 하나의 구성요소에 의해 획득되거나, 처리되거나, 사용되는 데이터로서, 소프트웨어를 포함할 수 있다. 소프트웨어는 메모리(220)에 로드될 때 프로세서(210)로 하여금 본 개시의 다양한 실시예에 따른 동작을 수행하도록 하는 하나 이상의 명령들을 포함할 수 있다. 즉, 프로세서(210)는 전술한 하나 이상의 명령들을 실행함으로써, 본 개시의 다양한 실시예에 따른 동작들을 수행할 수 있다. 메모리(220)는, 예를 들어, 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 일 실시예에서, 프로그램은 메모리(220)에 저장되는 소프트웨어로서, 컴퓨팅 장치(200)의 리소스를 제어하기 위한 운영체제, 애플리케이션 또는 애플리케이션이 컴퓨팅 장치(200)의 리소스들을 활용할 수 있도록 다양한 기능을 애플리케이션에 제공하는 미들웨어 등을 포함할 수 있다.
통신 인터페이스(230)는, 다른 장치와 유선 또는 무선 통신 채널을 설립하고, 그 다른 장치와 다양한 데이터를 송수신할 수 있다. 일 실시예에서, 통신 인터페이스(230)는 다른 장치와 유선으로 통신하기 위해서, 다른 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트를 포함할 수 있다. 이 경우, 통신 인터페이스(230)는 적어도 하나의 포트를 통하여 유선 연결된 다른 장치와 통신을 수행할 수 있다. 일 실시예에서, 통신 인터페이스(230)는 셀룰러 통신 모듈을 포함하여 셀룰러 네트워크(예: 3G, LTE, 5G, Wibro 또는 Wimax)에 연결되도록 구성될 수 있다. 일 실시예에서, 통신 인터페이스(230)는 근거리 통신 모듈을 포함하여 근거리 통신(예: Wi-Fi, Bluetooth, Bluetooth Low Energy(BLE) 또는 UWB)을 이용해 다른 장치와 데이터 송수신을 할 수 있다. 일 실시예에서, 통신 인터페이스(230)는 비접촉식 통신을 위한 비접촉 통신 모듈을 포함할 수 있다. 비접촉식 통신은, 예를 들면, NFC(Near Field Communication) 통신, RFID(Radio Frequency Identification) 통신 또는 MST(Magnetic Secure Transmission) 통신과 같이 적어도 하나의 비접촉 방식의 근접 통신 기술을 포함할 수 있다. 전술한 다양한 예시들 외에도, 다른 장치와 통신하기 위한 공지된 다양한 방식으로 컴퓨팅 장치(200)가 구현될 수 있으며, 전술한 예시들에 의해 본 개시의 범위가 제한되지 않는다.
일 실시예에서, 컴퓨팅 장치(200)는 디스플레이를 포함할 수 있다. 디스플레이는 프로세서(210)의 제어에 기반하여 다양한 화면을 표시할 수 있다. 예를 들어 디스플레이는, 프로세서(210)의 제어에 기반하여, 이동체(110)와 관계된 충격 판정 모듈(111)을 설정하거나 충격 판정 모듈(111)로부터 알람을 획득하는 각종 인터페이스들이 적용된 화면을 표시할 수 있다. 각종 인터페이스들이 적용된 화면을 디스플레이에 표시하기 위해서, 예를 들어, 웹 브라우저 또는 전용 애플리케이션이 컴퓨팅 장치(200)에 설치될 수 있다. 또한, 디스플레이는 사용자와 상호 작용이 가능한 구성으로서, 사용자로부터 사용자 입력을 수신할 수 있다. 이러한 디스플레이는, 다양한 외부 객체(예: 사용자의 손가락 또는 스타일러스)의 접촉 또는 근접을 인식할 수 있는 터치 센서 패널(TSP, Touch Sensor Panel)의 형태로 구현될 수 있다.
일 실시예에서, 컴퓨팅 장치(200)는 입력 장치(예: 마우스 또는 키보드)를 포함할 수 있다. 입력 장치는 컴퓨팅 장치(200)의 구성요소에 사용될 데이터를 컴퓨팅 장치(200)의 외부(예: 사용자)로부터 수신할 수 있다.
일 실시예에서, 컴퓨팅 장치(200)는 하나 이상의 센서를 포함할 수 있다. 센서는 이동체(110)의 외부의 객체를 감지하도록 구성된 소자로서, 센서는, 예를 들어, 이미지 센서, 충격 센서, 진동 센서, 각속도 센서, 가속도 센서, 소리 센서, 레이더(RADAR, RAdio Detection And Ranging) 센서, 초음파 센서 또는 라이다(LiDAR, Light Detection And Ranging) 센서 등일 수 있다. 예시된 개별 센서는 이동체(110)의 외부의 객체에 대한 하나 이상의 물리량을 감지할 수 있다.
도 2에 도시된 프로세서(210), 메모리(220) 또는 통신 인터페이스(230) 중 적어도 일부는 버스(bus), GPIO(General Purpose Input/Output), SPI(Serial Peripheral Interface) 또는 MIPI(Mobile Industry Processor Interface) 등을 통해 서로 연결되어, 데이터 또는 신호를 주거나 받을 수 있다.
이하, 도 3 및 도 4를 참조하여, 본 개시의 다양한 실시예에서 참조될 수 있는 충격 판정 모델의 동작(예: 판정 동작 또는 학습 동작)을 설명한다. 충격 판정 모델은, 도 1을 참조하여 설명된 충격 판정 모듈(111)이 이용하는 인공 신경망 모델로서, 예를 들어, 이동체(110)에 가해진 충격의 발생, 즉, 충격 이벤트를 판정하는 인공 신경망 모델일 수 있다.
충격 판정 모델과 관련하여, 일 실시예에서, 충격 판정 모델은 컨볼루션 인공 신경망(CNN, Convolutional Neural Networks)으로 구현될 수 있다. 이 컨볼루션 인공 신경망은, 인공 신경망에 필터 기술을 결합한 모델로서, 인공 신경망이 입력 데이터의 특징을 더 잘 습득할 수 있도록 최적화시킨 모델일 수 있다. 즉, 충격 판정 모델은 복수의 층과 각 층을 구성하는 복수의 네트워크 노드로 이루어진 그래프 구조의 인공 신경망을 포함할 수 있고, 복수의 층은 하나 이상의 입력층, 하나 이상의 은닉층 및 하나 이상의 출력층을 포함할 수 있다. 입력층은 인공 신경망의 층 구조에서 분석 또는 학습하고자 하는 데이터를 입력 받는 층을 의미하고, 출력층은 인공 신경망의 층 구조에서 결과값이 출력되는 층을 의미할 수 있다. 은닉층은 인공 신경망의 층 구조에서 입력층과 출력층을 제외한 모든 층을 의미할 수 있다. 인공 신경망은 뉴런의 연속된 층으로 구성되어 있으며, 각 층의 뉴런은 다음 층의 뉴런에 연결될 수 있다. 은닉층 없이 입력층과 출력층을 바로 연결하면 각 입력이 다른 입력에 상관없이 독립적으로 출력에 기여하여 정확한 결과를 얻기 어려울 수 있다. 실제로는 입력 데이터가 상호 의존적이고 서로 결합되어 복잡한 구조로 출력에 영향을 미치므로, 은닉층을 추가하여 은닉층의 뉴런이 최종 출력에 영향을 미치는 입력 간의 미묘한 상호 작용을 잡아내게 될 수 있다.
충격 판정 모델과 관련하여, 다른 일 실시예에서, 충격 판정 모델은 텐서플로우(tensorflow) 알고리즘으로 구현될 수 있다.
도 3은 충격 판정 모델의 판정 동작을 도시한다. 도 3을 참조하면, 이미지 셋(320)이 충격 판정 모델(310)의 입력 데이터로서 입력되면, 충격 판정 모델(310)은 출력 데이터로서 충격 이벤트의 판정 결과(330)를 출력할 수 있다. 이미지 셋(320)은 충격 판정 모듈(111)에 포함된 이미지 센서로부터 획득된 하나 이상의 이미지를 포함할 수 있다. 일 실시예에서, 이미지 셋(320)은 소정의 시간 간격을 두고 감지된 복수의 이미지를 포함하는 것으로서, 예를 들어, 이미지 셋(320)에 포함된 제2 이미지는 제1 이미지가 감지된 시점으로부터 소정의 시간 간격을 두고 감지된 이미지일 수 있다. 즉, 제2 이미지와 제1 이미지를 비교하면 이미지의 시계열적 변화를 관찰할 수 있다. 충격 이벤트의 판정 결과(330)는 충격 이벤트를 판정하기 위한 값으로서, 예를 들어, "예" 또는 "아니오"와 같은 이진 형식으로 출력되도록 구현될 수 있다. 구체적으로, 충격 이벤트의 판정 결과(330)로서 "예"가 출력되는 경우 이동체(110)에 충격이 발생했다고 판정될 수 있고, 충격 이벤트의 판정 결과(330)로서 "아니오"가 출력되는 경우 이동체(110)에 충격이 발생하지 않았다고 판정될 수 있다.
도 4는 충격 판정 모델의 학습 동작을 도시한다. 도 4를 참조하면, 학습 이미지 셋(420)과 그 학습 이미지 셋(420)에 대응되는 충격 발생 결과(430)가 하나의 쌍으로 이용됨으로써, 충격 판정 모델(410)을 학습시킬 수 있다. 학습 이미지 셋(420)은 학습에 이용되는 이미지 셋일 수 있다. 충격 발생 결과(430)는 학습 이미지 셋(420)에 대응되는 충격 발생의 결과를 "예" 또는 "아니오"와 같은 이진 형식으로 나타낸 값일 수 있다. 하나 이상의 학습 이미지 셋(420)과 그 하나 이상의 학습 이미지 셋(420)에 대응되는 하나 이상의 충격 발생 결과(430)가 각각 쌍으로 이용됨으로써, 충격 판정 모델(410)을 학습시킬 수 있다. 이러한, 기계 학습은 도 1을 참조하여 설명된 충격 판정 모듈(111)에서 수행되고 그 충격 판정 모듈(111)의 메모리에 저장될 수 있으나, 외부의 학습 장치(미도시)에서 수행되고 충격 판정 모델(410)이 충격 판정 모듈(111)에 전송되어 그 충격 판정 모듈(111)의 메모리에 저장될 수도 있다. 이렇게 충격 판정 모듈(111)의 메모리에 저장된 충격 판정 모델(410)은, 도 3을 참조하여 설명된 방식에 따라, 충격 이벤트를 판정할 수 있다.
구체적으로, 충격 판정 모델(410)은 학습 이미지 셋(420)에 포함된 이미지의 질감, 이미지의 밀도, 이미지의 색상, 이미지에 투영된 외부의 객체의 모양, 이미지에 투영된 외부의 객체의 속도 또는 이미지에 투영된 외부의 객체의 진행 방향 등 학습 이미지에서 추출될 수 있는 다양한 특징을 추출하고, 그 추출된 특징에 기초하여 충격 발생 결과(430)와 학습 이미지 셋(420) 사이의 상관 관계를 도출하도록 학습될 수 있다. 충격 판정 모델(410)의 학습에 이용될 수 있는 기계 학습 알고리즘으로서, 예를 들어, 심층 신경망 알고리즘, 순환 신경망 알고리즘, 합성곱 신경망 알고리즘, 분류-회귀 분석 알고리즘 또는 강화 학습 알고리즘 등이 참조될 수 있으며, 이 밖에도 앞서 설명된 입출력 쌍을 갖는 학습 데이터(즉, 학습 이미지 셋(420)과 충격 발생 결과(430))를 이용하여, 충격 판정 모델(410)을 구축하기 위한 모든 공지된 인공 지능 기술이 본 개시에 적용될 수 있다.
지금까지 도 3 및 도 4를 참조하여, 충격 판정 모델(310, 410)에 기초한 충격 이벤트의 판정 동작 및 그 판정 동작을 수행하기 위한 학습 동작에 대해 설명하였다. 앞서 설명된 동작에 따르면, 사용자의 개입을 최소화하는 자동화된 방식으로 충격 이벤트를 판정할 수 있다.
이하에서는, 본 개시의 다양한 실시예에 따른 방법들에 대하여 상세하게 설명한다. 이하의 도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것은 아님을 유의해야 한다.
또한, 이하의 도면을 참조하여 설명될 방법들의 각 단계는 컴퓨팅 장치에 의해 수행될 수 있다. 다시 말하면, 방법들의 각 단계는 컴퓨팅 장치의 프로세서에 의해 실행되는 하나 이상의 인스트럭션들로 구현될 수 있다. 이러한 방법들에 포함되는 모든 단계는 하나의 물리적인 컴퓨팅 장치에 의하여 실행될 수도 있을 것이나, 방법의 제1 단계들은 제1 컴퓨팅 장치에 의하여 수행되고, 방법의 제2 단계들은 제2 컴퓨팅 장치에 의하여 수행될 수도 있다. 이하에서는, 전술한 방법들의 각 단계가 도 1을 참조하여 설명된 충격 판정 모듈(111)에 의해 수행되는 것을 가정하여 설명을 이어가도록 한다. 다만, 설명의 편의상, 방법들에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다.
도 5는 본 개시의 일 실시예에 따른 방법을 나타내는 순서도를 도시한다. 도 5에 도시된 방법은, 이미지 센서로부터 이동체(110)의 외부를 나타내는 하나 이상의 이미지를 포함하는 이미지 셋을 획득하고, 그 이미지 셋에 관한 일련의 처리를 통해 외부 장치(120) 또는 사용자 단말(130)에 리포트(예: 알람의 전송 또는 클립의 전송)를 수행하는 것에 관한 것이다.
이미지 셋에 기초하여, 이동체(110)에 가해진 충격의 발생을 나타내는 충격 이벤트가 판정될 수 있다(S510). 구체적으로, 충격 판정 모듈(111)은 이동체(110)의 외부를 나타내는 하나 이상의 이미지를 포함하는 이미지 셋을 획득하고, 그 이미지 셋에 대한 이미지 처리를 통해, 충격 이벤트를 판정할 수 있다.
충격 이벤트의 판정과 관련하여, 일 실시예에서, 충격 판정 모델이 충격 이벤트의 판정에 이용될 수 있다.
충격 이벤트의 판정과 관련하여, 다른 일 실시예에서, 충격 판정 모듈(111)이 외부로부터 충격을 감지하도록 구성된 충격 센서를 포함하고, 그 충격 센서로부터 획득된 신호에 기초하여 충격 이벤트가 판정될 수 있다. 즉, 충격 센서를 이용한 충격 이벤트의 판정 동작(이하, "제2 판정 동작"이라 함)은, 이미지 셋을 이용한 충격 이벤트의 판정 동작(이하, "제1 판정 동작"이라 함)에 대한 검증 동작으로서 수행될 수 있다. 구체적으로, 이미지 셋을 이용한 충격 이벤트의 판정 동작이 제1 판정 동작으로서 기본적으로 수행되고, 이 제1 판정 동작에 오류가 있었는지 여부를 검증하기 위한 수단으로서 충격 센서를 이용한 충격 이벤트의 검증 동작이 제2 판정 동작으로서 수행될 수 있다. 본 실시예에 따르면, 복수의 센서가 충격 이벤트의 판정에 이용됨으로써, 충격 이벤트에 대한 보다 정확한 판정의 결과를 도출할 수 있다. 또한, 제1 판정 동작의 결과와 제2 판정 동작의 결과를 비교함으로써, 제1 판정 동작 또는 제2 판정 동작 중 어느 하나의 동작을 다른 판정 동작의 결과를 반영하여 개선할 수 있다.
검증 동작과 관련하여, 일 실시예에서, 제2 판정 동작은 제1 판정 동작이 수행된 일부에 대해서만 수행될 수 있다. 구체적으로, 획득 시점을 달리하는 복수의 이미지 셋에 대해 제1 판정 동작이 기본적으로 수행되고, 그 복수의 이미지 셋 중 선택된 일부에 대응되는 충격 센서의 신호를 이용하여 제2 판정 동작이 수행될 수 있다. 본 실시예에 따르면, 복수의 센서를 이용함으로써 발생하는 리소스가 절약될 수 있다. 또한, 제1 판정 동작의 결과와 제2 판정 동작의 결과의 차이가 발생한 건 수가 증가할수록 제2 판정 동작을 수행하는 횟수를 늘리고, 제1 판정 동작의 결과와 제2 판정 동작의 결과의 차이가 발생한 건 수가 감소할수록 제2 판정 동작을 수행하는 횟수를 감소함으로써, 충격 이벤트에 대한 보다 정확한 판정의 결과를 도출하면서도 리소스를 절약할 수 있다.
검증 동작과 관련하여, 다른 일 실시예에서, 제2 판정 동작의 결과, 제1 판정 동작의 결과에 따른 충격 이벤트에 오류(즉, 제1 판정 동작의 결과와 제2 판정 동작의 결과가 상이한 경우)가 있다고 판정되면, 그 충격 이벤트에 대응되는 이미지 셋을 충격 판정 모델의 학습 데이터로 저장할 수 있다. 여기서, 이미지 셋과 그 이미지 셋에 대응되는 제2 판정 동작의 결과가 한 쌍으로서 학습 데이터로 저장될 수도 있다. 이렇게 저장된 학습 데이터는 충격 판정 모듈(111)에서 직접 또는 외부의 학습 장치(미도시)에서 간접적으로 학습에 이용됨으로써, 제1 판정 동작의 정확도를 향상시키는 데이터로 활용될 수 있다.
이미지 셋의 시계열적 변화에 기초하여, 충격 이벤트에 대응되는 충격의 크기가 산출될 수 있다(S520). 구체적으로, 충격 판정 모듈(111)은 충격 이벤트의 판정 동작(S510)에 따라 충격 이벤트가 있다고 판정하면, 그 충격 이벤트에 대응되는 이미지 셋의 시계열적 변화를 통해 이동체(110)로 접근하는 특정 객체를 식별할 수 있다. 이 특정 객체의 식별 동작에는 객체 추출(object detection)에 관한 공지된 기술이 참조될 수 있다. 또한, 충격 판정 모듈(111)은 이미지 처리를 통해, 특정 객체의 속도와 그 특정 객체의 크기를 산출할 수 있다. 이 속도의 산출 동작에는, 이미지 셋에 포함된 개별 이미지의 시간 간격과 그 개별 이미지에 투영된 특정 객체와 기준점(예: 이미지에서 항상 고정되어 표시되는 지점) 사이의 거리를 통한 거리 변화가 고려될 수 있다. 또한, 이 크기의 산출 동작에는, 이미지 셋에 포함된 개별 이미지에 투영된 특정 객체의 크기와 기준 객체(예: 이미지에서 항상 고정되어 표시되는 객체)의 크기가 고려될 수 있다. 또한, 충격 판정 모듈(111)은 특정 객체의 속도와 그 특정 객체의 크기를 이용하여, 이동체(110)에 가해진 충격의 크기를 산출할 수 있다.
충격의 크기의 산출과 관련하여, 일 실시예에서, 충격 판정 모듈(111)이 외부로부터 충격을 감지하도록 구성된 충격 센서를 포함하고, 그 충격 센서로부터 획득된 신호에 기초하여 충격의 크기가 산출될 수 있다. 즉, 충격 센서를 이용한 충격의 크기의 산출 동작(이하, "제2 산출 동작"이라 함)은, 이미지 셋의 시계열적 변화를 이용한 충격의 크기의 산출 동작(이하, "제1 산출 동작"이라 함)에 대한 보정 동작으로서 수행될 수 있다. 구체적으로, 이미지 셋의 시계열적 변화를 이용한 산출 동작이 제1 산출 동작으로서 기본적으로 수행되고, 이 제1 산출 동작을 보정하기 위한 수단으로서 충격 센서를 이용한 충격의 크기의 산출 동작이 제2 산출 동작으로서 수행될 수 있다. 본 실시예에 따르면, 복수의 센서가 충격의 크기의 산출에 이용됨으로써, 충격의 크기에 대한 보다 정확한 산출의 결과를 도출할 수 있다.
충격의 크기의 산출과 관련된 전술한 보정 동작에는, 충격 이벤트의 판정과 관련된 전술한 검증 동작에 관한 기술적 사상이 전부 적용될 수 있다. 예를 들어, 제1 산출 동작의 결과와 제2 산출 동작의 결과를 비교함으로써, 제1 산출 동작 또는 제2 산출 동작 중 어느 하나의 동작을 다른 산출 동작의 결과를 반영하여 개선할 수 있다. 다른 예를 들어, 제2 산출 동작은 제1 산출 동작이 수행된 일부에 대해서만 수행될 수 있다.
충격의 크기에 기초하여, 이동체의 손상의 정도를 나타내는 위험도 레벨이 결정될 수 있다(S530). 구체적으로, 충격 판정 모듈(111)은 충격의 크기와 위험도 레벨의 관계를 매핑한 테이블을 참조하여, 산출된 충격의 크기에 따른 위험도 레벨을 결정할 수 있다. 테이블은 충격의 크기와 위험도 레벨의 관계를 규정하는 참조 데이터로서, 하나 이상의 임계치를 포함할 수 있다. 임계치는 위험도 레벨을 구분하는 충격의 크기에 대한 값으로서 이해될 수 있다.
임계치와 관련하여, 일 실시예에서, 임계치는 사용자 단말(130)을 이용하는 사용자의 입력에 기초하여 조정 가능한 수치일 수 있다. 예를 들어, 특정 수치의 충격의 크기를 특정 위험도 레벨로 분류하도록 사용자가 임계치를 설정할 수 있다. 본 실시예에 따르면, 충격 판정 모듈(111)은 이동체(110)에 가해진 충격의 크기 중 사용자가 의도하는 특정 충격의 크기를 특정 위험도 레벨로 분류할 수 있다.
임계치를 사용자가 스스로 설정하는 방식 외에도 더 다양한 방식으로, 사용자는 사용자 단말(130)을 통해 이동체(110)에 가해진 충격의 판정에 관한 일련의 동작을 설정할 수 있다. 예를 들어, 사용자는 사용자 단말(130)을 통해, 도 5에 도시된 특정 동작을 "on"으로 설정하거나 "off"로 설정할 수 있다. 다른 예를 들어, 사용자는 사용자 단말(130)을 통해, 주간 시간대에 도 5에 도시된 특정 동작을 "on"으로 설정하거나 "off"로 설정할 수 있다. 또 다른 예를 들어, 사용자는 사용자 단말(130)을 통해, 주행 중에 도 5에 도시된 특정 동작을 "on"으로 설정하거나 "off"로 설정할 수 있다.
위험도 레벨에 기초하여, 충격 이벤트를 알리는 알람이 외부 장치(120)에 전송될 수 있다(S540). 또한, 위험도 레벨에 기초하여, 충격 이벤트를 알리는 알람이 사용자 단말(130)에 전송될 수 있다. 구체적으로, 충격 판정 모듈(111)은 위험도 레벨과 알람의 전송의 관계를 규정한 알람 규칙을 참조하여, 위험도 레벨에 따른 알람을 외부 장치(120) 또는 사용자 단말(130)에 전송할 수 있다. 알람 규칙은 위험도 레벨에 따라, 보험사 서버, 경비 업체 서버, 파일 공유 서버 또는 사용자 단말(130)에 알람을 전송하거나 알람의 전송을 생략(즉, 알람을 전송하지 않음)하는 규칙일 수 있다. 알람의 전송 동작(S540)에는 다양한 공지 기술이 참조될 수 있고, 충격 이벤트를 외부 장치(120) 또는 사용자 단말(130)과 관계된 각 주체에게 알릴 수 있는 동작들이 본 개시의 범위에 포함될 수 있다.
충격 이벤트에 대응되는 클립이 전송될 수 있다(S550). 구체적으로, 충격 판정 모듈(111)은 충격 이벤트에 대응되는 클립을 외부 장치(120) 또는 사용자 단말(130)에 전송할 수 있다. 클립의 전송과 관련하여, 일 실시예에서, 클립은 알람의 전송에 수반하여 전송될 수 있다. 즉, 전술한 알람 규칙에 따라 알람이 전송될 주체에게 알람의 전송과 함께 클립이 전송될 수 있다.
전술한 클립은 영상의 한 단편으로서, 이미지 셋의 서브 셋을 의미할 수 있다. 예를 들어, 충격 이벤트에 대응되는 이미지 셋에 N 개(N은 자연수)의 이미지가 포함되어 있다면, 클립은 그 이미지 셋에서 선택된 적어도 일부인 M 개(M은 N 이하의 자연수)의 이미지를 의미할 수 있다.
클립과 관련하여, 일 실시예에서, 클립은 충격 이벤트의 발생 시점으로부터 제1 간격 이전의 시점에 대응되는 제1 이미지로부터, 충격 이벤트의 발생 시점으로부터 제2 간격 이후의 시점에 대응되는 제2 이미지까지의 시계열적 집합을 의미할 수 있다. 충격 이벤트의 발생 시점은, 충격 판정 모듈(111)에 포함된 하나 이상의 센서가 감지한 신호에 기초하여, 획득될 수 있다. 예를 들어, 이미지 센서로부터 획득된 이미지 셋 중 이동체(110)로 접근하는 객체와 이동체(110)의 거리가 가장 짧게 투영된 이미지에 기초하여, 충격 이벤트의 발생 시점이 획득될 수 있다. 다른 예를 들어, 충격 센서로부터 획득한 신호 중 최대인 신호에 기초하여, 충격 이벤트의 발생 시점이 획득될 수 있다. 본 실시예에 따르면, 충격 이벤트의 발생 시점을 특정하고 그 주변의 이미지를 클립으로 생성함으로써, 충격 이벤트에 대응되는 클립이 외부 장치(120) 또는 사용자 단말(130)에 전송될 수 있다.
클립에 포함된 이미지의 개수와 관련하여, 일 실시예에서, 클립에 포함된 이미지의 개수는 충격의 크기에 비례하여 증가될 수 있다. 즉, 충격의 크기의 산출 동작(S520)의 결과를 이용하여, 클립에 포함된 이미지의 개수를 결정할 수 있다. 예를 들어, 충격의 크기가 클수록 클립에 포함된 이미지의 개수를 증가시키고, 충격의 크기가 작을수록 클립에 포함된 이미지의 개수를 감소시킬 수 있다. 본 실시예에 따르면, 충격의 크기가 클수록 상세한 리포트가, 충격의 크기가 작을수록 간단한 리포트가 외부 장치(120) 또는 사용자 단말(130)에 전송될 수 있다.
클립의 시점과 종점의 결정과 관련하여, 일 실시예에서, 클립의 시점을 결정하는 제1 간격은 클립의 종점을 결정하는 제2 간격보다 길 수 있다. 즉, 충격 이벤트의 발생 시점 이전의 이미지들의 개수가 충격 이벤트의 발생 시점 이후의 이미지들의 개수보다 많을 수 있다. 본 실시예에 따르면, 충격의 원인을 분석하기 상대적으로 용이한 충격 이벤트의 발생 시점 이전의 이미지들이, 충격 이벤트의 발생 시점 이후의 이미지들보다 더 많이 클립에 포함되어, 외부 장치(120) 또는 사용자 단말(130)에 전송될 수 있다.
지금까지 도 5를 참조하여 설명된 방법에 따르면, 이동체에 가해진 충격을 판정할 수 있다. 특히, 사용자가 확인할 필요가 있는 충격의 발생에 대해서만 리포트가 전송됨으로써, 사용자는 이동체(110)에 손상을 가져올 수 있는 충격에 대해서만 즉각적으로 확인할 수 있다.
도 6은 도 5를 참조하여 설명된 충격 이벤트의 판정 동작(S510)의 세부 동작을 나타내는 순서도를 도시한다. 즉, 도 6의 동작 S600은 도 5의 충격 이벤트의 판정 동작(S510)과 대응될 수 있다.
이미지 셋이 충격 판정 모델에 입력될 수 있고(S610), 그 충격 판정 모델의 출력에 기초하여 충격 이벤트가 판정될 수 있다(S620). 구체적으로, 충격 판정 모듈(111)은 메모리에 저장된 충격 판정 모델을 이용함으로써, 충격 이벤트를 판정할 수 있다. 충격 판정 모델을 이용하는 구체적인 동작에 대해서는, 도 3 및 도 4에 대한 설명을 참조한다.
도 7은 도 5를 참조하여 설명된 위험도 레벨의 결정 동작(S530)의 세부 동작을 나타내는 순서도를 도시한다. 즉, 도 7의 동작 S700은 도 5의 위험도 레벨의 결정 동작(S530)과 대응될 수 있다. 특히, 도 7을 참조하면 위험도 레벨을 두 개의 레벨로 구분하는 동작이 설명될 수 있다.
충격의 크기가 임계치 이하이면(S710), 위험도 레벨이 제1 레벨로 결정될 수 있고(S720), 충격의 크기가 임계치를 초과하면(S710), 위험도 레벨이 제2 레벨로 결정될 수 있다(S730).
알람 규칙과 관련하여, 일 실시예에서, 이동체(110)가 주행 중인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제1 레벨로 결정하면, 제1 장치 및 제2 장치에 알람의 전송을 생략할 수 있다. 또한, 이동체(110)가 주행 중인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제2 레벨로 결정하면, 제1 장치에 알람의 전송을 생략하고, 제2 장치에 알람을 전송할 수 있다. 제1 레벨은 충격의 크기가 상대적으로 낮은 위험도 레벨을 의미할 수 있고, 제2 레벨은 충격의 크기가 상대적으로 높은 위험도 레벨을 의미할 수 있다. 제1 장치는 사용자 단말(130)을 의미할 수 있고, 제2 장치는 보험사 서버를 의미할 수 있다. 본 실시예에 따르면, 이동체(110)에 가해진 사소한 충격의 경우 리포트가 발생되지 않을 수 있다. 또한, 이동체(110)가 주행 중이고 이동체(110)에 가해진 충격이 이동체(110)에 손상을 줄 정도인 경우라도, 사용자가 이동체(110)에 가해진 충격을 직접 경험할 수 있으므로 리포트가 사용자 단말(130)에 전송되지 않을 수 있다. 반면에, 충격에 따른 사고의 수습을 곧바로 진행하기 위해 리포트가 보험사 서버에는 전송될 수 있다.
알람 규칙과 관련하여, 다른 일 실시예에서, 이동체(110)가 주행 중이 아니고 주간 시간대인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제1 레벨로 결정하면, 제1 장치 및 제2 장치에 알람의 전송을 생략할 수 있다. 또한, 이동체(110)가 주행 중이 아니고 주간 시간대인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제2 레벨로 결정하면, 제1 장치 및 제2 장치에 알람을 전송할 수 있다. 제1 레벨은 충격의 크기가 상대적으로 낮은 위험도 레벨을 의미할 수 있고, 제2 레벨은 충격의 크기가 상대적으로 높은 위험도 레벨을 의미할 수 있다. 제1 장치는 사용자 단말(130)을 의미할 수 있고, 제2 장치는 보험사 서버 또는 경비 업체 서버를 의미할 수 있다. 본 실시예에 따르면, 이동체(110)에 가해진 사소한 충격의 경우 리포트가 발생되지 않을 수 있다. 또한, 이동체(110)가 주행 중이 아닌 주간 시간대이고 이동체(110)에 가해진 충격이 이동체(110)에 손상을 줄 정도인 경우, 사용자가 이동체(110)에 가해진 충격을 직접 경험할 수 없으므로 리포트가 사용자 단말(130)에 전송될 수 있고, 충격에 따른 사고의 수습을 곧바로 진행하기 위해 리포트가 보험사 서버 또는 경비 업체 서버에도 전송될 수 있다.
알람 규칙과 관련하여, 또 다른 일 실시예에서, 이동체(110)가 주행 중이 아니고 야간 시간대인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제1 레벨로 결정하면, 제1 장치 및 제2 장치에 알람의 전송을 생략할 수 있다. 또한, 이동체(110)가 주행 중이 아니고 야간 시간대인 경우, 충격 판정 모듈(111)은 위험도 레벨을 제2 레벨로 결정하면, 제1 장치에 알람의 전송을 생략하고, 제2 장치에 알람을 전송할 수 있다. 제1 레벨은 충격의 크기가 상대적으로 낮은 위험도 레벨을 의미할 수 있고, 제2 레벨은 충격의 크기가 상대적으로 높은 위험도 레벨을 의미할 수 있다. 제1 장치는 사용자 단말(130)을 의미할 수 있고, 제2 장치는 보험사 서버 또는 경비 업체 서버를 의미할 수 있다. 본 실시예에 따르면, 이동체(110)에 가해진 사소한 충격의 경우 리포트가 발생되지 않을 수 있다. 또한, 이동체(110)가 주행 중이 아닌 야간 시간대이고 이동체(110)에 가해진 충격이 이동체(110)에 손상을 줄 정도인 경우라도, 사용자가 이동체(110)에 가해진 충격에 즉각적으로 반응할 필요가 없으므로 리포트가 사용자 단말(130)에 전송되지 않을 수 있다. 반면에, 충격에 따른 사고의 수습을 곧바로 진행하기 위해 리포트가 보험사 서버 또는 경비 업체 서버에는 전송될 수 있다.
도 8은 도 5를 참조하여 설명된 위험도 레벨의 결정 동작의 세부 동작(S530)을 나타내는 순서도를 도시한다. 즉, 도 8의 동작 S800은 도 5의 위험도 레벨의 결정 동작(S530)과 대응될 수 있다. 특히, 도 8을 참조하면 위험도 레벨을 세 개의 레벨로 구분하는 동작이 설명될 수 있다.
충격의 크기가 하한 임계치 이하이면(S810) 위험도 레벨이 제1 레벨로 결정될 수 있고(S820), 충격의 크기가 하한 임계치를 초과하나(S810) 상한 임계치 이하이면(S830) 위험도 레벨이 제2 레벨로 결정될 수 있고(S840), 충격의 크기가 상한 임계치를 초과화면(S830) 위험도 레벨이 제3 레벨로 결정될 수 있다(S850).
알람 규칙과 관련하여, 일 실시예에서, 충격 판정 모듈(111)은 위험도 레벨을 제1 레벨로 결정하면, 제1 장치 및 제2 장치에 알람의 전송을 생략할 수 있다. 또한, 충격 판정 모듈(111)은 위험도 레벨을 제2 레벨로 결정하면, 제1 장치에 알람의 전송을 생략하고 제2 장치에 알람을 전송할 수 있다. 또한, 충격 판정 모듈(111)은 위험도 레벨을 제3 레벨로 결정하면, 제1 장치 및 제2 장치에 알람을 전송할 수 있다. 제1 레벨, 제2 레벨 및 제3 레벨의 순서로 충격의 크기가 상대적으로 높은 위험도 레벨을 의미할 수 있다. 제1 장치는 사용자 단말(130)을 의미할 수 있고, 제2 장치는 보험사 서버 또는 경비 업체 서버를 의미할 수 있다. 본 실시예에 따르면, 이동체(110)에 가해진 사소한 충격의 경우 리포트가 발생되지 않을 수 있다. 또한, 이동체(110)에 가해진 충격의 수습이 필요하지만 사용자가 즉각적으로 개입할 필요가 없는 정도의 충격이라면 리포트가 사용자 단말(130)에 전송되지 않고, 보험사 서버 또는 경비 업체 서버에만 전송될 수 있다. 또한, 이동체(110)에 가해진 충격의 수습이 필요하고 사용자가 즉각적으로 개입할 필요가 있는 정도의 충격이라면 리포트가 사용자 단말(130)과 보험사 서버 또는 경비 업체 서버에 전송될 수 있다.
도 7 및 도 8을 참조하여 설명되지 않았으나, 위험도 레벨을 네 개 이상의 레벨로 구분하는 동작이 본 개시의 범위에서 배제되는 것은 아니다. 즉, 하나 이상의 임계치를 이용하여 충격의 크기에 따라 위험도 레벨을 결정하는 동작이라면, 모든 동작이 본 개시의 범위에 포함될 수 있다.
또한, 도 7 및 도 8을 참조하여 자세히 설명되지 않았으나, 알람 규칙에 기초하여, 충격 이벤트에 대응되는 리포트를 그 리포트에 관계된 주체에게 전송하는 다양한 동작이 본 개시의 범위에서 배제되는 것은 아니다. 즉, 사용자의 편의를 향상시키는 방향으로 알람 규칙을 설정하되, 사용자가 확인할 필요가 있는 충격 이벤트를 리포트하거나 이동체(110)에 가해진 충격에 따른 사고를 수습하기 위해 특정 주체에게 리포트할 수 있는 동작이라면, 모든 동작이 본 개시의 범위에 포함될 수 있다.
본 개시의 순서도에서, 방법 또는 알고리즘의 각 단계들은 순차적인 순서로 설명되었지만, 각 단계들은 순차적으로 수행되는 것 외에, 임의로 조합될 수 있는 순서에 따라 수행될 수도 있다. 본 개시의 순서도에 관한 설명은, 방법 또는 알고리즘에 변화 또는 수정을 가하는 것을 제외하지 않으며, 임의의 단계가 필수적이거나 바람직하다는 것을 의미하지 않는다. 일 실시예에서, 적어도 일부의 단계가 병렬적, 반복적 또는 휴리스틱하게 수행될 수 있다. 다른 일 실시예에서, 적어도 일부의 단계가 생략되거나, 다른 단계가 추가될 수 있다.
본 개시의 다양한 실시예는 컴퓨팅 장치가 읽을 수 있는 저장매체(MRSM, Machine-Readable Storage Medium)에 소프트웨어로 구현될 수 있다. 소프트웨어는 본 개시의 다양한 실시예를 구현하기 위한 소프트웨어일 수 있다. 소프트웨어는 본 개시가 속하는 기술분야의 프로그래머들에 의해 본 개시의 다양한 실시예로부터 추론될 수 있다. 예를 들어 소프트웨어는 컴퓨팅 장치가 읽을 수 있는 명령을 포함하는 컴퓨터 프로그램일 수 있다. 컴퓨팅 장치는 저장 매체로부터 호출된 명령에 따라 동작이 가능한 장치로서, 예를 들어 전자 장치와 상호 교환적으로 지칭될 수 있다. 일 실시예에서, 컴퓨팅 장치의 프로세서는 호출된 명령을 실행하여, 컴퓨팅 장치의 구성요소들이 이 명령에 대응하는 기능을 수행하게 할 수 있다. 저장 매체는 기기에 의해 읽혀질 수 있는, 데이터가 저장되는 모든 종류의 기록 매체를 의미할 수 있다. 저장 매체는, 예를 들어 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 또는 광 데이터 저장장치 등을 포함할 수 있다. 일 실시예에서, 저장매체는 네트워크로 연결된 컴퓨터 시스템 등에 분산된 형태로서 구현될 수 있다. 이때, 소프트웨어는 컴퓨터 시스템 등에 분산되어 저장되고, 실행될 수 있다. 다른 일 실시예에서, 저장 매체는 비일시적(non-transitory) 저장매체일 수 있다. 비일시적 저장매체는, 데이터가 반영구적 또는 임시적으로 저장되는 것과 무관하게 실재하는 매체를 의미하며, 일시적(transitory)으로 전파되는 신호를 포함하지 않는다.
이하에서는, 본 개시의 다양한 실시예에 대해서 부기한다.
[부기 1]
이동체의 외부의 객체를 감지하도록 구성된 이미지 센서;
외부 장치와의 통신이 가능하도록 구성된 통신 인터페이스;
하나 이상의 인스트럭션(instruction)을 포함하는 컴퓨터 프로그램을 실행하도록 구성된 프로세서; 및
상기 컴퓨터 프로그램을 로드(load)하도록 구성된 메모리를 포함하고,
상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 시, 상기 프로세서는,
상기 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정 - 상기 이미지 셋은, 상기 이미지 센서로부터 획득된 하나 이상의 이미지를 포함함 - 하고,
상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하고,
상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하고,
상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 상기 외부 장치에 전송하는, 전자 장치.
[부기 2]
부기 1의 전자 장치이고,
상기 메모리는,
충격 판정 모델을 저장하고,
상기 프로세서는,
상기 이미지 셋을 상기 충격 판정 모델에 입력하고,
상기 충격 판정 모델의 출력에 기초하여, 상기 충격 이벤트를 판정하고,
상기 충격 판정 모델은, 학습 이미지 셋과 충격의 발생 사이의 상관 관계를 학습한 인공 신경망 모델이다.
[부기 3]
부기 1 내지 2의 전자 장치이고,
상기 전자 장치는,
상기 이동체의 외부로부터의 충격을 감지하도록 구성된 충격 센서를 더 포함하고,
상기 프로세서는,
상기 충격 센서로부터 획득된 신호에 기초하여, 충격 이벤트를 판정한다.
[부기 4]
부기 3의 전자 장치이고,
상기 프로세서는,
상기 충격 센서로부터의 판정 결과, 상기 충격 이벤트에 오류가 있다고 판정되면, 상기 충격 이벤트에 대응되는 상기 이미지 셋을 충격 판정 모델의 학습 데이터로 저장하고,
상기 충격 판정 모델은, 상기 이미지 셋과 상기 신호 사이의 상관 관계를 학습하는 인공 신경망 모델이다.
[부기 5]
부기 1 내지 4의 전자 장치이고,
상기 전자 장치는,
상기 이동체의 외부로부터의 충격을 감지하도록 구성된 충격 센서를 더 포함하고,
상기 프로세서는,
상기 충격 센서로부터 획득된 신호에 기초하여, 충격의 크기를 산출한다.
[부기 6]
부기 1 내지 4의 전자 장치이고,
상기 프로세서는,
상기 충격의 크기가 임계치 이하이면, 상기 위험도 레벨을 제1 레벨로 결정하고,
상기 충격의 크기가 상기 임계치를 초과하면, 상기 위험도 레벨을 상기 제1 레벨과 구분되는 제2 레벨로 결정한다.
[부기 7]
부기 6의 전자 장치이고,
상기 외부 장치는,
제1 장치 및 상기 제1 장치와 구분되는 제2 장치를 포함하고,
상기 프로세서는,
상기 이동체가 주행 중인지 여부를 판정하고,
상기 이동체가 주행 중이고, 상기 위험도 레벨이 상기 제1 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람의 전송을 생략하고,
상기 이동체가 주행 중이고, 상기 위험도 레벨이 상기 제2 레벨로 결정되면, 상기 제1 장치에 상기 알람의 전송을 생략하고, 상기 제2 장치에 상기 알람을 전송한다.
[부기 8]
부기 6의 전자 장치이고,
상기 임계치는,
상기 외부 장치를 이용하는 사용자의 입력에 기초하여, 조정 가능한 수치이다.
[부기 9]
부기 1 내지 8의 전자 장치이고,
상기 프로세서는,
상기 충격의 크기가 하한 임계치 이하이면, 상기 위험도 레벨을 제1 레벨로 결정하고,
상기 충격의 크기가 상기 하한 임계치를 초과하나 상한 임계치 이하이면, 상기 위험도 레벨을 상기 제1 레벨과 구분되는 제2 레벨로 결정하고,
상기 충격의 크기가 상기 상한 임계치를 초과하면, 상기 위험도 레벨을 상기 제1 레벨 및 상기 제2 레벨 각각과 구분되는 제3 레벨로 결정한다.
[부기 10]
부기 9의 전자 장치이고,
상기 외부 장치는,
제1 장치 및 상기 제1 장치와 구분되는 제2 장치를 포함하고,
상기 프로세서는,
상기 위험도 레벨이 상기 제1 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람의 전송을 생략하고,
상기 위험도 레벨이 상기 제2 레벨로 결정되면, 상기 제1 장치에 상기 알람의 전송을 생략하고, 상기 제2 장치에 상기 알람을 전송하고,
상기 위험도 레벨이 상기 제3 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람을 전송한다.
[부기 11]
부기 1 내지 10의 전자 장치이고,
상기 프로세서는,
상기 알람의 전송에 수반하여, 상기 외부 장치에, 상기 충격 이벤트에 대응되는 클립(clip)을 전송한다.
[부기 12]
부기 11의 전자 장치이고,
상기 클립은,
상기 충격 이벤트의 발생 시점으로부터 제1 간격 이전의 시점에 대응되는 제1 이미지로부터, 상기 충격 이벤트의 발생 시점으로부터 제2 간격 이후의 시점에 대응되는 제2 이미지까지의 시계열적 집합이다.
[부기 13]
부기 12의 전자 장치이고,
상기 집합에 포함된 이미지의 개수는 상기 충격의 크기에 비례하여 증가한다.
[부기 14]
부기 12의 전자 장치이고,
상기 제1 간격은 제2 간격보다 길다.
[부기 15]
이동체의 외부의 객체를 감지하도록 구성된 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정하는 동작 - 상기 이미지 셋은, 상기 이미지 센서로부터 획득된 하나 이상의 이미지를 포함함 -;
상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하는 동작;
상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하는 동작; 및
상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 외부 장치에 전송하는 동작을 포함하는, 방법.
이상 다양한 실시예에 의해 본 개시에 따른 기술적 사상이 설명되었지만, 본 개시에 따른 기술적 사상은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자가 이해할 수 있는 범위에서 이루어질 수 있는 다양한 치환, 변형 및 변경을 포함한다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 포함될 수 있는 것으로 이해되어야 한다.

Claims (15)

  1. 이동체의 외부의 객체를 감지하도록 구성된 이미지 센서;
    외부 장치와의 통신이 가능하도록 구성된 통신 인터페이스;
    하나 이상의 인스트럭션(instruction)을 포함하는 컴퓨터 프로그램을 실행하도록 구성된 프로세서; 및
    상기 컴퓨터 프로그램을 로드(load)하도록 구성된 메모리를 포함하고,
    상기 컴퓨터 프로그램이 상기 프로세서에 의해 실행될 시, 상기 프로세서는,
    상기 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정 - 상기 이미지 셋은, 상기 이미지 센서로부터 획득된 하나 이상의 이미지를 포함함 - 하고,
    상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하고,
    상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하고,
    상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 상기 외부 장치에 전송하는, 전자 장치.
  2. 제1항에 있어서,
    상기 메모리는,
    충격 판정 모델을 저장하고,
    상기 프로세서는,
    상기 이미지 셋을 상기 충격 판정 모델에 입력하고,
    상기 충격 판정 모델의 출력에 기초하여, 상기 충격 이벤트를 판정하고,
    상기 충격 판정 모델은, 학습 이미지 셋과 충격의 발생 사이의 상관 관계를 학습한 인공 신경망 모델인, 전자 장치.
  3. 제1항에 있어서,
    상기 전자 장치는,
    상기 이동체의 외부로부터의 충격을 감지하도록 구성된 충격 센서를 더 포함하고,
    상기 프로세서는,
    상기 충격 센서로부터 획득된 신호에 기초하여, 상기 충격 이벤트의 오류 여부를 검증하는, 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 충격 이벤트의 검증 결과, 상기 충격 이벤트에 오류가 있다고 판단되면, 상기 충격 이벤트에 대응되는 상기 이미지 셋을 충격 판정 모델의 학습 데이터로 저장하고,
    상기 충격 판정 모델은, 상기 이미지 셋과 상기 신호 사이의 상관 관계를 학습하는 인공 신경망 모델인, 전자 장치.
  5. 제1항에 있어서,
    상기 전자 장치는,
    상기 이동체의 외부로부터의 충격을 감지하도록 구성된 충격 센서를 더 포함하고,
    상기 프로세서는,
    상기 충격 센서로부터 획득된 신호에 기초하여, 상기 충격의 크기를 보정하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 충격의 크기가 임계치 이하이면, 상기 위험도 레벨을 제1 레벨로 결정하고,
    상기 충격의 크기가 상기 임계치를 초과하면, 상기 위험도 레벨을 상기 제1 레벨과 구분되는 제2 레벨로 결정하는, 전자 장치.
  7. 제6항에 있어서,
    상기 외부 장치는,
    제1 장치 및 상기 제1 장치와 구분되는 제2 장치를 포함하고,
    상기 프로세서는,
    상기 이동체가 주행 중인지 여부를 판정하고,
    상기 이동체가 주행 중이고, 상기 위험도 레벨이 상기 제1 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람의 전송을 생략하고,
    상기 이동체가 주행 중이고, 상기 위험도 레벨이 상기 제2 레벨로 결정되면, 상기 제1 장치에 상기 알람을 전송하지 않고, 상기 제2 장치에 상기 알람을 전송하는, 전자 장치.
  8. 제6항에 있어서,
    상기 임계치는,
    상기 외부 장치를 이용하는 사용자의 입력에 기초하여, 조정 가능한 수치인, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 충격의 크기가 하한 임계치 이하이면, 상기 위험도 레벨을 제1 레벨로 결정하고,
    상기 충격의 크기가 상기 하한 임계치를 초과하나 상한 임계치 이하이면, 상기 위험도 레벨을 상기 제1 레벨과 구분되는 제2 레벨로 결정하고,
    상기 충격의 크기가 상기 상한 임계치를 초과하면, 상기 위험도 레벨을 상기 제1 레벨 및 상기 제2 레벨 각각과 구분되는 제3 레벨로 결정하는, 전자 장치.
  10. 제9항에 있어서,
    상기 외부 장치는,
    제1 장치 및 상기 제1 장치와 구분되는 제2 장치를 포함하고,
    상기 프로세서는,
    상기 위험도 레벨이 상기 제1 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람을 전송하지 않고,
    상기 위험도 레벨이 상기 제2 레벨로 결정되면, 상기 제1 장치에 상기 알람을 전송하지 않고, 상기 제2 장치에 상기 알람을 전송하고,
    상기 위험도 레벨이 상기 제3 레벨로 결정되면, 상기 제1 장치 및 상기 제2 장치에 상기 알람을 전송하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 알람의 전송에 수반하여, 상기 외부 장치에, 상기 충격 이벤트에 대응되는 클립(clip)을 전송하는, 전자 장치.
  12. 제11항에 있어서,
    상기 클립은,
    상기 충격 이벤트의 발생 시점으로부터 제1 간격 이전의 시점에 대응되는 제1 이미지로부터, 상기 충격 이벤트의 발생 시점으로부터 제2 간격 이후의 시점에 대응되는 제2 이미지까지의 시계열적 집합인, 전자 장치.
  13. 제12항에 있어서,
    상기 집합에 포함된 이미지의 개수는 상기 충격의 크기에 비례하여 증가하는, 전자 장치.
  14. 제12항에 있어서,
    상기 제1 간격은 제2 간격보다 긴, 전자 장치.
  15. 이동체의 외부의 객체를 감지하도록 구성된 이미지 센서로부터 획득된 이미지 셋에 기초하여, 상기 이동체에 가해진 충격의 발생을 나타내는 충격 이벤트를 판정하는 동작 - 상기 이미지 셋은, 상기 이미지 센서로부터 획득된 하나 이상의 이미지를 포함함 -;
    상기 이미지 셋의 시계열적 변화에 기초하여, 상기 충격 이벤트에 대응되는 충격의 크기를 산출하는 동작;
    상기 충격의 크기에 기초하여, 상기 이동체의 손상의 정도를 나타내는 위험도 레벨을 결정하는 동작; 및
    상기 위험도 레벨에 기초하여, 상기 충격 이벤트를 알리는 알람을 외부 장치에 전송하는 동작을 포함하는, 방법.
PCT/KR2023/000735 2023-01-16 2023-01-16 이동체에 가해진 충격의 판정 Ceased WO2024154840A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/000735 WO2024154840A1 (ko) 2023-01-16 2023-01-16 이동체에 가해진 충격의 판정

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/000735 WO2024154840A1 (ko) 2023-01-16 2023-01-16 이동체에 가해진 충격의 판정

Publications (1)

Publication Number Publication Date
WO2024154840A1 true WO2024154840A1 (ko) 2024-07-25

Family

ID=91955933

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/000735 Ceased WO2024154840A1 (ko) 2023-01-16 2023-01-16 이동체에 가해진 충격의 판정

Country Status (1)

Country Link
WO (1) WO2024154840A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083182A (ja) * 2010-10-12 2012-04-26 Nippon Steel Corp 衝撃荷重測定システム、衝撃荷重測定方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
KR101738025B1 (ko) * 2011-10-05 2017-05-22 현대자동차주식회사 블랙박스를 이용한 사고판단시스템 및 그 구동방법
KR20190075017A (ko) * 2019-06-10 2019-06-28 엘지전자 주식회사 인공 지능이 탑재된 차량 단말과 이를 이용한 학습 데이터의 수집 방법 및 인공 지능의 성능을 향상하기 위한 시스템
KR102103334B1 (ko) * 2019-06-14 2020-04-23 주식회사 디파인 차량의 주차 중 충격의 유형을 식별하는 주차 충격 식별 시스템
KR20230004073A (ko) * 2021-06-30 2023-01-06 현대자동차주식회사 이동체의 경미 사고 판단 방법, 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083182A (ja) * 2010-10-12 2012-04-26 Nippon Steel Corp 衝撃荷重測定システム、衝撃荷重測定方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
KR101738025B1 (ko) * 2011-10-05 2017-05-22 현대자동차주식회사 블랙박스를 이용한 사고판단시스템 및 그 구동방법
KR20190075017A (ko) * 2019-06-10 2019-06-28 엘지전자 주식회사 인공 지능이 탑재된 차량 단말과 이를 이용한 학습 데이터의 수집 방법 및 인공 지능의 성능을 향상하기 위한 시스템
KR102103334B1 (ko) * 2019-06-14 2020-04-23 주식회사 디파인 차량의 주차 중 충격의 유형을 식별하는 주차 충격 식별 시스템
KR20230004073A (ko) * 2021-06-30 2023-01-06 현대자동차주식회사 이동체의 경미 사고 판단 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
WO2019031714A1 (ko) 객체를 인식하는 방법 및 장치
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2020080830A1 (en) Electronic device for reconstructing an artificial intelligence model and a control method thereof
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2020060311A1 (en) Electronic device and method for providing or obtaining data for training thereof
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2019132410A1 (en) Electronic device and control method thereof
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2022177345A1 (ko) 인공지능 기반으로 화면 정보를 인지하여 화면 상의 오브젝트에 이벤트를 발생시키는 방법 및 시스템
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2020130260A1 (en) Mobile terminal and method of operating the same
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2023182795A1 (ko) 제품 이미지를 기반으로 불량 제품을 감지하는 인공 지능 장치 및 그 방법
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2021060721A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2020204219A1 (ko) 인공지능을 이용한 사물 인식 학습에서 아웃라이어를 분류하는 방법 및 분류장치와 로봇
WO2019054715A1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법
WO2018186625A1 (ko) 전자 장치, 그의 경고 메시지 제공 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2020241923A1 (ko) 사용자 환경에서의 음성 인식 모델의 성능을 예측하는 인공 지능 장치 및 그 방법
WO2023182713A1 (ko) 인공지능 기반으로 텍스트 및 비-텍스트 이미지를 포함하는 화면 정보를 인지하여 화면 상의 오브젝트에 이벤트를 발생시키는 방법 및 시스템
WO2019190243A1 (ko) 사용자와의 대화를 위한 정보를 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23917798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23917798

Country of ref document: EP

Kind code of ref document: A1