WO2024101928A1 - 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템 - Google Patents

에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템 Download PDF

Info

Publication number
WO2024101928A1
WO2024101928A1 PCT/KR2023/017998 KR2023017998W WO2024101928A1 WO 2024101928 A1 WO2024101928 A1 WO 2024101928A1 KR 2023017998 W KR2023017998 W KR 2023017998W WO 2024101928 A1 WO2024101928 A1 WO 2024101928A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processor
electronic device
camera
image
Prior art date
Application number
PCT/KR2023/017998
Other languages
English (en)
French (fr)
Inventor
김병준
Original Assignee
김병준
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220148338A external-priority patent/KR102546661B1/ko
Priority claimed from KR1020220159041A external-priority patent/KR102511408B1/ko
Priority claimed from KR1020220159040A external-priority patent/KR102511356B1/ko
Application filed by 김병준 filed Critical 김병준
Publication of WO2024101928A1 publication Critical patent/WO2024101928A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions

Definitions

  • the present invention relates to an electronic device and electronic system for performing a situation determination operation based on object identification based on edge AI technology.
  • the present invention would like to propose a technology that can identify people through artificial intelligence, but whether it is a real moving person rather than an object in the shape of a person.
  • the parking lot within a building is not limited to the building's residents or visitors, but is shared with all users, allowing users to make a profit from the parking space and the building's manager from using the spare parking space.
  • the present invention proposes a device and method that can guide the vehicle based on parking space reservation information.
  • forest fire detection was done through human verification through general CCTV monitoring the mountain. Accordingly, it may be difficult to immediately identify forest fires, and it is practically impossible for people to check all CCTV.
  • edge AI edge AI to detect forest fires through artificial intelligence, but to prevent time delays due to data transmission speed in emergency situations such as forest fires.
  • Patent Document 1 In order to improve this problem, an accident image analysis system and an analysis method using the same that determine the fault rate by comparing black box images with similar accident images are disclosed in Patent Document 1.
  • the invention disclosed in Patent Document 1 still has the problem that spatially limited images are used due to black box images and standard traffic accident information cannot be used.
  • video surveillance devices currently installed and in operation are providing traffic information through analysis of real-time road images, but analysis of traffic accident status due to real-time traffic accidents is not being performed.
  • One embodiment of the present invention provides a device that provides object identification and advance warning based on edge AI technology.
  • One embodiment of the present invention provides an artificial intelligence-based vehicle parking reservation and guidance service providing device and method.
  • One embodiment of the present invention provides an edge artificial intelligence-based forest fire precise detection and response device and method.
  • the purpose of the present invention is to provide a traffic accident analysis system and method for estimating the similarity of actual traffic accident information based on standard traffic accident information.
  • an electronic device includes a memory and a processor connected to the memory, and the processor receives captured images from a camera installed on the target coast. Identify a person in the captured image through an artificial intelligence module, determine whether the person is in a dangerous situation based on the risk level based on the location and time at which the person was identified, and determine that the person is in a dangerous situation. In this case, the location of the person is visually displayed in the image taken by the camera on a pre-installed display and output, and information indicating that the person is in a dangerous situation is transmitted to the operator terminal used by the operator operating the electronic device. You can.
  • the processor can control the camera to operate as a thermal imaging camera in weather where visibility is difficult, such as fog, or at night.
  • the processor divides the captured image into a plurality of blocks of a preset first block size and sequentially performs an object detection process on the plurality of blocks through an artificial intelligence module to identify the person. You can.
  • the processor receives the first size of the object to be identified, derives the second size when the object exists in the captured image based on the first size and the angle of the camera, and Derive a second block size of a minimum square shape containing the size of 2, and based on the angle of the camera, derive the ratio occupied by the preset dangerous object and danger zone in the angle, and determine the second block size and the The first block size can be set based on the ratio.
  • the processor may determine that the person is in a dangerous situation.
  • the risk level of the first block is determined by the preset dangerous objects and danger zones contained within the first block, the weather of the target coast, the time period in which the person was identified, and the preset time period in the first block. It can be calculated based on the number of first person identifications.
  • RoR Risk
  • NoAPD Numberer of Average Person Discrimination
  • NoPD Number of Person Discrimination
  • PoRO Proportion of Risk Object
  • FoT Fractor of Time
  • FoW Fractor of Weather
  • the object detection process extracts a first person object matching the appearance of a person from the block, creates a third block containing the first person object, and performs a virtual virtual object based on the center of the third block.
  • a horizontal line is created to separate the upper and lower parts, a virtual vertical line is created based on the center of the upper part, the leftmost point of the first human object in the upper part is set as the first point, and the first point is set.
  • the point where the vertical line is perpendicular is set as the upper reference point
  • the first point and the point at which the upper reference point are set are set as the first view point
  • a first reference line connecting the first point and the upper reference point Generating a first change line connecting the first point and the upper reference point at a second time point when a preset time interval has elapsed from the first time point, and creating the first reference line based on the upper reference point. and deriving a first angle of the first change line, setting the rightmost point of the first human object at the upper part as a second point, and connecting the second point and the upper reference point at the first viewpoint.
  • Derive extract the top change amount based on the difference between the first angle and the second angle, create a virtual vertical line based on the center of the lower part, and select the leftmost point of the first human object at the lower part.
  • Set it as 3 points set the point where the third point and the vertical line are perpendicular to the lower reference point, create a third reference line connecting the third point and the lower reference point at the first time point, and create a third reference line at the second time point.
  • a third change line is created connecting a third point and the lower reference point, a third angle of the third reference line and the third change line is derived based on the lower reference point, and the rightmost part of the first human object is at the lower end.
  • Set a point as a fourth point create a fourth reference line connecting the fourth point and the lower reference point at a first time point, and create a fourth change line connecting the fourth point and the lower reference point at a second time point.
  • an electronic device includes a memory and a processor connected to the memory, and the processor enters from a first camera installed at the entrance of the parking lot.
  • the processor derives a vehicle image of a third camera capturing the vehicle among the plurality of second cameras, and confirms the location of the vehicle based on the location of the third camera and the vehicle image, Based on the route information, an augmented reality image corresponding to the location of the vehicle, the location of the third camera, and the angle of the third camera is generated, and the guidance information is generated by superimposing the augmented reality image on the vehicle image. can do.
  • the augmented reality image may be an arrow image indicating which location to go to on the route information based on the location of the vehicle in the vehicle image.
  • the processor assigns a unique identification ID to each parking spot in the parking lot, derives the final parking spot of the vehicle based on the vehicle image, and provides a first identification ID corresponding to the final parking spot and the reservation. By comparing the second identification ID corresponding to the parking spot, it can be confirmed whether the vehicle is parked in the reserved parking spot.
  • the processor sends information indicating that the final parking spot is different from the reserved parking spot and route information about the reserved parking spot to the user terminal. transmitted, and even after a preset time has elapsed, if the final parking spot is different from the reserved parking spot, a first surcharge cost reflecting the first surcharge information preset in the reserved parking cost corresponding to the reservation information is generated to the user Transmitted to the terminal, when the vehicle exceeds the reserved time and is located in the reserved parking spot, the first parking cost corresponding to the exceeded time is calculated, and the second surcharge information preset to the first parking cost is added to the reserved parking space.
  • the reflected second surcharge cost may be generated and transmitted to the user terminal.
  • the reserved parking cost is the reservation time received from the user terminal, the preset basic parking fee per hour, the time differential index preset differentially for each hour, and the location differential preset differentially for the reserved parking spot and parking lot parking spot. It can be calculated based on the index.
  • RPF Reserve Parking Fee
  • IoPS Index of Parking Space
  • SPF Standard Parking Fee
  • IoT Index of Time
  • k the total time (Hour) included in the reservation time.
  • NoOPS Number of Occupied Parking Space
  • NoTPS Number of ToTal Parking Space
  • NoD Number of Departures
  • NoE Number of Entrances
  • NoSPS Number of Selection of Parking Space
  • NoASPS Number of Average Selection of Parking Space
  • the processor may set a preset temporary parking spot in the parking lot as the reserved parking spot for the vehicle.
  • an electronic device includes a memory and a processor connected to the memory, and the processor receives shooting data from a camera installed on the mountain. , through an artificial intelligence module, analyze the shooting data to extract a gas bundle object, analyze the shooting data and the gas bundle object to determine whether the gas bundle object is caused by a fire, and determine whether the gas bundle object is caused by a fire. If it is determined that the source point of the gas bundle object is derived, the source point and fire determination result can be transmitted to the operator terminal.
  • the processor transmits a control command to photograph the source point with a pre-installed drone, and transmits drone photography data captured by the drone to the operator terminal. can do.
  • the processor divides the shooting data into a first area corresponding to a mountain and a second area corresponding to other areas, and based on the horizontal width of the upper and lower ends of the gas bundle object in the shooting data.
  • the portion with a narrow horizontal width is set as the source direction standard, and the border of the gas bundle object is entirely included in the first area, it is determined that the gas bundle object originated from the mountain, and the border of the gas bundle object is
  • the source direction standard is located on the side of the first area while touching the boundary line between the first area and the second area, it is determined that the gas bundle object originated from the mountain, and the gas bundle object is determined to originate from the mountain.
  • the gas cloud object is a stain or a true gas such as smoke or fog, and if the gas cloud object is determined to be a true gas such as smoke or fog, thermal image data is received from the camera, and the heat Based on the image data, it can be determined whether the gas mass object was caused by a fire.
  • the processor receives information about wind direction and wind speed from an air volume meter installed on the mountain to determine whether the gas cloud object is a stain or a true gas such as smoke or fog, and detects the gas cloud object at a first time. Derive the first object center where the first longest width and the first longest height meet, and at a second time when a preset time has elapsed from the first time, the second longest width and the second Derive a second object center where the longest vertical width meets, and based on the wind speed, a preset first center movement distance on the angle of the camera and a second center of the first object center and the second object center on the angle of the camera Compare the center movement distance, compare the wind direction and the direction of the second center movement distance, and determine that the direction of the second center movement distance is within the wind direction and a preset first error range, and the second center movement distance If it is included within the first center movement distance and the preset second error range, it is determined that the gas mass object is a true gas such as smoke or fog, and the
  • the gas mass object may be determined to be a sedative gas such as smoke or fog.
  • the processor includes the gas bundle object in the shooting data and sets the longest horizontal width and longest vertical width of the gas bundle object to horizontal and vertical lengths, respectively. generate a first block, divide the first area into a plurality of second blocks having the same size as the first block, and divide the second area into a plurality of third blocks having the same size as the first block. Divided into , a first maximum temperature is derived from the first block based on the thermal image data, a second maximum temperature is derived for each of the second blocks based on the thermal image data, and the second maximum temperature is derived from the first block based on the thermal image data.
  • a control command can be transmitted to the drone to photograph the source point, and drone photographing data captured by the drone can be transmitted to the operator terminal.
  • a traffic accident analysis system includes a data set construction unit that constructs each standard traffic accident data set from a plurality of standard traffic accident information; An omniscient representation unit that maps image data of actual traffic accident information captured on the road onto a two-dimensional flat map; And a traffic accident estimation unit that compares the actual traffic accident information mapped in the omniscient expression unit and each standard traffic accident data set constructed in the data set construction unit to estimate standard traffic accident information similar to the actual traffic accident information.
  • the data set construction unit may classify the types of traffic accidents from each standard traffic accident information and perform labeling according to the classified traffic accident types to construct each standard traffic accident data set.
  • the types of traffic accidents may include vehicle-to-vehicle, vehicle-to-person, vehicle-to-two-wheeler, and vehicle-to-bicycle.
  • the data set constructed in the data set construction unit may be a data set that includes not only video data of standard traffic accident information but also text data that is explanatory material explaining the traffic accident.
  • the omniscient representation unit may identify the border of the object from the actual traffic accident image and display a bounding box in order to identify the direction and angle of the object.
  • the omniscient representation unit may display circular distance lines at predetermined distance intervals on the actual traffic accident image, and perform mapping considering distances and angles on the two-dimensional planar map using the displayed circular distance lines.
  • the actual traffic accident information may include information on traffic lights at the time of the traffic accident video.
  • the traffic accident estimation unit may be comprised of a part that extracts image features and a part that classifies the image in a way that effectively recognizes and emphasizes features of adjacent images while maintaining spatial information of the image.
  • the traffic accident analysis system may include a video monitoring device and a management server, the video monitoring device may include the omniscient representation unit and the traffic accident estimation unit, and the management server may include the data set construction unit. there is.
  • the traffic accident estimation unit of the video monitoring device may provide the user terminal with standard traffic accident information and similarity in situations similar to actual traffic accident information.
  • a traffic accident analysis method in a traffic accident analysis system includes the steps of constructing each standard traffic accident data set from a plurality of standard traffic accident information; Mapping image data of actual traffic accident information captured on the road onto a two-dimensional flat map; And it may include comparing the actual traffic accident information mapped in the mapping step with each standard traffic accident data set constructed in the construction step to estimate standard traffic accident information similar to the actual traffic accident information.
  • an electronic device for performing a situation determination operation based on object information comprising: a memory; processor; and a camera; wherein the processor directly processes an image processing-based artificial intelligence model, and the processor uses the image of the object captured by the camera as an input to the image processing-based artificial intelligence model to determine the size of the object.
  • An electronic device is provided for identifying information, and performing a situation determination operation based on information on an object, wherein the processor performs the situation determination operation based on information on the identified object.
  • an electronic device for performing a situation determination operation based on object information comprising: a memory; processor; and a camera; wherein the processor independently processes an image processing-based artificial intelligence model, and the processor uses the image of the object captured by the camera as an input to the image processing-based artificial intelligence model to create the object. Identifying information, and the processor performs the situation determination operation based on information on the identified object, provides an electronic device for performing a situation determination operation based on information on the object.
  • an electronic device for performing a situation determination operation based on object information comprising: a memory; processor; and a camera; wherein the electronic device is not a central control device on a network and is installed locally to implement artificial intelligence-based control and/or processing, and the processor processes an image processing-based artificial intelligence model and , the processor identifies information on the object by using the image of the object captured by the camera as an input to the artificial intelligence model, and the processor performs the situation determination operation based on the information on the identified object.
  • An electronic device for performing a situation determination operation based on object information is provided.
  • the processor receives vehicle identification information and vehicle location information from the camera, checks reservation information of the vehicle in response to the received identification information, and provides route information and/or route information of the vehicle.
  • an electronic device for generating guidance information and performing a situation determination operation based on object information is provided.
  • the vehicle's identification information and vehicle's location information are received from the camera, and the vehicle's location information is received in response to the received identification information.
  • a first electronic device, a second electronic device, and a third electronic device including a processor that checks reservation information of the vehicle and generates route information and/or guidance information of the vehicle, and a processor of the first electronic device.
  • the processor of the second electronic device confirms the location of the vehicle from the camera of the second electronic device and the camera of the third electronic device,
  • the camera of the third electronic device derives an image in which the vehicle is captured, and the processor of the third electronic device determines the situation based on object information to derive the final parking spot of the vehicle based on the derived image.
  • the situation determination operation is such that the processor builds a data set through comparison and evaluation with a plurality of actual data, learns using the constructed data set, and uses the object photographed by the camera.
  • An electronic device is provided for performing a situation determination operation based on object information, which estimates the degree of similarity with an image.
  • the processor provides an electronic device for performing a situation determination operation based on information on the object, which estimates the similarity with the image of the object captured by the camera by applying a convolutional neural network. do.
  • the processor divides the image of the object captured by the camera into a plurality of blocks and performs an object detection process on the plurality of blocks, performing a situation determination operation based on object information.
  • the processor provides an electronic device for performing a situation determination operation based on information on an object, which can control the camera to operate as a thermal imaging camera.
  • the processor identifies a person through the object detection process, and when the risk of the block where the identified person is located exceeds a preset critical risk, the processor detects the identified person in a dangerous situation through the user terminal.
  • An electronic device for performing a situation determination operation based on object information that transmits information indicating presence is provided.
  • the processor extracts a gas lump object by analyzing the image of the object captured by the camera, and when it is determined that the gas lump object is truly a gas, thermal image data is collected from the camera.
  • An electronic device for performing a situation determination operation based on received object information is provided.
  • the processor constructs a data set from standard traffic accident information, maps the image of the object in the actual traffic accident information captured by the camera to a two-dimensional planar map, and maps the data set and
  • An electronic device is provided for performing a situation determination operation based on information on an object by comparing the actual traffic accident information and estimating the standard traffic accident information similar to the actual traffic accident information.
  • a device that provides object identification and advance warning based on edge AI technology can be provided.
  • an artificial intelligence-based vehicle parking reservation and guidance service providing device and method can be provided.
  • an edge artificial intelligence-based forest fire precise detection and response device and method can be provided.
  • the present invention can objectively determine whether negligence is responsible and the negligence ratio by analyzing actual traffic accident information by estimating the degree of similarity based on standard traffic accident information.
  • the present invention can also analyze traffic accidents on a two-dimensional basis by mapping image data of actual traffic accident information onto a two-dimensional flat map, thereby enabling more accurate estimation of the type of traffic accident.
  • the present invention also enables safety diagnosis and prevention of traffic safety solutions by constructing a data set according to the type of traffic accident as basic data for preventing, diagnosing, responding to, and predicting traffic accidents.
  • FIG. 1 is a conceptual diagram of a coastal person identification and disaster advance warning device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram of an electronic device according to an embodiment of the present invention.
  • Figure 3 is an exemplary diagram of dividing a captured image according to an embodiment of the present invention.
  • Figure 4 is an example diagram of generating a first block size according to an embodiment of the present invention.
  • Figure 5 is an example table of weather risk coefficient and time risk coefficient according to an embodiment of the present invention.
  • Figure 6 is an exemplary diagram of identifying a person according to an embodiment of the present invention.
  • Figure 7 is a conceptual diagram of another embodiment of the object detection process of the present invention.
  • Figure 8 is a conceptual diagram of another embodiment of the object detection process of the present invention.
  • Figure 9 is a flowchart of a coastal person identification and disaster advance warning method according to an embodiment of the present invention.
  • Figure 10 is a conceptual diagram of an artificial intelligence-based vehicle parking reservation and guidance service providing device according to an embodiment of the present invention.
  • Figure 11 is a block diagram of an electronic device according to an embodiment of the present invention.
  • Figure 12 is a diagram showing the creation of route information according to an embodiment of the present invention.
  • Figure 13 is a diagram showing confirming the location of a vehicle according to an embodiment of the present invention.
  • Figure 14 is a diagram showing guidance information in which an augmented reality image is superimposed on a vehicle image according to an embodiment of the present invention.
  • Figure 15 is a flowchart of an artificial intelligence-based vehicle parking reservation and guidance service providing method according to an embodiment of the present invention.
  • Figure 16 is a conceptual diagram of an edge artificial intelligence-based forest fire precision detection and response device according to an embodiment of the present invention.
  • Figure 17 is a block diagram of an electronic device according to an embodiment of the present invention.
  • Figure 18 is an example view of a captured image according to an embodiment of the present invention.
  • Figure 19 is an exemplary diagram of determining the origin of a gaseous object according to an embodiment of the present invention.
  • Figures 20 and 21 are exemplary diagrams for determining whether a gas lump object is truly a gas according to an embodiment of the present invention.
  • Figure 22 is an example diagram of determining whether a gas mass object was caused by a fire according to an embodiment of the present invention.
  • Figure 23 is a flowchart of an edge artificial intelligence-based forest fire precision detection and response method according to an embodiment of the present invention.
  • Figure 24 is a diagram schematically showing a traffic accident analysis system according to an embodiment of the present disclosure.
  • FIG. 25 is a block diagram illustrating a case where the video surveillance device or management server shown in FIG. 24 operates as a general electronic device.
  • FIG. 26 is a detailed block diagram of a traffic accident analysis system according to another embodiment of the present disclosure.
  • FIG. 27 is a diagram illustrating examples of two-dimensional images for each type and/or situation of a standard traffic accident according to an embodiment of the present disclosure.
  • Figures 28 and 29 are diagrams illustrating an example of matching a camera image to a Naver map according to an embodiment of the present disclosure.
  • FIG. 30 is a diagram illustrating an example of estimating a standard traffic accident type in an actual traffic accident situation according to an embodiment of the present disclosure.
  • FIG. 31 is a diagram illustrating an example of displaying a standard traffic accident estimation result of an actual traffic accident situation according to an embodiment of the present disclosure.
  • FIG. 32 is a flowchart of a traffic accident analysis method according to another embodiment of the present disclosure.
  • each block of the processing flow diagrams and combinations of the flow diagram diagrams can be performed by computer program instructions.
  • These computer program instructions can be mounted on a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, so that the instructions performed through the processor of the computer or other programmable data processing equipment are described in the flow chart block(s). It creates the means to perform functions.
  • These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular manner, so that the computer-usable or computer-readable memory
  • the instructions stored in may also produce manufactured items containing instruction means that perform the functions described in the flow diagram block(s).
  • Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, thereby generating a process that is executed by the computer or other programmable data processing equipment. Instructions that perform processing equipment may also provide steps for executing the functions described in the flow diagram block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).
  • ' ⁇ unit' used in this embodiment refers to software or hardware components such as FPGA (field-programmable gate array) or ASIC (Application Specific Integrated Circuit), and ' ⁇ unit' refers to what roles. Perform.
  • ' ⁇ part' is not limited to software or hardware.
  • the ' ⁇ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors. Therefore, as an example, ' ⁇ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'.
  • components and 'parts' may be implemented to refresh one or more CPUs within the device or secure multimedia card.
  • Figure 1 is a conceptual diagram of a coastal person identification and disaster advance warning device 100 according to an embodiment of the present invention.
  • the coastal person identification and disaster advance warning device 100 may perform a situation determination operation based on object information.
  • the coastal person identification and disaster advance warning device 100 is not a central control device on the network and can be installed locally to implement artificial intelligence-based control and/or processing.
  • the coastal person identification and disaster advance warning device 100 identifies people with a camera on the coast, determines whether the person is in a dangerous situation, and operates the adjacent display and the main electronic device 100 based on the judgment result. Warnings about dangerous situations can be provided to the operator's operator terminal.
  • the coastal person identification and disaster advance warning device 100 may also be referred to as 'electronic device 100' in the present invention.
  • the operator terminal is a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, mobile phone, smart watch ( smart watch, smart glass, e-book reader, PMP (portable multimedia player), portable game console, navigation device, digital camera, DMB (digital multimedia broadcasting) player, digital voice recorder It may include a digital audio recorder, digital audio player, digital video recorder, digital video player, PDA (Personal Digital Assistant), etc.
  • Figure 2 is a block diagram of an electronic device 100 according to an embodiment of the present invention.
  • the electronic device 100 includes a processor 110 and a memory 120. Additionally, the electronic device 100 may include a processor 110, a memory 120, and a camera. The processor 110 may perform at least one method described above.
  • the memory 120 may store information related to the above-described method or store a program implementing the above-described method. Memory 120 may be volatile memory or non-volatile memory. The memory 120 may be called a 'database', a 'storage unit', etc.
  • the processor 110 can execute programs and control the electronic device 100.
  • the code of the program executed by the processor 110 may be stored in the memory 120.
  • the electronic device 100 can be connected to an external device (eg, a personal computer or a network) through an input/output device (not shown) and exchange data.
  • the processor 110 may receive captured images from a camera installed on the target coast.
  • the camera may be a general visible light camera and a thermal imaging camera that coexist, or may be a camera that can perform both functions together. That is, the processor 110 can control the camera to operate as a thermal imaging camera.
  • the processor 110 controls the camera to operate as a thermal imaging camera in weather where visibility is difficult, such as fog, or at night, to identify people even in situations where visibility (visible light) is poor. can do.
  • the processor 110 can directly process an image processing-based artificial intelligence model and independently process an image processing-based artificial intelligence model.
  • the processor 110 can identify information on the object by using the image of the object captured by the camera as input to an artificial intelligence model based on image processing.
  • the processor 110 can identify a person in the captured image through an artificial intelligence module and determine whether the person is in a dangerous situation based on the risk level based on the location and time at which the person was identified. .
  • the artificial intelligence module can learn human images and identify people in captured images using deep learning techniques, a field of machine learning.
  • the artificial intelligence module can calculate the weights of a plurality of inputs in the function through deep learning.
  • various models such as RNN (Recurrent Neural Network), DNN (Deep Neural Network), and DRNN (Dynamic Recurrent Neural Network) can be used as artificial intelligence network models for such learning.
  • RNN is a deep learning technique that simultaneously considers current and past data
  • recurrent neural network represents a neural network in which the connections between units that make up the artificial neural network form a directed cycle.
  • RNN recurrent neural network
  • various methods can be used to construct a recurrent neural network (RNN), such as Fully Recurrent Network, Hopfield Network, Elman Network, and ESN (Echo State network), LSTM (Long short term memory network), Bi-directional RNN, CTRNN (Continuous-time RNN), hierarchical RNN, quadratic RNN, etc. are representative examples.
  • methods for learning a recurrent neural network (RNN) methods such as gradient descent, Hessian Free Optimization, and Global Optimization Method can be used.
  • the artificial intelligence module has a problem in that it may be difficult to distinguish between actual moving people and human-shaped objects (for example, signboards, etc.). Accordingly, the present invention would like to propose a configuration that identifies people through movement. This will be discussed later.
  • the processor 110 may perform a situation determination operation based on information on the identified object. Specifically, when the processor 110 determines that a person is in danger, the processor 110 may visually display the location of the person in an image captured by the camera on a pre-installed display and output the information.
  • the display can output guidance information that can be provided at the target coast in normal times. For example, geographical information, weather information, etc. can be output.
  • the processor 110 may perform a situation determination operation based on information on the identified object. Specifically, the processor 110 may transmit information indicating that a person is in a dangerous situation to an operator terminal used by an operator operating the electronic device 100.
  • Figure 3 is an exemplary diagram of dividing a captured image according to an embodiment of the present invention.
  • the processor 110 may divide the image of the object captured by the camera into a plurality of blocks and perform an object detection process on the plurality of blocks. Specifically, the processor 110 divides the captured image into a plurality of blocks of a preset first block size, sequentially performs an object detection process on the plurality of blocks through an artificial intelligence module, and detects the person. can be identified. At this time, the object detection process will be described later.
  • the size of the block can be determined based on the ratio occupied by a dangerous object (tetraport) or a dangerous area (tidal flat) within the captured image. This will be described later.
  • Figure 4 is an example diagram of generating a first block size according to an embodiment of the present invention.
  • the proportion of dangerous objects or danger zones in the captured image is too wide, and if the size of the block is determined solely by the size of the object to be identified, there is a risk that unimportant parts will be searched, resulting in a waste of resources.
  • the processor 110 receives the first size of the object to be identified, and derives the second size when the object exists in the captured image based on the first size and the angle of the camera. and derive a second block size of the minimum square shape including the second size, and based on the angle of the camera, derive the ratio occupied by the preset dangerous object and danger zone in the angle, and derive the second block size.
  • the first block size can be set based on the block size and the ratio.
  • the first block size can be set to a value obtained by multiplying the second block size by the reciprocal of the ratio.
  • the processor 110 identifies people through an object detection process
  • the processor 110 may determine that the person is in a dangerous situation.
  • the risk level of the first block is determined by the preset risk objects and danger zones contained within the first block, the weather of the target coast, the time zone in which the person was identified, and the risk during the preset time in the first block. 1 It can be calculated based on the number of times a person is identified.
  • the risk of the first block can be calculated by Equation 1 below.
  • RoR Rate of Risk
  • NoAPD Number of Average Person Discrimination
  • NoPD Number of Person Discrimination
  • PoRO Proportion of Risk Object
  • FoT Fractor of Time
  • FoW Fractor of Time
  • Weather may mean the weather risk coefficient corresponding to the weather of the target coast among the weather risk coefficients assigned from 0 to 5 for each weather.
  • the weather risk coefficient and the time risk coefficient can be arbitrarily set by the operator as shown in FIG. 5.
  • Figure 6 is an exemplary diagram of identifying a person according to an embodiment of the present invention.
  • the processor 110 identifies a person through the object detection process.
  • the object detection process extracts a first person object matching the external appearance of the person from the block, and the first Create a third block containing a human object, create a virtual horizontal line based on the center of the third block to distinguish the upper part from the lower part, create a virtual vertical line based on the center of the upper part, and create a virtual horizontal line based on the center of the upper block.
  • the leftmost point of the first human object is set as the first point
  • the point perpendicular to the first point and the vertical line is set as the upper reference point
  • the point at which the first point and the upper reference point are set is set.
  • a first point is set as a first point
  • a first reference line is created connecting the first point and the upper reference point
  • Create a first change line connecting the points derive a first angle between the first reference line and the first change line based on the upper reference point, and select the rightmost point of the first human object at the upper part as a second point. set as a point, create a second reference line connecting the second point and the upper reference point at the first time point, and create a second change line connecting the second point and the upper reference point at the second time point.
  • a third angle between the third reference line and the third change line is derived based on the lower reference point, the rightmost point of the first human object at the lower end is set as the fourth point, and the fourth point is set at the first point in time.
  • a fourth reference line is created connecting the four points and the lower reference point
  • a fourth change line is created connecting the fourth point and the lower reference point at the second time point
  • the fourth change line is created.
  • a fourth angle between the fourth reference line and the fourth change line is derived
  • a bottom change amount is extracted based on the difference between the third angle and the fourth angle
  • the top change amount is a preset reference top change amount and a preset error range. If the bottom change amount is within the preset reference bottom change amount and the error range, the first human object can be identified as a person.
  • the reference top change amount and the reference bottom change amount may be set as the average value of the top change amount and bottom change amount when the person moves.
  • error range may be arbitrarily set by the operator, and may be set to 10%, for example.
  • the object detection process described above can be applied to technology to identify people inside a building and check where people are in the event of a fire, and can also be applied to technology to check whether people are wearing safety equipment in industrial areas. You can do it.
  • the electronic device includes a memory and a processor connected to the memory, and the processor is a building fire safety solution system.
  • the processor is a building fire safety solution system. Receives captured images from a camera installed at the entrance, identifies people from the captured images, counts the number of people entering the building, and counts the number of people remaining in the building in the event of an emergency such as a fire. You can check it.
  • the person can be identified through the object identification process described above.
  • the facial part of the identified person can be separately analyzed to enable identification.
  • the DB for identity verification can be continuously updated with information on new and departing employees in order to accurately determine whether the person is allowed to enter the building.
  • the cable connecting the system and the camera or the antenna for wireless connection be made of flame-retardant material.
  • UPS uninterruptible power supply system
  • the electronic device includes a memory and a processor connected to the memory, and the processor is located in an industrial complex. Receives captured images from cameras installed within, identifies people in the captured images through an artificial intelligence module, and identifies the industrial complex where the cameras are installed through the proportion of hazardous objects and hazardous areas based on the angle of the camera. The risk level can be calculated, and if a person is identified in a high-risk location, a warning message can be provided to the operator (manager, management director, etc.).
  • the person can be identified through the object detection process described above.
  • Figure 9 is a flowchart of a coastal person identification and disaster advance warning method according to an embodiment of the present invention.
  • the coastal person identification and disaster advance warning method can receive captured images from a camera installed on the target coast (S101).
  • the coastal person identification and disaster advance warning method can identify people in the captured image through an artificial intelligence module (S103).
  • the coastal person identification and disaster advance warning method can determine whether the person is in a dangerous situation based on the risk level based on the location and time at which the person was identified (S105) .
  • the location of the person is visually displayed in the image captured by the camera on a pre-installed display and output.
  • information indicating that a person is in a dangerous situation can be transmitted to the operator terminal used by the operator operating the electronic device 100 (S107).
  • the coastal person identification and disaster advance warning method according to an embodiment of the present invention may be configured in the same way as the coastal person identification and disaster advance warning device 100 disclosed in FIGS. 1 to 8.
  • Figure 10 is a conceptual diagram of an artificial intelligence-based vehicle parking reservation and guidance service providing device according to an embodiment of the present invention.
  • the artificial intelligence-based vehicle parking reservation and guidance service providing device 100-2 may perform a situation determination operation based on object information.
  • the artificial intelligence-based vehicle parking reservation and guidance service providing device 100-2 is not a central control device on the network and can be installed locally to implement artificial intelligence-based control and/or processing.
  • the artificial intelligence-based vehicle parking reservation and guidance service providing device (100-2) guides the user's vehicle, who has reserved a parking space and time, to the user terminal (200) so that it can park in the reserved parking spot. , it can reduce vehicle travel time, thereby reducing exhaust gas emissions, preventing environmental pollution, and illegal parking.
  • the artificial intelligence-based vehicle parking reservation and guidance service providing device may be referred to as 'electronic device 100-2' in the present invention.
  • an artificial intelligence-based device it is installed throughout the parking lot (e.g., ceiling, pillar, wall, etc.) rather than a central control device, so each device can implement artificial intelligence-based control and/or processing, so it is called an 'edge AI device' (edge AI device). It may also be called ‘device)’.
  • FIG 11 is a block diagram of an electronic device 100-2 according to an embodiment of the present invention.
  • the electronic device 100-2 includes a processor 110-2 and a memory 120-2. Additionally, the electronic device 100-2 may include a processor 110-2, a memory 120-2, and a camera.
  • the electronic device 100-2 may include a server, an external device, etc. that control the cameras (e.g., first to third cameras) described with reference to FIGS. 10 and 12 to 15, but the first Each of the cameras through the third camera may be implemented as the electronic device 100-2.
  • each of the first to third cameras may include a processor 110-2 and a memory 120-2, and the processor 110-2 may receive vehicle identification information and vehicle location information from the camera. The vehicle's route information and/or guidance information can be generated by receiving the vehicle's reservation information and checking the vehicle's reservation information in response to the received identification information.
  • the processor 110-2 may implement functions for providing edge AI-based vehicle parking reservation and guidance services. At this time, each of the first to third cameras may function as an edge AI device.
  • the processor 110-2 may perform at least one method described above.
  • the memory 120-2 may store information related to the above-described method or store a program implementing the above-described method.
  • Memory 120-2 may be volatile memory or non-volatile memory.
  • the memory 120-2 may be referred to as a 'database', a 'storage unit', etc.
  • the processor 110-2 can execute programs and control the electronic device 100-2.
  • the code of the program executed by the processor 110-2 may be stored in the memory 120-2.
  • the electronic device 100-2 can be connected to an external device (eg, a personal computer or a network) through an input/output device (not shown) and exchange data.
  • the processor 110-2 can directly process an image processing-based artificial intelligence model and can independently process an image processing-based artificial intelligence model.
  • the processor 110-2 can identify information on the object by using the image of the object captured by the camera as input to an artificial intelligence model based on image processing.
  • the processor 110-2 of the first electronic device may receive vehicle information from the camera of the first electronic device. That is, the processor 110-2 of the first electronic device may receive identification information of an entering vehicle from the first camera installed at the entrance of the parking lot.
  • the vehicle When a vehicle is photographed by the first camera, the vehicle can be identified by recognizing the vehicle's license plate, and the identification information may mean the vehicle's number.
  • the processor 110-2 may confirm reservation information about the reservation time and reserved parking spot in response to the identification information.
  • the user of the vehicle corresponding to the identification information can reserve in advance from what time to what time the vehicle will be parked and which parking spot to park, and the processor 110-2 confirms the information.
  • the processor 110-2 of the second electronic device may check the location of the vehicle from a plurality of second cameras installed inside the parking lot.
  • the second camera can also recognize the vehicle and its license plate from the captured image, and confirm the location of the vehicle based on the location of the second camera and the location of the vehicle on the angle.
  • an artificial intelligence module can be used to check the license plate of the vehicle and the location of the vehicle accordingly.
  • the artificial intelligence module can use deep learning, a field of machine learning, to create a machine learning model learned to collect information about the location of the vehicle's license plate and license plate number.
  • the processor 110-2 may generate route information based on the location of the entrance to the parking lot and the reserved parking spot. Generation of route information will be described in more detail with reference to FIGS. 12 to 14.
  • the processor 110-2 can generate guidance information based on the location of the vehicle and the route information, and provide the guidance information to a user terminal driving the vehicle.
  • FIG. 11 is a diagram showing the creation of route information according to an embodiment of the present invention
  • FIG. 12 is a diagram showing confirming the location of a vehicle according to an embodiment of the present invention.
  • the processor 110-2 of the third electronic device may derive an image in which a vehicle is captured, and may derive the final parking spot of the vehicle based on the derived image.
  • the processor 110-2 of the third electronic device derives a vehicle image of a third camera capturing the vehicle among a plurality of second cameras, and based on the location of the third camera and the vehicle image, Confirm the location of the vehicle, generate an augmented reality image corresponding to the location of the vehicle, the location of the third camera, and the angle of the third camera based on the route information, and superimpose the augmented reality image on the vehicle image.
  • the guidance information can be generated.
  • Figure 14 is a diagram showing guidance information in which an augmented reality image is superimposed on a vehicle image according to an embodiment of the present invention.
  • the augmented reality image may be an arrow image indicating which location to go to on the route information based on the location of the vehicle in the vehicle image.
  • the processor 110-2 assigns a unique identification ID to each parking spot in the parking lot, derives the final parking spot of the vehicle based on the vehicle image, and determines the final parking spot corresponding to the final parking spot. By comparing the first identification ID and the second identification ID corresponding to the reserved parking spot, it can be confirmed whether the vehicle is parked in the reserved parking spot.
  • the processor 110-2 sends the user terminal 200 information indicating that the final parking spot is different from the reserved parking spot and the reserved parking spot. Route information about the seat can be transmitted.
  • the processor 110-2 provides the first premium information in which the preset first premium information is reflected in the reserved parking cost corresponding to the reservation information.
  • the surcharge cost can be generated and transmitted to the user terminal 200.
  • the time is a movement time and can be arbitrarily set by the operator. For example, it can be set to 10 minutes, 5 minutes, etc.
  • the first surcharge information can be arbitrarily set by the operator, for example, 10% or 20%, and the first surcharge cost is the reserved parking cost increased by the first surcharge information. It can be.
  • the processor 110-2 calculates a first parking cost corresponding to the exceeded time, and bases the first parking cost on the first parking cost.
  • a second premium cost reflecting the set second premium information may be generated and transmitted to the user terminal 200.
  • the first parking cost can be calculated according to the excess time by calculating the reserved parking cost
  • the second surcharge information can be arbitrarily set by the operator, for example, 10%, 20%. etc., and the second surcharge cost may be a cost increased by the first parking cost by the second surcharge information.
  • the reserved parking cost is calculated based on the reservation time received from the user terminal 200, a preset basic parking fee per hour, a time differential index differentially set by time, and the reserved parking spot and parking lot parking spot. It can be calculated based on the set location differential index.
  • parking costs can be differentially applied between times when there are a lot of cars and times when there are few cars, and parking costs can be paid accordingly by distinguishing between high and low user-preferred spots, such as parking spots close to the entrance or elevator, etc. It can also be applied differentially.
  • the reserved parking cost can be calculated by Equation 1 below.
  • RPF Reserve Parking Fee
  • IoPS Index of Parking Space
  • SPF Standard Parking Fee
  • IoT Index of Time
  • k the total time (Hour) included in the reservation time.
  • the time differential index can be calculated by Equation 2 below.
  • NoOPS Number of Occupied Parking Space
  • NoTPS Number of ToTal Parking Space
  • NoE Number of Entrances
  • the position differential index can be calculated by Equation 3 below.
  • NoSPS Number of Selection of Parking Space
  • NoASPS Number of Average Selection of Parking Space
  • the processor may set a parking spot where temporarily stopped vehicles such as the courier vehicle or delivery vehicle can stop as a temporary parking spot in advance, and
  • the reserved parking spot for the temporarily parked vehicle can be set as the temporary stop spot so that temporarily parked vehicles, such as delivery vehicles or delivery vehicles, can be guided to the temporary stop spot.
  • Figure 15 is a flowchart of an artificial intelligence-based vehicle parking reservation and guidance service providing method according to an embodiment of the present invention.
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can receive identification information of an entering vehicle from a first camera installed at the entrance of the parking lot (S201). .
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can confirm reservation information about the reservation time and reserved parking spot in response to the identification information (S203).
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can confirm the location of the vehicle from a plurality of second cameras installed inside the parking lot (S205).
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can generate route information based on the location of the entrance and exit of the parking lot and the reserved parking spot (S207).
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can generate guidance information based on the location of the vehicle and the route information (S209).
  • the artificial intelligence-based vehicle parking reservation and guidance service providing method can provide the guidance information to the user terminal driving the vehicle (S211).
  • the method of providing artificial intelligence-based vehicle parking reservation and guidance service is the same as the artificial intelligence-based vehicle parking reservation and guidance service providing device 100-2 disclosed in FIGS. 10 to 14. It can be configured.
  • Figure 16 is a conceptual diagram of an edge artificial intelligence-based forest fire precision detection and response device 100-3 according to an embodiment of the present invention.
  • the edge artificial intelligence-based forest fire precision detection and response device 100-3 can perform a situation determination operation based on object information.
  • the edge artificial intelligence-based forest fire precision detection and response device 100-3 is not a central control device on the network and can be installed locally to implement artificial intelligence-based control and/or processing.
  • the edge artificial intelligence-based forest fire precision detection and response device (100-3) confirms that a fire has occurred based on the image of a camera installed on the mountain, and sends it to the user terminal (200) used by the forest fire manager, that is, the operator. It can provide information about the current fire status to enable immediate response.
  • the edge artificial intelligence-based forest fire precision detection and response device 100-3 may be referred to as the 'electronic device 100-3' in the present invention.
  • Figure 17 is a block diagram of an electronic device 100-3 according to an embodiment of the present invention.
  • the electronic device 100-3 includes a processor 110-3 and a memory 120-3. Additionally, the electronic device 100-3 may include a processor 110-3, a memory 120-3, and a camera. The processor 110-3 may perform at least one method described above.
  • the memory 120-3 may store information related to the above-described method or store a program implementing the above-described method.
  • the memory 120-3 may be volatile memory or non-volatile memory.
  • the memory 120-3 may be called a 'database', a 'storage unit', etc.
  • the processor 110-3 can execute programs and control the electronic device 100-3.
  • the code of the program executed by the processor 110-3 may be stored in the memory 120-3.
  • the electronic device 100-3 can be connected to an external device (eg, a personal computer or a network) through an input/output device (not shown) and exchange data.
  • the processor 110-3 may receive shooting data from a camera installed on the mountain.
  • the camera may be composed of a general visible light camera and a thermal imaging camera capable of detecting temperature as described later.
  • the processor 110-3 can analyze the shooting data and extract the gas mass object through an artificial intelligence module.
  • the processor 110-3 extracts a gas cloud object by analyzing the image of the object captured by the camera, and when it is determined that the gas cloud object is truly a gas, it can receive thermal image data from the camera.
  • the processor 110-3 may analyze the shooting data and the gaseous object to determine whether the gaseous object is caused by a fire. Regarding this, it will be described later.
  • the processor 110-3 when it is determined that the gaseous object is caused by a fire, derives the source point of the gaseous object and transmits the source point and fire determination result to the user terminal 200. You can.
  • the operator can control the shooting near the source point through a pre-installed drone so that the operator can more accurately determine whether there is a fire, and the drone shooting data captured by the drone. can be provided to the operator.
  • the processor 110-3 transmits a control command to photograph the source point with a pre-installed drone, and sends the drone photographing data captured by the drone to the above. It can be transmitted to the user terminal 200.
  • the source point may be set as the point with the highest temperature within the gas mass object, as will be described later.
  • Figure 18 is an example view of a captured image according to an embodiment of the present invention.
  • a camera installed on a mountain can capture images of both the mountain and areas other than the mountain.
  • the processor 110-3 may divide the captured data into a first area corresponding to the mountain and a second area corresponding to other areas.
  • the present invention it is possible to determine whether a fire is present by sequentially checking whether the gas lump object originated in the mountain, whether it is an actual gas lump, that is, an intrinsic gas, or whether it was caused by a fire.
  • Figure 19 is an exemplary diagram of determining the origin of a gaseous object according to an embodiment of the present invention.
  • the processor 110-3 may set a narrow portion as the origin direction reference based on the horizontal width of the upper and lower portions of the gas bundle object within the photographed data.
  • the processor 110-3 may determine that the gas lump object originated from a mountain when the entire border of the gas lump object is included in the first area.
  • the processor 110-3 determines that, when the edge of the gas cloud object is in contact with the boundary line between the first area and the second area and the origin direction reference is located on the first area, the gas lump object is generated in the mountain. It can be judged that Since gas has the characteristic of diffusing as it rises, it can be seen as occurring at the point where it is least diffused.
  • Figures 20 and 21 are exemplary diagrams for determining whether a gas lump object is truly a gas according to an embodiment of the present invention.
  • the processor 110-3 obtains information about wind direction and wind speed from an air volume meter installed on the mountain in order to determine whether the gas mass object is a stain or a true gas such as smoke or fog. Receives, derives the first object center where the first longest horizontal width and first longest vertical width of the gas bundle object meet at the first time point, and at the second time point when a preset time has elapsed from the first time point, the gas bundle object It is possible to derive the second object center where the second longest horizontal width and the second longest vertical width meet.
  • the processor 110-3 extracts a gas lump object by analyzing the image of the object captured by the camera, and when it is determined that the gas lump object is truly a gas, it can receive thermal image data from the camera. .
  • the processor 110-3 compares a preset first center movement distance on the angle of the camera with a second center movement distance between the first object center and the second object center on the angle of the camera based on the wind speed, By comparing the wind direction and the direction of the second center movement distance, the direction of the second center movement distance is within the wind direction and a preset first error range, and the second center movement distance is within the first center movement distance and the preset first error range. 2 If it is within the error range, the gas mass object can be judged to be a true gas such as smoke or fog.
  • the first center movement distance may be set as the average movement distance of the gas bundle object depending on the wind speed based on the entire collected database.
  • the first error range and the second error range may be arbitrarily set by the operator and may be set to 10%, 20%, etc.
  • the processor 110-3 moves the longest distance.
  • the gas diffusion change rate is included within the standard diffusion change rate preset to correspond to the diffusivity of smoke or fog based on wind speed and the preset third error range, the gas bundle object is considered to be a true gas such as smoke or fog. You can judge.
  • the reference diffusion change rate can be set as the average gas diffusion change rate of the gas bundle object depending on the wind speed based on the entire collected database.
  • the third error range may be arbitrarily set by the operator and may be set to 10%, 20%, etc.
  • Figure 22 is an example diagram of determining whether a gas mass object was caused by a fire according to an embodiment of the present invention.
  • thermal image data is received from the camera, and it is determined whether the gaseous object is caused by a fire based on the thermal image data.
  • the processor 110-3 in order to determine whether the gas bundle object is caused by a fire, includes the gas bundle object in the shooting data and determines the longest horizontal width and longest vertical width of the gas bundle object. Create a first block each having a horizontal and vertical length, divide the first area into a plurality of second blocks having the same size as the first block, and divide the second area into a plurality of second blocks having the same size as the first block. It can be divided into a third block.
  • blocks can be placed first based on the boundary line between the first area and the second area, and blocks adjusted according to the size of the remaining part can be placed.
  • the processor 110-3 derives the first maximum temperature in the first block based on the thermal image data, derives the second maximum temperature for each of the second blocks based on the thermal image data, and calculates the second maximum temperature for each of the second blocks based on the thermal image data.
  • a first average value corresponding to the average value of temperature can be calculated, a third maximum temperature can be derived for each of the third blocks based on the thermal image data, and a second average value corresponding to the average value of the third maximum temperature can be calculated.
  • the processor 110-3 determines that the gas bundle object is caused by a fire when the first maximum temperature exceeds the preset first critical temperature, and compares the first maximum temperature and the first average value to determine the first maximum temperature and the first average value. 1 If the difference between the maximum temperature and the first average value is within the preset fourth error range, the possibility of a large-scale forest fire is determined to be high, and information indicating that a fire has occurred is sent to the preset related agency or control center and the user terminal 200. It can be sent to .
  • the first critical temperature may be set as the average value of the air temperature at a point 20m above the point where the fire occurred when a fire occurred.
  • the temperature of a fire starts at at least 500 degrees, but as it spreads through the air, the temperature may drop somewhat. Therefore, it can be set as described above to detect fire on a captured image. For example, it may be set to 100 degrees.
  • the fourth error range may be arbitrarily set by the operator and may be set to 10%, 20%, etc.
  • the processor 110-3 determines that it is a local fire when the difference between the first maximum temperature and the first average value is outside the fourth error range, and transmits a control command to photograph the source point to the drone. , drone shooting data captured by the drone can be transmitted to the user terminal 200.
  • the processor 110-3 determines the first maximum temperature, the first average value, and the second threshold temperature. Compare the average values, and if the difference between the first maximum temperature and the first average value and the second average value is within the fourth error range, it is determined that the temperature rise is due to the weather, and the judgment result can be transmitted to the user terminal 200. there is.
  • the second critical temperature may be arbitrarily set by the operator, for example, 50 degrees.
  • the processor 110-3 determines that the possibility of a fire is high when the first maximum temperature and the first average value are within the fourth error range, and the first maximum temperature and the second average value are outside the fourth error range. , a control command can be transmitted to the drone to photograph the source point, and drone photographing data captured by the drone can be transmitted to the user terminal 200.
  • Figure 23 is a flowchart of an edge artificial intelligence-based forest fire precision detection and response method according to an embodiment of the present invention.
  • the edge artificial intelligence-based forest fire precision detection and response method can receive shooting data from a camera installed on a mountain (S301).
  • the edge artificial intelligence-based forest fire precision detection and response method can extract gaseous objects by analyzing the shooting data through an artificial intelligence module (S303).
  • the edge artificial intelligence-based forest fire precision detection and response method can analyze the shooting data and the gaseous object to determine whether the gaseous object is caused by a fire (S305).
  • the edge artificial intelligence-based forest fire precision detection and response method can derive the source point of the gaseous object if it is determined that the gaseous object is caused by a fire (S307).
  • the edge artificial intelligence-based forest fire precision detection and response method can transmit the source point and fire determination result to the user terminal 200 (S309).
  • edge artificial intelligence-based forest fire precision detection and response method may be configured identically to the edge artificial intelligence-based forest fire precision detection and response device 100-3 disclosed in FIGS. 16 to 22. You can.
  • 24 is a diagram schematically showing a traffic accident analysis system according to an embodiment of the present disclosure.
  • the traffic accident analysis system 100-4 includes a camera 112-4, a video monitoring device 114-4, a management server 120-4, and a database (DB) 130-4. ) and a user terminal 200.
  • the camera 112-4 is installed on the smart pole 110-4 to capture various traffic images occurring on the road.
  • the camera 112-4 is, for example, a device capable of capturing still images and moving images, and according to one embodiment, it may include one or more image sensors, a lens, an image signal processor (ISP), or a flash (e.g., an LED or xenon lamp, etc.) may be included.
  • the camera 112-4 may generate a road traffic image signal corresponding to the input external image and output it to the video surveillance device 114-4.
  • the image of the camera 112-4 used in the present disclosure is a road traffic image installed on the smart pole 110-4 and captured from above, and information about a wider space can be obtained than the black box image of a vehicle.
  • the video surveillance device 114-4 may also be installed on the smart pole 110-4, and may detect on the road, including vehicle accidents, the appearance of pedestrians, or a combination thereof, from road traffic images captured by the camera 112-4. Traffic accidents that occur can be monitored.
  • the video monitoring device 114-4 calculates the distance and angle from the camera 112-4 image to the vehicle through planar processing of the video at the time of a traffic accident, generates a planar traffic accident image, and provides it to the management server 120-4. can do. Meanwhile, the video monitoring device 114-4 may compare the two-dimensional traffic accident image with a standard traffic accident image to determine how similar the two-dimensional traffic accident image is to at least one of the standard traffic accident images.
  • the management server 120-4 may manage traffic accident-related images along with road traffic images received from each video surveillance device 114-4 installed in the plurality of smart poles 110-4.
  • the management server 120-4 may store images related to traffic accidents along with received road traffic images in the database 130-4.
  • a number of standard traffic accident images may be stored in the database 130-4. Accordingly, the database 130-4 may store a large number of standard traffic accident information and a large number of actual traffic accident images.
  • standard traffic accident information is traffic accident data provided by the Road Traffic Authority, etc. and may include fault ratios established by court precedents, etc.
  • the user terminal 140-4 is an electronic device for displaying the similarity of the actual traffic accident video, for example, the accident type and cause of the accident, and receives the actual traffic accident video from the video surveillance device 114-4 or the management server 120-4. Traffic accident images and standard traffic accident images similar to the actual traffic accident images can be received and displayed, and the similarity and error ratio can be displayed.
  • the user terminal 140-4 may be an electronic device of the non-life insurance association or an electronic device of the person involved in the accident.
  • the traffic accident analysis system may be a video surveillance device 114-4 or a management server 120-4.
  • the management server 120-4 and the database 130-4 are shown separately, but the functions of the database may be implemented in the management server 120-4.
  • FIG. 25 is a block diagram illustrating a case where the video surveillance device or management server shown in FIG. 24 operates as a general electronic device.
  • the electronic device 200-4 includes a bus 210-4, a processor 220-4, a memory 230-4, an input/output interface 250-4, a display 260-4, and a communication interface 270-4. 4) may be included. In some embodiments, the electronic device 200-4 may omit at least one of the components or may additionally include another component.
  • the bus 210-4 connects the components 220-4 to 270-4 to each other and may include a circuit that transfers communication (eg, control messages or data) between the components.
  • the processor 220-4 may include one or more of a central processing unit, an application processor, or a communication processor (CP). For example, the processor 220-4 may perform operations or data processing related to control and/or communication of at least one other component of the electronic device 200-4.
  • Memory 230-4 may include volatile and/or non-volatile memory.
  • the memory 230-4 may store commands or data related to at least one other component of the electronic device 200-4.
  • the memory 230-4 may store software and/or programs 240-4.
  • Program 240-4 may include, for example, kernel 241-4, middleware 243-4, application programming interface (API) 245-4, and/or application program (or “application”) ( 247-4), etc.
  • API application programming interface
  • application or “application”
  • the kernel 241-4 for example, executes operations or functions implemented in other programs (e.g., middleware 243-4, API 245-4, or application program 247-4).
  • System resources e.g., bus 210-4, processor 220-4, or memory 230-4, etc.
  • the kernel 241-4 saves system resources by accessing individual components of the electronic device 200-4 in the middleware 243-4, API 245-4, or application program 247-4.
  • An interface that can be controlled or managed can be provided.
  • the middleware 243-4 may, for example, perform an intermediary role so that the API 245-4 or the application program 247-4 can communicate with the kernel 241-4 to exchange data. Additionally, the middleware 243-4 may process one or more work requests received from the application program 247-4 according to priority.
  • the middleware 243-4 may include system resources (e.g., bus 210, processor 220-4, or memory) of the electronic device 200-4 to at least one of the application programs 247-4. 230-4), etc.) can be given a priority to use, and the one or more work requests can be processed.
  • the API 245-4 is an interface for the application 247-4 to control functions provided by the kernel 241-4 or middleware 243-4, for example, file control, window control, and image processing.
  • the input/output interface 250-4 for example, transmits commands or data input from a user or other external device to other component(s) of the electronic device 200-4, or Commands or data received from other component(s) of ) can be output to the user or other external device.
  • Display 260-4 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or electronic paper. May include a display.
  • the display 260-4 may display various contents (e.g., text, images, videos, icons, and/or symbols, etc.) to the user.
  • the display 260-4 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of the user's body.
  • the communication interface 270-4 may establish communication with, for example, another electronic device (not shown).
  • the communication interface 270-4 may be connected to a network and communicate with other electronic devices through wireless or wired communication.
  • wireless communication is, for example, LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), Wireless Broadband (WiBro), or GSM ( It may include cellular communication using at least one of the Global System for Mobile Communications).
  • wireless communication is, for example, WiFi (wireless fidelity), Bluetooth, Bluetooth Low Energy (BLE), Zigbee, near field communication (NFC), Magnetic Secure Transmission, radio.
  • wireless communication may include at least one of frequency (RF) or body area network (BAN).
  • wireless communication may include GNSS.
  • GNSS may be, for example, Global Positioning System (GPS), Global Navigation Satellite System (Glonass), Beidou Navigation Satellite System (hereinafter “Beidou”), or Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Wired communication may include, for example, at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), power line communication, or plain old telephone service (POTS).
  • Network 262-4 may include at least one of a telecommunications network, for example, a computer network (e.g., a LAN or WAN), the Internet, or a telephone network.
  • FIG. 26 is a detailed block diagram of a traffic accident analysis system according to an embodiment of the present disclosure
  • FIG. 27 is a two-dimensional image by type and/or situation of a standard traffic accident according to an embodiment of the present disclosure.
  • 28 and 29 are diagrams showing examples of matching camera images to Naver maps according to an embodiment of the present disclosure
  • FIG. 30 is an actual traffic accident situation according to an embodiment of the present disclosure.
  • This is a diagram showing an example of estimating a standard traffic accident type
  • FIG. 31 is a diagram showing an example of displaying a standard traffic accident estimation result of an actual traffic accident situation according to an embodiment of the present disclosure.
  • the traffic accident analysis system 100-4 may include a camera 112-4, a video monitoring device 114-4, and a management server 120-4.
  • the management server 120-4 may include a standard traffic accident information storage unit 310-4 and a data set construction unit 312-4.
  • the standard traffic accident information storage unit 310-4 stores a number of commonly used standard traffic accident information.
  • standard traffic accident information is traffic accident data provided by the Road Traffic Authority, etc., and may include fault ratios established by court precedents, etc. Examples of two-dimensional images for each type and/or situation of a standard traffic accident according to an embodiment of the present disclosure are shown in FIG. 27.
  • the processor 110-4 constructs a data set from standard traffic accident information, maps the image of the object of actual traffic accident information captured by a camera into a two-dimensional plan map, and creates a data set and By comparing the actual traffic accident information, standard traffic accident information similar to the actual traffic accident information can be estimated.
  • the data set construction unit 312-4 builds a data set to be used in the traffic accident estimation unit 330-4.
  • the data set construction unit 312-4 first uses images of standard traffic accident information to identify traffic accident types, for example, vehicle-to-vehicle (car and automobile), vehicle-to-person (car and pedestrian), vehicle-to-two-wheeled vehicle ( It is possible to classify the types of traffic accidents that can occur on the road, such as car and two-wheeled vehicle) and vehicle-to-bike (car and bicycle).
  • the data set construction unit 312-4 may perform labeling on traffic accident images using images classified by traffic accident type.
  • the labeling is a vehicle, it can be a car, truck, bus, or ambulance, and if it is a person, it can be an adult, elderly person, or child.
  • the data set construction unit 312-4 can use text data, which is explanatory material explaining the traffic accident, in addition to the traffic accident video.
  • the data set may include video and text.
  • the data set construction unit 312-4 can build a data set through comparison and evaluation with a large number of actual traffic accident data by introducing artificial intelligence modeling.
  • the video monitoring device 114-4 includes a road traffic information receiver 320-4, a road traffic information storage unit 322-4, a traffic accident identification unit 324-4, and a traffic accident information storage unit 326-4. , may include an omniscient expression unit 328-4 and a traffic accident estimation unit 330-4.
  • the road traffic information receiver 320-4 receives real-time road traffic images provided from the camera 112-4.
  • the road traffic information storage unit 322-4 stores road traffic images received from the road traffic information receiver 320-4. Images stored in the road traffic information storage unit 322-4 may be saved as new files at predetermined time intervals, for example, every two minutes. That is, the 2-minute video can be saved as a first file, the next 2-minute video can be saved as a second file, and the 2-minute video can be saved again as a third file. And you can delete the remaining files while keeping only the files from the previous two videos. Accordingly, the files stored in the road traffic information storage unit 322-4 may include two previous files and one file being recorded.
  • the traffic accident identification unit 324-4 identifies whether there is a traffic accident among the road traffic images being recorded. When a traffic accident is identified in the traffic accident identification unit 324-4, the traffic accident identification unit 324 transfers the traffic accident information stored in the road traffic information storage unit 322-4 to the traffic accident information storage unit. It can be copied and saved at (326-4). Traffic accident information stored in the traffic accident information storage unit 326-4 may be provided to the management server 120-4.
  • the omniscient expression unit 328-4 displays traffic accident information from the actual traffic accident information stored in the traffic accident information storage unit 326-4 in a predetermined period of time, for example, 1 to 5 seconds, from the identification of the accident vehicle to the occurrence of the accident. Converts images into omniscient expressions.
  • the omniscient expression unit 328-4 may first display circular distance lines at predetermined distance intervals, for example, 1 to 10 meter intervals, on the traffic accident image.
  • the circular distance line may be a value obtained in advance through an image obtained while installing the camera 112-4 on the smart pole 110-4.
  • the omniscient representation unit 328-4 can then display a bounding box using the borders of the identified objects.
  • the bounding box for the vehicle can be used to calculate the traveling direction and angle of the vehicle.
  • the omniscient expression unit 328-4 can then perform the task of matching the two-dimensional map and the actual location of the site.
  • the two-dimensional flat map may be a Naver map.
  • the omniscient representation unit 328-4 can display the accident image as an omniscient representation on a two-dimensional flat map for a predetermined period of time, for example, 1 to 5 seconds, from the identification of the accident vehicle to the occurrence of the accident.
  • a camera image is shown in FIG. 28 and an example of matching it to a Naver map is shown in FIG. 29.
  • the processor 220-4 can perform a situation determination operation, in which the processor 220-4 builds a data set through comparison and evaluation with a plurality of actual data and uses the constructed data set. This may include learning and estimating the similarity with the image of the object captured by the camera 112-4.
  • the traffic accident estimation unit 330-4 can estimate similar standard traffic accident information by learning actual traffic accident information using the standard traffic accident data set constructed in this way.
  • the traffic accident estimation unit 330-4 can estimate standard traffic accidents similar to the relevant traffic accident and their degree of similarity by learning on the actual traffic accident data set constructed from actual traffic accident information.
  • the processor 220-4 may apply a convolutional neural network to estimate the similarity with the image of the object captured by the camera 112-4.
  • the traffic accident estimation unit 330-4 can analyze the image by applying a convolutional neural network (CNN).
  • CNN consists of a part that extracts image features and a part that classifies images in a way that effectively recognizes and emphasizes features of adjacent images while maintaining the spatial information of the image.
  • the feature extraction region can be composed of a convolutional layer that uses filters to find features of the image while minimizing the number of shared parameters, and a pooling layer that strengthens and collects the features.
  • FIG. 30 A diagram illustrating an example of estimating a standard traffic accident type in an actual traffic accident situation according to an embodiment of the present disclosure is shown in FIG. 30.
  • the traffic accident estimation unit 330-4 compares the two-dimensional two-dimensional traffic accident image expressed in the omniscient expression unit 328-4 with the standard traffic accident image and compares the two-dimensional traffic accident image with at least one of the standard traffic accident images. You can estimate how similar they are.
  • a diagram showing an example of displaying a standard traffic accident estimation result of an actual traffic accident situation according to an embodiment of the present disclosure is shown in FIG. 31.
  • FIG. 32 is a flowchart of a traffic accident analysis method according to another embodiment of the present disclosure.
  • the data set construction unit 312-4 of the management server 120-4 collects data to be used in the traffic accident estimation unit 330-4 from a plurality of standard traffic accident information stored in the standard traffic accident information storage unit 310-4. Construct the set (S810). To this end, the data set construction unit 312-4 first uses images of standard traffic accident information to identify traffic accident types, for example, vehicle-to-vehicle (car and automobile), vehicle-to-person (car and pedestrian), vehicle-to-two-wheeled vehicle ( It is possible to classify the types of traffic accidents that can occur on the road, such as car and two-wheeled vehicle) and vehicle-to-bike (car and bicycle). The data set construction unit 312-4 may perform labeling on traffic accident images using images classified by traffic accident type.
  • traffic accident types for example, vehicle-to-vehicle (car and automobile), vehicle-to-person (car and pedestrian), vehicle-to-two-wheeled vehicle ( It is possible to classify the types of traffic accidents that can occur on the road, such as car and two-wheeled
  • the labeling is a vehicle, it can be a car, truck, bus, or ambulance, and if it is a person, it can be adults, seniors, and children.
  • the data set construction unit 312-4 can use text data, which is explanatory material explaining the traffic accident, in addition to the traffic accident video.
  • the data set may include video and text.
  • the road traffic information receiver 320-4 of the video monitoring device 114-4 receives real-time road traffic images provided from the camera 112-4 (S820).
  • the road traffic information storage unit 322-4 stores the road traffic image received from the road traffic information receiver 320-4 (S830). Images stored in the road traffic information storage unit 322-4 may be saved as new files, for example, every two minutes.
  • the traffic accident identification unit 324-4 identifies whether there is a traffic accident among the road traffic images being recorded (S840). When a traffic accident is identified in the traffic accident identification unit 324-4, the traffic accident identification unit 324-4 uses the traffic accident information stored in the road traffic information storage unit 322-4 to traffic accident information. Copy and store it in the storage unit 326-4 (S850). Traffic accident information stored in the traffic accident information storage unit 326-4 may be provided to the management server 120-4.
  • the omniscient expression unit 328-4 displays traffic accident information from the actual traffic accident information stored in the traffic accident information storage unit 326-4 in a predetermined period of time, for example, 1 to 5 seconds, from the identification of the accident vehicle to the occurrence of the accident. Convert the image into omniscient expression (S860).
  • the omniscient expression unit 328-4 may first display circular distance lines at predetermined distance intervals, for example, 1 to 10 meter intervals, on the traffic accident image.
  • the circular distance line may be a value obtained in advance through an image obtained while installing the camera 112-4 on the smart pole 110-4.
  • the omniscient representation unit 328-4 can then display a bounding box using the borders of the identified objects.
  • the bounding box for the vehicle can be used to calculate the traveling direction and angle of the vehicle.
  • the omniscient expression unit 328-4 can then perform the task of matching the two-dimensional map and the actual location of the site.
  • the two-dimensional flat map may be a Naver map.
  • the vehicle location in the traffic accident image can be mapped onto a two-dimensional plan map considering the distance and angle from the smart pole 110-4.
  • the omniscient representation unit 328-4 can display the accident image as an omniscient representation on a two-dimensional flat map for a predetermined period of time, for example, 1 to 5 seconds, from the identification of the accident vehicle to the occurrence of the accident.
  • the traffic accident estimation unit 330-4 learns actual traffic accident information using the standard traffic accident data set constructed in this way to estimate similar standard traffic accident information (S870).
  • the traffic accident estimation unit 330-4 can estimate standard traffic accidents similar to the relevant traffic accident and their degree of similarity by learning on the actual traffic accident data set constructed from actual traffic accident information.
  • the traffic accident estimation unit 330-4 can analyze the image by applying a convolutional neural network (CNN).
  • CNN consists of a part that extracts image features and a part that classifies images in a way that effectively recognizes and emphasizes features of adjacent images while maintaining the spatial information of the image.
  • the feature extraction region can be composed of a convolutional layer that uses filters to find features of the image while minimizing the number of shared parameters, and a pooling layer that strengthens and collects the features.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate array (FPGA). ), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, and may be implemented using one or more general-purpose or special-purpose computers.
  • a processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate array (FPGA). ), a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, and may be implemented using one or more general-purpose or special-purpose computers.
  • a processing device may execute an operating system (OS) and one or more software applications that run on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Emergency Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서, 메모리; 프로세서; 및 카메라;를 포함하고, 상기 프로세서는 이미지 처리 기반의 인공지능 모델을 직접 처리하고, 상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 이미지 처리 기반의 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고, 상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 관한 것이다.

Description

에지 AI 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템
본 발명은 에지 AI 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템에 관한 것이다.
연안에서는 다양한 원인으로 사고가 발생할 가능성이 크다. 이에, 카메라 등을 통하여 사람이 현재 위험한 상태인지 즉각적으로 판단할 수 있는 시스템이 필요하다.
이에 본 발명에서는 인공지능을 통하여 사람을 식별하되, 사람의 형상인 물건이 아닌 움직이는 실제 사람인지를 식별할 수 있는 기술을 제안하고자 한다.
최근에는 건물 내의 주차장을 해당 건물의 입주자 또는 방문자에 한정하지 않고, 모든 사용자에게 공유함으로써, 사용자들은 주차공간을, 해당 건물의 관리자는 여유의 주차공간을 가지고 수익을 얻곤 한다.
이에 본 발명에서는, 주차공간의 예약정보에 기초하여 해당 차량을 안내할 수 있는 장치 및 방법을 제안하고자 한다.
종래의 산불 감지는 산을 감시하는 일반적인 CCTV를 통해 사람이 직접 확인하는 방법으로 이루어졌다. 그에 따라, 즉각적인 산불확인이 어려울 수 있고, 모든 CCTV를 사람이 확인하기란 실질적으로 불가능에 가까웠다.
이에, 본 발명에서는 인공지능을 통하여 산불을 감지하되, 산불과 같이 응급한 상황에서 데이터의 전송 속도에 따른 시간의 지연이 발생하지 않도록 에지(Edge) AI가 적용된 기술을 제안하고자 한다.
자동차 수의 증가에 따라 교통사고의 발생률이 현저히 증가하고 있다. 따라서 사고와 관련된 객관적인 사실 규명을 통해 사고의 책임 소재를 명확히 하는 것이 중요해지고 있다. 일반적으로 교통사고가 발생하면 과실 책임 여부 및 과실 비율이 당사자 간에 합의에 의하거나 또는 경찰이 출동하여 사고 상황을 점검 및 기록하면서 사고 당시의 상황을 판단하여 과실 책임 여부 및 과실 비율을 정한다. 그러나 이러한 방법은 교통사고 상황에 대해 정확한 분석이 이루어지지 않고 사고 당사자나 경찰관 등의 주관적인 판단에 의존하는 문제점이 있다.
이러한 문제점을 개선하기 위해, 블랙박스 영상을 유사한 사고 영상들과의 비교를 통해 과실 비율을 판정하는 사고 영상 분석 시스템 및 이를 이용한 분석 방법이 특허문헌 1에 개시되어 있다. 하지만, 특허문헌 1에 개시된 발명은 블랙박스 영상으로 인하여 공간적으로 제한된 영상이 이용되고 아울러 표준 교통사고 정보를 활용할 수 없다는 문제점이 여전히 있다.
아울러, 현재 기설치되어 운영 중인 영상 감시 장치는 실시간 도로 영상의 분석을 통한 교통 정보 제공은 진행되고 있지만, 실시간 교통사고에 따른 교통사고 현황 분석 등은 이루어지지 않고 있다.
본 발명의 일 실시 예는 에지 AI 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치를 제공하는 것이다.
본 발명의 일 실시 예는 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시 예는 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법을 제공하는 것이다.
상술한 문제점을 해결하기 위해, 본 발명은 실제 교통사고 정보를 표준 교통사고 정보에 근거하여 유사도를 추정하는 교통사고 분석 시스템 및 방법을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 대상연안에 설치된 카메라로부터 촬영이미지를 수신하고, 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별하고, 상기 사람이 식별된 위치 및 시간에 기초하는 위험도에 기초하여, 상기 사람이 위험한 상황인지 여부를 판단하고, 상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력하고, 상기 전자 장치를 운영하는 운영자가 사용하는 운영자 단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다.
이때, 상기 프로세서는, 날씨정보를 기반으로 안개 등 시야확보가 어려운 날씨이거나, 야간에는 상기 카메라가 열화상카메라로 동작하도록 제어할 수 있다.
이때, 상기 프로세서는, 상기 촬영이미지를 기설정된 제1 블록크기의 복수개의 블록으로 구분하고, 인공지능모듈을 통하여 상기 복수개의 블록을 대상으로 순차적으로 객체검출프로세스를 진행하여, 상기 사람을 식별할 수 있다.
이때, 상기 프로세서는, 식별하고자 하는 객체의 제1 크기를 수신하고, 상기 제1 크기와 상기 카메라의 앵글을 기반으로 상기 촬영이미지에서 상기 객체가 존재하는 경우의 제2 크기를 도출하고, 상기 제2 크기를 포함하는 최소한의 정사각형태의 제2 블록크기를 도출하고, 상기 카메라의 앵글에 기반하여, 상기 앵글에서 기설정된 위험객체 및 위험지대가 차지하는 비율을 도출하고, 상기 제2 블록크기 및 상기 비율을 기반으로 상기 제1 블록크기를 설정할 수 있다.
이때, 상기 프로세서는, 식별된 사람이 위치한 제1 블록의 위험도가 기설정된 임계위험도를 초과하는 경우, 상기 사람이 위험한 상황인 것으로 판단할 수 있다.
이때, 상기 제1 블록의 위험도는, 상기 제1 블록 내부에 포함된 기설정된 위험객체 및 위험지대와 상기 대상연안의 날씨, 상기 사람이 식별된 시간대, 상기 제1 블록에서의 기설정된 시간동안의 제1 사람식별횟수를 기반으로 산출될 수 있다.
이때, 상기 제1 블록의 위험도는, 아래 수학식에 의하여 산출되되,
Figure PCTKR2023017998-appb-img-000001
RoR(Rate of Risk)는 상기 위험도를 의미하고, NoAPD(Number of Average Person Discrimination)는 상기 복수의 블록 중 사람이 1번 이상 식별된 제2 블록에서 기설정된 제1 기간에 식별된 사람 수의 평균값을 의미하고, NoPD(Number of Person Discrimination)는 제1 블록에서 기설정된 제1 기간동안 식별된 사람수를 의미하고, PoRO(Proportion of Risk Object)는 제1 블록에서 상기 위험객체 및 상기 위험지대가 차지하는 비율을 의미하고, FoT(Factor of Time)는 시간대별로 0 내지 5로 기할당된 시간위험계수 중 상기 사람이 식별된 시간대에 해당하는 시간위험계수를 의미하고, FoW(Factor of Weather)는 날씨별로 0 내지 5로 기할당된 날씨위험계수 중 상기 대상연안의 날씨에 해당하는 날씨위험계수를 의미할 수 있다.
이때, 상기 객체검출프로세스는, 상기 블록에서 사람의 외형과 매칭되는 제1 사람객체를 추출하고, 상기 제1 사람객체가 포함되는 제3 블록을 생성하고, 상기 제3 블록의 중심을 기준으로 가상의 가로선을 생성하여 상단부와 하단부를 구분하고, 상기 상단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 상단부에서 상기 제1 사람객체의 가장 좌측점을 제1 포인트로 설정하고, 상기 제1 포인트와 상기 세로선이 수직하는 점을 상부기준포인트로 설정하고, 상기 제1 포인트 및 상기 상부기준포인트가 설정된 시점을 제1 시점으로 설정하고, 상기 제1 포인트와 상기 상부기준포인트를 연결하는 제1 기준선을 생성하고, 상기 제1 시점에서 기설정된 시간간격이 경과된 제2 시점에 상기 제1 포인트와 상기 상부기준포인트을 연결하는 제1 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제1 기준선과 상기 제1 변화선의 제1 각도를 도출하고, 상기 상단부에서 상기 제1 사람객체의 가장 우측점을 제2 포인트로 설정하고, 상기 제1 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 기준선을 생성하고, 상기 제2 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 변화선을 생성하고, 상기 상부기준포인트를 기준으로 제2 기준선과 제2 변화선의 제2 각도를 도출하고, 제1 각도와 제2 각도의 차이를 기반으로 상단변화량을 추출하고, 상기 하단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 하단부에서 상기 제1 사람객체의 가장 좌측점을 제3 포인트로 설정하고, 제3 포인트와 상기 세로선이 수직하는 점을 하부기준포인트로 설정하고, 제1 시점에 제3 포인트와 상기 하부기준포인트를 연결하는 제3 기준선을 생성하고, 제2 시점에 제3 포인트와 상기 하부기준포인트을 연결하는 제3 변화선을 생성하고, 하부기준포인트를 기준으로 제3 기준선과 상기 제3 변화선의 제3 각도를 도출하고, 상기 하단부에서 제1 사람객체의 가장 우측점을 제4 포인트로 설정하고, 제1 시점에 제4 포인트와 상기 하부기준포인트를 연결하는 제4 기준선을 생성하고, 제2 시점에 제4 포인트와 상기 하부기준포인트를 연결하는 제4 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제4 기준선과 상기 제4 변화선의 제4 각도를 도출하고, 상기 제3 각도와 상기 제4 각도의 차이를 기반으로 하단변화량을 추출하고, 상기 상단변화량이 기설정된 기준상단변화량과 기설정된 오차범위내에 포함되고, 상기 하단변화량이 기설정된 기준하단변화량과 상기 오차범위내에 포함되는 경우, 상기 제1 사람객체를 사람으로 식별할 수 있다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 주차장의 출입구에 설치된 제1 카메라로부터 진입하는 차량의 식별정보를 수신하고, 상기 식별정보에 대응하여, 예약시간 및 예약주차자리에 대한 예약정보를 확인하고, 상기 주차장의 내부에 설치된 복수개의 제2 카메라로부터 상기 차량의 위치를 확인하고, 상기 주차장의 출입구의 위치 및 상기 예약주차자리를 기반으로 경로정보를 생성하고, 상기 차량의 위치 및 상기 경로정보를 기반으로 안내정보를 생성하고, 상기 안내정보를 상기 차량을 운행하는 사용자단말에게 제공할 수 있다.
이때, 상기 프로세서는, 상기 복수개의 제2 카메라 중에서 상기 차량이 촬영되고 있는 제3 카메라의 차량영상을 도출하고, 상기 제3 카메라의 위치 및 상기 차량영상을 기반으로 상기 차량의 위치를 확인하고, 상기 경로정보를 기반으로 상기 차량의 위치, 상기 제3 카메라의 위치 및 상기 제3 카메라의 앵글에 대응하는 증강현실이미지를 생성하고, 상기 차량영상에 상기 증강현실이미지를 중첩하여 상기 안내정보를 생성할 수 있다.
이때, 상기 증강현실이미지는, 상기 차량영상에서 상기 차량의 위치를 기반으로 상기 경로정보 상 어느 위치로 가야할 지에 대한 화살표이미지일 수 있다.
이때, 상기 프로세서는, 상기 주차장의 주차자리별로 고유의 식별ID를 할당하고, 상기 차량영상을 기반으로 상기 차량의 최종주차자리를 도출하고, 상기 최종주차자리에 해당하는 제1 식별ID와 상기 예약주차자리에 해당하는 제2 식별ID를 비교하여, 상기 차량이 예약주차자리에 주차한 것인지 확인할 수 있다.
이때, 상기 프로세서는, 상기 차량의 최종주차자리가 상기 예약주차자리와 다른 경우, 상기 사용자단말로 상기 최종주차자리가 상기 예약주차자리와 상이함을 나타내는 정보 및 상기 예약주차자리에 대한 경로정보를 송신하고, 기설정된 시간이 경과된 이후에도 상기 최종주차자리가 상기 예약주차자리가 다른 경우, 상기 예약정보에 대응하는 예약주차비용에 기설정된 제1 할증정보가 반영된 제1 할증비용을 생성하여 상기 사용자단말로 송신하고, 상기 차량이 상기 예약시간을 초과하여 상기 예약주차자리에 위치하는 경우, 초과된 시간에 대응하는 제1 주차비용을 산출하고, 상기 제1 주차비용에 기설정된 제2 할증정보가 반영된 제2 할증비용을 생성하여 상기 사용자단말로 송신할 수 있다.
이때, 상기 예약주차비용은 사용자단말로부터 수신된 상기 예약시간, 기설정된 시간당 기본주차요금, 시간별로 차등적으로 기설정된 시간차등지수 및 상기 예약주차자리와 주차장 주차자리별로 차등적으로 기설정된 위치차등지수를 기반으로 산출될 수 있다.
이때, 상기 예약주차비용은, 아래 수학식에 의하여 산출되되,
Figure PCTKR2023017998-appb-img-000002
RPF(Reservation Parking Fee)는 상기 예약주차비용을 의미하고, IoPS(Index of Parking Space)는 상기 예약주차자리에 해당하는 주차자리의 위치차등지수를 의미하고, SPF(Standard Parking Fee)는 기설정된 시간당 기본주차요금을 의미하고, IoT(Index of Time)_n은 상기 예약시간 중에 n번째 시간에 해당하는 시간차등지수를 의미하고, k는 상기 예약시간에 포함되는 전체 시간(Hour)을 의미할 수 있다.
이때, 상기 시간차등지수는, 아래 수학식에 의하여 산출되되,
Figure PCTKR2023017998-appb-img-000003
NoOPS(Number of Occupied Parking Space)는 n번째 시간에 상기 주차장 내부에 주차되어 있는 차량의 평균수를 의미하고, NoTPS(Number of ToTal Parking Space)는 상기 주차장의 전체 주차자리의 수를 의미하고, NoD(Number of Departures)_n은 n번째 시간에 상기 주차장에서 출차한 차량의 수를 의미하고, NoE(Number of Entrances)_n은 n번째 시간에 상기 주차장에 입차한 차량의 수를 의미할 수 있다.
이때, 상기 위치차등지수는, 아래 수학식에 의하여 산출되되,
Figure PCTKR2023017998-appb-img-000004
NoSPS(Number of Selection of Parking Space)는 기설정된 기간동안 전체 사용자들이 상기 예약주차자리에 해당하는 주차자리를 예약하고자 선택한 횟수를 의미하고, NoASPS(Number of Average Selection of Parking Space)는 기설정된 기간동안 전체 사용자들이 상기 주차장의 전체 주차자리에 대하여 예약하고자 선택한 횟수의 평균을 의미할 수 있다.
이때, 상기 프로세서는, 상기 차량의 식별정보가 기설정된 임시정차차량에 해당하는 경우, 상기 주차장 내에서 기설정된 임시정차자리를 상기 차량의 상기 예약주차자리로 설정할 수 있다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 산에 설치된 카메라로부터 촬영데이터를 수신하고, 인공지능모듈을 통해, 상기 촬영데이터를 분석하여 기체뭉치객체를 추출하고, 상기 촬영데이터 및 상기 기체뭉치객체를 분석하여 상기 기체뭉치객체가 화재에 의한 것인지 판단하고, 상기 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 상기 기체뭉치객체의 발원지점을 도출하고, 상기 발원지점과 화재판단결과를 운영자단말로 송신할 수 있다.
이때, 상기 프로세서는, 상기 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 기설치된 드론으로 상기 발원지점을 촬영하도록 제어명령을 송신하고, 상기 드론에 의하여 촬영된 드론촬영데이터를 상기 운영자단말로 송신할 수 있다.
이때, 상기 프로세서는, 상기 촬영데이터에서 산에 해당하는 제1 영역과 그 외의 영역에 해당하는 제2 영역으로 구분하고, 상기 촬영데이터 내에서 상기 기체뭉치객체의 상단부와 하단부의 가로폭을 기준으로 가로폭이 좁은 부분을 발원방향기준으로 설정하고, 상기 기체뭉치객체의 테두리가 상기 제1 영역에 모두 포함되는 경우, 상기 기체뭉치객체가 산에서 발생한 것으로 판단하고, 상기 기체뭉치객체의 테두리가 상기 제1 영역과 상기 제2 영역의 경계선에 접하면서, 상기 발원방향기준이 상기 제1 영역 쪽에 위치하는 경우, 상기 기체뭉치객체가 산에서 발생한 것으로 판단하고, 상기 기체뭉치객체가 산에서 발생한 것으로 판단되는 경우, 상기 기체뭉치객체가 얼룩인지 연기 또는 안개와 같은 진정 기체인지 판단하고, 상기 기체뭉치객체가 연기 또는 안개와 같은 진정 기체로 판단되는 경우, 상기 카메라로부터 열화상데이터를 수신하고, 상기 열화상데이터를 기반으로 상기 기체뭉치객체가 화재에 의한 것인지 판단할 수 있다.
이때, 상기 프로세서는, 상기 기체뭉치객체가 얼룩인지 연기 또는 안개와 같은 진정 기체인지 판단하기 위하여, 상기 산에 설치된 풍량계로부터 풍향 및 풍속에 관한 정보를 수신하고, 제1 시점에 상기 기체뭉치객체의 제1 최장가로폭과 제1 최장세로폭이 만나는 제1 객체중심을 도출하고, 상기 제1 시점보다 기설정된 시간이 경과된 제2 시점에 상기 기체뭉치객체의 제2 최장가로폭과 제2 최장세로폭이 만나는 제2 객체중심을 도출하고, 상기 풍속에 기반하여 상기 카메라의 앵글상에서 기설정된 제1 중심이동거리와 상기 카메라의 앵글상에서 상기 제1 객체중심과 상기 제2 객체중심의 제2 중심이동거리를 비교하고, 상기 풍향과 상기 제2 중심이동거리의 방향을 비교하여, 상기 제2 중심이동거리의 방향이 상기 풍향과 기설정된 제1 오차범위내에 포함되고, 상기 제2 중심이동거리가 상기 제1 중심이동거리와 기설정된 제2 오차범위내에 포함되는 경우, 상기 기체뭉치객체가 연기 또는 안개와 같은 진정 기체인 것으로 판단하고, 상기 제2 중심이동거리의 방향이 상기 풍향과 상기 제1 오차범위내에 포함되되, 상기 제2 중심이동거리가 상기 제1 중심이동거리와 상기 제2 오차범위 밖인 경우, 최장가로폭 또는 최장세로폭 중 상기 풍향과 가까운 하나를 선택하고, 선택된 상기 제1 최장가로폭 또는 상기 제1 최장세로폭과 대응되는 상기 제2 최장가로폭 또는 상기 제2 최장세로폭과의 비율에 상응하는 기체확산변화율을 도출하고, 상기 기체확산변화율이 상기 풍속에 기반하여 연기 또는 안개의 확산도에 상응하도록 기설정된 기준확산변화율과 기설정된 제3 오차범위내에 포함되는 경우, 상기 기체뭉치객체가 연기 또는 안개와 같은 진정 기체인 것으로 판단할 수 있다.
이때, 상기 프로세서는, 상기 기체뭉치객체가 화재에 의한 것인지 판단하기 위하여, 상기 촬영데이터에서 상기 기체뭉치객체가 포함되되 상기 기체뭉치객체의 최장가로폭과 최장세로폭을 각각 가로길이 및 세로길이로 하는 제1 블록을 생성하고, 상기 제1 영역을 상기 제1 블록과 동일한 크기를 가지는 복수의 제2 블록으로 분할하고, 상기 제2 영역을 상기 제1 블록과 동일한 크기를 가지는 복수의 제3 블록으로 분할하고, 상기 열화상데이터를 기반으로 상기 제1 블록에서 제1 최고온도를 도출하고, 상기 열화상데이터를 기반으로 상기 제2 블록 각각에 대하여 제2 최고온도를 도출하고 상기 제2 최고온도의 평균값에 상응하는 제1 평균값을 산출하고, 상기 열화상데이터를 기반으로 상기 제3 블록 각각에 대하여 제3 최고온도를 도출하고 상기 제3 최고온도의 평균값에 상응하는 제2 평균값을 산출하고, 상기 제1 최고온도가 기설정된 제1 임계온도를 초과하는 경우, 상기 기체뭉치객체가 화재에 의한 것으로 판단하되, 상기 제1 최고온도와 상기 제1 평균값을 비교하여, 상기 제1 최고온도와 상기 제1 평균값의 차이가 기설정된 제4 오차범위 내인 경우, 대형산불의 가능성이 높은 것으로 판단하여, 화재가 발생했음을 나타내는 정보를 기설정된 유관기관 또는 관제센터와 상기 운영자단말로 송신하고, 상기 제1 최고온도와 상기 제1 평균값의 차이가 상기 제4 오차범위 밖인 경우, 국소적인 화재인 것으로 판단하여, 상기 드론으로 상기 발원지점을 촬영하도록 제어명령을 송신하고, 상기 드론에 의하여 촬영된 드론촬영데이터를 상기 운영자단말로 송신하고, 상기 제1 최고온도가 상기 제1 임계온도 이하이고, 상기 제1 임계온도보다 낮게 기설정된 제2 임계온도를 초과하는 경우, 상기 제1 최고온도와 상기 제1 평균값 및 상기 제2 평균값을 비교하되, 상기 제1 최고온도와 상기 제1 평균값 및 상기 제2 평균값의 차이가 상기 제4 오차범위 내인 경우, 날씨에 의한 것으로 온도상승으로 판단하여, 판단결과를 상기 운영자단말로 송신하고, 상기 제1 최고온도와 상기 제1 평균값은 상기 제4 오차범위 내이고, 상기 제1 최고온도와 상기 제2 평균값은 상기 제4 오차범위 밖인 경우, 화재의 가능성이 높은 것으로 판단하여, 상기 드론으로 상기 발원지점을 촬영하도록 제어명령을 송신하고, 상기 드론에 의하여 촬영된 드론촬영데이터를 상기 운영자단말로 송신할 수 있다.
상술한 목적을 달성하기 위해, 본 개시의 일 실시 예에 따른 교통사고 분석 시스템은, 다수의 표준 교통사고 정보들로부터 각각의 표준 교통사고 데이터 셋을 구축하는 데이터 셋 구축부; 도로 위에서 촬영한 실제 교통사고 정보의 영상 데이터를 2차원의 평면 지도에 매핑하는 전지적 표현부; 및 상기 전지적 표현부에서 매핑된 실제 교통사고 정보와 상기 데이터 셋 구축부에서 구축된 각 표준 교통사고 데이터 셋을 비교하여 상기 실제 교통사고 정보와 유사한 표준 교통사고 정보를 추정하는 교통사고 추정부를 포함할 수 있다.
상기 데이터 셋 구축부는 각 표준 교통사고 정보로부터 교통사고의 유형을 분류하고 분류된 교통사고의 유형에 따른 라벨 링 을 수행하여 상기 각각의 표준 교통사고 데이터 셋을 구축할 수 있다.
상기 교통사고의 유형은 차대차, 차대사람, 차대이륜차 및 차대자전거를 포함할 수 있다.
상기 데이터 셋 구축부에서 구축된 데이터 셋은 표준 교통사고 정보의 영상 데이터뿐만 아니라 교통사고를 설명하는 설명자료인 텍스트 데이터를 포함하여 구축된 데이터 셋일 수 있다.
상기 전지적 표현부는 물체의 방향 및 각도를 식별하기 위해 상기 실제 교통사고 영상으로부터 물체의 테두리를 식별하여 바운딩 박스를 표시할 수 있다.
상기 전지적 표현부는 상기 실제 교통사고 영상에 소정의 거리 간격의 원형 거리 선을 표출하고, 표출된 원형 거리 선을 이용하여 상기 2차원의 평면 지도에 거리와 각도를 고려한 매핑을 수행할 수 있다.
상기 실제 교통사고 정보에는 교통사고 영상 당시의 교통신호등의 정보가 포함되어 있을 수 있다.
상기 교통사고 추정부는 영상의 공간 정보를 유지하면서 인접 영상과의 특징을 효과적으로 인식하고 강조하는 방식으로 이미지의 특징을 추출하는 부분과 이미지를 분류하는 부분으로 구성될 수 있다.
상기 교통사고 분석 시스템은 영상 감시 장치 및 관리 서버를 포함할 수 있고, 상기 영상 감시 장치는 상기 전지적 표현부 및 상기 교통사고 추정부를 포함할 수 있고, 상기 관리 서버는 상기 데이터 셋 구축부를 포함할 수 있다.
상기 영상 감시 장치의 상기 교통사고 추정부는 실제 교통사고 정보와 유사한 정황의 표준 교통사고 정보와 유사도를 사용자 단말기에 제공할 수 있다.
본 개시의 다른 실시 예에 따른 교통사고 분석 시스템에서의 교통사고 분석 방법은, 다수의 표준 교통사고 정보들로부터 각각의 표준 교통사고 데이터 셋을 구축하는 단계; 도로 위에서 촬영한 실제 교통사고 정보의 영상 데이터를 2차원의 평면 지도에 매핑하는 단계; 및 상기 매핑하는 단계에서 매핑된 실제 교통사고 정보와 상기 구축하는 단계에서 구축된 각 표준 교통사고 데이터 셋을 비교하여 상기 실제 교통사고 정보와 유사한 표준 교통사고 정보를 추정하는 단계를 포함할 수 있다.
본 과제를 해결하기 위해, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서, 메모리; 프로세서; 및 카메라;를 포함하고, 상기 프로세서는 이미지 처리 기반의 인공지능 모델을 직접 처리하고, 상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 이미지 처리 기반의 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고, 상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서, 메모리; 프로세서; 및 카메라;를 포함하고, 상기 프로세서는 이미지 처리 기반의 인공지능 모델을 독립적으로 처리하고, 상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 이미지 처리 기반의 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고, 상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서, 메모리; 프로세서; 및 카메라;를 포함하고, 상기 전자 장치는 네트워크 상의 중앙 제어 장치가 아니며 로컬에 설치되어 인공지능 기반의 제어 및/또는 처리를 구현할 수 있는 것이고, 상기 프로세서는 이미지 처리 기반의 인공지능 모델을 처리하고, 상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고, 상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 상기 카메라로부터 차량의 식별정보 및 차량의 위치정보를 수신하고, 상기 수신된 식별정보에 대응하여 상기 차량의 예약 정보를 확인하여 상기 차량의 경로정보 및/또는 안내정보를 생성하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 시스템에 있어서, 상기 카메라로부터 차량의 식별정보 및 차량의 위치정보를 수신하고, 상기 수신된 식별정보에 대응하여 상기 차량의 예약 정보를 확인하여 상기 차량의 경로정보 및/또는 안내정보를 생성하는 프로세서를 포함하는 제1 전자 장치, 제2 전자 장치, 및 제3 전자 장치를 포함하고, 상기 제1 전자 장치의 프로세서는 상기 제1 전자 장치의 카메라로부터 상기 차량의 정보를 수신하고, 상기 제2 전자 장치의 프로세서는 상기 제2 전자 장치의 카메라 및 상기 제3 전자 장치의 카메라로부터 상기 차량의 위치를 확인하고, 상기 제3 전자 장치의 카메라는 상기 차량이 촬영되는 영상을 도출하고, 상기 제3 전자 장치의 프로세서는 상기 도출된 영상을 기반으로 상기 차량의 최종 주차자리를 도출하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 시스템을 제공한다.
본 과제를 해결하기 위해, 상기 상황 판단 동작은, 상기 프로세서가 다수의 실제 데이터와 비교 및 평가를 통해 데이터 셋을 구축하고, 상기 구축된 데이터 셋을 이용하여 학습하고, 상기 카메라에서 촬영된 상기 객체의 영상과의 유사도를 추정하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 콘볼루션 신경망을 적용하여 상기 카메라에서 촬영된 상기 객체의 영상과의 유사도를 추정하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 상기 카메라에서 촬영된 상기 객체의 영상을 복수개의 블록으로 구분하고 상기 복수개의 블록을 대상으로 객체검출프로세스를 진행하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 상기 카메라가 열화상 카메라로 동작하도록 제어할 수 있는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 상기 객체검출프로세스를 통해 사람을 식별하고, 상기 식별된 사람이 위치한 블록의 위험도가 기설정된 임계위험도를 초과하면 사용자 단말로 상기 식별된 사람이 위험한 상황에 있음을 나타내는 정보를 송신하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 상기 카메라에서 촬영된 상기 객체의 영상을 분석하여 기체뭉치객체를 추출하고, 상기 기체뭉치객체가 진정 기체인 것으로 판단하는 경우, 상기 카메라로부터 열화상 데이터를 수신하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
본 과제를 해결하기 위해, 상기 프로세서는, 표준 교통사고 정보로부터 데이터 셋을 구축하고, 상기 카메라에서 촬영된 실제 교통사고 정보의 상기 객체의 영상을 2차원의 평면 지도로 매핑하여, 상기 데이터 셋과 상기 실제 교통사고 정보를 비교하여, 상기 실제 교통사고 정보와 유사한 상기 표준 교통사고 정보를 추정하는, 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치를 제공한다.
이와 같이 본 발명의 일 실시 예에 따르면, 에지 AI 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치를 제공할 수 있다.
이와 같이 본 발명의 일 실시 예에 따르면, 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법을 제공할 수 있다.
이와 같이 본 발명의 일 실시 예에 따르면, 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법을 제공할 수 있다.
상술한 구성에 의해, 본 발명은 실제 교통사고 정보를 표준 교통사고 정보에 근거하여 유사도를 추정함으로 분석함으로써 과실 책임 여부 및 과실 비율을 객관적으로 정할 수 있다.
본 발명은 또한, 2차원의 평면 지도에 실제 교통사고 정보의 영상 데이터를 매핑함으로써 교통사고를 평면적으로 분석할 수 있어 교통사고의 유형을 더욱 정확하게 추정할 수 있다.
본 발명은 또한, 교통사고의 예방, 진단, 대응 및 예측을 위한 기초 데이터로서 교통사고의 유형에 따른 데이터 셋을 구축함으로써 교통안전 솔루션의 안전 진단 및 예방이 가능하다.
도 1은 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 장치의 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따라 촬영이미지를 분할하는 예시도이다.
도 4는 본 발명의 일 실시 예에 따라 제1 블록크기을 생성하는 예시도이다.
도 5는 본 발명의 일 실시 예에 따라 날씨위험계수 및 시간위험계수의 예시표이다.
도 6은 본 발명의 일 실시 예에 따라 사람을 식별하는 예시도이다.
도 7은 본 발명의 객체검출프로세스의 또 다른 일실시 예의 개념도이다.
도 8은 본 발명의 객체검출프로세스의 또 다른 일실시 예의 개념도이다.
도 9는 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치의 개념도이다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다.
도 12는 본 발명의 일 실시 예에 따른 경로정보의 생성을 나타내는 도면이다.
도 13은 본 발명의 일 실시 예에 따라 차량의 위치를 확인하는 것을 나타내는 도면이다.
도 14는 본 발명의 일 실시 예에 따라 차량영상에 증강현실이미지가 중첩된 안내정보를 나타내는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법의 흐름도이다.
도 16은 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치의 개념도이다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치의 블록도이다.
도 18은 본 발명의 일 실시 예에 따른 촬영이미지의 예시도이다.
도 19는 본 발명의 일 실시 예에 따라 기체뭉치객체의 발원지를 판단하는 예시도이다.
도 20 및 도 21은 본 발명의 일 실시 예에 따라 기체뭉치객체가 진정 기체인지 판단하는 예시도이다.
도 22는 본 발명의 일 실시 예에 따라 기체뭉치객체가 화재에 의해 발생한 것인지 판단하는 예시도이다.
도 23은 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법의 흐름도이다.
도 24는 본 개시의 일 실시 예에 따른 교통사고 분석 시스템을 개략적으로 도시하는 도면이다.
도 25는 도 24에 도시된 영상 감시 장치 또는 관리 서버가 일반적인 전자 장치로서 동작하는 경우를 설명하기 위한 블록도를 도시하는 도면이다.
도 26은 본 개시의 또 하나의 실시 예에 따른 교통사고 분석 시스템의 블록도를 구체적으로 도시하는 도면이다.
도 27은 본 개시의 실시 예에 따른 표준 교통사고의 유형별 및/또는 상황별 2차원의 영상들의 예시를 도시하는 도면이다.
도 28 및 도 29는 본 개시의 실시 예에 따라 카메라 영상을 네이버 지도에 매칭하는 예시를 도시하는 도면이다.
도 30은 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 유형을 추정하는 예시를 도시하는 도면이다.
도 31은 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 추정 결과를 표시하는 예시를 도시하는 도면이다.
도 32는 본 개시의 또 하나의 다른 실시 예에 따른 교통사고 분석 방법의 흐름도를 도시하는 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에서 본 발명이 속하는 기술 분야에 익히 알려졌고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합하거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 그뿐만 아니라, 구성요소들 및 '~부'들은 장치 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 발명의 실시 예들을 구체적으로 설명함에서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
에지 AI 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치
도 1은 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 장치(100)의 개념도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 장치(100)는 객체의 정보에 기초하여 상황 판단 동작을 수행할 수 있다. 또한, 연안 사람 식별 및 재난 사전 경보 장치(100)는 네트워크상의 중앙 제어 장치가 아니며, 로컬에 설치되어 인공지능 기반의 제어 및/또는 처리를 구현할 수 있다. 구체적으로, 연안 사람 식별 및 재난 사전 경보 장치(100)는 연안에서 카메라로 사람을 식별하고 사람이 위험한 상황인지 여부를 판단하고, 판단결과에 기초하여 인접한 디스플레이 및 본 전자 장치(100)를 운영하는 운영자의 운영자 단말로 위험한 상황에 대한 경고를 제공할 수 있다.
한편, 연안 사람 식별 및 재난 사전 경보 장치(100)는 본 발명에서 '전자 장치(100)'로 호칭될 수도 있다.
이때, 운영자 단말은 통신 가능한 데스크톱 컴퓨터(desktop computer), 랩톱 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 내비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치(100)의 블록도 이다.
일 실시 예에 따른 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 또한, 전자 장치(100)는 프로세서(110), 메모리(120) 및 카메라를 포함할 수 있다. 프로세서(110)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.
프로세서(110)는 프로그램을 실행하고, 전자 장치(100)를 제어할 수 있다. 프로세서(110)에 의하여 실행되는 프로그램의 코드는 메모리(120)에 저장될 수 있다. 전자 장치(100)는 입출력 장치(미 도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이때, 프로세서(110)는, 대상연안에 설치된 카메라로부터 촬영이미지를 수신할 수 있다.
이때, 카메라는 일반적인 가시광선 카메라와 열화상 카메라가 병존하거나 두 가지 기능을 함께 수행할 수 있는 카메라일 수 있다. 즉, 프로세서(110)는 카메라가 열화상 카메라로 동작하도록 제어할 수 있다.
이때, 상기 프로세서(110)는, 날씨정보를 기반으로 안개 등 시야 확보가 어려운 날씨이거나, 야간에는 상기 카메라가 열화상카메라로 동작하도록 제어하여, 시야(가시광선)가 좋지 않은 상황에서도 사람을 식별할 수 있다.
또한, 상기 프로세서(110)는, 이미지 처리 기반의 인공지능 모델을 직접 처리할 수 있으며, 이미지 처리 기반의 인공지능 모델을 독립적으로 처리할 수 있다. 프로세서(110)는 카메라에서 촬영된 객체의 영상을 이미지 처리 기반의 인공지능 모델의 입력으로 하여 객체의 정보를 식별할 수 있다. 구체적으로, 프로세서(110)는 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별하고, 상기 사람이 식별된 위치 및 시간에 기초하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단할 수 있다.
이때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 사람이미지를 학습하고, 촬영이미지에서 사람을 식별할 수 있다.
또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.
여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.
다만, 상기 인공지능모듈은 실제 움직이는 사람과 사람모양의 물체(예를 들면, 입간판 등)와 구분하기 어려울 수 있다는 문제점이 있다. 이에 본 발명에서는 움직임을 통해 사람을 식별하는 구성을 제안하고자 한다. 이와 관려해서는 후술하도록 한다.
또한, 프로세서(110)는, 식별한 객체의 정보에 기초하여 상황 판단 동작을 수행할 수 있다. 구체적으로, 프로세서(110)는 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력할 수 있다.
이때, 상기 디스플레이는 평상시에 해당 대상연안에서 제공할 수 있는 안내정보를 출력할 수 있다. 예를 들어, 지리적안내, 날씨정보 등을 출력할 수 있다.
또한, 프로세서(110)는, 식별한 객체의 정보에 기초하여 상황 판단 동작을 수행할 수 있다. 구체적으로, 프로세서(110)는, 전자 장치(100)를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다.
이를 통하여, 위험한 상황에 있는 사람을 구조하거나 해당 지역에서 나오도록 안내하도록 할 수 있다.
도 3은 본 발명의 일 실시 예에 따라 촬영이미지를 분할하는 예시도이다.
인공지능모듈을 통한 정확한 사람 식별을 위하여, 상기 촬영이미지를 일정부분으로 분할하여 집중적으로 분석할 필요가 있다.
이를 위하여, 프로세서(110)는 카메라에서 촬영된 객체의 영상을 복수개의 블록으로 구분하고 복수개의 블록을 대상으로 객체검출프로세서를 진행할 수 있다. 구체적으로, 프로세서(110)는, 촬영이미지를 기설정된 제1 블록크기의 복수개의 블록으로 구분하고, 인공지능모듈을 통하여 상기 복수개의 블록을 대상으로 순차적으로 객체검출프로세스를 진행하여, 상기 사람을 식별할 수 있다. 이때, 상기 객체검출프로세스는 후술하도록 한다.
또한, 후술하는 바와 같이, 상기 촬영이미지 내에서 위험객체(테트라포트)나 위험지대(갯벌)이 차지하는 비율을 기반으로 블록의 크기를 정할 수 있다. 이와 관련하여 후술하도록 한다.
도 4는 본 발명의 일 실시 예에 따라 제1 블록크기를 생성하는 예시도이다.
상기 촬영이미지 내에서 위험객체나 위험지대가 차지하는 비율이 너무 넓은데, 식별하고자 하는 객체의 크기만으로 블록의 크기를 정하면, 중요하지 않은 부분의 검색이 이루어져 리소스의 낭비를 일으킬 우려가 있다.
이를 위하여, 제1 블록크기를 적절하게 조절할 필요가 있다.
이를 위하여, 상기 프로세서(110)는, 식별하고자 하는 객체의 제1 크기를 수신하고, 상기 제1 크기와 상기 카메라의 앵글을 기반으로 상기 촬영이미지에서 상기 객체가 존재하는 경우의 제2 크기를 도출하고, 상기 제2 크기를 포함하는 최소한의 정사각형태의 제2 블록크기를 도출하고, 상기 카메라의 앵글에 기반하여, 상기 앵글에서 기설정된 위험객체 및 위험지대가 차지하는 비율을 도출하고, 상기 제2 블록크기 및 상기 비율을 기반으로 상기 제1 블록크기를 설정할 수 있다.
이때, 상기 제2 블록크기에 상기 비율의 역수를 곱한 값으로 상기 제1 블록크기를 설정할 수 있다.
또한, 프로세서(110)는 객체검출프로세스를 통해 사람을 식별하고,
식별된 사람이 위치한 블록의 위험도가 기설정된 임계위험도를 초과하면 사용자 단말(200)로 식별된 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다. 구체적으로,프로세서(110)는, 식별된 사람이 위치한 제1 블록의 위험도가 기설정된 임계위험도를 초과하는 경우, 상기 사람이 위험한 상황인 것으로 판단할 수 있다.
이때, 제1 블록의 위험도는, 상기 제1 블록 내부에 포함된 기설정된 위험객체 및 위험지대와 상기 대상연안의 날씨, 상기 사람이 식별된 시간대, 상기 제1 블록에서의 기설정된 시간동안의 제1 사람식별횟수를 기반으로 산출될 수 있다.
보다 상세하게 살펴보면, 상기 제1 블록의 위험도는 아래 수학식 1에 의하여 산출될 수 있다.
[수학식 1]
Figure PCTKR2023017998-appb-img-000005
이때, RoR(Rate of Risk)는 상기 위험도를 의미하고, NoAPD(Number of Average Person Discrimination)는 상기 복수개의 블록 중 사람이 1번 이상 식별된 제2 블록에서 기설정된 제1 기간동안 식별된 사람수의 평균값을 의미하고, NoPD(Number of Person Discrimination)는 상기 제1 블록에서 기설정된 제1 기간동안 식별된 사람수를 의미하고, PoRO(Proportion of Risk Object)는 상기 제1 블록에서 상기 위험객체 및 상기 위험지대가 차지하는 비율을 의미하고, FoT(Factor of Time)는 시간대별로 0 내지 5로 기할당된 시간위험계수 중 상기 사람이 식별된 시간대에 해당하는 시간위험계수를 의미하고, FoW(Factor of Weather)는 날씨별로 0 내지 5로 기할당된 날씨위험계수 중 상기 대상연안의 날씨에 해당하는 날씨위험계수를 의미할 수 있다.
이때, 상기 날씨위험계수 및 상기 시간위험계수는 도 5에 도시된 바와 같이 운영자에 의하여 임의로 설정될 수 있다.
도 6은 본 발명의 일 실시 예에 따라 사람을 식별하는 예시도이다.
상술한 바와 같이 사람의 형상을 가진 단순한 물체가 식별된 경우 오경보가 발생할 우려가 있기 때문에, 실제 사람인지 확인하기 위하여 움직임을 기반으로 확인할 필요가 있다.
이를 위하여, 상술한 바와 같이 상기 프로세서(110)는 상기 객체검출프로세스를 통하여 사람을 식별하는데, 상기 객체검출프로세스는, 상기 블록에서 사람의 외형과 매칭되는 제1 사람객체를 추출하고, 상기 제1 사람객체가 포함되는 제3 블록을 생성하고, 상기 제3 블록의 중심을 기준으로 가상의 가로선을 생성하여 상단부와 하단부를 구분하고, 상기 상단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 상단부에서 상기 제1 사람객체의 가장 좌측점을 제1 포인트로 설정하고, 상기 제1 포인트와 상기 세로선이 수직하는 점을 상부기준포인트로 설정하고, 상기 제1 포인트 및 상기 상부기준포인트가 설정된 시점을 제1 시점으로 설정하고, 상기 제1 포인트와 상기 상부기준포인트를 연결하는 제1 기준선을 생성하고, 상기 제1 시점에서 기설정된 시간간격이 경과된 제2 시점에 상기 제1 포인트와 상기 상부기준포인트을 연결하는 제1 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제1 기준선과 상기 제1 변화선의 제1 각도를 도출하고, 상기 상단부에서 상기 제1 사람객체의 가장 우측점을 제2 포인트로 설정하고, 상기 제1 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 기준선을 생성하고, 상기 제2 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제2 기준선과 상기 제2 변화선의 제2 각도를 도출하고, 상기 제1 각도와 상기 제2 각도의 차이를 기반으로 상단변화량을 추출하고, 상기 하단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 하단부에서 상기 제1 사람객체의 가장 좌측점을 제3 포인트로 설정하고, 상기 제3 포인트와 상기 세로선이 수직하는 점을 하부기준포인트로 설정하고, 상기 제1 시점에 상기 제3 포인트와 상기 하부기준포인트를 연결하는 제3 기준선을 생성하고, 상기 제2 시점에 상기 제3 포인트와 상기 하부기준포인트을 연결하는 제3 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제3 기준선과 상기 제3 변화선의 제3 각도를 도출하고, 상기 하단부에서 상기 제1 사람객체의 가장 우측점을 제4 포인트로 설정하고, 상기 제1 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 기준선을 생성하고, 상기 제2 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제4 기준선과 상기 제4 변화선의 제4 각도를 도출하고, 상기 제3 각도와 상기 제4 각도의 차이를 기반으로 하단변화량을 추출하고, 상기 상단변화량이 기설정된 기준상단변화량과 기설정된 오차범위내에 포함되고, 상기 하단변화량이 기설정된 기준하단변화량과 상기 오차범위내에 포함되는 경우, 상기 제1 사람객체를 사람으로 식별할 수 있다.
이때, 상기 기준상단변화량 및 상기 기준하단변화량은 사람이 움직였을때의 상단변화량 및 하단변화량의 평균값으로 설정될 수 있다.
또한, 상기 오차범위는 운영자에 의하여 임의로 설정될 수 있으며, 예를 들면 10%로 설정될 수도 있다.
이는, 단순한 움직임을 가지고 사람으로 판단하는 것이 아니라, 사람이 이동하거나 행동할 때, 좌우가 상호 연관성을 가지고 움직이는 것에 착안한 것으로써, 실제 사람의 움직임일때 사람으로 식별하여 정확성을 향상시킬 수 있다.
상술한 객체검출프로세스는, 건물내부에서 사람을 식별하여, 화재가 발생한 경우, 사람이 어느 위치에 있는지 확인하는 기술에도 적용할 수 있고, 산업지역에서 사람들이 안전장비를 착용하였는지 확인하는 기술에도 적용할 수 잇다.
도 7을 참조하여 보다 상세하게 살펴보면, 인공지능 기반의 건물 화재 안전 솔루션 시스템을 예로 들면, 전자 장치에 있어서, 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 건물의 출입구에 설치되는 카메라로부터 촬영이미지를 수신하고, 상기 촬영이미지에서 사람을 식별하여, 상기 건물에 출입하는 사람의 수를 카운팅하고, 화재 등과 같은 비상상황이 발생한 경우, 상기 건물에 남아 있는 인원수를 체크할 수 있다.
이때, 상기 촬영이미지에서 사람을 식별하는 구성으로는, 상술한 객체식별프로세스를 통하여 사람을 식별할 수 있다.
또한, 인공지능모듈을 통하여, 상기 식별된 사람의 얼굴부분을 따로 분석하여, 신원확인이 가능하도록 할 수 있다.
이때, 신원확인을 위한 DB는 해당 건물에 출입이 가능한 사람인지 여부를 정확하게 판단하기 위하여, 입사자, 퇴사자에 대한 정보가 지속적으로 업데이트 될 수 있다.
또한, 화재 등이 발생한 경우에도 본 시스템이 원활하게 동작하기 위하여, 시스템과 카메라를 연결하는 케이블 또는 무선연결을 위한 안테나 등은 난연 소재의 케이블 및 소재로 형성되도록 함이 바람직하다.
또한, 화재 등 비상상황에서 전력공급이 원활하지 않을 수 있으므로, 본 시스템은 UPS(Uninterruptible Power Supply system) 즉, 무정전 전원장치를 포함하여, 독립적인 전원으로 동작하도록 구성될 수도 있다.
또 다른 실시 예로, 도 8을 참조하여 인공지능 기반의 산업 안전 관리 시스템을 예로 들면, 전자 장치에 있어서, 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 산업단지 내에 설치되는 카메라로부터 촬영이미지를 수신하고, 인공지능모듈을 통하여, 상기 촬영이미지에서 사람을 식별하고, 상기 카메라의 앵글을 기반으로 위험객체 및 위험지대가 차지하는 비율을 통해, 상기 카메라가 설치된 산업단지의 위험도를 산출하고, 상기 위험도가 높은 장소에 사람이 식별되는 경우, 운영자(관리자, 관리소장 등등)에게 경고메시지를 제공할 수 있다.
이때, 상기 촬영이미지에서 사람을 식별하는 구성으로는, 상술한 객체검출프로세스를 통하여 사람을 식별할 수 있다.
또한, 인공지능모듈을 통하여 식별된 사람의 복장을 분석하여, 상기 카메라가 설치된 산업단지 내에서 필수적으로 착용해야 하는 복장 또는 장비(X반도, 하이바, 고글)가 착용되어 있는지를 확인할 수 있으며, 착용이 미비한 경우, 상기 운영자에게 경고메시지를 제공할 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법의 흐름도이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 대상연안에 설치된 카메라로부터 촬영이미지를 수신할 수 있다(S101).
또한, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별할 수 있다(S103).
또한, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 상기 사람이 식별된 위치 및 시간에 기초하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단할 수 있다(S105).
또한, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력하고, 상기 전자 장치(100)를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다(S107).
또한, 본 발명의 일 실시 예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 도 1 내지 도 8에 개시된 연안 사람 식별 및 재난 사전 경보 장치(100)와 동일하게 구성될 수 있다.
에지 AI 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법
도 10은 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치의 개념도이다.
도 10을 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치(100-2)는 객체의 정보에 기초하여 상황 판단 동작을 수행할 수 있다. 또한, 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치(100-2)는 네트워크 상의 중앙 제어 장치가 아니며, 로컬에 설치되어 인공지능 기반의 제어 및/또는 처리를 구현할 수 있다. 구체적으로, 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치(100-2)는 주차장의 자리와 시간을 예약한 사용자의 차량이 예약한 주차자리에 주차할 수 있도록 사용자단말(200)로 안내하여, 차량의 이동시간을 줄이고 그에 따라 배기가스의 배출을 줄여 환경오염을 방지하고, 불법 주정차를 방지할 수 있다.
한편, 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치는 본 발명에서 '전자 장치(100-2)'로 호칭될 수도 있다. 또한 인공지능 기반의 장치로써 중앙 제어 장치가 아닌 주차장 곳곳(예; 천장, 기둥, 벽 등)에 설치되어 각 장치가 인공지능 기반의 제어 및/또는 처리를 구현할 수 있기에 '에지 AI 장치(edge AI device)'라고 호칭될 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 전자 장치(100-2)의 블록도이다.
일 실시 예에 따른 전자 장치(100-2)는 프로세서(110-2) 및 메모리(120-2)를 포함한다. 또한, 전자 장치(100-2)는 프로세서(110-2), 메모리(120-2) 및 카메라를 포함할 수 있다.
또한 전자 장치(100-2)는 도 10, 도 12 내지 도 15를 참조하여 설명되는 카메라(예; 제1 카메라 내지 제3 카메라)를 제어하는 서버, 외부 장치 등을 포함할 수도 있으나, 제1 카메라 내지 제3 카메라 각각이 전자 장치(100-2)로 구현될 수도 있다. 일 예로, 제1 카메라 내지 제3 카메라 각각이 프로세서(110-2) 및 메모리(120-2)를 포함할 수 있으며, 프로세서(110-2)는 카메라로부터 차량의 식별정보 및 차량의 위치정보를 수신하고, 수신된 식별정보에 대응하여 차량의 예약 정보를 확인하여 차량의 경로정보 및/또는 안내정보를 생성할 수 있다. 구체적으로, 프로세서(110-2)는 에지 AI 기반의 차량 주차 예약 및 안내 서비스를 제공하기 위한 기능을 구현할 수 있다. 이때 제1 카메라 내지 제3 카메라 각각이 에지 AI 장치로써의 기능을 수행할 수도 있다. 프로세서(110-2)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120-2)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120-2)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120-2)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.
프로세서(110-2)는 프로그램을 실행하고, 전자 장치(100-2)를 제어할 수 있다. 프로세서(110-2)에 의하여 실행되는 프로그램의 코드는 메모리(120-2)에 저장될 수 있다. 전자 장치(100-2)는 입출력 장치(미 도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다. 프로세서(110-2)는 이미지 처리 기반의 인공지능 모델을 직접 처리할 수 있으며, 이미지 처리 기반의 인공지능 모델을 독립적으로 처리할 수 있다. 프로세서(110-2)는 카메라에서 촬영된 객체의 영상을 이미지 처리 기반의 인공지능 모델의 입력으로 하여 객체의 정보를 식별할 수 있다. 이때, 제1 전자 장치의 프로세서(110-2)는 제1 전자 장치의 카메라로부터 차량의 정보를 수신할 수 있다. 즉, 제1 전자 장치의 프로세서(110-2)는, 주차장의 출입구에 설치된 제1 카메라로부터 진입하는 차량의 식별정보를 수신할 수 있다.
제1 카메라에서 차량을 촬영하면, 차량의 번호판을 인식하여 차량을 식별할 수 있으며, 상기 식별정보는 차량의 번호를 의미할 수 있다.
또한, 프로세서(110-2)는, 상기 식별정보에 대응하여, 예약시간 및 예약주차자리에 대한 예약정보를 확인할 수 있다.
사전에 상기 식별정보에 대응하는 차량의 사용자가 사전에 몇 시부터 몇 시까지 주차할지, 어느 주차자리에 주차할지를 예약할 수 있고, 그에 대한 정보를 프로세서(110-2)가 확인하는 것이다.
또한, 제2 전자 장치의 프로세서(110-2)는 프로세서(110-2)는, 상기 주차장의 내부에 설치된 복수개의 제2 카메라로부터 상기 차량의 위치를 확인할 수 있다.
제2 카메라도 촬영된 영상에서 차량 및 상기 차량의 번호판을 인식하고, 제2 카메라의 위치 및 앵글상 차량의 위치를 기반으로 상기 차량의 위치를 확인할 수 있다.
이때, 상기 차량의 번호판과 그에 따른 차량의 위치를 확인하기 위하여 인공지능모듈이 사용될 수 있다.
이때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 차량의 번호판의 위치 및 차량번호 등에 관한 정보를 수집하도록 학습된 기계학습모델을 생성할 수 있다.
또한, 프로세서(110-2)는 상기 주차장의 출입구의 위치 및 상기 예약주차자리를 기반으로 경로정보를 생성할 수 있다. 경로정보의 생성과 관련해서는 도 12 내지 도 14를 참조하면 보다 상세하게 설명하도록 한다.
또한, 프로세서(110-2)는 상기 차량의 위치 및 상기 경로정보를 기반으로 안내정보를 생성할 수 있고, 상기 안내정보를 상기 차량을 운행하는 사용자단말에게 제공할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 경로정보의 생성을 나타내는 도면이고, 도 12는 본 발명의 일 실시 예에 따라 차량의 위치를 확인하는 것을 나타내는 도면이다.
도 11 및 도 12를 참조하면, 제3 전자 장치의 프로세서(110-2)는 차량이 촬영되는 영상을 도출하고, 도출된 영상을 기반으로 차량의 최종 주차자리를 도출할 수 있다. 구체적으로, 제3 전자 장치의 프로세서(110-2)는, 복수개의 제2 카메라 중에서 상기 차량이 촬영되고 있는 제3 카메라의 차량영상을 도출하고, 제3 카메라의 위치 및 상기 차량영상을 기반으로 상기 차량의 위치를 확인하고, 상기 경로정보를 기반으로 상기 차량의 위치, 제3 카메라의 위치 및 제3 카메라의 앵글에 대응하는 증강현실이미지를 생성하고, 상기 차량영상에 상기 증강현실이미지를 중첩하여 상기 안내정보를 생성할 수 있다.
이를 통해, 상기 차량이 어느 방향으로 가야 자신이 예약한 주차자리로 갈 수 있는지 확인할 수 있다.
도 14는 본 발명의 일 실시 예에 따라 차량영상에 증강현실이미지가 중첩된 안내정보를 나타내는 도면이다.
도 14를 참조하면, 증강현실이미지는, 상기 차량영상에서 상기 차량의 위치를 기반으로 상기 경로정보 상 어느 위치로 가야 할지에 대한 화살표이미지일 수 있다.
이를 통해, 사용자는 자신의 위치에서 어느 위치로 가야 할지를 직관적으로 이해할 수 있다.
다만, 이때, 사용자의 차량이 예약한 자리에 주차하지 않은 경우, 정확한 주차자리로 안내할 필요가 있다.
이를 위하여, 이때, 프로세서(110-2)는, 상기 주차장의 주차 자리별로 고유의 식별ID를 할당하고, 상기 차량영상을 기반으로 상기 차량의 최종주차자리를 도출하고, 상기 최종주차자리에 해당하는 제1 식별ID와 상기 예약주차자리에 해당하는 제2 식별ID를 비교하여, 상기 차량이 예약주차자리에 주차한 것인지 확인할 수 있다.
따라서, 프로세서(110-2)는, 상기 차량의 최종주차자리가 상기 예약주차자리와 다른 경우, 사용자단말(200)로 상기 최종주차자리가 상기 예약주차자리와 상이함을 나타내는 정보 및 상기 예약주차자리에 대한 경로정보를 송신할 수 있다.
이때, 사용자가 예약한 주차자리로 이동을 하면 문제가 없으나, 안내를 함에도 불구하고 예약하지 않은 자리에 주차를 하는 경우, 불이익을 줄 필요가 있다.
따라서, 프로세서(110-2)는, 기설정된 시간이 경과된 이후에도 상기 최종주차자리가 상기 예약주차자리가 다른 경우, 상기 예약정보에 대응하는 예약주차비용에 기설정된 제1 할증정보가 반영된 제1 할증비용을 생성하여 사용자단말(200)로 송신할 수 있다.
이때, 상기 시간은 이동할 수 있는 시간으로써, 운영자가 임의로 설정할 수 있다. 예를 들면, 10분, 5분 등으로 설정할 수 있다.
또한, 상기 제1 할증정보는 상기 운영자가 임의로 설정할 수 있으며, 예를 들어, 10% 또는 20% 등으로 설정할 수 있고, 상기 제1 할증비용은 상기 예약주차비용에 상기 제1 할증정보만큼 상승한 비용일 수 있다.
상기 예약주차비용은 후술하도록 한다.
또한, 사용자가 예약한 시간을 초과하고도 차량을 빼지 않는 경우, 이후의 예약자에게 불편을 끼칠 수 있다. 따라서, 예약시간을 초과하고도 차량을 빼지 않는 사용자에게도 불이익을 줄 필요가 있다.
이를 위하여, 프로세서(110-2)는, 상기 차량이 상기 예약시간을 초과하여 상기 예약주차자리에 위치하는 경우, 초과된 시간에 대응하는 제1 주차비용을 산출하고, 상기 제1 주차비용에 기설정된 제2 할증정보가 반영된 제2 할증비용을 생성하여 사용자단말(200)로 송신할 수 있다.
이때, 상기 제1 주차비용은 상기 예약주차비용을 산출하는 방식으로 초과된 시간에 따라 산출될 수 있으며, 상기 제2 할증정보는 상기 운영자가 임의로 설정할 수 있으며, 예를 들어, 10%, 20% 등으로 설정할 수 있고, 상기 제2 할증비용은 상기 제1 주차비용에 상기 제2 할증정보만큼 상승한 비용일 수 있다.
이때, 상기 예약주차비용은 사용자단말(200)로부터 수신된 상기 예약시간, 기설정된 시간당 기본주차요금, 시간별로 차등적으로 기설정된 시간차등지수 및 상기 예약주차자리와 주차장 주차자리별로 차등적으로 기설정된 위치차등지수를 기반으로 산출될 수 있다.
이를 통하여, 차량이 많이 몰리는 시간과 차량이 적은 시간과의 주차비용을 차등적으로 적용할 수 있으며, 출입구 또는 엘리베이터 등과 가까운 주차자리 등 사용자의 선호도가 높은 자리와 낮은 자리를 구분하여 이에 대한 주차비용도 차등적으로 적용할 수 있다.
*보다 상세하게 살펴보면, 상기 예약주차비용은, 아래 수학식 1에 의하여 산출될 수 있다.
[수학식 1]
Figure PCTKR2023017998-appb-img-000006
이때, RPF(Reservation Parking Fee)는 상기 예약주차비용을 의미하고, IoPS(Index of Parking Space)는 상기 예약주차자리에 해당하는 주차자리의 위치차등지수를 의미하고, SPF(Standard Parking Fee)는 기설정된 시간당 기본주차요금을 의미하고, IoT(Index of Time)_n은 상기 예약시간 중에 n번째 시간에 해당하는 시간차등지수를 의미하고, k는 상기 예약시간에 포함되는 전체 시간(Hour)을 의미할 수 있다.
이때, 상기 시간차등지수는, 아래 수학식 2에 의하여 산출될 수 있다.
[수학식 2]
Figure PCTKR2023017998-appb-img-000007
이때, NoOPS(Number of Occupied Parking Space)는 n번째 시간에 상기 주차장 내부에 주차되어 있는 차량의 평균수를 의미하고, NoTPS(Number of ToTal Parking Space)는 상기 주차장의 전체 주차자리의 수를 의미하고, NoD(Number of Departures)_n은 n번째 시간에 상기 주차장에서 출차한 차량의 수를 의미하고, NoE(Number of Entrances)_n은 n번째 시간에 상기 주차장에 입차한 차량의 수를 의미할 수 있다.
이때, 상기 위치차등지수는, 아래 수학식 3에 의하여 산출될 수 있다.
[수학식 3]
Figure PCTKR2023017998-appb-img-000008
이때, NoSPS(Number of Selection of Parking Space)는 기설정된 기간동안 전체 사용자들이 상기 예약주차자리에 해당하는 주차자리를 예약하고자 선택한 횟수를 의미하고, NoASPS(Number of Average Selection of Parking Space)는 기설정된 기간동안 전체 사용자들이 상기 주차장의 전체 주차자리에 대하여 예약하고자 선택한 횟수의 평균을 의미할 수 있다.
상술한 바에 의하여 예약한 차량만이 상기 주차장을 이용하는 것으로 볼 수 있으나, 택배차량이나 배달차량 등과 같이 임시로 방문하는 차량의 경우에는 다르게 볼 필요가 있다.
해당 차량들은 무질서한 정차 등으로 인하여 교통흐름을 방해할 수 있기 때문에, 상기 프로세서는, 상기 택배차량이나 배달차량 등과 같은 임시정차차량이 정차할 수 있는 주차자리를 미리 임시정차자리로 설정할 수 있고, 상기 택배차량 또는 배달차량 등과 같은 임시정차차량을 상기 임시정차자리로 안내할 수 있도록 상기 임시정차량의 예약주차자리를 상기 임시정차자리로 설정할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법의 흐름도이다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 주차장의 출입구에 설치된 제1 카메라로부터 진입하는 차량의 식별정보를 수신할 수 있다(S201).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 상기 식별정보에 대응하여, 예약시간 및 예약주차자리에 대한 예약정보를 확인할 수 있다(S203).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 상기 주차장의 내부에 설치된 복수개의 제2 카메라로부터 상기 차량의 위치를 확인할 수 있다(S205).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 상기 주차장의 출입구의 위치 및 상기 예약주차자리를 기반으로 경로정보를 생성할 수 있다(S207).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 상기 차량의 위치 및 상기 경로정보를 기반으로 안내정보를 생성할 수 있다(S209).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 상기 안내정보를 상기 차량을 운행하는 사용자단말에게 제공할 수 있다(S211).
또한, 본 발명의 일 실시 예에 따른 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 방법은 도 10 내지 도 14에 개시된 인공지능 기반의 차량 주차 예약 및 안내 서비스 제공 장치(100-2)와 동일하게 구성될 수 있다.
에지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법
도 16은 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)의 개념도이다.
도 16을 참조하면, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)는 객체의 정보에 기초하여 상황 판단 동작을 수행할 수 있다. 또한, 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)는 네트워크 상의 중앙 제어 장치가 아니며, 로컬에 설치되어 인공지능 기반의 제어 및/또는 처리를 구현할 수 있다. 구체적으로, 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)는 산에 설치된 카메라의 영상을 기반으로 화재가 발생한 것으로 확인하고, 산불관리인 즉, 운영자가 사용하는 사용자단말(200)로 현재 화재여부에 대한 정보를 제공하여 즉각적인 대응이 가능하도록 할 수 있다.
한편, 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)는 본 발명에서 '전자 장치(100-3)'로 호칭될 수도 있다.
도 17은 본 발명의 일 실시 예에 따른 전자 장치(100-3)의 블록도이다.
일 실시 예에 따른 전자 장치(100-3)는 프로세서(110-3) 및 메모리(120-3)를 포함한다. 또한, 전자 장치(100-3)는 프로세서(110-3), 메모리(120-3) 및 카메라를 포함할 수 있다. 프로세서(110-3)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120-3)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120-3)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120-3)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.
프로세서(110-3)는 프로그램을 실행하고, 전자 장치(100-3)를 제어할 수 있다. 프로세서(110-3)에 의하여 실행되는 프로그램의 코드는 메모리(120-3)에 저장될 수 있다. 전자 장치(100-3)는 입출력 장치(미 도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
이때, 프로세서(110-3)는, 산에 설치된 카메라로부터 촬영데이터를 수신할 수 있다.
*이때, 상기 카메라는 일반적인 가시광선 카메라와 후술하는 바와 같이 온도를 감지할 수 있는 열화상카메라로 구성될 수 있다.
또한, 프로세서(110-3)는, 인공지능모듈을 통해, 상기 촬영데이터를 분석하여 기체뭉치객체를 추출할 수 있다. 프로세서(110-3)는, 카메라에서 촬영된 상기 객체의 영상을 분석하여 기체뭉치객체를 추출하고, 기체뭉치객체가 진정 기체인 것으로 판단하는 경우, 카메라로부터 열화상 데이터를 수신할 수 있다.
또한, 프로세서(110-3)는, 상기 촬영데이터 및 상기 기체뭉치객체를 분석하여 상기 기체뭉치객체가 화재에 의한 것인지 판단할 수 있다. 이와 관련해서는, 후술하도록 한다.
또한, 프로세서(110-3)는, 상기 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 상기 기체뭉치객체의 발원지점을 도출하고, 상기 발원지점과 화재판단결과를 사용자단말(200)로 송신할 수 있다.
이때, 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 운영자가 보다 정확하게 화재여부를 판단할 수 있도록 사전에 설치해둔 드론을 통하여 발원지점 근처를 촬영하도록 제어할 수 있고, 드론이 촬영한 드론촬영데이터를 운영자에게 제공할 수 있다.
보다 상세하게 살펴보면, 프로세서(110-3)는, 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 기설치된 드론으로 발원지점을 촬영하도록 제어명령을 송신하고, 드론에 의하여 촬영된 드론촬영 데이터를 상기 사용자단말(200)로 송신할 수 있다.
이때, 발원지점은 후술하는 바와 같이 상기 기체뭉치객체 내에서 온도가 가장 높은 지점으로 설정될 수 있다.
도 18은 본 발명의 일 실시 예에 따른 촬영이미지의 예시도이다.
도 18을 참조하면, 산에 설치된 카메라는 산과 산이 아닌 그외의 지역을 함께 촬영할 수 있다. 후술하는 바와 같이, 화재가 산에서 발생한 것인지 판단하기 위하여, 프로세서(110-3)는, 촬영데이터에서 산에 해당하는 제1 영역과 그 외의 영역에 해당하는 제2 영역으로 구분할 수 있다.
이때, 촬영데이터에서 기체뭉치객체가 추출되더라도 바로 화재가 발생한 것으로 판단할 수 없다. 왜냐하면, 카메라의 렌즈에 묻은 얼룩일 수도 있고, 안개 등과 같이 화재와 관련이 없는 기체뭉치일 수도 있기 때문이다.
따라서, 본 발명에서는 기체뭉치객체가 우선 산에서 발생한 것이 맞는지, 실제 기체뭉치 즉, 진성기체인지, 화재에 의하여 발생한 것이 맞는지를 순차적으로 확인하여 화재여부를 판단할 수 있다.
도 19는 본 발명의 일 실시 예에 따라 기체뭉치객체의 발원지를 판단하는 예시도이다.
도 19를 참조하면, 프로세서(110-3)는, 상기 촬영데이터 내에서 상기 기체뭉치객체의 상단부와 하단부의 가로폭을 기준으로 가로폭이 좁은 부분을 발원방향기준으로 설정할 수 있다.
또한, 프로세서(110-3)는, 기체뭉치객체의 테두리가 제1 영역에 모두 포함되는 경우, 기체뭉치객체가 산에서 발생한 것으로 판단할 수 있다.
또한, 프로세서(110-3)는, 기체뭉치객체의 테두리가 제1 영역과 제2 영역의 경계선에 접하면서, 상기 발원방향기준이 상기 제1 영역 쪽에 위치하는 경우, 기체뭉치객체가 산에서 발생한 것으로 판단할 수 있다. 기체는 상승할수록 확산하는 특성이 있기 때문에, 가장 확산되지 않은 지점에서 발생한 것으로 볼 수 있기 때문이다.
도 20 및 도 21은 본 발명의 일 실시 예에 따라 기체뭉치객체가 진정 기체인지 판단하는 예시도이다.
상술한 바와 같이, 기체뭉치객체가 산에서 발생한 것으로 판단되는 경우, 상기 기체뭉치객체가 얼룩인지 연기 또는 안개와 같은 진정 기체인지 판단할 필요가 있다.
이에, 도 20 및 도 21을 참조하면, 프로세서(110-3)는, 기체뭉치객체가 얼룩인지 연기 또는 안개와 같은 진정 기체인지 판단하기 위하여, 상기 산에 설치된 풍량계로부터 풍향 및 풍속에 관한 정보를 수신하고, 제1 시점에 기체뭉치객체의 제1 최장가로폭과 제1 최장세로폭이 만나는 제1 객체중심을 도출하고, 제1 시점보다 기설정된 시간이 경과된 제2 시점에 기체뭉치객체의 제2 최장가로폭과 제2 최장세로폭이 만나는 제2 객체중심을 도출할 수 있다.
또한, 프로세서(110-3)는, 카메라에서 촬영된 상기 객체의 영상을 분석하여 기체뭉치객체를 추출하고, 기체뭉치객체가 진정 기체인 것으로 판단하는 경우, 카메라로부터 열화상 데이터를 수신할 수 있다. 프로세서(110-3)는, 상기 풍속에 기반하여 상기 카메라의 앵글상에서 기설정된 제1 중심이동거리와 상기 카메라의 앵글상에서 제1 객체중심과 제2 객체중심의 제2 중심이동거리를 비교하고, 상기 풍향과 제2 중심이동거리의 방향을 비교하여, 제2 중심이동거리의 방향이 상기 풍향과 기설정된 제1 오차범위내에 포함되고, 제2 중심이동거리가 제1 중심이동거리와 기설정된 제2 오차범위내에 포함되는 경우, 기체뭉치객체가 연기 또는 안개와 같은 진정 기체인 것으로 판단할 수 있다.
이는, 기체뭉치객체가 시간의 흐름에 따라 어떻게 움직이는지 확인하기 위함이다. 실제 기체인 경우, 풍속 및 풍향에 따라 중심이 이동하기 때문이다.
이때, 제1 중심이동거리는 수집된 전체 데이터베이스를 기반으로 풍속에 따라 기체뭉치객체의 평균이동거리로 설정될 수 있다.
이때, 제1 오차범위 및 제2 오차범위는 운영자에 의하여 임의로 설정될 수 있고, 10%, 20% 등으로 설정될 수 있다.
또한, 프로세서(110-3)는, 제2 중심이동거리의 방향이 상기 풍향과 제1 오차범위내에 포함되되, 제2 중심이동거리가 제1 중심이동거리와 제2 오차범위 밖인 경우, 최장가로폭 또는 최장세로폭 중 상기 풍향과 가까운 하나를 선택하고, 선택된 제1 최장가로폭 또는 제1 최장세로폭과 대응되는 제2 최장가로폭 또는 제2 최장세로폭과의 비율에 상응하는 기체확산변화율을 도출하고, 기체확산변화율이 풍속에 기반하여 연기 또는 안개의 확산도에 상응하도록 기설정된 기준확산변화율과 기설정된 제3 오차범위내에 포함되는 경우, 기체뭉치객체가 연기 또는 안개와 같은 진정 기체인 것으로 판단할 수 있다.
이때, 기준확산 변화율은 수집된 전체 데이터베이스를 기반으로 풍속에 따라 기체뭉치객체의 평균 기체확산변화율로 설정될 수 있다.
이때, 제3 오차범위는 운영자에 의하여 임의로 설정될 수 있고, 10%, 20% 등으로 설정될 수 있다.
이를 통하여, 기체뭉치객체의 중심이 충분히 움직이지 않은 경우에도 기체뭉치의 확산을 기반으로 진정 기체인지 여부를 확인할 수 있다.
도 22는 본 발명의 일 실시 예에 따라 기체뭉치객체가 화재에 의해 발생한 것인지 판단하는 예시도이다.
상술한 바와 같이, 상기 기체뭉치객체가 연기 또는 안개와 같은 진정 기체로 판단되는 경우, 상기 카메라로부터 열화상데이터를 수신하고, 상기 열화상데이터를 기반으로 상기 기체뭉치객체가 화재에 의한 것인지 판단할 필요가 있다.
이에, 도 22를 참조하면, 프로세서(110-3)는, 기체뭉치객체가 화재에 의한 것인지 판단하기 위하여, 상기 촬영데이터에서 기체뭉치객체가 포함되되 기체뭉치객체의 최장가로폭과 최장세로폭을 각각 가로길이 및 세로길이로 하는 제1 블록을 생성하고, 제1 영역을 제1 블록과 동일한 크기를 가지는 복수의 제2 블록으로 분할하고, 제2 영역을 제1 블록과 동일한 크기를 가지는 복수의 제3 블록으로 분할할 수 있다.
이때, 상기 촬영이미지의 크기 및 제1 블록의 크기에 따라 도 22에서와 같이 정확하게 나누어지지 않을 수 있다. 이때에는 제1 영역과 제2 영역의 경계선을 기준으로 먼저 블록을 배치하고, 남은 부분은 남은 부분의 크기에 따라 조절된 블록을 배치할 수 있다.
또한, 프로세서(110-3)는, 열화상데이터를 기반으로 제1 블록에서 제1 최고온도를 도출하고, 열화상데이터를 기반으로 제2 블록 각각에 대하여 제2 최고온도를 도출하고 제2 최고온도의 평균값에 상응하는 제1 평균값을 산출하고, 열화상데이터를 기반으로 제3 블록 각각에 대하여 제3 최고온도를 도출하고 제3 최고온도의 평균값에 상응하는 제2 평균값을 산출할 수 있다.
이는, 화재에 의한 것인지 확인하기 위하여 온도를 추출해야 하는데, 균일한 영역으로 구분하여 각각에 대한 최고온도를 수집하여 정확한 화재여부를 판단하기 위함이다.
이때, 프로세서(110-3)는, 제1 최고온도가 기설정된 제1 임계온도를 초과하는 경우, 기체뭉치객체가 화재에 의한 것으로 판단하되, 제1 최고온도와 제1 평균값을 비교하여, 제1 최고온도와 상기 제1 평균값의 차이가 기설정된 제4 오차범위 내인 경우, 대형산불의 가능성이 높은 것으로 판단하여, 화재가 발생했음을 나타내는 정보를 기설정된 유관기관 또는 관제센터와 사용자단말(200)로 송신할 수 있다.
이는, 제1 블록과 인접한 산 영역의 온도도 이미 많이 올라간 상태로써, 대형산불의 가능성이 있기 때문이다. 따라서, 운영자에게 알림과 동시에 화재를 진압할 수 있는 119와 같은 유관기관으로 즉시 화재발생에 대한 정보를 송신하여 즉각적인 대응이 가능하도록 할 수 있다.
이때, 제1 임계온도는 화재가 발생했을 때, 화재발생지점에서 상부 20m 지점에서의 공기 온도의 평균값으로 설정될 수 있다. 예를 들면, 화재 즉, 불의 온도는 최소 500도부터 시작하는데, 공기로 확산됨에 따라 온도가 다소 낮아질 수 있다. 따라서, 촬영이미지 상에서 화재를 감지하기 위하여 상술한 바와 같이 설정할 수 있다. 예를 들면, 100도로 설정될 수 있다.
이때, 제4 오차범위는 운영자에 의하여 임의로 설정될 수 있고, 10%, 20% 등으로 설정될 수 있다.
또한, 프로세서(110-3)는, 제1 최고온도와 제1 평균값의 차이가 제4 오차범위 밖인 경우, 국소적인 화재인 것으로 판단하여, 상기 드론으로 상기 발원지점을 촬영하도록 제어명령을 송신하고, 상기 드론에 의하여 촬영된 드론촬영데이터를 상기 사용자단말(200)로 송신할 수 있다.
또한, 프로세서(110-3)는, 제1 최고온도가 제1 임계온도 이하이고, 제1 임계온도보다 낮게 기설정된 제2 임계온도를 초과하는 경우, 제1 최고온도와 제1 평균값 및 제2 평균값을 비교하되, 제1 최고온도와 제1 평균값 및 제2 평균값의 차이가 제4 오차범위 내인 경우, 날씨에 의한 것으로 온도상승으로 판단하여, 판단결과를 상기 사용자단말(200)로 송신할 수 있다.
이는, 기체뭉치객체와 산 및 산 이외의 영역에서의 온도가 모두 비슷한 것으로써, 날씨에 의해 온도가 상승한 것으로 볼 수 있으며, 기체뭉치객체가 화재에 의한 것으로 보기 어렵기 때문이다.
이때, 제2 임계온도는 운영자에 의하여 임의로 설정될 수 있으며, 예를 들면 50도로 설정될 수 있다.
또한, 프로세서(110-3)는, 제1 최고온도와 제1 평균값은 제4 오차범위 내이고, 제1 최고온도와 제2 평균값은 제4 오차범위 밖인 경우, 화재의 가능성이 높은 것으로 판단하여, 상기 드론으로 상기 발원지점을 촬영하도록 제어명령을 송신하고, 상기 드론에 의하여 촬영된 드론촬영데이터를 사용자단말(200)로 송신할 수 있다.
기체뭉치객체와 가까운 제1 영역에서만 온도가 높은 것으로써, 날씨에 의한 온도상승이라 보기 어렵기 때문이다. 따라서, 드론을 통하여 발원지점을 촬영하도록 하고, 운영자가 확인할 수 있도록 함이 바람직하다.
도 23은 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법의 흐름도이다.
도 23을 참조하면, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 산에 설치된 카메라로부터 촬영데이터를 수신할 수 있다(S301).
또한, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 인공지능모듈을 통해, 상기 촬영데이터를 분석하여 기체뭉치객체를 추출할 수 있다(S303).
또한, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 상기 촬영데이터 및 상기 기체뭉치객체를 분석하여 상기 기체뭉치객체가 화재에 의한 것인지 판단할 수 있다(S305).
또한, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 기체뭉치객체가 화재에 의한 것으로 판단되는 경우, 기체뭉치객체의 발원지점을 도출할 수 있다(S307).
또한, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 상기 발원지점과 화재판단결과를 사용자단말(200)로 송신할 수 있다(S309).
또한, 본 발명의 일 실시 예에 따른 에지 인공지능 기반의 산불 정밀 감지 및 대응 방법은 도 16 내지 도 22에 개시된 에지 인공지능 기반의 산불 정밀 감지 및 대응 장치(100-3)와 동일하게 구성될 수 있다.
교통사고 분석 시스템 및 방법
도 24는 본 개시의 일 실시 예에 따른 교통사고 분석 시스템을 개략적으로 도시하는 도면이다,
도 24에 도시된 바와 같이, 교통사고 분석 시스템(100-4)은 카메라(112-4), 영상 감시 장치(114-4), 관리 서버(120-4), 데이터베이스(DB)(130-4) 및 사용자 단말기(200)를 포함한다.
카메라(112-4)는 스마트 폴(110-4)에 설치되어 도로에서 일어나는 다양한 교통 영상을 촬영한다. 카메라(112-4)는, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서, 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 카메라(112-4)는 입력되는 외부 영상에 대응하는 도로 교통 영상 신호를 생성하여 영상 감시 장치(114-4)로 출력할 수 있다. 본 개시에 사용하는 카메라(112-4)의 영상은 스마트 폴(110-4)에 설치되어 위에서 촬영된 도로 교통 영상으로 차량의 블랙박스 영상보다는 더 넓은 공간에 대한 정보를 얻을 수 있다.
영상 감시 장치(114-4) 역시 스마트 폴(110-4)에 설치될 수 있으며, 카메라(112-4)로부터 촬영한 도로 교통 영상으로부터 차량사고, 보행자의 출현 또는 이들의 조합을 포함하여 도로상에서 발생한 교통사고를 감시할 수 있다. 영상 감시 장치(114-4)는 교통사고시 영상의 평면적 처리를 통해 카메라(112-4) 영상으로부터 차량까지의 거리 및 각도를 산출하여 평면적 교통사고 영상을 생성하여 관리 서버(120-4)에 제공할 수 있다. 영상 감시 장치(114-4)는 한편, 평면적 교통사고 영상을 표준 교통사고 영상과 비교하여 평면적 교통사고 영상이 표준 교통사고 영상의 적어도 하나와 얼마나 유사한지를 결정할 수 있다.
관리 서버(120-4)는 다수의 스마트 폴(110-4)에 설치된 각각의 영상 감시 장치(114-4)로부터 수신된 도로 교통 영상과 함께 교통사고 관련 영상들을 관리할 수 있다. 관리 서버(120-4)는 수신된 도로 교통 영상과 함께 교통사고 관련 영상들을 데이터베이스(130-4)에 저장할 수 있다.
데이터베이스(130-4)에는 다수의 표준 교통사고 영상이 저장되어 있을 수 있다. 이에 의해, 데이터베이스(130-4)에는 다수의 표준 교통사고 정보와 다수의 실제 교통사고 영상들이 저장되어 있을 수 있다. 여기서, 표준 교통사고 정보는 도로교통공단 등에서 제공되는 교통사고 데이터로 법원의 판례 등에 의해 확립된 과실 비율 등이 포함될 수 있다.
사용자 단말기(140-4)는 실제의 교통사고 영상의 유사도, 예를 들어 사고 유형 및 사고 원인을 표시하기 위한 전자 장치로, 영상 감시 장치(114-4) 또는 관리 서버(120-4)로부터 실제 교통사고 영상과 이 실제 교통사고 영상과 유사한 표준 교통사고 영상을 수신하여 표시하고 또한, 유사도 및 과실 비율을 표시할 수 있다. 여기서 사용자 단말기(140-4)는 손해보험협회의 전자 장치일 수도 있고, 사고 당사자의 전자 장치일 수도 있다.
도 24에서는 영상 감시 장치(114-4)에서 교통사고 유사도를 추정하는 것으로 기재되어 있지만, 교통사고 유사도 추정은 관리 서버(120-4)에서도 처리할 수 있다. 따라서 교통사고 분석 시스템은 영상 감시 장치(114-4)일 수도 있고 관리 서버(120-4)일 수도 있다. 한편, 도 24에서는 관리 서버(120-4)와 데이터베이스(130-4)가 각각 분리되어 도시되어 있으나, 데이터베이스의 기능은 관리 서버(120-4)에 구현될 수 있다.
도 25는 도 24에 도시된 영상 감시 장치 또는 관리 서버가 일반적인 전자 장치로서 동작하는 경우를 설명하기 위한 블록도를 도시하는 도면이다.
도 25에 도시된 바와 같이, 네트워크에 연결된 전자 장치(200-4)가 기재된다. 전자 장치(200-4)는 버스(210-4), 프로세서(220-4), 메모리(230-4), 입출력 인터페이스(250-4), 디스플레이(260-4), 및 통신 인터페이스(270-4)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(200-4)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가로 구비할 수 있다. 버스(210-4)는 구성요소들(220-4-270-4)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(220-4)는, 중앙처리장치, 애플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(220-4)는, 예를 들면, 전자 장치(200-4)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(230-4)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(230-4)는, 예를 들면, 전자 장치(200-4)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 일 실시 예에 따르면, 메모리(230-4)는 소프트웨어 및/또는 프로그램(240-4)을 저장할 수 있다. 프로그램(240-4)은, 예를 들면, 커널(241-4), 미들웨어(243-4), 애플리케이션 프로그래밍 인터페이스(API)(245-4), 및/또는 애플리케이션 프로그램(또는 "애플리케이션")(247-4) 등을 포함할 수 있다. 커널(241-4), 미들웨어(243-4), 또는 API(245-4)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(241-4)은, 예를 들면, 다른 프로그램들(예: 미들웨어(243-4), API(245-4), 또는 애플리케이션 프로그램(247-4))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(210-4), 프로세서(220-4), 또는 메모리(230-4) 등)을 제어 또는 관리할 수 있다. 또한, 커널(241-4)은 미들웨어(243-4), API(245-4), 또는 애플리케이션 프로그램(247-4)에서 전자 장치(200-4)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(243-4)는, 예를 들면, API(245-4) 또는 애플리케이션 프로그램(247-4)이 커널(241-4)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(243-4)는 애플리케이션 프로그램(247-4)으로부터 수신된 하나 이상의 작업 요청들을 우선순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(243-4)는 애플리케이션 프로그램(247-4) 중 적어도 하나에 전자 장치(200-4)의 시스템 리소스(예: 버스(210), 프로세서(220-4), 또는 메모리(230-4) 등)를 사용할 수 있는 우선순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(245-4)는 애플리케이션(247-4)이 커널(241-4) 또는 미들웨어(243-4)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(250-4)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(200-4)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(200-4)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(260-4)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(260-4)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(260-4)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(270-4)는, 예를 들면, 다른 전자 장치(미 도시됨)와의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(270-4)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 다른 전자 장치와 통신할 수 있다. 여기서 무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 일 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(262-4)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
도 26은 본 개시의 일 실시 예에 따른 교통사고 분석 시스템의 블록도를 구체적으로 도시하는 도면이고, 도 27은 본 개시의 실시 예에 따른 표준 교통사고의 유형별 및/또는 상황별 2차원의 영상들의 예시를 도시하는 도면이고, 도 28 및 도 29는 본 개시의 실시 예에 따라 카메라 영상을 네이버 지도에 매칭하는 예시를 도시하는 도면이고, 도 30은 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 유형을 추정하는 예시를 도시하는 도면이고, 도 31은 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 추정 결과를 표시하는 예시를 도시하는 도면이다.
도 26에 도시된 바와 같이, 교통사고 분석 시스템(100-4)은 카메라(112-4), 영상 감시 장치(114-4) 및 관리 서버(120-4)를 포함할 수 있다.
관리 서버(120-4)는 표준 교통사고 정보 저장부(310-4) 및 데이터 셋 구축부(312-4)를 포함할 수 있다. 표준 교통사고 정보 저장부(310-4)에는 일반적으로 통용되는 다수의 표준 교통사고 정보가 저장되어 있다. 여기서, 표준 교통사고 정보는 도로교통 공단 등에서 제공되는 교통사고 데이터로 법원의 판례 등에 의해 확립된 과실 비율 등이 포함될 수 있다. 본 개시의 실시 예에 따른 표준 교통사고의 유형별 및/또는 상황별 2차원의 영상들의 예시가 도 27에 도시되어 있다.
본 발명에 따르면, 프로세서(110-4)는, 표준 교통사고 정보로부터 데이터 셋을 구축하고, 카메라에서 촬영된 실제 교통사고 정보의 상기 객체의 영상을 2차원의 평면 지도로 매핑하여, 데이터 셋과 상기 실제 교통사고 정보를 비교하여, 실제 교통사고 정보와 유사한 표준 교통사고 정보를 추정할 수 있다. 구체적으로, 데이터 셋 구축부(312-4)는 교통사고 추정부(330-4)에서 이용할 데이터 셋을 구축한다. 이를 위해, 데이터 셋 구축부(312-4)는 먼저, 표준 교통사고 정보의 영상을 이용하여 교통사고 유형, 예를 들어, 차대차(자동차와 자동차), 차대사람(자동차와 보행자), 차대이륜차(자동차와 이륜차), 차대자전거(자동차와 자전거) 등 도로에서 일어날 수 있는 교통사고 유형을 분류할 수 있다. 데이터 셋 구축부(312-4)는 교통사고 유형이 분류된 영상을 이용하여 교통사고 영상에 대한 라벨 링을 수행할 수 있다. 여기서 라벨 링이란 차량이 기준인 경우, 승용차, 트럭, 버스 및 앰뷸런스 등이 될 수 있고, 사람이 기준인 경우, 성인, 노인 및 어린이 등이 될 수 있다. 데이터 셋 구축부(312-4)는 아울러, 교통사고 영상 이외에 교통사고를 설명하는 설명자료인 텍스트 데이터를 더 이용할 수 있다. 이 경우 데이터 셋은 영상 및 텍스트를 포함할 수 있다. 한편, 데이터 셋 구축부(312-4)는 인공지능 모델링을 도입하여 다수의 실제 교통사고 데이터와 비교 및 평가를 통해 데이터 셋을 구축할 수 있다.
영상 감시 장치(114-4)는 도로 교통 정보 수신부(320-4), 도로 교통 정보 저장부(322-4), 교통사고 식별부(324-4), 교통사고 정보 저장부(326-4), 전지적 표현부(328-4) 및 교통사고 추정부(330-4)를 포함할 수 있다.
도로 교통 정보 수신부(320-4)는 카메라(112-4)로부터 제공된 실시간의 도로 교통 영상을 수신한다.
도로 교통 정보 저장부(322-4)는 도로 교통 정보 수신부(320-4)에서 수신된 도로 교통 영상이 저장된다. 도로 교통 정보 저장부(322-4)에 저장되는 영상은 소정의 시간 간격, 예를 들어 2분마다 새로운 파일로 저장될 수 있다. 즉, 2분 영상을 제1 파일로 저장하고, 다음 2분 영상을 제2 파일로 저장하며, 다시 2분 영상을 제3 파일로 저장할 수 있다. 그리고 이전 2개 영상의 파일만 유지한 채 나머지 파일은 삭제할 수 있다. 따라서 도로 교통 정보 저장부(322-4)에 저장된 파일은 이전 2개의 파일과 녹화중인 1개의 파일이 저장될 수 있다.
교통사고 식별부(324-4)는 녹화중인 도로 교통 영상 중에서 교통사고가 있는지를 식별한다. 교통사고 식별부(324-4)에서 교통사고가 식별되면, 교통사고 식별부(324)는 교통사고 발생시 도로 교통 정보 저장부(322-4)에 저장되어 있는 교통사고 정보를 교통사고 정보 저장부(326-4)에 복사하여 저장할 수 있다. 교통사고 정보 저장부(326-4)에 저장된 교통사고 정보는 관리 서버(120-4)에 제공될 수 있다.
전지적 표현부(328-4)는 교통사고 정보 저장부(326-4)에 저장된 실제 교통사고 정보 중에서 사고 차량의 식별부터 사고 발생까지 소정의 시간, 예를 들어 1초 내지 5초 단위로 교통사고 영상을 전지적 표현으로 변환한다.
전지적 표현부(328-4)는 영상의 전지적 표현을 위해, 먼저 교통사고 영상에 소정의 거리 간격, 예를 들어 1 내지 10미터 간격의 원형 거리 선을 표출할 수 있다. 여기서 원형 거리 선은 스마트 폴(110-4)에 카메라(112-4)를 설치하면서 얻은 영상을 통해 미리 얻어진 값일 수 있다. 전지적 표현부(328-4)는 이어서 식별한 물체들의 테두리를 이용하여 바운딩 박스를 표시할 수 있다. 여기서 차량에 대한 바운딩 박스는 차량의 진행 방향과 각도를 계산하는데 이용될 수 있다. 전지적 표현부(328-4)는 이어서 2차원의 지도와 실제 현장의 위치를 일치시키는 작업을 수행할 수 있다. 여기서 2차원의 평면 지도는 네이버 지도일 수 있다. 이에 의해 교통사고 영상에서의 차량 위치가 스마트 폴(110-4)에서의 거리와 각도를 고려하여 2차원의 평면 지도에 매핑될 수 있다. 전지적 표현부(328-4)는 사고 차량 식별부터 사고 발생까지 소정의 시간, 예를 들어 1초 내지 5초 단위로 사고 영상을 2차원의 평면 지도상에 전지적 표현으로 표시할 수 있다. 본 개시의 실시 예에 따라 카메라 영상의 예시가 도 28에 도시되어 있고 네이버 지도에 매칭하는 예시가 도 29에 도시되어 있다.
프로세서(220-4)는 상황 판단 동작을 수행할 수 있으며, 상황 판단 동작은, 프로세서(220-4)가 다수의 실제 데이터와 비교 및 평가를 통해 데이터 셋을 구축하고, 구축된 데이터 셋을 이용하여 학습하고, 카메라(112-4)에서 촬영된 객체의 영상과의 유사도를 추정하는 것을 포함할 수 있다. 구체적으로, 교통사고 추정부(330-4)는 이렇게 구축된 표준 교통사고 데이터 셋을 이용하여 실제 교통사고 정보를 학습시킴으로써 유사한 표준 교통사고 정보를 추정할 수 있다. 교통사고 추정부(330-4)는 한편으로는 실제 교통사고 정보로부터 구축한 실제 교통사고 데이터 셋에 대해 학습을 시킴으로써 해당 교통사고에 유사한 표준 교통사고와 그 유사도를 추정할 수 있다. 이 경우, 프로세서(220-4)는 콘볼루션 신경망을 적용하여 카메라(112-4)에서 촬영된 객체의 영상과의 유사도를 추정할 수 있다. 교통사고 추정부(330-4)는 영상에 대해 콘볼루션 신경망(Convolutional Neural Network:CNN)를 적용하여 분석할 수 있다. CNN는 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식하고 강조하는 방식으로 이미지의 특징을 추출하는 부분과 이미지를 분류하는 부분으로 구성된다. 특징 추출 영역은 필터를 사용하여 공유 파라미터 수를 최소화하면서 영상의 특징을 찾는 콘볼루션 레이어와 특징을 강화하고 모으는 풀링 레이어로 구성될 수 있다. 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 유형을 추정하는 예시를 도시하는 도면이 도 30에 도시되어 있다.
따라서 교통사고 추정부(330-4)는 전지적 표현부(328-4)에서 표현된 2차원의 평면적 교통사고 영상을 표준 교통사고 영상과 비교하여 평면적 교통사고 영상이 표준 교통사고 영상의 적어도 하나와 얼마나 유사한지를 추정할 수 있다. 본 개시의 실시 예에 따른 실제 교통사고 상황의 표준 교통사고 추정 결과를 표시하는 예시를 도시하는 도면이 도 31에 도시되어 있다.
도 32는 본 개시의 또 하나의 다른 실시 예에 따른 교통사고 분석 방법의 흐름도를 도시하는 도면이다.
관리 서버(120-4)의 데이터 셋 구축부(312-4)는 표준 교통사고 정보 저장부(310-4)에 저장된 다수의 표준 교통사고 정보로부터 교통사고 추정부(330-4)에서 이용할 데이터 셋을 구축한다(S810). 이를 위해, 데이터 셋 구축부(312-4)는 먼저, 표준 교통사고 정보의 영상을 이용하여 교통사고 유형, 예를 들어, 차대차(자동차와 자동차), 차대사람(자동차와 보행자), 차대이륜차(자동차와 이륜차), 차대자전거(자동차와 자전거) 등 도로에서 일어날 수 있는 교통사고 유형을 분류할 수 있다. 데이터 셋 구축부(312-4)는 교통사고 유형이 분류된 영상을 이용하여 교통사고 영상에 대한 라벨 링을 수행할 수 있다. 여기서 라벨 링 이란 차량이 기준인 경우 승용차, 트럭, 버스 및 앰뷸런스 등이 될 수 있고, 사람이 기준인 경우 성인, 노인 및 어린이 등이 될 수 있다. 데이터 셋 구축부(312-4)는 아울러, 교통사고 영상 이외에 교통사고를 설명하는 설명자료인 텍스트 데이터를 더 이용할 수 있다. 이 경우 데이터 셋은 영상 및 텍스트를 포함할 수 있다.
영상 감시 장치(114-4)의 도로 교통 정보 수신부(320-4)는 카메라(112-4)로부터 제공된 실시간의 도로 교통 영상을 수신한다(S820). 도로 교통 정보 저장부(322-4)는 도로 교통 정보 수신부(320-4)에서 수신된 도로 교통 영상이 저장된다(S830). 도로 교통 정보 저장부(322-4)에 저장되는 영상은 예를 들어, 2분마다 새로운 파일로 저장될 수 있다.
교통사고 식별부(324-4)는 녹화중인 도로 교통 영상 중에서 교통사고가 있는지를 식별한다(S840). 교통사고 식별부(324-4)에서 교통사고가 식별되면, 교통사고 식별부(324-4)는 교통사고 발생시 도로 교통 정보 저장부(322-4)에 저장되어 있는 교통사고 정보를 교통사고 정보 저장부(326-4)에 복사하여 저장한다(S850). 교통사고 정보 저장부(326-4)에 저장된 교통사고 정보는 관리 서버(120-4)에 제공될 수 있다.
전지적 표현부(328-4)는 교통사고 정보 저장부(326-4)에 저장된 실제 교통사고 정보 중에서 사고 차량의 식별부터 사고 발생까지 소정의 시간, 예를 들어 1초 내지 5초 단위로 교통사고 영상을 전지적 표현으로 변환한다(S860). 전지적 표현부(328-4)는 영상의 전지적 표현을 위해, 먼저 교통사고 영상에 소정의 거리 간격, 예를 들어 1 내지 10미터 간격의 원형 거리 선을 표출할 수 있다. 여기서 원형 거리 선은 스마트 폴(110-4)에 카메라(112-4)를 설치하면서 얻은 영상을 통해 미리 얻어진 값일 수 있다. 전지적 표현부(328-4)는 이어서 식별한 물체들의 테두리를 이용하여 바운딩 박스를 표시할 수 있다. 여기서 차량에 대한 바운딩 박스는 차량의 진행 방향과 각도를 계산하는데 이용될 수 있다. 전지적 표현부(328-4)는 이어서 2차원의 지도와 실제 현장의 위치를 일치시키는 작업을 수행할 수 있다. 여기서 2차원의 평면 지도는 네이버 지도일 수 있다. 이에 의해 교통사고 영상에서의 차량 위치가 스마트 폴(110-4)에서의 거리와 각도를 고려하여 2차원의 평면 지도에 매핑될 수 있다. 전지적 표현부(328-4)는 사고 차량 식별부터 사고 발생까지 소정의 시간, 예를 들어 1초 내지 5초 단위로 사고 영상을 2차원의 평면 지도상에 전지적 표현으로 표시할 수 있다.
교통사고 추정부(330-4)는 이렇게 구축된 표준 교통사고 데이터 셋을 이용하여 실제 교통사고 정보를 학습시킴으로써 유사한 표준 교통사고 정보를 추정한다(S870). 교통사고 추정부(330-4)는 한편으로는 실제 교통사고 정보로부터 구축한 실제 교통사고 데이터 셋에 대해 학습을 시킴으로써 해당 교통사고에 유사한 표준 교통사고와 그 유사도를 추정할 수 있다. 이 경우 교통사고 추정부(330-4)는 영상에 대해 콘볼루션 신경망(Convolutional Neural Network:CNN)를 적용하여 분석할 수 있다. CNN는 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식하고 강조하는 방식으로 이미지의 특징을 추출하는 부분과 이미지를 분류하는 부분으로 구성된다. 특징 추출 영역은 필터를 사용하여 공유 파라미터 수를 최소화하면서 영상의 특징을 찾는 콘볼루션 레이어와 특징을 강화하고 모으는 풀링 레이어로 구성될 수 있다.
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
이상에서 설명된 실시 예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시 예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (12)

  1. 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서,
    메모리;
    프로세서; 및
    카메라;
    를 포함하고,
    상기 프로세서는 이미지 처리 기반의 인공지능 모델을 직접 처리하고,
    상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 이미지 처리 기반의 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고,
    상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  2. 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서,
    메모리;
    프로세서; 및
    카메라;
    를 포함하고,
    상기 프로세서는 이미지 처리 기반의 인공지능 모델을 독립적으로 처리하고,
    상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 이미지 처리 기반의 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고,
    상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  3. 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치에 있어서,
    메모리;
    프로세서; 및
    카메라;
    를 포함하고,
    상기 전자 장치는 네트워크 상의 중앙 제어 장치가 아니며 로컬에 설치되어 인공지능 기반의 제어 및/또는 처리를 구현할 수 있는 것이고,
    상기 프로세서는 이미지 처리 기반의 인공지능 모델을 처리하고,
    상기 프로세서는 상기 카메라에서 촬영된 상기 객체의 영상을 상기 인공지능 모델의 입력으로 하여 상기 객체의 정보를 식별하고,
    상기 프로세서는 상기 식별한 객체의 정보에 기초하여 상기 상황 판단 동작을 수행하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 카메라로부터 차량의 식별정보 및 차량의 위치정보를 수신하고,
    상기 수신된 식별정보에 대응하여 상기 차량의 예약 정보를 확인하여 상기 차량의 경로정보 및/또는 안내정보를 생성하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  5. 객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 시스템에 있어서,
    제 4 항에 의한 제1 전자 장치, 제2 전자 장치, 및 제3 전자 장치를 포함하고,
    상기 제1 전자 장치의 프로세서는 상기 제1 전자 장치의 카메라로부터 상기 차량의 정보를 수신하고,
    상기 제2 전자 장치의 프로세서는 상기 제2 전자 장치의 카메라 및 상기 제3 전자 장치의 카메라로부터 상기 차량의 위치를 확인하고,
    상기 제3 전자 장치의 카메라는 상기 차량이 촬영되는 영상을 도출하고,
    상기 제3 전자 장치의 프로세서는 상기 도출된 영상을 기반으로 상기 차량의 최종 주차자리를 도출하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 시스템.
  6. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 상황 판단 동작은,
    상기 프로세서가 다수의 실제 데이터와 비교 및 평가를 통해 데이터 셋을 구축하고,
    상기 구축된 데이터 셋을 이용하여 학습하고,
    상기 카메라에서 촬영된 상기 객체의 영상과의 유사도를 추정하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    콘볼루션 신경망을 적용하여 상기 카메라에서 촬영된 상기 객체의 영상과의 유사도를 추정하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  8. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 카메라에서 촬영된 상기 객체의 영상을 복수개의 블록으로 구분하고 상기 복수개의 블록을 대상으로 객체검출프로세스를 진행하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는,
    상기 카메라가 열화상 카메라로 동작하도록 제어할 수 있는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  10. 제 8 항에 있어서,
    상기 프로세서는,
    상기 객체검출프로세스를 통해 사람을 식별하고,
    상기 식별된 사람이 위치한 블록의 위험도가 기설정된 임계위험도를 초과하면 사용자 단말로 상기 식별된 사람이 위험한 상황에 있음을 나타내는 정보를 송신하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  11. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    상기 카메라에서 촬영된 상기 객체의 영상을 분석하여 기체뭉치객체를 추출하고,
    상기 기체뭉치객체가 진정 기체인 것으로 판단하는 경우,
    상기 카메라로부터 열화상 데이터를 수신하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
  12. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 프로세서는,
    표준 교통사고 정보로부터 데이터 셋을 구축하고,
    상기 카메라에서 촬영된 실제 교통사고 정보의 상기 객체의 영상을 2차원의 평면 지도로 매핑하여,
    상기 데이터 셋과 상기 실제 교통사고 정보를 비교하여,
    상기 실제 교통사고 정보와 유사한 상기 표준 교통사고 정보를 추정하는,
    객체의 정보에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치.
PCT/KR2023/017998 2022-11-09 2023-11-09 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템 WO2024101928A1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR10-2022-0148338 2022-11-09
KR1020220148338A KR102546661B1 (ko) 2022-11-09 2022-11-09 엣지 ai 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치
KR10-2022-0159040 2022-11-24
KR10-2022-0159041 2022-11-24
KR1020220159041A KR102511408B1 (ko) 2022-11-24 2022-11-24 엣지 인공지능 기반의 산불 정밀 감지 및 대응 장치 및 방법
KR1020220159040A KR102511356B1 (ko) 2022-11-24 2022-11-24 엣지 ai 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법
KR20220182479 2022-12-23
KR10-2022-0182479 2022-12-23

Publications (1)

Publication Number Publication Date
WO2024101928A1 true WO2024101928A1 (ko) 2024-05-16

Family

ID=91033355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/017998 WO2024101928A1 (ko) 2022-11-09 2023-11-09 에지 ai 기술 기반의 객체 식별에 기초하여 상황 판단 동작을 수행하기 위한 전자 장치 및 전자 시스템

Country Status (1)

Country Link
WO (1) WO2024101928A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071191A (ko) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 객체 추출 장치 및 방법
KR101432440B1 (ko) * 2013-04-29 2014-08-21 홍익대학교 산학협력단 화재 연기 감지 방법 및 장치
KR20190059723A (ko) * 2017-11-23 2019-05-31 (주)에이텍티앤 인공지능 기반의 교통사고 예측시스템 및 그 방법
KR20190066873A (ko) * 2017-12-06 2019-06-14 주식회사 아세스 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체
KR20210153421A (ko) * 2020-06-10 2021-12-17 주식회사 엘지유플러스 영상 인식 기술을 이용한 주차 관리 시스템 및 장치
KR102344606B1 (ko) * 2021-07-09 2021-12-31 주식회사 대산시스템 추적 감시 cctv 시스템 및 추적 감시 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071191A (ko) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 객체 추출 장치 및 방법
KR101432440B1 (ko) * 2013-04-29 2014-08-21 홍익대학교 산학협력단 화재 연기 감지 방법 및 장치
KR20190059723A (ko) * 2017-11-23 2019-05-31 (주)에이텍티앤 인공지능 기반의 교통사고 예측시스템 및 그 방법
KR20190066873A (ko) * 2017-12-06 2019-06-14 주식회사 아세스 드론을 이용한 인명 구조 자동화 방법 및 이를 실행하는 프로그램이 기록된 기록매체
KR20210153421A (ko) * 2020-06-10 2021-12-17 주식회사 엘지유플러스 영상 인식 기술을 이용한 주차 관리 시스템 및 장치
KR102344606B1 (ko) * 2021-07-09 2021-12-31 주식회사 대산시스템 추적 감시 cctv 시스템 및 추적 감시 방법

Similar Documents

Publication Publication Date Title
WO2020085540A1 (en) Augmented reality method and apparatus for driving assistance
WO2019168297A1 (en) Method of providing detailed map data and system therefor
WO2017183920A1 (ko) 차량용 제어장치
WO2014035148A1 (en) Information providing method and information providing vehicle therefor
WO2016186355A1 (ko) 디스플레이장치 및 이의 동작 방법
WO2016140391A1 (ko) 차량 제어 장치, 차량 운전 보조 장치, 이동 단말기 및 그 제어 방법
WO2014142502A2 (en) Navigation system with dynamic update mechanism and method of operation thereof
WO2018097558A1 (en) Electronic device, server, and method for determining presence or absence of user within specific space
WO2017003136A1 (ko) 사용자 인증 방법 및 장치
WO2014119884A1 (en) Method and system for displaying object, and method and system for providing the object
WO2015026122A1 (en) User terminal device for displaying map and method thereof
WO2014027785A1 (en) Schedule management method, schedule management server, and mobile terminal using the method
WO2012044101A2 (ko) 이동통신 단말기, 그를 이용한 안전 서비스 시스템 및 방법
WO2017095207A1 (en) User terminal and control method thereof
WO2014017764A1 (ko) 정보 제공 방법, 이를 위한 장치 및 시스템
WO2016085198A1 (ko) 전자기기 및 그것의 제어방법
WO2014171620A1 (en) Method and system for controlling external device
WO2016186294A1 (ko) 영상투사장치 및 이를 구비하는 차량
WO2017014362A1 (ko) 이동 단말기 및 그 제어 방법
WO2018147519A1 (ko) 주차 영역 접근 관리 시스템 및 방법
WO2019151575A1 (ko) 차량 단말기 및 그것을 포함하는 운송 시스템의 제어방법
WO2020017677A1 (ko) 영상 출력 장치
WO2018066859A1 (ko) 긴급 서비스 제공 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
WO2022055006A1 (ko) 차량용 이미지 처리 장치 및 차량에 포함된 디스플레이에 시각 정보를 표시하는 방법
WO2021096195A1 (ko) 메시지 기반의 영상 처리 방법 및 이를 구현하는 전자 장치