WO2021002722A1 - 이벤트 태깅 기반 상황인지 방법 및 그 시스템 - Google Patents

이벤트 태깅 기반 상황인지 방법 및 그 시스템 Download PDF

Info

Publication number
WO2021002722A1
WO2021002722A1 PCT/KR2020/008709 KR2020008709W WO2021002722A1 WO 2021002722 A1 WO2021002722 A1 WO 2021002722A1 KR 2020008709 W KR2020008709 W KR 2020008709W WO 2021002722 A1 WO2021002722 A1 WO 2021002722A1
Authority
WO
WIPO (PCT)
Prior art keywords
event
action
unit
tagging
information
Prior art date
Application number
PCT/KR2020/008709
Other languages
English (en)
French (fr)
Inventor
전병천
김의국
한치동
Original Assignee
(주)넷비젼텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)넷비젼텔레콤 filed Critical (주)넷비젼텔레콤
Priority to US17/624,016 priority Critical patent/US20220351515A1/en
Publication of WO2021002722A1 publication Critical patent/WO2021002722A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Definitions

  • the present invention relates to an event tagging-based context recognition method and system thereof, and more specifically, to recognize a plurality of objects by using a camera image, and by applying a technology for tracking movement of the recognized multiple objects. It relates to an event tagging-based context recognition method and a system to enable it.
  • Object recognition uses classical methods of recognizing an object using sensors such as an optical sensor, a pressure sensor, and a depth sensor within the observation area, and a machine learning technique using a support vector machine (SVM) or a convolutional neural network (CNN). There are methods to use.
  • SVM support vector machine
  • CNN convolutional neural network
  • Object recognition technology based on artificial intelligence (AI) is a technology that can be used in various fields such as autonomous driving and smart factories.
  • the depth data sensed from the observation area is received using a depth sensor, and the object in the monitoring area is recognized by analyzing the received depth data.
  • a method and system for recognizing a situation is provided, but it is suggested whether it is a single situation, but it has not been able to suggest a method for recognizing a complex situation. Therefore, technology capable of recognizing various complex situations based on object recognition and tracking functions is required.
  • the present invention was conceived to solve the above problem, and the present invention recognizes a plurality of objects using a camera image, and applies a technology for tracking movement of the recognized plurality of objects to enable recognition of various situations. Its purpose is to provide an event tagging-based context recognition method and system.
  • the event tagging-based context recognition system receives a video captured by a camera or a real-time broadcast video, or reads a video stored in a storage medium to recognize an object, and An object recognition unit for extracting related information; Object by receiving video or real-time broadcast video captured by a camera, reading video stored in a storage medium, receiving information about an object from the object recognition unit, analyzing the received video frame, and tracking the movement of recognized objects An object tracking unit to determine the location of the objects and extract location information for each object; An event tagging unit that detects whether a predetermined event occurs as the object moves, records event tagging information or event tag of a corresponding object only when a specified specific event occurs, and outputs an event tag list for each object; And, based on the event tagging information for each object or tagged event list received from the event tagging unit, it is classified into a combination of pre-designated events, creates an action assigned to each classified group,
  • the object recognition unit is characterized in that the image of the recognized object is stored in a separate memory or output to an object tracking unit.
  • the event tagging unit receives event configuration data from the event design unit, receives location information for each object from the object tracking unit, and designates a line and area for event occurrence, and the line is a straight line or a combination of curves. It can be configured, and the area is characterized in that it is configured in a closed type consisting of a combination of straight lines and curves.
  • the event tagging unit is characterized in that whenever the created object passes through a point where the event occurs, the type of the event and the event occurrence time are added to the object information of the corresponding object.
  • the pre-designated event is one or more of occurrence of a new object, disappearance of an object, entering a designated area, passing through a designated line, and advancing outside the designated area.
  • the event tag is characterized in that at least one of an ID of an event generated for each object, a type of an event, and a time value of an event.
  • the action generation unit receives event conditions and action configuration data for recognizing a specific situation from the action definition unit, and receives event tagging information or event tag list for each object from the event tagging unit.
  • the action generation unit uses the object image recognized by the object recognition unit as one of the execution items in the action generation unit, and the execution item includes either storage in a specific area or delivery to a specific server. do.
  • it characterized in that it further comprises an action execution unit for performing an action by receiving an action item generated by the action generating unit, or outputting a result of performing the action to a display unit or an external device to recognize a situation. .
  • the action execution unit is characterized in that processing the recognized object image according to an execution item defined by the action generation unit.
  • the function of the event tagging-based context recognition system is implemented in a camera, an edge node, or a server or a cloud server.
  • the object recognition unit, object tracking unit, and event tagging unit are implemented in an edge node, and the edge node analyzes a camera image signal and transmits event tagging information or event tag list to a remote server or cloud,
  • the action generation unit and the action execution unit are implemented in a server or a cloud server, and the server or cloud server performs the function of the action generation unit and the action execution unit based on the received event tagging information or event tag list, and outputs a context recognition result. Characterized in that.
  • the camera is configured to include an object recognition unit and an object tracking unit
  • the action generation unit and the action execution unit are implemented in a server or a cloud server
  • the camera analyzes the camera image signal to provide event tagging information or event tag.
  • the list is transmitted to a remote server or cloud, and the server or cloud server performs the functions of an action generator and an action execution unit based on the received event tagging information or event tag list, and outputs a context recognition result. do.
  • the event tagging-based context recognition method is an object that recognizes an object by receiving a video captured by a camera or a real-time broadcast video, or by reading a video stored in a storage medium, and extracting information about the object.
  • Recognition stage Object by receiving video or real-time broadcast video captured by a camera, reading video stored in a storage medium, receiving information about an object from the object recognition unit, analyzing the received video frame, and tracking the movement of recognized objects
  • An object tracking step of grasping the location of the objects and extracting location information for each object
  • An event tagging step of detecting whether a predetermined event occurs while the object is moving, recording event tagging information or event tag of a corresponding object only when a specified specific event occurs, and outputting event tagging information or event tag list for each object
  • An action creation step of classifying the event tagging information for each object received from the event tagging unit or a combination of pre-designated events based on the tagged event list, generating an action assigned to each classified group, and outputting an action
  • And an action execution step of executing an action by receiving an action from the action generating unit.
  • the event tagging unit receives event configuration data from the event design unit, receives location information for each object from the object tracking unit, and designates a line and area for event occurrence, and the line is a straight line or a combination of curves. It can be configured, and the area is characterized in that it is configured in a closed type consisting of a combination of straight lines and curves.
  • the event tagging unit is characterized in that whenever the created object passes through a point where the event occurs, the type of the event and the event occurrence time are added to the object information of the corresponding object.
  • the pre-designated event is one or more of occurrence of a new object, disappearance of an object, entering a designated area, passing through a designated line, and advancing outside the designated area.
  • the event tag is characterized in that at least one of an ID of an event generated for each object, a type of an event, and a time value of an event.
  • the action generation unit receives event conditions and action configuration data for recognizing a specific situation from the action definition unit, and receives an event tag list for each object from the event tagging unit.
  • An event tagging-based context recognition method includes an object recognition tracking step of generating an object and classifying an object movement section by applying an object recognition and object tracking algorithm to an image received from a camera; An action definition step of setting a plurality of sections and regions in the image in order to recognize a situation desired by a user according to movement of an object, the user defining a plurality of combinations of event occurrence groups, and defining an action for each group; And event types for each object, event occurrence sequence, and elapsed time between events in order to provide various situational awareness by tagging each object event type and event occurrence time, and identifying various situations by combining tagging information including object types.
  • a plurality of context recognition steps to be performed; Including, the action definition step comprises classifying an event occurrence group by a combination of an event type for each object, an event occurrence order, and an elapsed time between events, and setting an action for each event occurrence group. It is characterized.
  • a computer-readable recording medium is characterized in that a program for executing the event tagging-based context recognition method is recorded.
  • the present invention is a method for enabling recognition of various complex situations based on object recognition and object tracking functions, and an event that can classify an object movement section by applying an existing object recognition and object tracking algorithm occurs. And a tagging function to enable recognition of various complex situations.
  • the present invention provides an event generation structure based on a section and an area.
  • an appropriate section/area can be designated according to the camera installation location, and the user can designate various sections and areas. Set to enable event occurrence.
  • the present invention provides various context recognition by combination of event combination/event sequence/elapsed time between events, tagging the event type and event occurrence time for each object, and enabling various context recognition by combining tagging information including object type.
  • event occurrence groups are classified by a combination of event type, event occurrence sequence, and elapsed time between events, and actions for each event occurrence group can be set, enabling recognition of complex situations and application of various actions according to situations.
  • the present invention is a user-configurable structure, in which various sections and areas are set in order to recognize a situation desired by a user according to movement of an object, the user defines various combinations of event occurrence groups, and an action for each group. Make it user configurable.
  • FIG. 1 is a block diagram of an event tagging-based context recognition system according to an embodiment of the present invention.
  • FIG. 2 shows an example of application of an event tagging unit according to an embodiment of the present invention.
  • FIG. 3 shows an example of application of an action generating unit according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating another application example of an action generating unit according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an application example of a context recognition system based on event tagging according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating another example of application of a context recognition system based on event tagging according to an embodiment of the present invention.
  • FIG. 7 further shows an event for measuring the number of waiting vehicles in FIG. 6.
  • FIG. 8 illustrates various hardware structures according to a method of implementing the event tagging-based context recognition system according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of a Case 2 server/cloud in FIG. 8.
  • FIG. 10 is a block diagram of a Case 1/3 edge node in FIG. 8.
  • FIG. 11 is a block diagram of a Case 4/5 camera in FIG. 8.
  • FIG. 12 is a diagram illustrating an example of an event tagging-based context recognition method of a system according to another embodiment of the present invention.
  • FIG. 13 is a diagram illustrating another example of an event tagging-based context recognition method according to another embodiment of the present invention.
  • event tagging-based context recognition method and system it is possible to recognize a variety of complex situations by combining a tracking technology that tracks movement of an object recognized by an object recognition function. Whenever the recognized object enters and exits the set area when moving or passes through the set line, this event information is added to the object along with the time when the event occurred, and into a group set in advance based on the event information generated for each object. Classify and perform predefined actions for each group.
  • the event tagging-based context recognition method and system provides an event tagging-based context recognition method and system that enables recognition of various situations as follows by applying a technology for tracking movement of a plurality of recognized objects. .
  • an alarm is generated when a motorcycle enters a road for automobiles at an intersection, or when a truck enters a road at an intersection.
  • a movement path of a person is tracked, classified by designated movement path, and a predefined action is performed for each classified group. For example, it classifies and counts people moving from building A to B, or generates an alarm when there are more than 10 people moving from building B to C.
  • the event tagging-based context recognition system classifies an object creation and object movement section by applying an object recognition and object tracking algorithm to an image received from a camera.
  • an object recognition and object tracking algorithm In order to recognize a user's desired situation according to the movement of an object, a plurality of sections and regions are set in the image, the user defines a plurality of combinations of event occurrence groups, and an action for each group.
  • the event occurrence groups are classified by a combination of the type of event for each object, the order of event occurrence, and the elapsed time between events, and an action for each event occurrence group is set.
  • the event type and event occurrence time for each object are tagged, and various situation recognition is performed with the combination of tagging information including the object type. do.
  • FIG. 1 is a block diagram of an event tagging-based context recognition system according to an embodiment of the present invention.
  • the event tagging-based context recognition system 100 includes an object recognition unit 101, an object tracking unit 102, an event tagging unit 103, an action generation unit 104, an action execution unit ( 105), an action definition unit 106, and an event design unit 107 may be included. Also, a camera 110 may be further included.
  • the object recognition unit 101 recognizes an object by receiving a video (image) captured by the camera 110 or a real-time broadcast video through a broadcasting system, or reading a video stored in a storage medium, and recognizes the object, and information about the object (Object_ID, Object_Type) is provided to the object tracking unit 102.
  • the object recognition unit 101 may additionally execute a function of storing the recognized object image in a separate memory or outputting the image to the object tracking unit 102.
  • Object recognition based on existing image processing technology or deep learning technique is applied as it is.
  • Object_ID refers to a unique ID assigned to distinguish an object
  • Object_Type refers to a parameter representing the type of an object (eg: 1: human, 2: car, 3: animal).
  • a method suitable for the application can be applied in consideration of real-time processing, processing load, and accuracy.
  • the object tracking unit 102 receives a video (image) captured by the camera 110 or a real-time broadcast video through a broadcasting system, reads a video stored in a storage medium, and provides information on an object from the object recognition unit 101 (Object_ID, Object_Type) is received, the motion of the recognized objects is tracked by analyzing the received video frame, the location of the objects is identified, and the location information of each object (Object_ID) is output to the event tagging unit 103. Perform.
  • Various tracking technologies of existing object tracking technologies are applied as they are, and tracking algorithms that can produce optimal results depending on the application are applied.
  • the event tagging unit 103 detects whether a specified event occurs as the object moves, records event tagging information or event tag only when an event occurs, and outputs event tagging information or event tag list for each object to the action generating unit 104. Functions.
  • the event tagging unit 103 receives event configuration data from the event design unit 107 in advance, and receives object-specific (Object_ID) location information from the object tracking unit 102. Examples of events that can occur include occurrence of a new object, destruction of an object, passing through a designated line, entering a designated area, and exiting a designated area.
  • Object_ID Event_ID, Event_Type, Event_Time
  • Event_ID is the ID of the event that has occurred (eg, object creation/destruction, area event).
  • Event_Type is the type of event that has occurred (e.g. 1: entry/2: exit, 1: creation/2: deletion).
  • Event_Time is the time value at which the event occurred.
  • the action generation unit 104 receives conditions and action configuration data for recognizing a specific situation from the action definition unit 106, receives event tagging information or event tag list for each object from the event tagging unit 103, and event tagging Based on the event tagging information for each object or the tagged event list received from the unit 103, it is classified into a combination of previously designated events, and an action assigned to each classified group is generated and output to the action execution unit 105. For example, for an event list group, Example 1: Event A, Event C, and Event D occur in sequence, or Example 2: Event A and Event C occur in sequence, and the time between the two events is shorter than the specified time. An example of an action is: Example 1: Increment the counter A, or Example 2: Display an alarm on the screen (Object_ID, “AAA alarm occurrence”).
  • the object image recognized by the object recognition unit 101 may be used as one of the execution items by the action generation unit 104.
  • Execution items can be defined as “save in a specific area” or “deliver to a specific server”.
  • the action execution unit 105 performs an action by receiving an action item generated by the action generation unit 104.
  • the result of performing the action is outputted to a display means or an external device, and the result of performing a specific action item indicates a result of a specific situation.
  • the recognized object image is processed according to the execution item defined in the action creation unit 104.
  • execution item processing first, when the recognized object is recognized as a traffic violation vehicle, the action execution unit stores the vehicle image and notifies the computer of the processing agency. Second, when the recognized object is recognized as an intruder in the no-entry area, an alarm is generated by using a light protection means and the image of the intruder is transmitted to the computer screen of the security room. Third, if the recognized object is recognized as the discovery of an ownerless dog in the downtown square, it is notified to the computer of the management office along with the image.
  • the action definition unit 106 defines an event combination and action for recognizing a specific situation, and may generate Condition & Action configuration data using a GUI (Graphic User Interface) tool.
  • the generated Condition & Action configuration data is output to the action generating unit 104.
  • the event design unit 107 is a unit that designs events for generating events necessary for situation recognition and generates corresponding event setting information, and may generate event configuration data using a GUI (Graphic User Interface) tool.
  • GUI Graphic User Interface
  • FIG. 2 shows an example of application of an event tagging unit according to an embodiment of the present invention.
  • Event configuration data can also be generated by using the GUI (Graphic User Interface) tool of the event design unit 107.
  • GUI Graphic User Interface
  • the user can select the line and area for event occurrence in the image received from the camera. Can be specified. Lines can be configured in various forms by a combination of straight lines or curves, and the area is composed of a closed type consisting of a combination of straight lines and curves.
  • the event tagging unit 103 generates the event type and event whenever the recognized object 201, 202, 203 passes through the point (Event_ID: 1,2,3,4,5) where the event occurs. Time is added to the object information of the object.
  • Event_ID 1,2,3,4,5
  • Time is added to the object information of the object.
  • an object is detected, not only the ID of the object but also the type of the object (eg, Type 1: Human, Type 2: Car, Type 3: Animal) is classified so that events can be applied differently for each type.
  • the object type parameter can be configured in multiple stages depending on the application.
  • Event_ID: 2 When the object continues to move and the vehicle passes through the Event_ID: 2 point, the type of event (Event_ID: 2) and the event occurrence time (Time: C) are added to the object information of the object, and the object information is Object (ID: 1, Type:2), Event(Detected, Time:A), Event(ID:1, Time:B), Event(ID:2, Time:C).
  • the object information is Object(ID:1, Type:2), Event(Detected, Time:A), Event(ID:1, Time:B), Event(ID:2, Time:C), Event(Disappeared , Time:D).
  • object information As object information, Object(ID:2, Type:1), Event(Detected, Time:E) It is created, the ID of the object is 2, the type is 1, which means a person, the event is recognized, and the event occurrence time is E.
  • Event_ID: 3 the type of event (Event_ID: 3) and event occurrence time (Time:F) are added to the object information of the object, and the object information is Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F).
  • Event_ID: 4 When an object continues to move and a person enters the Event_ID: 4 area, the type of event (Event_ID: 4, Type:1) and the event occurrence time (Time:G) are added to the object information of the object, and the object information is Object( ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G).
  • Type 1 means that it has entered the area of Event_ID:4, and Type 2 means that it has advanced from the area of Event_ID:4.
  • Event_ID: 4 When the object moves and enters the area of Event_ID:4, the type of event (Event_ID: 4, Type:2) and event occurrence time (Time:H) are added to the object information of the object, and the object information is called Object(ID). :2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G), Event(ID:4, Type :2, Time:H).
  • Event(Disappeared) and event occurrence time (Time:L) are added to the object information of the object.
  • Object information is Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G), Event It becomes (ID:4, Type:2, Time:H), Event(Disappeared, Time:L).
  • FIG. 3 shows an example of application of an action generating unit according to an embodiment of the present invention.
  • the action generation unit 104 is an action creation block in which a condition consisting of a combination of events can be defined and an action corresponding to the combination can be set by the user. It checks whether the combination of events tagged to each object meets the defined condition. When an event combination of an object meets a specific condition, in order to execute an action corresponding to the condition, the action is output to the action execution unit 105 to execute the action.
  • the timing of application of the action generation unit 104 to the event tagging information or event tag list received from the event tagging unit 103 is as follows.
  • the forward coefficient value is increased to calculate the number of moving forwards for the object called a vehicle as an action. (304, Increase Forward_Counter). If Event(ID:2) and Event(ID:1) occur in sequence 302, the reverse coefficient value is increased in order to calculate the number of moving in the reverse direction for an object called a vehicle as an action (305, Increase Forward_Counter). If the combination of Event_ID:1 and Event_ID:2 counts the number of forward and reverse vehicles, respectively, detects the vehicle speeding by the time between the two events, and displays and counts an alarm (Alarm_Counter).
  • an action detects a vehicle speeding between the two events and performs alarm display and counting. (306, Increase Speed Alarm counter & Alarm Display).
  • FIG. 4 is a diagram illustrating another application example of an action generating unit according to an embodiment of the present invention.
  • object For example, it defines a condition whether a situation of a different type for a person and a vehicle.
  • Event(ID:3) and Event(ID:4, Type: 1) occur in sequence
  • the object called as an action is from the Event_ID:3 area to the Event_ID:4 area.
  • the number of people staying in the Event_ID:4 area is increased by entering the Event_ID:4 area from the Event_ID:3 area (405, Increase People_Counter).
  • Event(ID:4, Type:1) condition 402 and Event(ID:4, Type:2) condition 403 are combined and moved from Event_ID:3 area to Event_ID:4 area. Among people, the number of people staying in the Event_ID:4 area is displayed (People_Counter).
  • FIG. 5 is a diagram illustrating an application example of a context recognition system based on event tagging according to an embodiment of the present invention.
  • Fig. 5(a) in order to provide statistics on the direction of movement of people, statistical information for each direction of movement of people is collected for each event.
  • object detection is performed. This calculates the total number of people passing through this section and the number of people detected per time period.
  • Event_1 to Event_3 if Event 1 and Event 3 occur in sequence (Event_1 to Event_3), it is recognized as a person moving from left to right and the number is counted, and if Event 3 and Event 1 occur in sequence (Event_3 to Event_1), the movement from right to left. Recognize it as a person and count that number.
  • Event 2 and Event 4 occur in sequence (Event_2 to Event_4), it is recognized as a person who has moved from top to bottom and the number is counted, and when Event 4 and Event 2 occur in sequence (Event_4 to Event_2), it moves from bottom to top. Recognize it as a person and count that number. In addition, another combination can be applied to count the number of people moving diagonally. If Event 2 and Event 3 occur in sequence (Event_2 to Event_3), it is recognized as a person moving from the top to the right, and the number is calculated.
  • FIG. 5(b) shows an additional object recognition area in FIG. 5(a).
  • FIG. 5(b) shows that the event tagging-based context recognition system of FIG. 5(a) further includes an object recognition area to perform context recognition.
  • an object recognition area when an object recognition area is designated, only objects in the area are recognized. Through this, it is possible to collect statistical information on the number of people in the area, and to measure the degree of congestion at a specific point.
  • FIG. 6 is a diagram illustrating another example of application of a context recognition system based on event tagging according to an embodiment of the present invention.
  • Event A and Event B occur in sequence (Event_A & Event_B), it is recognized as a straight vehicle on road A and the number is calculated.
  • Event A and Event C occur in sequence (Event_A & Event_C), it is recognized as a vehicle turning left on road A and counts the number.
  • Event B and Event A occur in sequence (Event_B & Event_A)
  • Event B and Event D occur in sequence (Event_B & Event_D)
  • Event C and Event D occur in sequence (Event_C & Event_D)
  • Event C and Event D occur in sequence (Event_C & Event_D)
  • Event C and Event B occur in sequence (Event_C & Event_B), it is recognized as a left-turning vehicle on road C and the number is calculated.
  • Event D and Event C occur in sequence (Event_D & Event_C)
  • Event D and Event A occur in sequence (Event_D & Event_A)
  • Event D and Event A occur in sequence (Event_D & Event_A)
  • it is recognized as a left-turning vehicle on road D and the number is calculated.
  • statistical information can be obtained for various conditions through various combinations of events other than the above.
  • FIG. 7 further shows an event for measuring the number of waiting vehicles in FIG. 6.
  • FIG. 7 is a diagram illustrating performing context recognition including an event for measuring the number of waiting vehicles in addition to the application of the context recognition system based on event tagging of FIG. 6.
  • Event_A the number of vehicles for which event A
  • Event_E the number of vehicles for which event E
  • Event_F the number of vehicles for which event C
  • Event_F the number of vehicles for which event C
  • Event_F event F
  • FIG. 8 illustrates various hardware structures according to a method of implementing the event tagging-based context recognition system according to an embodiment of the present invention.
  • an object recognition unit 101, an object tracking unit 102, an event tagging unit 103, and an action generating unit 104 which are components of the event tagging-based context recognition system according to an embodiment of the present invention.
  • the action execution unit 105, the action definition unit 106, the event design unit 107, and the camera 110 can be classified into five types according to which devices are implemented. Such devices include camera devices, edge nodes, and servers/clouds. Table 1 below shows a configuration example of an apparatus to which the functions constituting the system of the present invention are applied.
  • a separate general camera is connected to the edge node.
  • the edge node analyzes the camera video signal and outputs a situational awareness result.
  • the camera image data is processed by a general-purpose server or a cloud server in a remote location and the result is output.
  • a separate general camera is connected to the edge node.
  • the edge node analyzes the camera video signal and delivers event tagging information (or event tag list) to a remote server or cloud.
  • the server or the cloud (server) performs the functions of the action generation unit 104 and the action execution unit 105 based on the event tagging information to generate a context-aware result.
  • Camera images are transmitted only to adjacent edge nodes, and since the edge nodes only transmit event tagging information to the server or the cloud, the amount of transmitted data is greatly reduced, and the server or cloud load can be reduced.
  • the camera integrates the functions of the object recognition unit 101 and the object tracking unit 102 in addition to the camera function.
  • the camera only delivers event tagging information to a server or cloud in a remote location.
  • the function of the action generation unit 104 and the action execution unit 105 is performed based on the event tagging information to generate a context-aware result. Since the camera transmits only event tagging information instead of image data, the amount of transmitted data is greatly reduced, and the server or cloud load can be reduced.
  • the event tagging-based context awareness system may have various hardware structures depending on the implementation method.
  • FIG. 9-11 A system to which the event tagging-based context recognition system can be applied will be described.
  • FIG. 9 is a block diagram of a Case 2 server/cloud in FIG. 8.
  • the Case 2 server/cloud receives video signals (video streams) from a plurality of cameras, receives real-time broadcast signals (video streams) through a broadcasting system, or video signals (video streams) stored in a storage medium.
  • IP Internet Protocol
  • Case 2 server/cloud may include a control unit 901 (CPU), memory 902 (RAM), storage unit 903, IO processor 904, and accelerator board 905. .
  • a GPU may be used instead of the accelerator board 905, a GPU may be used.
  • the IO processor 904 receives a video signal from the camera in an IP packet and inputs it through Ethernet, and an ONVIF (Open Network Video Interface Forum) standard may be used as a communication protocol.
  • the control unit 901 (CPU) receives an image signal through the IO processor 904, and performs image processing for object recognition, tracking, and context recognition using this.
  • the controller 901 mounts and uses one or more GPU (Graphic Processor Unit) or accelerator boards for fast object detection.
  • GPU Graphic Processor Unit
  • the accelerator board 905 may be an FPGA or a board in which a dedicated AI (artificial intelligence) processing chip is embedded.
  • the memory 902 temporarily stores data required for processing by the controller, and a RAM may be used.
  • the storage unit 903 is composed of an HDD or SSD, and includes a video stream, a computer program for performing the context-aware method, data necessary for the execution of the context-aware method, and execution result data.
  • a GPU (Graphic Processor Unit) or an accelerator board performs a function for object detection under the control of the controller 901, and one or a plurality of them are used for fast object detection.
  • Case 3/4 server/cloud can be implemented as a server system that receives one or more video signal event tagging information and processes the situation. Receive event tagging information from one or more edge nodes or cameras with built-in object recognition/tracking functions through a communication network and process context awareness (because it does not transmit a video signal with a large bandwidth, connection is possible through a mobile network/wireless network, Server/cloud processing load is greatly reduced).
  • FIG. 10 is a block diagram of a Case 1/3 edge node in FIG. 8. As shown in FIG. 10, Case 1 and 3 edge nodes may include a control unit 1001, a memory 1002, and a video processor 1003.
  • the processor which is the controller 1001 may be implemented as a System on Chip (SoC) or a general-purpose CPU, and receives an image signal from the camera through the USB, Ethernet and video input interfaces of the controller 1001.
  • SoC System on Chip
  • the video processor 1003 is used for high-speed object detection under the control of the controller 1001, and the video processor 1003 includes a Neural Network Chip, a Tensorflow Processor Unit, and the like.
  • Case 1 and 3 edge nodes are a system that outputs Event Tagging information (in case of case 3 edge node) or outputs a status recognition result (in case of case 1 edge node).
  • edge nodes input and process video data (internet protocol-based video traffic) via Ethernet using an existing IP camera, and edge nodes input video signals through USB or existing video input interfaces instead of Ethernet interfaces.
  • the edge node can read and process video traffic from a storage medium other than a camera.
  • the memory 1002 temporarily stores data necessary for processing by the controller, and may also include a video stream, a computer program for performing a context-aware method, data necessary for performing a context-aware method, and execution result data.
  • Case 4 and 5 cameras may include a controller 1101, a memory 1102, and a video processor 1103 in addition to a camera sensor or a camera module. It is classified into Case 4/Case 5 cameras depending on whether the action creation/execution function is performed.
  • Case 4 camera is a camera that integrates object recognition/tracking functions into the camera and outputs event tagging information extracted from the video traffic input from the camera sensor, and the Case 5 camera integrates all the functions necessary for situation recognition into the camera. It is a camera that outputs the results.
  • the control unit 1101 is implemented as a SoC (System on Chip), and may use a video signal processing dedicated or general purpose mobile device SoC. Connect a camera sensor or camera module to MIPI CSI (Mobile Industry Processor Interface Camera Sensor Interface), USB, or Video input interface to receive video signals.
  • the video processor 1103 may be selectively used for high-speed object detection under the control of the controller 1101, and the camera module may be directly connected to the MIPI interface of the video processor 1103 to perform an object recognition function.
  • the memory 1102 temporarily stores data required for processing by the controller, and may also include a video stream, a computer program for performing a context-aware method, data required for a context-aware method, and execution result data.
  • FIG. 12 is a diagram illustrating an example of an event tagging-based context recognition method of a system according to another embodiment of the present invention.
  • the event tagging-based context recognition method includes an object recognition step (S100), an object tracking step (S200), an event tagging step (S300), an action creation step (S400), and an action. It is configured to include an execution step (S500).
  • the video captured by the camera is received, the object is recognized, and information on the object is extracted.
  • an object may be recognized by receiving a real-time broadcast video through terrestrial broadcasting, cable broadcasting, or a satellite broadcasting system, or by reading a video stored in a storage medium to recognize the object. .
  • a video (image) captured by the camera 110 or a real-time broadcast video is received through a broadcasting system, or a video stored in a storage medium is read, and information about an object is received from the object recognition unit. , Analyzing the received video frame, tracking the motion of the recognized objects to determine the location of the objects, and extracting location information for each object.
  • the event tagging information or event tag is recorded only when a predetermined event occurs as the object moves, and event tagging information or event tag list for each object is output.
  • the pre-designated event includes at least one of occurrence of a new object, disappearance of an object, passing through a designated line, entering a designated area, and advancing outside a designated area.
  • the event tag includes at least one of an ID of an event generated for each object, a type of an event, and a time value at which the event occurs.
  • the event tagging unit receives event configuration data from the event design unit, receives object-specific location information from the object tracking unit, designates a line and area for event occurrence, and the line can be composed of a straight line or a combination of curves. , The area is composed of a closed type consisting of a combination of straight and curved lines.
  • the event tagging unit adds the type of the event and the event occurrence time to the object information of the corresponding object whenever the created object passes through the point where the event occurs.
  • an action is received from the action generating unit and the action is executed.
  • the action generation unit receives event conditions and action configuration data for recognizing a specific situation from the action definition unit, and receives event tagging information or event tag list for each object from the event tagging unit.
  • FIG. 13 is a diagram illustrating another example of an event tagging-based context recognition method according to another embodiment of the present invention.
  • the event tagging-based context recognition method includes an object recognition tracking step (S1100), an action definition step (S1200), and a multiple context recognition step (S1300).
  • a video (image) captured by the camera 110 or a real-time broadcast video is received through a broadcasting system, or by reading a video stored in a storage medium, object recognition and object tracking in the video (image)
  • object creation and object movement section are classified.
  • an event occurrence group is classified by a combination of an event type for each object, an event occurrence order, and an elapsed time between events, and an action for each event occurrence group is set.
  • the event type and event occurrence time for each object are tagged, and tagging information including the object type. It performs various situational awareness with a combination of.
  • the event tagging-based context recognition method may be implemented in the form of a program command that can be executed through various electronic information processing means and recorded in a storage medium.
  • the storage medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the storage medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the software field.
  • Examples of storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic-optical media such as floptical disks.
  • Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also a device that processes information electronically using an interpreter, for example, high-level language codes that can be executed by a computer.

Abstract

본 발명은 카메라 영상을 이용하여 복수의 객체를 인식하고, 인식된 복수의 객체의 이동을 추적하는 기술을 적용하여 다양한 상황인지가 가능하도록 하는 이벤트 태깅 기반 상황인지 방법 및 그 시스템에 관한 것이다. 본 발명의 일실시예에 따른 이벤트 태깅 기반 상황인지 시스템은 카메라가 촬영한 비디오를 수신하여 객체를 인식하고, 객체에 관한 정보를 추출하는 객체인식부; 카메라가 촬영한 비디오를 수신하고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 객체추적부; 객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 이벤트 발생시 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 출력하는 이벤트태깅부; 및 이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 출력하는 액션생성부;를 포함하는 것을 특징으로 한다.

Description

이벤트 태깅 기반 상황인지 방법 및 그 시스템
본 발명은 이벤트 태깅 기반 상황인지 방법 및 그 시스템에 관한 것으로, 보다 구체적으로는, 카메라 영상을 이용하여 복수의 객체를 인식하고, 인식된 복수의 객체의 이동을 추적하는 기술을 적용하여 다양한 상황인지가 가능하도록 하는 이벤트 태깅 기반 상황인지 방법 및 그 시스템에 관한 것이다.
객체인식(Object Detection)에 대한 많은 알고리즘이 연구되어 왔는데, 인공지능 기술이 적용되면서 비약적인 발전을 해 왔다. 객체인식은 관찰 영역내에 광학 센서, 압력 센서, 깊이 센서 등의 센서를 이용하여 객체를 인식하는 고전전인 방법들과, SVM(support vector machine) 또는 CNN(convolutional neural network) 등을 이용한 머신 러닝 기법을 이용하는 방법들이 있다. 인공지능(AI) 기반 객체 인식 기술은 자율주행, 스마트 공장 등의 분야에서 다양하게 활용될 수 있는 기술이다.
종래의 객체 및 상황 인지 방법 및 시스템의 하나에 따르면, 깊이 센서(depth sensor)를 이용하여 관찰 영역으로부터 센싱된 깊이 데이터를 수신하고, 수신된 깊이 데이터를 분석하여 감시 영역 내에서의 객체를 인식하고 상황을 인지하는 방법 및 시스템을 제공하고 있으나, 단일 상황인지에 대해서는 제시하고 있으나 복합 상황 인지에 대한 방안을 제시하지 못하고 있다. 따라서 객체인식 및 추적 기능을 기반으로 다양한 복합 상황인지가 가능한 기술이 요구된다.
[선행기술문헌]
[특허문헌]
한국공개특허공보 제10-2017-0048108호 "객체 및 상황 인지 방법 및 시스템"
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 본 발명은 카메라 영상을 이용하여 복수의 객체를 인식하고, 인식된 복수의 객체의 이동을 추적하는 기술을 적용하여 다양한 상황인지가 가능하도록 하는 이벤트 태깅 기반 상황인지 방법 및 그 시스템을 제공하는 것을 그 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일실시예에 따른 이벤트 태깅 기반 상황인지 시스템은 이벤트 태깅 기반 상황인지 시스템은 카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서 객체를 인식하고, 객체에 관한 정보를 추출하는 객체인식부; 카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 객체추적부; 객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 지정된 특정이벤트가 발생되는 경우에만 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태그 리스트를 출력하는 이벤트태깅부; 및 이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 액션실행부로 출력하는 액션생성부;를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 객체인식부는 인식된 객체의 이미지를 별도의 메모리에 저장하거나, 객체 추적부로 출력하는 것을 특징으로 한다.
바람직하게는, 상기 이벤트태깅부는 이벤트설계부로부터 이벤트구성데이터를 수신하고, 객체추적부로부터 객체별 위치 정보를 수신하며, 이벤트 발생을 위한 선 및 영역을 지정하며, 상기 선은 직선 또는 곡선의 조합으로 구성할 수 있으며, 상기 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성되는 것을 특징으로 한다.
바람직하게는, 상기 이벤트태깅부는 생성된 객체가 이벤트를 발생시키는 지점을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가하는 것을 특징으로 한다.
바람직하게는, 상기 사전에 지정된 이벤트는 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 중 어느 하나이상인 것을 특징으로 한다.
바람직하게는, 상기 이벤트 태그는 객체별 발생된 이벤트의 ID, 발생된 이벤트의 형태, 이벤트가 발생된 시간값 중 어느 하나이상인 것을 특징으로 한다.
바람직하게는, 상기 액션생성부는 액션정의부로부터 특정상황 인지를 위한 이벤트 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부로부터 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 수신하는 것을 특징으로 한다.
바람직하게는, 상기 액션생성부는 객체인식부에서 인식된 객체 이미지를 액션생성부에서 실행항목의 하나로 사용하며, 상기 실행항목은 특정 영역에 저장 또는 특정 서버로 전달 중 어느 하나를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 액션생성부에서 발생된 액션 항목을 수신하여 액션을 수행하거나, 액션을 수행한 결과를 디스플레이 수단 또는 외부 장치에 출력하여 상황인지를 수행하는 액션실행부를 더 포함하는 것을 특징으로 한다.
바람직하게는, 상기 액션실행부는 인식된 객체 이미지를 액션생성부에서 정의된 실행 항목에 따라 처리하는 것을 특징으로 한다.
바람직하게는, 상기 이벤트 태깅 기반 상황인지 시스템의 기능은 카메라에서 구현되거나, 에지노드에서 구현되거나, 서버 또는 클라우드 서버에서 구현되는 것을 특징으로 한다.
바람직하게는, 상기 객체인식부, 객체추적부 및 이벤트태깅부는 에지노드에서 구현되고, 상기 에지노드는 카메라 영상신호를 분석하여 이벤트 태깅 정보 또는 이벤트 태그 리스트를 원격지에 있는 서버 또는 클라우드로 전달하고, 상기 액션생성부와 액션실행부는 서버 또는 클라우드 서버에서 구현되고, 상기 서버 또는 클라우드 서버는 전달받은 이벤트 태깅 정보 또는 이벤트 태그 리스트에 기초하여 액션생성부와 액션실행부의 기능을 수행하여 상황인지 결과를 출력하는 것을 특징으로 한다.
바람직하게는, 상기 카메라는 객체인식부와 객체추적부를 포함하도록 구성되고, 상기 액션생성부와 액션실행부는 서버 또는 클라우드 서버에서 구현되고, 상기 카메라는 카메라 영상신호를 분석하여 이벤트 태깅 정보 또는 이벤트 태그 리스트를 원격지에 있는 서버 또는 클라우드로 전달하고, 상기 서버 또는 클라우드 서버는 전달받은 이벤트 태깅 정보 또는 이벤트 태그 리스트에 기초하여 액션생성부와 액션실행부의 기능을 수행하여 상황인지 결과를 출력하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 이벤트 태깅 기반 상황인지 방법은 카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서 객체를 인식하고, 객체에 관한 정보를 추출하는 객체인식단계; 카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 객체추적단계; 객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 지정된 특정이벤트가 발생되는 경우에만 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 출력하는 이벤트태깅단계; 이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 출력하는 액션생성단계; 및 액션생성부로부터 액션을 수신하여 액션을 실행하는 액션실행단계;를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 이벤트태깅부는 이벤트설계부로부터 이벤트구성데이터를 수신하고, 객체추적부로부터 객체별 위치 정보를 수신하며, 이벤트 발생을 위한 선 및 영역을 지정하며, 상기 선은 직선 또는 곡선의 조합으로 구성할 수 있으며, 상기 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성되는 것을 특징으로 한다.
바람직하게는, 상기 이벤트태깅부는 생성된 객체가 이벤트를 발생시키는 지점을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가하는 것을 특징으로 한다.
바람직하게는, 상기 사전에 지정된 이벤트는 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 중 어느 하나이상인 것을 특징으로 한다.
바람직하게는, 상기 이벤트 태그는 객체별 발생된 이벤트의 ID, 발생된 이벤트의 형태, 이벤트가 발생된 시간값 중 어느 하나이상인 것을 특징으로 한다.
바람직하게는, 상기 액션생성부는 액션정의부로부터 특정상황 인지를 위한 이벤트 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부로부터 객체별 이벤트 태그 리스트를 수신하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 이벤트 태깅 기반 상황인지 방법은 카메라로부터 수신된 영상에 객체인식 및 객체 추적 알고리즘을 적용하여 객체 생성 및 객체 이동 구간을 분류하는 객체인식추적단계; 객체의 이동에 따른 사용자가 원하는 상황을 인지하기 위하여 상기 영상에서 복수의 구간 및 영역을 설정하고, 사용자가 복수의 조합의 이벤트 발생 그룹을 정의하고, 각 그룹별 액션을 정의하는 액션정의단계; 및 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 다양한 상황 인지를 제공하기 위하여 객체별 이벤트 종류 및 이벤트 발생시간을 태깅하고 객체 종류를 포함한 태깅 정보의 조합으로 다양한 상황인지를 수행하는 복수상황인지단계;를 포함하고, 상기 액션정의단계는 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 이벤트 발생 그룹을 분류하고 각 이벤트 발생 그룹별 액션을 설정하는 것을 특징으로 한다.
본 발명의 다른 일실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상기 이벤트 태깅 기반 상황인지 방법을 실행하는 프로그램을 기록한 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명은 객체 인식과 객체 추적 기능을 기반으로 다양한 복합 상황인지를 가능하게 하는 방법으로서, 기존의 객체인식 및 객체 추적 알고리즘을 적용하고 객체 이동 구간을 분류할 수 있는 이벤트 발생 및 태깅 기능을 이용하여 다양한 복합 상황인지를 가능하게 한다.
본 발명은 구간, 영역 기반의 이벤트 발생 구조를 제공하는데, 영상에 따라 이벤트 발생 구간 및 영역을 설정할 수 있도록 하여, 카메라 설치 위치에 따라 적합한 구간/영역을 지정할 수 있으며, 사용자가 다양한 구간 및 영역을 설정하여 이벤트 발생이 가능하게 한다.
본 발명은 이벤트 조합/이벤트 순서/이벤트간 경과시간의 조합으로 다양한 상황 인지를 제공하는데, 객체별 이벤트 종류 및 이벤트 발생시간을 tagging하고 객체 Type을 포함한 tagging 정보의 조합으로 다양한 상황인지를 가능하게 한다. 또한 이벤트의 종류, 이벤트 발생순서, 이벤트간 경과시간의 조합으로 이벤트 발생 그룹을 분류하고 각 이벤트 발생 그룹별 액션을 설정할 수 있도록 하여 복합상황의 인지 및 상황에 따른 다양한 액션의 적용이 가능하게 한다.
본 발명은 사용자 설정이 가능한 구조로서, 객체의 이동에 따른 사용자가 원하는 상황을 인지하기 위하여 다양한 구간 및 영역을 설정하고, 사용자가 다양한 조합의 이벤트 발생 그룹을 정의하고, 각 그룹별 액션을 정의하여 적용(user configurable)할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 구성도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 이벤트태깅부의 적용예를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 액션생성부의 적용예를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 액션생성부의 다른 적용예를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용 예를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용의 다른 예를 도시한 것이다.
도 7은 도 6에서 대기차량의 수 측정을 위한 이벤트를 추가로 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 구현방법에 따른 여러 가지 하드웨어 구조를 도시한 것이다.
도 9는 도 8에서 Case 2 서버/클라우드의 구성도를 도시한 것이다.
도 10은 도 8에서 Case 1/3 에지노드의 구성도를 도시한 것이다.
도 11은 도 8에서 Case 4/5 카메라의 구성도를 도시한 것이다.
도 12는 본 발명의 다른 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 이벤트 태깅 기반 상황인지 방법의 일례를 도시한 것이다.
도 13은 본 발명의 다른 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 이벤트 태깅 기반 상황인지 방법의 다른 일례를 도시한 것이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성된다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에 따른 이벤트 태깅 기반 상황인지 방법 및 그 시스템에서는 객체 인식 기능으로 인지된 객체의 이동을 추적하는 추적기술과 결합하여 다양한 복합 상황 인지를 가능하게 한다. 인식된 객체가 이동시 설정된 영역으로의 진입 및 진출 또는 설정된 선을 통과할때마다 이러한 이벤트 정보를 해당 이벤트가 발생한 시간과 함께 객체에 추가하고, 객체별로 발생된 이벤트 정보를 기반으로 사전에 설정된 그룹으로 분류하고 그룹별로 사전에 정의된 액션을 수행한다.
또한 본 발명에 따른 이벤트 태깅 기반 상황인지 방법 및 그 시스템에서는 인식된 복수의 객체의 이동을 추적하는 기술을 적용하여 다음과 같은 다양한 상황인지가 가능하도록 하는 이벤트 태깅 기반 상황인지 방법 및 시스템을 제공한다.
첫째로, 차량의 이동방향을 인식하여 계수하는 장치로서, 상행/하행 차량 인지 및 통계, 차선별 차량 인지 및 통계를 제공한다.
둘째로, 교차로에서 차량의 이동 방향에 따른 분류 및 통계 장치로서, 교차로에서 각 방향별 직진/ 좌회전/우회전 차량의 인지 및 통계를 제공한다.
셋째로, 교차로에서 특정 방향으로 진입하는 지정된 차량이 발생되는 경우, 경보를 발생시킨다. 일예로, 교차로에서 오토바이가 자동차 전용도로로 진입하는 경우, 또는 교차로에서 트럭이 진입할 수 없는 도로로 진입하는 경우에 경보를 발생한다.
넷째로, 사람의 이동 경로를 추적하여 지정된 이동 경로별로 분류하고, 분류된 그룹별로 사전에 정의된 액션을 수행한다. 일예로, 건물 A에서 B로 이동하는 사람들을 분류하여 계수하거나, 건물 B에서 C로 이동중인 사람이 10명 이상인 경우 경보를 발생시킨다.
본 발명에 따른 이벤트 태깅 기반 상황인지 시스템은 카메라로부터 수신된 영상에 객체인식 및 객체 추적 알고리즘을 적용하여 객체 생성 및 객체 이동 구간을 분류한다. 객체의 이동에 따른 사용자가 원하는 상황을 인지하기 위하여 상기 영상에서 복수의 구간 및 영역을 설정하고, 사용자가 복수의 조합의 이벤트 발생 그룹을 정의하고, 각 그룹별 액션을 정의한다. 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 이벤트 발생 그룹을 분류하고 각 이벤트 발생 그룹별 액션을 설정한다. 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 다양한 상황 인지를 제공하기 위하여 객체별 이벤트 종류 및 이벤트 발생시간을 태깅하고 객체 종류를 포함한 태깅 정보의 조합으로 다양한 상황인지를 수행한다.
이하, 첨부 도면에 의거하여 본 발명의 이벤트 태깅 기반 상황인지 시스템을 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 구성도를 도시한 것이다.
본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템(100)은 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 액션생성부(104), 액션실행부(105), 액션정의부(106), 이벤트설계부(107)을 포함하여 구성될 수 있다. 또한 카메라(110)를 더 포함할 수 있다.
객체인식부(101)는 카메라(110)가 촬영한 비디오(영상) 또는 방송시스템을 통해 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서 객체를 인식하고, 객체에 관한 정보(Object_ID, Object_Type)를 객체추적부(102)로 제공한다. 객체인식부(101)는 인식된 객체의 이미지를 별도의 메모리에 저장하거나, 객체 추적부(102)로 출력할 수 있는 기능을 부가적으로 실행할 수 있다. 기존의 영상처리 기술이나 딥러닝 기법에 의한 객체인식을 그대로 적용한다. Object_ID는 객체를 구분하기 위해 할당하는 unique ID를 의미하고, Object_Type은 객체의 종류를 나타내는 파라미터(예: 1: 사람, 2: 자동차, 3: 동물)를 의미한다. 기존의 객체인식 기법 중에서 처리의 실시간성, 처리부하, 정확도 등을 고려하여 응용에 적합한 방식을 적용하면 된다.
객체추적부(102)는 카메라(110)가 촬영한 비디오(영상) 또는 방송시스템을 통해 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부(101)로부터 객체에 관한 정보(Object_ID, Object_Type)를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별(Object_ID) 위치 정보를 이벤트태깅부(103)로 출력하는 기능을 수행한다. 기존 객체 추적 기술의 다양한 추적 기술을 그대로 적용하는데, 응용에 따라 최적의 결과를 낼 수 있는 추적 알고리즘을 적용한다.
이벤트태깅부(103)는 객체가 이동하면서 지정된 이벤트 발생 여부를 감지하고 이벤트 발생시에만 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 액션생성부(104)로 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 출력하는 기능을 수행한다. 이벤트태깅부(103)은 이벤트설계부(107)로부터 이벤트구성데이터를 사전에 수신하고, 객체추적부(102)로부터 객체별(Object_ID) 위치 정보를 수신한다. 발생 가능한 이벤트의 예로서, 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 등이 있다. 이벤트 태그 예로서, Object_ID(Event_ID, Event_Type, Event_Time)가 있다. Event_ID는 발생된 이벤트의 id(예: 객체의 생성/소멸, 영역 이벤트). Event_Type은 발생된 이벤트의 형태(예, 1:진입/2:진출, 1:생성/2:삭제). Event_Time은 이벤트가 발생된 시간값이다.
액션생성부(104)는 액션정의부(106)로부터 특정 상황 인지를 위한 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부(103)로부터 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 수신하며, 이벤트태깅부(103)로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하여 액션실행부(105)로 출력한다. 이벤트 리스트 그룹을 예로 들면, 예1: 이벤트A, 이벤트C, 이벤트D가 순서대로 발생하거나, 예2: 이벤트A와 이벤트C가 차례로 발생되고 두 이벤트간 시간이 지정된 시간보다 짧은 경우이다. 액션을 예로 들면, 예1: 카운터 A를 증가시키거나, 예2: 스크린에 알람을 표시(Object_ID, “AAA 알람 발생”)하는 것이다.
객체인식부(101)에서 인식된 객체 이미지는 액션생성부(104)에서 실행항목의 하나로 사용될 수 있다. 실행항목은 “특정 영역에 저장” 또는 “특정 서버로 전달“ 등으로 정의될 수 있다.
액션실행부(105)는 액션생성부(104)에서 발생된 액션 항목을 수신하여 액션을 수행하게 된다. 또한 액션을 수행한 결과를 디스플레이 수단 또는 외부 장치에 출력하게 되는데, 특정 액션 항목 수행 결과는 특정 상황인지 결과를 나타낸다.
인식된 객체 이미지는 액션생성부(104)에서 정의된 실행 항목에 따라 처리된다. 실행항목 처리의 예를 들어 설명하면, 첫째로 상기 액션실행부는 인식된 객체가 교통 위반 차량으로 인식되면 해당 차량 이미지를 저장하여 처리 기관의 컴퓨터로 통보한다. 둘째로, 인식된 객체가 출입금지 영역에 침입자가 인식되면 경부수단을 이용하여 경보를 발생하고 침입자의 이미지를 경비실의 컴퓨터 화면에 전달한다. 셋째로 인식된 객체가 도심 광장에 주인없는 개의 발견으로 인식되면 이를 이미지와 함께 관리사무소의 컴퓨터에 통보한다.
액션정의부(106)는 특정 상황 인지를 위한 Event 조합 및 Action을 정의하는 부로서, GUI(Graphic User Interface) tool을 사용하여 Condition & Action configuration data을 생성할 수도 있다. 생성된 Condition & Action configuration data를 액션생성부(104)로 출력하게 된다.
이벤트설계부(107)는 상황 인지에 필요한 Event들을 발생시키기 위한 Event들을 설계하고 해당 event 설정 정보를 생성하는 부로서, GUI(Graphic User Interface) tool을 사용하여 Event configuration data을 생성할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 이벤트태깅부의 적용예를 도시한 것이다.
이벤트설계부(107)의 GUI(Graphic User Interface) tool을 사용하여 Event configuration data을 생성할 수도 있는데, GUI(Graphic User Interface) tool을 사용하여 사용자는 카메라로부터 수신한 영상에서 이벤트 발생을 위한 선 및 영역을 지정할 수 있다. 선은 직선 또는 곡선의 조합으로 다양한 형태로 구성할 수 있으며, 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성된다.
도 2에서 보듯이, 이벤트태깅부(103)는 인식된 객체(201,202,203)가 이벤트를 발생시키는 지점(Event_ID: 1,2,3,4,5)을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가한다. 객체 감지 시 객체의 ID뿐만 아니라 객체의 종류(예: Type 1:사람, Type 2:자동차, Type 3: 동물)를 구분하여 종류별로 다르게 이벤트를 적용할 수 있도록 한다.
객체의 종류(Type) 파라미터는 응용에 따라 다단계로 구성할 수도 있다.
(예: 사람(남/녀, 아동/청소년/중장년/노년), 자동차(승용차/버스/트럭, 버스:중형/대형/..), 동물(조류/포유류/어류, 조류:참새/비둘기/..)
도 2에서 보듯이, 자동차(201)라는 객체가 영상에 새로이 진입하는 경우, 객체가 인식되는데, 객체정보로서 Object(ID:1, Type:2), Event(Detected, Time:A)가 생성되며, 객체의 ID는 1이고, 타입은 2로서 자동차를 의미하며, 이벤트가 인식되고, 이벤트 발생시간은 A이다. 자동차가 Event_ID: 1 지점을 통과하게 되면 이벤트의 종류(Event_ID: 1)와 이벤트 발생시간(Time:B)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:1, Type:2), Event(Detected, Time:A), Event(ID:1, Time:B)가 된다. 객체가 계속 이동하여 자동차가 Event_ID: 2 지점을 통과하게 되면 이벤트의 종류(Event_ID: 2)와 이벤트 발생시간(Time:C)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:1, Type:2), Event(Detected, Time:A), Event(ID:1, Time:B), Event(ID:2, Time:C)가 된다. 또한 객체가 계속 이동하여 영상의 끝 영역으로 이동하게 되고, 자동차라는 해당 객체가 소멸 지점을 통과하게 되면 이벤트의 종류(Event(Disappeared)와 이벤트 발생시간(Time:D)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:1, Type:2), Event(Detected, Time:A), Event(ID:1, Time:B), Event(ID:2, Time:C), Event(Disappeared, Time:D)가 된다.
도 2에서 보듯이, 사람(203, 여자)이라는 객체가 영상에 새로이 진입하는 경우, 객체가 인식되는데, 객체정보로서 Object(ID:2, Type:1), Event(Detected, Time:E)가 생성되며, 객체의 ID는 2이고, 타입은 1로서 사람을 의미하며, 이벤트가 인식되고, 이벤트 발생시간은 E이다. 사람이 Event_ID: 3 지점을 통과하게 되면 이벤트의 종류(Event_ID: 3)와 이벤트 발생시간(Time:F)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F)가 된다. 객체가 계속 이동하여 사람이 Event_ID: 4 영역에 진입하게 되면 이벤트의 종류(Event_ID: 4, Type:1)와 이벤트 발생시간(Time:G)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G)가 된다. Type 1은 Event_ID:4의 영역에 진입한 것이고, Type 2는 Event_ID:4의 영역에서 진출한 것을 의미한다. 객체가 이동하여 Event_ID:4의 영역을 진출하게 되면, 이벤트의 종류(Event_ID: 4, Type:2)와 이벤트 발생시간(Time:H)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G), Event(ID:4, Type:2, Time:H)가 된다. 또한 객체가 계속 이동하여 영상의 끝 영역으로 이동하게 되고, 해당 객체가 소멸 지점을 통과하게 되면 이벤트의 종류(Event(Disappeared)와 이벤트 발생시간(Time:L)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:2, Type:1), Event(Detected, Time:E), Event(ID:3, Time:F), Event(ID:4, Type:1, Time:G), Event(ID:4, Type:2, Time:H), Event(Disappeared, Time:L)가 된다.
도 2에서 보듯이, 사람(202, 남자)이라는 객체가 영상에 새로이 진입하는 경우, 객체가 인식되는데, 사람(203, 여자)와 동일한 절차를 거치며, 다만, 객체정보로서 Object(ID:3, Type:1), Event(Detected, Time:M)가 생성되며, 객체의 ID는 3이고, 타입은 1로서 사람을 의미하며, 이벤트가 인식되고, 이벤트 발생시간은 M이다. 사람이 Event_ID: 5 지점을 통과하게 되면 이벤트의 종류(Event_ID: 5)와 이벤트 발생시간(Time:N)을 해당 객체의 객체정보에 추가하여 객체정보는 Object(ID:3, Type:1), Event(Detected, Time:M), Event(ID:5, Time:N)가 된다. 객체가 계속 이동하여 사람이 Event_ID: 4 영역에 진입하게 되면 그 이후의 절차는 사람(203, 여자)와 동일한 절차를 거치게 되므로 자세한 사항은 생략한다.
도 3은 본 발명의 일 실시예에 따른 액션생성부의 적용예를 도시한 것이다.
도 3에서 보듯이, 액션생성부(104)는 이벤트들의 조합으로 이루어진 조건(Condition)을 정의하고 해당 조합에 대응된 액션(Action)을 사용자가 설정할 수 있는 액션 생성 블록이다. 각각의 객체에 태깅된 이벤트들의 조합이 정의된 조건(condition)에 부합되는지 검사한다. 객체의 이벤트 조합이 특정 조건에 부합되는 경우 해당 조건에 대응된 액션을 실행하기 위하여 액션실행부(105)로 액션을 출력하여 액션을 실행하도록 한다.
이벤트태깅부(103)로부터 수신되는 이벤트 태깅 정보 또는 이벤트 태그 리스트에 대한 액션생성부(104)의 적용 시점은 다음과 같다.
(1) 객체에 새로운 이벤트가 발생시마다 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그 리스트의 검사 및 대응된 액션을 실행한다. 실시간 처리가 필요한 경우 적용되며, 기 실행된 액션의 중복 실행 방지 기능 필요하다.
도 3에서 보듯이, Event(ID:1), Event(ID:2)가 차례로 발생하게 되는 조건(301)에서는 액션으로 자동차라는 객체에 대한 순방향으로 이동하는 대수를 계산하기 위하여 순방향 계수값을 증가시킨다(304, Increase Forward_Counter). 만일 Event(ID:2), Event(ID:1)가 차례로 발생하게 되는 조건(302)에서는 액션으로 자동차라는 객체에 대한 역방향으로 이동하는 대수를 계산하기 위하여 역방향 계수값을 증가시킨다(305, Increase Forward_Counter). 만일 Event_ID:1과 Event_ID:2의 조합으로 순방향 차량 및 역방향 차량의 수를 각각 카운팅하고, 두 이벤트간 시간으로 과속하는 차량을 감지하고 알람 표시 및 카운팅(Alarm_Counter)을 한다. 가령 Event(ID:2)와 Event(ID:1) 간의 시간이 2초이하(< 2 sec)인 조건(303)에는 액션으로 두 이벤트간 시간으로 과속하는 차량을 감지하고 알람 표시 및 카운팅을 수행하게 된다(306, Increase Speed Alarm counter & Alarm Display).
(2) 객체 소멸 시점에 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그 리스트의 검사 및 대응된 액션을 실행한다. 실시간 처리가 필요하지 않는 경우 적용된다.
(3) 지정된 특정 이벤트가 발생되는 경우에만 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그 리스트의 검사 및 대응된 액션을 실행한다. 실시간 처리가 가능하면서도 액션생성부 처리 부하를 줄일 수 있다.
도 4는 본 발명의 일 실시예에 따른 액션생성부의 다른 적용예를 도시한 것이다. 액션생성부의 특징으로, 객체의 종류(Object_Type)에 따라 다른 조합의 Condition을 정의할 수 있는데, 예로, 사람과 자동차에 각각 다른 형태의 상황인지 Condition을 정의한다.
도 4에서 보듯이, Event(ID:3), Event(ID:4, Type: 1)가 차례로 발생하게 되는 조건(401)에서는 액션으로 사람이라는 객체에 대해 Event_ID:3 지역에서 Event_ID:4 영역으로 이동한 사람들을 카운팅(404, Increase Forward_Counter)한다. Event(ID:4, Type:1) 발생하게 되는 조건(402)에서는 Event_ID:3 지역에서 Event_ID:4 영역으로 진입하여 Event_ID:4 영역에 머무르고 있는 사람들의 수를 증가시킨다(405, Increase People_Counter). Event(ID:4, Type:2) 발생하게 되는 조건(403)에서는 Event_ID:3 지역에서 Event_ID:4 영역으로 이동한 사람들 중 Event_ID:4 영역에 머무르는 사람들의 수를 감소시킨다(406, Decrease People_Counter). Event(ID:4, Type:1) 발생하게 되는 조건(402)과 Event(ID:4, Type:2) 발생하게 되는 조건(403)을 결합하여 Event_ID:3 지역에서 Event_ID:4 영역으로 이동한 사람들 중 Event_ID:4 영역에 머무르고 있는 사람들의 수를 표시한다(People_Counter).
도 5는 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용 예를 도시한 것이다.
도 5(a)에서 보듯이, 사람들의 이동 방향에 대한 통계를 제공하기 위하여, 발생된 이벤트별로 사람들의 이동 방향별 통계 정보를 수집한다. 먼저, 객체 인식(Object Detection)을 수행한다. 이를 통해 이 구간을 통과한 사람들의 총수와 시간대별 감지된 사람들의 수를 계산한다. 또한 이벤트 1과 이벤트 3이 차례로 발생(Event_1 to Event_3)하면, 좌에서 우로 이동한 사람으로 인식하고 그 수를 계산하고, 이벤트 3과 이벤트 1이 차례로 발생(Event_3 to Event_1)하면 우에서 좌로 이동한 사람으로 인식하고 그 수를 계산한다. 이벤트 2와 이벤트 4가 차례로 발생(Event_2 to Event_4)하면 위쪽에서 아래쪽으로 이동한 사람으로 인식하고 그 수를 계산하고, 이벤트 4와 이벤트 2가 차례로 발생(Event_4 to Event_2)하면 아래쪽에서 위쪽으로 이동한 사람으로 인식하고 그 수를 계산한다. 또한 다른 조합을 적용하여 사선으로 이동한 사람들의 수를 계수할 수 있는데, 이벤트 2와 이벤트 3이 차례로 발생(Event_2 to Event_3)하면, 위쪽에서 우로 이동한 사람으로 인식하고 그 수를 계산한다.
도 5(b)는 도 5(a)에서 객체인식 영역을 추가로 도시한 것이다. 도 5(b)는 도 5(a)의 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용에 추가하여 객체 인식 영역을 더 포함하여 상황 인지를 수행하는 것을 도시하고 있다. 도 5(b)에서 보듯이, 객체 인식 영역을 지정한 경우, 해당 영역에 있는 객체만을 인식한다. 이를 통해 해당 영역에 있는 사람의 수에 대한 통계 정보 수집이 가능하고, 특정 지점의 혼잡도의 측정이 가능하다.
도 6은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용의 다른 예를 도시한 것이다.
도 6에서 보듯이, 사거리에서 각 방향으로의 차량 이동을 카운트한다. 먼저,
이벤트 A와 이벤트 B가 차례로 발생(Event_A & Event_B)하면 도로 A에서 직진 차량으로 인식하고 그 수를 계산한다. 이벤트 A와 이벤트 C가 차례로 발생(Event_A & Event_C)하면 도로 A에서 좌회전 차량으로 인식하고 그 수를 계산한다. 이벤트 B와 이벤트 A가 차례로 발생(Event_B & Event_A)하면 도로 B에서 직진 차량으로 인식하고 그 수를 계산한다. 이벤트 B와 이벤트 D가 차례로 발생(Event_B & Event_D)하면 도로 B에서 좌회전 차량으로 인식하고 그 수를 계산한다. 이벤트 C와 이벤트 D가 차례로 발생(Event_C & Event_D)하면 도로 C에서 직진 차량으로 인식하고 그 수를 계산한다. 이벤트 C와 이벤트 B가 차례로 발생(Event_C & Event_B)하면 도로 C에서 좌회전 차량으로 인식하고 그 수를 계산한다. 이벤트 D와 이벤트 C가 차례로 발생(Event_D & Event_C)하면 도로 D에서 직진 차량으로 인식하고 그 수를 계산한다. 이벤트 D와 이벤트 A가 차례로 발생(Event_D & Event_A)하면 도로 D에서 좌회전 차량으로 인식하고 그 수를 계산한다. 또한 상기 외에 이벤트들의 다양한 조합을 통해 다양한 조건에 대해 통계 정보를 얻을 수 있다.
도 7은 도 6에서 대기차량의 수 측정을 위한 이벤트를 추가로 도시한 것이다. 도 7은 도 6의 이벤트 태깅 기반 상황인지 시스템의 상황 인지 적용에 추가하여 대기차량의 수 측정을 위한 이벤트를 포함하여 상황 인지를 수행하는 것을 도시하고 있다. 도 7에서 보듯이, 도로 A에서 대기하는 차량의 수를 계산하기 위하여 이벤트 E(Event_E) 발생 후 아직 이벤트 A(Event_A)가 발생되지 않은 차량의 수를 카운트한다. 도로 C에서 대기하는 차량의 수를 계산하기 위하여 이벤트 F(Event_F) 발생 후 아직 이벤트 C(Event_C)가 발생되지 않은 차량의 수를 카운트한다. 이를 통해 사거리에서 대기하는 차량의 수를 측정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 구현방법에 따른 여러 가지 하드웨어 구조를 도시한 것이다.
도 8에서 보듯이, 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 구성요소인 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 액션생성부(104), 액션실행부(105), 액션정의부(106), 이벤트설계부(107)와 카메라(110)를 어떤 장치들에서 구현하느냐에 따라 총 5가지로 구분할 수 있다. 상기 장치들로는 카메라장치, 에지노드, 서버/클라우드를 포함한다. 하기의 표 1은 본원발명의 시스템을 구성하는 기능이 적용되는 장치의 구성예를 도시한 것이다.
적용Case 하드웨어 구성방법 설명
Case 1 카메라: 카메라 기능에지노드: 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 액션생성부(104), 액션실행부(105), 액션정의부(106), 이벤트설계부(107) 에지노드가 시스템의 모든 기능(101-107) 수행
Case 2 카메라: 카메라 기능서버/클라우드: 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 액션생성부(104), 액션실행부(105), 액션정의부(106), 이벤트설계부(107) 서버/클라우드가 시스템의 모든 기능(101-107) 수행
Case 3 카메라: 카메라 기능에지노드: 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 이벤트설계부(107)서버/클라우드: 액션생성부(104), 액션실행부(105), 액션정의부(106) 에지노드와 서버/클라우드가 시스템의 기능의 일부를 담당
Case 4 카메라: 카메라 기능, 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 이벤트설계부(107)서버/클라우드: 액션생성부(104), 액션실행부(105), 액션정의부(106) 카메라가 카메라 기능 외에 시스템의 일부 기능을 담당
Case 5 카메라: 카메라 기능, 객체인식부(101), 객체추적부(102), 이벤트태깅부(103), 액션생성부(104), 액션실행부(105), 액션정의부(106), 이벤트설계부(107) 카메라가 시스템의 모든 기능을 담당
도 8 및 표 1을 참조하여 본원발명의 시스템을 구성하는 기능이 적용되는 장치의 구성을 이하에서 설명한다.
Case 1로 구성하는 경우, 별도의 일반 카메라를 에지노드에 연결한다. 에지노드에서 카메라 영상신호를 분석하여 상황인지 결과를 출력하게 된다.
Case 2로 구성하는 경우, 카메라 영상데이터를 원격지에 있는 범용 서버 또는 클라우드 서버에서 처리하여 상황인지 결과를 출력한다.
Case 3으로 구성하는 경우, 별도의 일반 카메라를 에지노드에 연결한다. 에지노드에서 카메라 영상신호를 분석하여 이벤트 태깅 정보(또는 이벤트 태그 리스트)를 원격지에 있는 서버 또는 클라우드로 전달한다. 서버 또는 클라우드(서버)에서는 event tagging 정보를 기반으로 액션생성부(104)와 액션실행부(105)의 기능을 수행하여 상황인지 결과를 만들어내게 된다. 카메라 영상은 인접한 에지노드까지만 전달되며, 에지노드는 서버 또는 클라우드에 event tagging 정보만을 전달하므로 전송데이터량이 크게 감소되며, 서버 또는 클라우드 부하를 감소시킬 수 있다.
Case 4로 구성하는 경우, 카메라에서 카메라 기능 외에 객체인식부(101)와 객체추적부(102)의 기능을 통합하게 된다. 카메라는 원격지에 있는 서버 또는 클라우드로 event tagging 정보만을 전달하게 된다. 서버 또는 클라우드에서는 event tagging 정보를 기반으로 액션생성부(104)와 액션실행부(105)의 기능을 수행하여 상황인지 결과를 만들어내게 된다. 카메라는 영상데이터 대신 event tagging 정보만을 전달하므로 전송데이터량이 크게 감소되며, 서버 또는 클라우드 부하를 감소시킬 수 있다.
Case 5로 구성하는 경우, 상황인지에 필요한 기능을 모두 카메라에 통합한다. 카메라는 상황인지 결과만을 출력하므로 별도의 영상분석처리 기능을 위한 서버 없이도 상황인지 결과를 얻을 수 있다.
도 8에서 보듯이, 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템은 구현방법에 따라 여러 가지 하드웨어 구조가 될 수 있는데, 이하 도 9-11를 참조하여 본 발명의 일 실시예에 따른 이벤트 태깅 기반 상황인지 시스템이 적용될 수 있는 시스템에 대해 설명한다.
도 9는 도 8에서 Case 2 서버/클라우드의 구성도를 도시한 것이다. 도 9에서 보듯이, Case 2 서버/클라우드는 복수의 카메라로부터 영상 신호(비디오 스트림)을 수신하거나, 방송시스템을 통해 실시간 방송 신호(비디오 스트림)를 수신하거나, 저장매체에 저장된 영상 신호(비디오 스트림)를 읽어와서 상황인지를 처리하는 서버 시스템으로 구현이 가능하다. 이는 다수의 카메라로부터 IP(인터넷 프로토콜) 기반의 영상 트래픽을 수신하여 상황인지를 처리하는 서버 시스템으로 동작할 수 있으며, 카메라가 아닌 스토리지 서버로부터 복수의 영상신호를 읽어와서 고속으로 처리하는 서버 시스템으로도 동작할 수 있다.
도 9에서 보듯이, Case 2 서버/클라우드는 제어부(901,CPU), 메모리(902, RAM), 저장부(903), IO프로세서(904), 가속기 보드(905)를 포함하여 구성될 수 있다. 가속기 보드(905) 대신 GPU가 사용될 수도 있다. IO프로세서(904)는 카메라로부터 영상 신호를 IP 패킷에 실려 이더넷으로 입력받는데, 통신프로토콜로 ONVIF(Open Network Video Interface Forum) 규격이 사용될 수 있다. 제어부(901,CPU)는 IO프로세서(904)를 통하여 영상 신호를 수신하고, 이를 이용하여 객체 인식, 추적, 상황인지에 대한 영상처리를 수행한다. 제어부(901)는 빠른 객체 감지를 위해서 하나 또는 복수의 GPU(Graphic Processor Unit) 또는 가속기(Accelerator) 보드를 장착하여 사용한다. 가속기 보드(905)는 FPGA 또는 전용 AI(인공지능) 처리 chip을 내장한 보드가 될 수 있다. 메모리(902)는 제어부의 처리에 필요한 데이터를 임시로 저장하는 것으로, RAM이 사용될 수 있다. 저장부(903)는 HDD 또는 SSD로 구성되고, 비디오 스트림, 상황인지 방법을 수행하는 컴퓨터 프로그램, 상황인지 방법의 수행에 필요한 데이터, 수행결과 데이터들을 포함한다. GPU(Graphic Processor Unit) 또는 가속기(Accelerator) 보드는 제어부(901)의 제어하에 객체 감지를 위한 기능을 수행하며, 빠른 객체 감지를 위해서 하나 또는 복수개가 사용된다.
도 8에서 Case 3/4 서버/클라우드의 구성도를 이하에서 설명한다. 도 8에서 보듯이, Case 3/4 서버/클라우드는 하나 또는 복수의 영상 신호 event tagging 정보를 수신하여 상황인지를 처리하는 서버 시스템으로 구현이 가능하다. 하나 또는 복수의 에지노드 또는 객체인식/추적 기능이 내장된 카메라로부터 event tagging 정보를 통신망을 통하여 수신하여 상황인지 처리(대역폭이 큰 영상신호를 전달하지 않으므로 이동망/무선망을 통하여 연결이 가능하며, 서버/클라우드의 처리 부하가 크게 감소함)를 수행한다.
도 10은 도 8에서 Case 1/3 에지노드의 구성도를 도시한 것이다. 도 10에서 보듯이, Case 1과 3 에지노드는 제어부(1001), 메모리(1002), 비디오프로세서(1003)를 포함하여 구성될 수 있다.
도 10에서 보듯이, 하나 또는 복수의 카메라로부터 영상 신호를 처리하는 에지노드 시스템으로 구현이 가능하다. 제어부(1001)인 프로세서는 SoC(System on Chip) 또는 범용 CPU로 구현될 수 있고, 제어부(1001)의 USB, 이더넷 및 비디오 입력 인터페이스를 통하여 카메라로부터 영상 신호를 입력받는다. 제어부(1001)의 제어하에 고속의 객체 감지를 위해서 비디오프로세서(1003)가 사용되는데, 비디오프로세서(1003)에는 Neural Network Chip, Tensorflow Processor Unit 등을 포함한다. Case 1과 3 에지노드는 Event Tagging 정보를 출력하거나(case 3 에지노드의 경우), 상황인지 결과를 출력하는(case 1 에지노드인 경우) 시스템이다. Case 1과 3 에지노드는 기존의 IP 카메라를 사용하여 이더넷으로 영상 데이터(인터넷 프로토콜 기반 영상 트래픽)를 입력하여 처리하며, 에지 노드는 이더넷 인터페이스 대신 USB 또는 기존의 영상 입력 인터페이스를 통하여 영상 신호를 입력 받을 수 있으며, 또한 에지노드는 영상 트래픽을 카메라가 아닌 저장 매체로부터 읽어와서 처리할 수도 있다.
메모리(1002)는 제어부의 처리에 필요한 데이터를 임시로 저장하고, 또한 비디오 스트림, 상황인지 방법을 수행하는 컴퓨터 프로그램, 상황인지 방법의 수행에 필요한 데이터, 수행결과 데이터들을 포함할 수 있다.
도 11은 도 8에서 Case 4/5 카메라의 구성도를 도시한 것이다. 도 11에서 보듯이, Case 4와 5 카메라는 카메라 센서 또는 카메라 모듈 외에 제어부(1101), 메모리(1102), 비디오프로세서(1103)를 포함하여 구성될 수 있다. 액션생성/실행 기능의 수행 여부에 따라 Case 4/Case 5 카메라로 구분된다. Case 4 카메라는 카메라에 객체인식/추적기능을 통합하여 카메라 센서로부터 입력된 영상 트래픽으로부터 추출된 event tagging 정보를 출력하는 카메라이고, Case 5 카메라는 카메라에 상황인지에 필요한 기능을 모두 통합하여 상황인지 결과를 출력하는 카메라이다.
제어부(1101)은 SoC(System on Chip)로 구현되며, 영상 신호처리 전용 또는 범용의 모바일 디바이스 SoC를 사용할 수 있다. 카메라 센서 또는 카메라 모듈을 MIPI CSI (Mobile Industry Processor Interface Camera Sensor Interface), USB, 또는 Video 입력 인터페이스에 연결하여 비디오 신호 입력받는다. 제어부(1101)의 제어하에 고속의 객체 감지를 위해서 비디오프로세서(1103)가 선택적으로 사용될 수 있으며, 비디오프로세서(1103)의 MIPI interface에 직접 카메라 모듈을 연결하고 객체 인식 기능을 수행하게 할 수도 있다.
메모리(1102)는 제어부의 처리에 필요한 데이터를 임시로 저장하고, 또한 비디오 스트림, 상황인지 방법을 수행하는 컴퓨터 프로그램, 상황인지 방법의 수행에 필요한 데이터, 수행결과 데이터들을 포함할 수 있다.
도 12는 본 발명의 다른 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 이벤트 태깅 기반 상황인지 방법의 일례를 도시한 것이다.
도 12에서 보듯이 본 발명의 다른 일실시예에 따른 이벤트 태깅 기반 상황인지 방법은 객체인식단계(S100), 객체추적단계(S200), 이벤트태깅단계(S300), 액션생성단계(S400), 액션실행단계(S500)를 포함하여 구성된다.
객체인식단계(S100)에서는 카메라가 촬영한 비디오를 수신하여 객체를 인식하고, 객체에 관한 정보를 추출하는 단계이다. 또한 카메라(110)가 촬영한 비디오 수신 외에도 지상파방송, 케이블방송, 또는 위성방송시스템을 통해 실시간 방송 비디오를 수신하여 객체를 인식할 수도 있고, 저장매체에 저장된 비디오를 읽어와서 객체를 인식할 수도 있다.
객체추적단계(S200)에서는 카메라(110)가 촬영한 비디오(영상) 또는 방송시스템을 통해 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 단계이다.
이벤트태깅단계(S300)에서는 객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 이벤트 발생시에만 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 출력하는 단계이다. 상기 사전에 지정된 이벤트는 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 중 어느 하나이상을 포함한다. 상기 이벤트 태그는 객체별 발생된 이벤트의 ID, 발생된 이벤트의 형태, 이벤트가 발생된 시간값 중 어느 하나이상을 포함한다.
액션생성단계(S400)에서는 이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 출력하는 단계이다. 상기 이벤트태깅부는 이벤트설계부로부터 이벤트구성데이터를 수신하고, 객체추적부로부터 객체별 위치 정보를 수신하며, 이벤트 발생을 위한 선 및 영역을 지정하며, 상기 선은 직선 또는 곡선의 조합으로 구성할 수 있으며, 상기 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성된다. 상기 이벤트태깅부는 생성된 객체가 이벤트를 발생시키는 지점을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가한다.
액션실행단계(S500)에서는 액션생성부로부터 액션을 수신하여 액션을 실행하는 단계이다. 상기 액션생성부는 액션정의부로부터 특정상황 인지를 위한 이벤트 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부로부터 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 수신한다.
도 13은 본 발명의 다른 실시예에 따른 이벤트 태깅 기반 상황인지 시스템의 이벤트 태깅 기반 상황인지 방법의 다른 일례를 도시한 것이다.
도 13에서 보듯이, 본 발명의 다른 일실시예에 따른 이벤트 태깅 기반 상황인지 방법은 객체인식추적단계(S1100), 액션정의단계(S1200), 복수상황인지단계(S1300)를 포함하여 구성된다.
객체인식추적단계(S1100)에서는 카메라(110)가 촬영한 비디오(영상) 또는 방송시스템을 통해 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서, 비디오(영상)에 객체인식 및 객체 추적 알고리즘을 적용하여 객체 생성 및 객체 이동 구간을 분류한다.
액션정의단계(S1200)에서는 객체의 이동에 따른 사용자가 원하는 상황을 인지하기 위하여 상기 영상에서 복수의 구간 및 영역을 설정하고, 사용자가 복수의 조합의 이벤트 발생 그룹을 정의하고, 각 그룹별 액션을 정의한다. 상기 액션정의단계(S1200)는 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 이벤트 발생 그룹을 분류하고 각 이벤트 발생 그룹별 액션을 설정한다.
복수상황인지단계(S1300)에서는 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 다양한 상황 인지를 제공하기 위하여 객체별 이벤트 종류 및 이벤트 발생시간을 태깅하고 객체 종류를 포함한 태깅 정보의 조합으로 다양한 상황인지를 수행한다.
한편, 본 발명의 실시예에 따른 이벤트 태깅 기반 상황인지 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (21)

  1. 이벤트 태깅 기반 상황인지 시스템에 있어서,
    카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서 객체를 인식하고, 객체에 관한 정보를 추출하는 객체인식부;
    카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 객체추적부;
    객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 지정된 특정이벤트가 발생되는 경우에만 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태그 리스트를 출력하는 이벤트태깅부; 및
    이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 액션실행부로 출력하는 액션생성부;를 포함하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  2. 제 1 항에 있어서,
    상기 객체인식부는 인식된 객체의 이미지를 별도의 메모리에 저장하거나, 객체 추적부로 출력하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  3. 제 1 항에 있어서,
    상기 이벤트태깅부는 이벤트설계부로부터 이벤트구성데이터를 수신하고, 객체추적부로부터 객체별 위치 정보를 수신하며,
    이벤트 발생을 위한 선 및 영역을 지정하며, 상기 선은 직선 또는 곡선의 조합으로 구성할 수 있으며, 상기 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성되는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  4. 제 3항에 있어서,
    상기 이벤트태깅부는 생성된 객체가 이벤트를 발생시키는 지점을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  5. 제 1 항에 있어서,
    상기 사전에 지정된 이벤트는 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 중 어느 하나이상인 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  6. 제 1 항에 있어서,
    상기 이벤트 태그는 객체별 발생된 이벤트의 ID, 발생된 이벤트의 형태, 이벤트가 발생된 시간값 중 어느 하나이상인 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  7. 제 1 항에 있어서,
    상기 액션생성부는 액션정의부로부터 특정상황 인지를 위한 이벤트 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부로부터 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 수신하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  8. 제 7 항에 있어서,
    상기 액션생성부는 객체인식부에서 인식된 객체 이미지를 액션생성부에서 실행항목의 하나로 사용하며,
    상기 실행항목은 특정 영역에 저장 또는 특정 서버로 전달 중 어느 하나를 포함하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  9. 제 1 항에 있어서,
    상기 액션생성부에서 발생된 액션 항목을 수신하여 액션을 수행하거나, 액션을 수행한 결과를 디스플레이 수단 또는 외부 장치에 출력하여 상황인지를 수행하는 액션실행부를 더 포함하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  10. 제 9 항에 있어서,
    상기 액션실행부는 인식된 객체 이미지를 액션생성부에서 정의된 실행 항목에 따라 처리하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 이벤트 태깅 기반 상황인지 시스템의 기능은 카메라에서 구현되거나, 에지노드에서 구현되거나, 서버 또는 클라우드 서버에서 구현되는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  12. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 객체인식부, 객체추적부 및 이벤트태깅부는 에지노드에서 구현되고, 상기 에지노드는 카메라 영상신호를 분석하여 이벤트 태깅 정보 또는 이벤트 태그 리스트를 원격지에 있는 서버 또는 클라우드로 전달하고,
    상기 액션생성부와 액션실행부는 서버 또는 클라우드 서버에서 구현되고, 상기 서버 또는 클라우드 서버는 전달받은 이벤트 태깅 정보 또는 이벤트 태그 리스트에 기초하여 액션생성부와 액션실행부의 기능을 수행하여 상황인지 결과를 출력하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  13. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 카메라는 객체인식부와 객체추적부를 포함하도록 구성되고,
    상기 액션생성부와 액션실행부는 서버 또는 클라우드 서버에서 구현되고,
    상기 카메라는 카메라 영상신호를 분석하여 이벤트 태깅 정보 또는 이벤트 태그 리스트를 원격지에 있는 서버 또는 클라우드로 전달하고, 상기 서버 또는 클라우드 서버는 전달받은 이벤트 태깅 정보 또는 이벤트 태그 리스트에 기초하여 액션생성부와 액션실행부의 기능을 수행하여 상황인지 결과를 출력하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 시스템.
  14. 이벤트 태깅 기반 상황인지 방법에 있어서,
    카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어와서 객체를 인식하고, 객체에 관한 정보를 추출하는 객체인식단계;
    카메라가 촬영한 비디오 또는 실시간 방송 비디오를 수신하거나, 저장매체에 저장된 비디오를 읽어오고, 객체인식부로부터 객체에 관한 정보를 수신하며, 수신된 비디오 프레임을 분석하여 인식된 객체들의 움직임을 추적하여 객체들의 위치를 파악하고, 객체별 위치 정보를 추출하는 객체추적단계;
    객체가 이동하면서 사전에 지정된 이벤트 발생 여부를 감지하고 지정된 특정이벤트가 발생되는 경우에만 해당 객체의 이벤트 태깅 정보 또는 이벤트 태그를 기록하고, 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 출력하는 이벤트태깅단계;
    이벤트태깅부로부터 수신한 객체별 이벤트 태깅 정보 또는 태깅된 이벤트 리스트를 기반으로 사전에 지정된 이벤트들의 조합으로 분류하고, 분류된 그룹별로 할당된 액션을 생성하고, 액션을 출력하는 액션생성단계; 및
    액션생성부로부터 액션을 수신하여 액션을 실행하는 액션실행단계;를 포함하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  15. 제 14 항에 있어서,
    상기 이벤트태깅부는 이벤트설계부로부터 이벤트구성데이터를 수신하고, 객체추적부로부터 객체별 위치 정보를 수신하며,
    이벤트 발생을 위한 선 및 영역을 지정하며, 상기 선은 직선 또는 곡선의 조합으로 구성할 수 있으며, 상기 영역은 직선 및 곡선의 조합으로 이루어진 폐쇄형으로 구성되는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  16. 제 15 항에 있어서,
    상기 이벤트태깅부는 생성된 객체가 이벤트를 발생시키는 지점을 통과할 때마다 해당 이벤트의 종류와 이벤트 발생시간을 해당 객체의 객체정보에 추가하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  17. 제 14 항에 있어서,
    상기 사전에 지정된 이벤트는 새로운 객체 발생, 객체의 소멸, 지정된 선을 경유, 지정된 영역으로 진입, 지정된 영역 외부로 진출 중 어느 하나이상인 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  18. 제 14 항에 있어서,
    상기 이벤트 태그는 객체별 발생된 이벤트의 ID, 발생된 이벤트의 형태, 이벤트가 발생된 시간값 중 어느 하나이상인 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  19. 제 14 항에 있어서,
    상기 액션생성부는 액션정의부로부터 특정상황 인지를 위한 이벤트 조건과 액션 구성 데이터를 수신하고, 이벤트태깅부로부터 객체별 이벤트 태깅 정보 또는 이벤트 태그 리스트를 수신하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  20. 이벤트 태깅 기반 상황인지 방법에 있어서,
    카메라로부터 수신된 영상에 객체인식 및 객체 추적 알고리즘을 적용하여 객체 생성 및 객체 이동 구간을 분류하는 객체인식추적단계;
    객체의 이동에 따른 사용자가 원하는 상황을 인지하기 위하여 상기 영상에서 복수의 구간 및 영역을 설정하고, 사용자가 복수의 조합의 이벤트 발생 그룹을 정의하고, 각 그룹별 액션을 정의하는 액션정의단계;
    객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 다양한 상황 인지를 제공하기 위하여 객체별 이벤트 종류 및 이벤트 발생시간을 태깅하고 객체 종류를 포함한 태깅 정보의 조합으로 다양한 상황인지를 수행하는 복수상황인지단계;를 포함하고,
    상기 액션정의단계는 객체별 이벤트의 종류, 이벤트 발생순서, 및 이벤트간 경과시간의 조합으로 이벤트 발생 그룹을 분류하고 각 이벤트 발생 그룹별 액션을 설정하는 것을 특징으로 하는 이벤트 태깅 기반 상황인지 방법.
  21. 제 14 항 내지 제 20 항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.
PCT/KR2020/008709 2019-07-04 2020-07-03 이벤트 태깅 기반 상황인지 방법 및 그 시스템 WO2021002722A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/624,016 US20220351515A1 (en) 2019-07-04 2020-07-03 Method for perceiving event tagging-based situation and system for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0080450 2019-07-04
KR1020190080450A KR102317628B1 (ko) 2019-07-04 2019-07-04 이벤트 태깅 기반 상황인지 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
WO2021002722A1 true WO2021002722A1 (ko) 2021-01-07

Family

ID=74100941

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008709 WO2021002722A1 (ko) 2019-07-04 2020-07-03 이벤트 태깅 기반 상황인지 방법 및 그 시스템

Country Status (3)

Country Link
US (1) US20220351515A1 (ko)
KR (1) KR102317628B1 (ko)
WO (1) WO2021002722A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045239A1 (zh) * 2021-09-22 2023-03-30 上海商汤智能科技有限公司 行为识别方法、装置、设备、介质、芯片、产品及程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220121105A (ko) * 2021-02-24 2022-08-31 삼성전자주식회사 타겟 영역 내의 객체의 위치를 추적하는 방법 및 이를 수행하는 전자 장치
KR102476777B1 (ko) * 2022-05-25 2022-12-12 주식회사 유투에스알 인공지능 기반 경로 예측시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213255B1 (ko) * 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
KR20150033402A (ko) * 2013-09-24 2015-04-01 한국전자통신연구원 영상 인식 기반 무인 경비 장치 및 방법
KR20170004530A (ko) * 2015-07-03 2017-01-11 주식회사 한국시스템 카메라를 이용한 원격 감시 및 경고방법과 원격 감시 및 경고장치
KR20170048108A (ko) * 2015-10-23 2017-05-08 삼성에스디에스 주식회사 객체 및 상황 인지 방법 및 시스템
KR101877294B1 (ko) * 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678377B1 (ko) * 2015-03-31 2016-11-22 (주)블루비스 시각적 이벤트 결과를 제공하는 영상 보안 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101213255B1 (ko) * 2012-09-14 2012-12-18 박종현 영상처리와 무선 센서네트워크를 이용한 상황인지 시스템 및 그 방법
KR20150033402A (ko) * 2013-09-24 2015-04-01 한국전자통신연구원 영상 인식 기반 무인 경비 장치 및 방법
KR20170004530A (ko) * 2015-07-03 2017-01-11 주식회사 한국시스템 카메라를 이용한 원격 감시 및 경고방법과 원격 감시 및 경고장치
KR20170048108A (ko) * 2015-10-23 2017-05-08 삼성에스디에스 주식회사 객체 및 상황 인지 방법 및 시스템
KR101877294B1 (ko) * 2018-01-16 2018-07-11 한국비전기술주식회사 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045239A1 (zh) * 2021-09-22 2023-03-30 上海商汤智能科技有限公司 行为识别方法、装置、设备、介质、芯片、产品及程序

Also Published As

Publication number Publication date
US20220351515A1 (en) 2022-11-03
KR102317628B1 (ko) 2021-10-26
KR20210004271A (ko) 2021-01-13

Similar Documents

Publication Publication Date Title
WO2021002722A1 (ko) 이벤트 태깅 기반 상황인지 방법 및 그 시스템
WO2020085881A1 (en) Method and apparatus for image segmentation using an event sensor
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
EP4105101A1 (en) Monitoring system, monitoring method, and monitoring device for railway train
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2020034534A1 (zh) 基于行车记录仪的举证方法、装置、设备和存储介质
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2021091021A1 (ko) 화재 검출 시스템
US20220262015A1 (en) Video content activity context and regions
WO2014051262A1 (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
WO2021261656A1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2016074123A1 (zh) 一种视频生成系统的视频生成方法及装置
WO2020046038A1 (ko) 로봇 및 그의 제어 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2020189831A1 (ko) 자율주행 차량의 모니터링 및 제어 방법
WO2013085278A1 (ko) 선택적 주의 집중 모델을 이용한 모니터링 장치 및 그 모니터링 방법
WO2021201569A1 (ko) 강화학습 기반 신호 제어 장치 및 신호 제어 방법
WO2022114895A1 (ko) 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
CN111062238B (zh) 基于人体骨架信息及多目标跟踪的扶梯流量监测方法及系统
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2019083073A1 (ko) 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램
WO2022197042A1 (ko) 교차로 꼬리물기 인지 및 영상 저장 장치
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20835583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20835583

Country of ref document: EP

Kind code of ref document: A1