WO2021045564A2 - 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법 - Google Patents

온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법 Download PDF

Info

Publication number
WO2021045564A2
WO2021045564A2 PCT/KR2020/011950 KR2020011950W WO2021045564A2 WO 2021045564 A2 WO2021045564 A2 WO 2021045564A2 KR 2020011950 W KR2020011950 W KR 2020011950W WO 2021045564 A2 WO2021045564 A2 WO 2021045564A2
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
control server
data
contour
area
Prior art date
Application number
PCT/KR2020/011950
Other languages
English (en)
French (fr)
Other versions
WO2021045564A3 (ko
Inventor
정종암
Original Assignee
이앤제너텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이앤제너텍 filed Critical 이앤제너텍
Publication of WO2021045564A2 publication Critical patent/WO2021045564A2/ko
Publication of WO2021045564A3 publication Critical patent/WO2021045564A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a security system, and more particularly, to a method of operating a control server that communicates with a temperature profile sensing device.
  • CCTV Closed Circuit Television
  • facilities with a large floating population such as airports
  • ultra-high-definition CCTV advanced image analysis systems and tracking systems to prevent crime
  • security personnel In such a space such as a toilet in a facility, privacy protection is prioritized, so it is difficult to apply the above-described general security device as it is.
  • thermal imaging camera As a device that can be used instead of the above-described security device such as CCTV.
  • the thermal imaging camera may collect a temperature image of the object by detecting infrared rays of the object through the camera.
  • thermal imaging cameras are difficult to apply because they are expensive to be installed and used in large numbers to ensure security for a large space of public facilities.
  • the camera surface of the thermal imaging camera is exposed to the outside, the degree of invasion of privacy that the user feels may be large in appearance.
  • An object of the present invention is to solve the above-described problem, and to provide a method of operating a control server and a security system for processing temperature profile data for privacy protection.
  • a method of operating a control server for data communication with a temperature profile sensing device for achieving the above object includes: receiving basic temperature profile data of an initial state of a privacy space area from the temperature profile sensing device.
  • the temperature contour sensing device detects an object in the privacy space region
  • receiving sensing temperature contour data of the privacy space region from the temperature contour sensing device the basic temperature contour data and the sensing temperature Comparing contour data to generate difference temperature contour data including temperature and contour information of the object
  • analyzing the behavior or state of the object from the difference temperature contour data through artificial intelligence operation and the analysis result And notifying to the outside of the abnormal behavior of the object detected based on.
  • the present invention since it is possible to determine the type, state, or situation of the object using temperature contour data, not image data of the object, privacy protection is possible.
  • an artificial intelligence operation such as deep learning on temperature contour data, identification of the type of the object, the state of the object and the surrounding situation, etc. can be advanced.
  • FIG. 1 is a diagram showing a security system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the temperature profile sensing device shown in FIG. 1.
  • 3A and 3B are diagrams illustrating a method of dividing an area in which a single temperature profile sensing device senses a privacy protection facility.
  • FIG. 4 is a diagram illustrating a configuration of the control server of FIG. 1 by way of example.
  • FIG. 5 is a flowchart illustrating a method of operating a control server according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a method of analyzing a behavior of an object in the security system of FIG. 1 according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a screen provided to the control server of FIG. 1 according to an embodiment of the present invention.
  • FIG. 8 to 11 are diagrams for illustratively explaining an abnormal situation caused by an object's behavior analyzed by the behavior analysis method described in FIG. 6.
  • FIG. 12 is a diagram illustrating an operation performed by the artificial intelligence operation unit of FIG. 4 by way of example.
  • FIG. 13 is a diagram showing a security system according to another embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an exemplary configuration of the control server of FIG. 13.
  • FIG. 5 is a view showing the best mode for the implementation of the present invention.
  • the security system 100 may include a privacy protection facility 110, a network 120, a control server 130, and a control monitor 140.
  • the privacy protection facility 110 may include a plurality of privacy protection facilities 110_1 to 110_n.
  • the privacy protection facility 110 may include a facility in which privacy protection is prioritized, such as a toilet, a shower room, a changing room, and a fitting room.
  • the privacy protection facility 110 may be a facility where emergency situations frequently occur, such as a hospital or a prison. That is, the privacy protection facility 110 includes facilities in which it is virtually impossible to install a security camera. In the following, the privacy facility 110 will be described with a toilet as an example.
  • the privacy protection facility 110 may include a temperature profile sensing device 111.
  • the temperature profile sensing device 111 may detect a motion of an object in the privacy protection facility 110 and provide information such as temperature and outline of the object to the jever server 130 through the network 120.
  • the temperature profile sensing device 111 may be configured to detect an object entering the privacy protection facility 110 and interlock with the light switch on-off control. A specific configuration and function of the temperature profile sensing device 111 will be described with reference to FIG. 2.
  • the network 120 transmits the temperature profile data of the object collected from each of the temperature profile sensing devices 111 included in the plurality of privacy protection facilities 110_1 to 110_n to the control server 130.
  • the network 120 may include a private network, a wired communication network capable of providing long-distance voice and large-capacity data services, and the like.
  • the network 120 may include a closed network network for reinforcing a privacy protection function.
  • the network 120 may include a next-generation wired network or a wireless network to provide flexibility and convenience of using the security system 100.
  • the network 120 may include a synchronous mobile communication network or an asynchronous mobile communication network.
  • the network 120 may include a wideband code division multiple access (WCDMA) communication network.
  • WCDMA wideband code division multiple access
  • the network 120 may include a next-generation communication network such as a 3G LTE network, a 4G network, and a 5G network, and other IP networks based on Internet Protocol (IP).
  • IP Internet Protocol
  • the control server 130 receives the temperature profile data of the object collected from the temperature profile sensing device 111 through the network 120.
  • the control server 130 analyzes the behavior of the object based on the collected temperature profile data.
  • the control server 130 may use artificial intelligence (hereinafter, referred to as AI) technology or big data technology to advance the behavior analysis of an object using temperature profile data.
  • AI artificial intelligence
  • control server 130 may use machine learning techniques such as deep learning and a neural net to recognize an object's behavior or state with high accuracy from the collected temperature profile data.
  • control server 130 may increase the accuracy of the behavior analysis of an object by using a big data server that has accumulated temperature profile information of various actions in various situations.
  • control server 130 when an abnormal situation due to an object's behavior is detected in the area of the privacy protection facility 110, the control server 130 provides information such as an alarm of the abnormal situation and the occurrence location of the abnormal situation to the control monitor 140. Can provide.
  • the control server 130 may detect a disease of an object using heat detection. Thermal data of an object may be analyzed through numerical or graphing, and may be provided to the control monitor 140.
  • control server 130 may not provide temperature profile data of the object to the control monitor 140. Instead, the control server 130 may provide only information such as an alarm of a corresponding abnormal situation and a location of the occurrence of the abnormal situation to the control monitor 140 so as to enable a response to the corresponding abnormal situation.
  • a method of analyzing an object's behavior by the control server 130 will be described with reference to FIGS. 5 to 6.
  • the control server 130 provides a location of an alarm and an abnormal situation to an administrator or a user through the control monitor 140 or the service terminal 150.
  • the administrator or user may be provided with an alarm and a place of occurrence of an abnormal situation, and may perform a prepared response plan according to the occurrence of the abnormal situation.
  • the control server 130 may perform a function of detecting not only indoors but also outdoor night events.
  • the control server 130 may perform a cross check function with CCTV installed indoors or outdoors.
  • the security system 100 of the present invention receives temperature contour data including temperature and contour information of an object through the temperature contour sensing device 111.
  • the security system 100 may set a reference temperature and a reference outline size, and classify the type of an object based on the set reference.
  • the security system 100 may use artificial intelligence (AI) or big data operation to identify the state of the object and the type of the object, such as a firearm or weapon.
  • AI artificial intelligence
  • the type of the object may include personal belongings such as people, animals, bags, firearms, weapons, explosives, and the like.
  • the security system 100 may analyze the behavior of the object based on information of the classified object type.
  • FIG. 2 is a diagram showing the temperature profile sensing device shown in FIG. 1.
  • the temperature profile sensing device 111 may include a temperature profile sensor 112, a module 113, a case 114, and an infrared transmission film 115.
  • the temperature contour sensor 112 and the module 113 generate temperature contour data based on the radiant energy of the object.
  • an object emits radiant energy at an absolute temperature (degrees Celsius + 273) of 0 degrees or higher, and the amount of radiant energy emitted varies according to the temperature of the object.
  • the temperature contour sensor 112 generates an electrical signal by collecting radiant energy emitted by the object without supplying light from the outside, and generates temperature contour data based on the electrical signal.
  • the module 113 may recognize a temperature difference between the temperature in the privacy facility 110 and the object based on the electrical signal provided from the temperature profile sensor 112. In addition, the module 113 may analyze a temperature change in the privacy protection facility 110 based on the electrical signal provided from the temperature profile sensor 112. When a temperature change is detected, the module 113 may update basic temperature profile data, which is a reference for analyzing the motion of the object, and provide it to the control server 130.
  • the module 113 may reflect a change in temperature around the object in the privacy protection facility. As a result, the accuracy of the behavior analysis of the subject may be improved.
  • the case 114 is configured to cover and protect the outside of the temperature profile sensor 112 and the module 113.
  • some surfaces of the case 114 may be formed of an infrared transmission film 115.
  • the infrared transmission film 115 may include any non-transparent material through which infrared rays are transmitted.
  • the non-transparent film may include a semi-transparent or opaque film made of silicon or germanium.
  • the non-transparent film may include contrast or color.
  • some of the surfaces may include a surface in a direction in which the temperature profile sensor 112 senses radiant energy of an object.
  • the infrared transmission film 115 covers the temperature profile sensor 112, the temperature profile sensor 112 may not be exposed to the outside. Therefore, in terms of appearance, the privacy protection function for the subject may be strengthened.
  • the silicon film is only exemplary, and any material film that prevents the temperature profile sensor 112 from being seen outside may be used while the temperature profile sensor 112 can collect radiant energy.
  • the infrared transmission film 115 may be provided as a transparent film in some cases.
  • 3A and 3B are diagrams exemplarily illustrating a method of dividing a region in which a single temperature profile sensing device senses a privacy protection facility.
  • the temperature profile sensing device 111 senses one monitoring area 110_1a in the privacy protection facility 110_1 is illustrated.
  • the privacy protection facility 110_1 may be a public toilet, a single room in a hospital or prison.
  • the temperature profile sensing device 111 may sense a plurality of monitoring areas 110_2a, 110_2b, and 110_2c in the privacy protection facility 110_2.
  • the privacy protection facility 110_2 may be a shared room of a hospital or prison.
  • one privacy protection facility 110_2 is divided into a plurality of surveillance areas, a plurality of objects may be sensed using one temperature profile sensing device 111.
  • the privacy protection facility 110_2 is a shared room of a hospital, the presence of a patient, a patient's body temperature, and abnormal symptoms of a patient may be monitored in units of a plurality of monitoring areas 110_2a, 110_2b, and 110_2c.
  • control server 130 may include an outline analysis unit 132, a control unit 134, and a big data database 136.
  • the contour analysis unit 132 receives temperature contour data of the object collected from the temperature contour sensing device 111 through the network 120.
  • the contour analysis unit 132 may detect an abnormal situation or identify an emergency situation using the collected temperature contour data of the object.
  • the contour analyzer 132 may detect a disease using heat detection of the object.
  • the contour analysis unit 132 may quantify or graph the thermal data of the object and provide it to the control unit 134.
  • the contour analysis unit 132 may include an artificial intelligence operation unit 133 for identifying an abnormal symptom of the object through the pattern of the collected temperature contour data.
  • the artificial intelligence computing unit 133 may analyze temperature profile data using, for example, a machine learning technique such as a convolutional neural network (CNN) or deep learning.
  • CNN convolutional neural network
  • the artificial intelligence operation unit 133 performs machine learning on the object's position, shape, movement at a specific position, maintaining a stationary state for more than a reference time at a specific position, detecting heat of the object, and objects possessed by the object. Through this, it can be recognized with high accuracy.
  • a specific posture such as a form in which the object is collapsed
  • the contour analysis unit 132 determines the abnormal situation due to the behavior of the object, and the abnormal situation or occurrence location corresponding to the control unit 134 Will convey information.
  • the artificial intelligence operation unit 136 may identify the specific posture and determine it as an abnormal situation. Alternatively, even when the object is in possession of a firearm or weapon, the artificial intelligence operation unit 136 may recognize the pattern of the firearm or weapon displayed on the temperature profile data and determine the abnormal situation.
  • the artificial intelligence operation unit 133 may be provided in the form of software implemented with a specific algorithm, for example.
  • the artificial intelligence calculation unit 133 may be implemented as a separate processor (eg, a network processor unit) or a system for performing artificial intelligence calculation.
  • the contour analysis unit 132 may determine a situation for various objects or recognize a specific situation using the big data database 136.
  • the contour analysis unit 132 may use big data to recognize various events in various places.
  • the control unit 134 receives an alarm of an abnormal situation generated by an object's behavior in the privacy protection area from the contour analysis unit 132 and a location of the corresponding abnormal situation.
  • the control unit 134 may provide a location of an alarm and an abnormal situation to a user through the control monitor 140.
  • the user is provided with an alarm and an occurrence location of the abnormal situation, and can perform a prepared response plan according to the occurrence of the abnormal situation.
  • An exemplary screen and an alarm provided to the user through the control unit 134 will be described with reference to FIG. 7.
  • control server 130 of the present invention has been exemplarily described.
  • configuration or function of the control server 130 of the present invention is not limited to the illustrated example.
  • the artificial intelligence calculation unit 133 may be provided as a separate device for artificial intelligence calculation outside the contour analysis unit 132.
  • control server 130 may analyze temperature profile data of an object using artificial intelligence calculation, and may enhance identification of a state or situation of the object.
  • the contour analysis unit 132 receives temperature data for a designated area from the temperature contour sensing device 111 through the network 120.
  • the contour analysis unit 132 may receive thermal image data in an initial state in which an object in a designated area of the privacy protection facility 110 does not exist.
  • the thermal image data in the initial state will be referred to as basic temperature profile data.
  • the contour analysis unit 132 may additionally receive thermal image data generated according to detection of a temperature change within a designated area.
  • temperature contour data according to detection and movement of an object in a designated area will be referred to as sensing temperature contour data.
  • step S20 the contour analysis unit 132 generates difference temperature contour data for identifying an object by using the received thermal image data. That is, the contour analysis unit 132 extracts a difference value between the basic temperature contour data and the sensing temperature contour data. The extracted data corresponds to the difference temperature contour data described above. In the difference temperature contour data, a contour of an object or an object possessed by the object will appear.
  • the contour analysis unit 132 may identify the shape, number, and type of each object based on the difference temperature contour data. For example, when the temperature of the object is greater than or equal to the reference temperature and the size of the outline falls within the range of the reference size of the person, the outline analyzer 132 may recognize the object as a person. The contour analyzer 132 may recognize the number of objects corresponding to a person. Also, the contour analyzer 132 may detect a disease of the object by sensing heat of the object.
  • the outline analyzer 132 may recognize the object as an object.
  • the contour analysis unit 132 may recognize the object by dividing it into a lost item or an explosive item based on a set reference size or shape.
  • the artificial intelligence operation unit 133 may be used to identify the shape of the object, the state of the object, and the type of the object.
  • the artificial intelligence computing unit 133 may be equipped with patterns previously learned about the shape, size, and temperature information of a vast amount of various objects. Based on such data, the artificial intelligence operation unit 133 may advance identification of the type and state of the object.
  • step S40 an operation branch occurs based on the analysis result by the artificial intelligence operation unit 133. If, as a result of analysis of the type and condition of the subject, it is determined as an abnormal symptom, the procedure moves to step S50. On the other hand, if it is determined that it is not a symptom of abnormality as a result of analysis of the type and condition of the object, the processing of the data transmitted from the temperature contour sensing device 111 is terminated. Thereafter, although not shown, the control server 130 may start an operation to receive and analyze new sensing temperature profile data from the temperature profile sensing device 111.
  • step S50 the control unit 134 will transmit an alarm to the control monitor 140.
  • the control monitor 140 For example, if the place where the temperature contour sensing device 111 is installed is a public toilet, and the object analyzed by the contour analysis unit 132 is a human, and is analyzed as collapsed due to a heart attack, the control unit 134 An alarm may be displayed to an administrator through the monitor 140.
  • AI artificial intelligence
  • a deep learning method such as a convolutional neural network (CNN) that provides high accuracy for pattern recognition of a recent object may be used.
  • CNN convolutional neural network
  • identification of the state of the object can be enhanced.
  • big data by referring to big data using the big data database 136, it is possible to enhance identification of the shape or state of various objects in various environments.
  • FIG. 6 is a diagram illustrating a method of analyzing a behavior of an object in the security system of FIG. 1 according to an embodiment of the present invention. The illustration of FIG. 6 will be described with reference to FIGS. 1 and 5.
  • the security system 100 may analyze an object's behavior based on temperature profile data of the object using artificial intelligence (AI).
  • AI artificial intelligence
  • the temperature profile sensing device 111 may collect information of an initial state within a designated area of the privacy protection facility 110.
  • the privacy protection facility 110 may be a public toilet.
  • the information of the corresponding initial state is referred to as basic temperature profile data.
  • the control server 130 receives basic temperature profile data from the temperature profile sensing device 111 through the network 120.
  • the temperature inside the designated area of the privacy protection facility 110 may change according to a situation occurring before step S110.
  • the temperature of the toilet area inside the designated area may increase by an object who has visited the designated area before step S110.
  • the module 113 updates the basic temperature profile data and provides it to the control server 130 when a temperature change in the designated area is detected.
  • step S120 when the temperature contour sensing device 111 detects the entry of a new object in the designated area of the privacy protection facility 110, the temperature contour sensing device 111 is Collect temperature profile data.
  • the corresponding temperature contour data is referred to as sensing temperature contour data.
  • the control server 130 receives sensing temperature profile data from the temperature profile sensing device 111 through the network 120.
  • step S130 the contour analysis unit 132 of the control server 130 compares the provided basic temperature contour data with the sensing temperature contour data to generate difference temperature contour data.
  • the difference temperature contour data may include temperature and contour information of an object detected from the sensing temperature contour data based on the basic temperature contour data.
  • the contour analysis unit 132 may classify the number of objects and the type of each object based on the difference temperature contour data. For example, when the temperature of the object is greater than or equal to the reference temperature and the size of the outline falls within the range of the reference size of the person, the outline analyzer 132 may recognize the object as a person. Also, the contour analyzer 132 may recognize the number of objects corresponding to a person.
  • the outline analyzer 132 may recognize the object as an object.
  • the contour analysis unit 132 may recognize the object by dividing it into a lost item or an explosive item based on a set reference size or shape. The accuracy of recognizing an object using the difference temperature contour data of the contour analysis unit 132 may be improved through the support of the artificial intelligence operation unit 133.
  • the contour analysis unit 132 divides the area of the privacy protection space 110 into a boundary area including a wall portion of the privacy protection space area and a reference area within the boundary area.
  • the boundary area includes a single compartment of the toilet
  • the reference area includes a toilet area within the separate compartment. can do.
  • the size and shape of the border area and the reference area may be set by the user. The reason why the boundary area and the reference area are divided and set is to provide a criterion for the behavior type of the object.
  • the contour analysis unit 132 may determine that the object has collapsed or that the object is watching another toilet compartment area. Examples of specific determination will be described with reference to FIGS. 8 to 11.
  • step S160 the contour analysis unit 132 divides the difference temperature contour data into a boundary region and a reference region, and based on information including the number of objects in each region, each type of object, and temperature of each object. Analyze the behavior of each subject. The contour analysis unit 132 provides an alarm to the control unit 134 when detecting an abnormal situation due to the behavior of the object based on the result of analyzing the behavior of the object.
  • the contour analysis unit 132 may provide only an alarm of an abnormal situation to the control unit 134.
  • the control unit 134 provides an alarm provided from the contour analysis unit 132 to an administrator or user.
  • the control unit 134 may provide an alarm to the administrator of the security system 100 through the control monitor 140.
  • the method of analyzing the behavior of the object described above is performed using temperature profile data of the object, not using an image.
  • high accuracy for the type or state of the object may be provided through an artificial intelligence (AI) operation on the temperature contour data of the object. Since the temperature profile data does not include data sufficient to confirm the identity of the object, invasion of the privacy of the object in the privacy protection area is significantly lowered compared to the method of using an image.
  • AI artificial intelligence
  • the security system 100 of the present invention may use artificial intelligence or big data to complexly use the temperature and outline information of the object included in the temperature profile data. Accordingly, the security system 100 of the present invention can detect and respond to various abnormal situations such as a fire situation and a bleeding situation with high accuracy.
  • FIG. 7 is a diagram illustrating a screen provided to the control server of FIG. 1 according to an embodiment of the present invention.
  • (a) is a picture showing a screen for setting a threshold value for analyzing an object's behavior
  • (b) is a picture showing an alarm that occurs when an abnormal situation is detected.
  • a user or an administrator may set a threshold value for analyzing an object's behavior through the control server 130 and the control monitor 140.
  • the threshold values include human outline size, maximum body temperature, object outline size, reference image difference, collapsed state (elliptical axis ratio), collapsed situation time, dwell time, wall touch time, no action time, and heat detection. It may include the number of diseases used and the like.
  • control unit 134 when an abnormal situation is detected in the privacy protection facility 110, the control unit 134 sends an alarm as shown in (b) to an administrator or a user through the control monitor 140 or the service terminal 150. Can provide. For example, referring to (b), it is possible to inform a user through an alarm that the situation in which a collapse is suspected has continued for 13 seconds.
  • FIGS. 8 to 11 are diagrams for illustratively explaining an abnormal situation caused by an object's behavior analyzed by the behavior analysis method described in FIG. 6. The figures of FIGS. 8 to 11 will be described with reference to FIGS. 1, 4 and 6.
  • the contour analyzer 132 may detect the collapse of an object. For example, when an object classified as a person maintains a reference outline shape (eg, an ellipse) within a boundary area excluding the reference area for more than a reference time, the contour analysis unit 132 may detect the collapse of the object. have. Here, the contour analysis unit 132 determines whether the contour of the object is greater than or equal to a certain size and the temperature of the object is within a certain range of body temperature (36.5°C).
  • a reference outline shape eg, an ellipse
  • the contour analysis unit 132 classifies the object.
  • the contour analysis unit 132 may use the artificial intelligence operation unit 133 or the big data database 136 to determine the type, state, and situation of the object through the contour of the object or temperature.
  • the process of classifying objects by the contour analyzer 132 is the same.
  • a reference shape, a reference size, a reference time, etc. for detecting the fall of the object may be set differently by the user.
  • the contour analyzer 132 may detect an abnormal behavior of an object related to the boundary area. For example, when a state in which an object classified as a person spans the reference area and the boundary area is maintained for more than a reference time, the contour analysis unit 132 may determine that the object is seated in the reference area (for example, a toilet). The state can be detected. Alternatively, when a state in which an object classified as a person is in contact with the boundary area is maintained for more than a reference time, the contour analysis unit 132 may detect a case in which the object is acting abnormally, such as peeking at another toilet compartment, in the toilet compartment. have.
  • the reference area for example, a toilet
  • the contour analysis unit 132 may detect a case in which the object is acting abnormally, such as peeking at another toilet compartment, in the toilet compartment. have.
  • the contour analyzer 132 may determine whether an object has an abnormal temperature. For example, when the temperature of an object classified as a person rises above the reference temperature (in the example of FIG. 10, 37°C) due to a disease, the contour analyzer 132 may detect the disease of the object. When the temperature of an object classified as an object rises above the reference temperature due to a fire or indoor smoking occurring within the area, the contour analyzer 132 may detect an abnormal situation such as fire or indoor smoking.
  • the contour analysis unit 132 may determine whether a plurality of objects classified as people exist within a boundary area. For example, the contour analyzer 132 may analyze the size and temperature of the object to detect whether a plurality of objects classified as humans have entered the boundary area. In addition, the contour analysis unit 132 may determine whether a crime has occurred among the plurality of objects by analyzing the motions of the plurality of objects.
  • the contour analysis unit 132 may compare the sensing temperature contour data with the basic temperature contour data to detect whether a property is damaged, whether a lost article has occurred, whether an explosive is installed, a sign of terrorism, whether a suicide has occurred, or the like.
  • the contour analysis unit 132 may detect whether or not bleeding occurs by detecting a body fluid having a certain temperature or higher, and may detect a residence time of an object classified as a person.
  • the contour analysis unit 132 may use the artificial intelligence operation unit 133 to enhance the identification of the type, state, and occurrence of an abnormal situation of the object described above.
  • FIG. 12 is a diagram illustrating an operation performed by the artificial intelligence operation unit of FIG. 4 by way of example. 4 and 12, the artificial intelligence operation unit 133 repeats a convolution layer for the input difference temperature contour image 210 and a pooling layer for down-sampling the result.
  • the result of pattern recognition can be output.
  • CNN convolutional neural network
  • the machine learning technique of the artificial intelligence operation unit 133 of the present invention is not limited to the disclosure herein.
  • the difference temperature contour image 210 is provided to the artificial intelligence operation unit 133, a convolution layer operation is applied.
  • the difference temperature contour image 210 is subjected to a convolution operation using a kernel. That is, the data of the difference temperature profile image 210 overlapping the kernel is multiplied by the weight defined in the kernel. And all the multiplied values will be summed and created as one feature value. These operations will be performed repeatedly while the kernel is sequentially shifted. Then, a feature value corresponding to each position may be determined according to the movement of the kernel.
  • the convolution operation for one difference temperature contour image 210 is performed on a plurality of kernels.
  • an array-type feature map 220 corresponding to each of the plurality of kernels may be generated.
  • the kernel may be learned data for various patterns. For example, learning results of various patterns corresponding to the shape of the object being collapsed may be provided to the kernel.
  • down-sampling of the feature map 220 is performed.
  • the data of the feature map 220 may be generated in a size that is a burden of processing according to the number of kernels or the size of the difference temperature contour image 210. Accordingly, in the pooling layer, down-sampling (or sub-sampling) is performed to reduce the size of the feature map 220 in a range that does not significantly affect the operation result.
  • the typical operation method of downsampling is pooling. While sliding the filter for downsampling on the feature map 220 to a predetermined stride, a maximum value or an average value in a corresponding region may be selected. The case of selecting the maximum value is referred to as maximum pooling, and the method of outputting the average value is referred to as average pooling.
  • the feature map 220 is transformed into a feature map 230 of a reduced size by the pooling layer.
  • the feature map 230 will be generated as a feature map 240 by a convolution operation.
  • the feature map 240 may be generated as the feature map 250 by the pooling layer.
  • the execution of the convolutional layer-pooling layer has been described in a manner in which the execution of the convolutional layer-pooling layer is successively performed twice, but the present invention is not limited thereto.
  • the number of iterations of the convolutional layer-pooling layer may vary according to system requirements.
  • a result 260 may be generated according to this operation.
  • CNN convolutional neural network
  • AI artificial intelligence
  • CNN convolutional neural network
  • AI artificial intelligence
  • the artificial intelligence (AI) used in the analysis of the difference temperature profile data may be various machine learning or deep learning techniques, or a combination thereof.
  • the security system 300 may include a privacy protection facility 110_1 to 110_n, a network 320, a control server 330, a control monitor 340, and a service terminal 350.
  • the privacy protection facility 110 may include a plurality of privacy protection facilities 110_1 to 110_n.
  • privacy facilities are public restrooms, private restrooms, shower rooms, changing rooms, fitting rooms, hospital wards, prisons, homes for the elderly living alone, or facilities such as dormitories or studios for children living in remote areas. It may include.
  • Each of the privacy protection facilities 110_1 to 110_n may include a temperature profile sensing device 111.
  • the temperature profile sensing device 111 detects the motion of an object in the privacy protection facility 110 and provides information such as temperature and outline of the object to the control server 330 through the network 320.
  • the temperature profile sensing device 111 may be configured to detect an object entering the privacy protection facility 110 and interlock with the light switch on-off control.
  • the temperature profile sensing device 111 may be installed not only indoors but also outdoors to detect nighttime events.
  • the temperature profile sensing device 111 may perform a cross check function with a CCTV installed outdoors. That is, the temperature profile sensing device 111 performs a privacy protection function, and a CCTV installed outdoors makes it possible to more accurately identify an object's abnormal behavior.
  • the network 320 transmits the temperature profile data of the object collected from each of the temperature profile sensing devices 111 included in the plurality of privacy protection facilities 110_1 to 110_n to the control server 330.
  • the network 320 may include a private network, a wired communication network capable of providing long-distance voice and large-capacity data services, and the like.
  • the network 320 may include a closed network network for reinforcing a privacy protection function.
  • the network 320 may include a next-generation wired network or a wireless network to provide flexibility and convenience of using the security system 100.
  • the network 320 may include a synchronous mobile communication network or an asynchronous mobile communication network.
  • the network 320 may include a wideband code division multiple access (WCDMA) communication network.
  • WCDMA wideband code division multiple access
  • the network 320 may include a next-generation communication network such as a 3G LTE network, a 4G network, and a 5G network, and other IP networks based on Internet Protocol (IP).
  • IP Internet Protocol
  • the control server 330 receives the temperature profile data of the object collected from the temperature profile sensing device 111 through the network 320.
  • the control server 330 analyzes the behavior of the object based on the collected temperature profile data.
  • the control server 330 may use artificial intelligence (AI) technology to advance the behavior analysis of an object using temperature profile data.
  • AI artificial intelligence
  • the control server 330 may use machine learning techniques such as deep learning and a neural net to recognize the behavior or state of an object with high accuracy from the collected temperature profile data.
  • the control server 330 may increase the accuracy of an object's behavior analysis by using a big data server that has accumulated temperature profile information of various actions in various situations.
  • the control server 330 is a service terminal 350 of a registered service user (for example, a parent or guardian of the object). ) To send an alarm.
  • the control server 330 may transmit an alarm of a corresponding abnormal situation, a type of the abnormal situation, and a location of the corresponding abnormal situation to the service terminal 350.
  • a place where the temperature profile sensing device 111 is installed may be a living space for a patient or an elderly person living alone.
  • the control server 330 may transmit an alarm to the service terminal 350 and an institution such as a fire station or a public health center through the network 320.
  • control server 330 can transmit the occurrence location of the alarm and abnormal situation to the control monitor together with the service terminal 350.
  • the service user is provided with an alarm and an occurrence location of the abnormal situation, and can perform a prepared response plan according to the occurrence of the abnormal situation.
  • control server 330 may include a communication unit 331, a control unit 333, and a database 335.
  • the communication unit 331 performs data transmission/reception between the control unit 333 and the temperature profile sensing device 111 through the network 320. In addition, the communication unit 331 performs data transmission and reception with the service terminal 350 through the network 320.
  • the control unit 333 includes an outline analysis unit 332 and an application management unit 336.
  • the contour analysis unit 332 includes an artificial intelligence operation unit 334 like the contour analysis unit 132 of FIG. 4.
  • the artificial intelligence calculation unit 334 may perform the same function as the artificial intelligence calculation unit 134 of FIG. 4.
  • the application manager 336 manages an application of the service terminal 350 for providing a service. In the service terminal 350 of an authenticated member registered in the service, an application for providing information on an alarm or an object's state and anomaly must be installed.
  • the application manager 336 may transmit and update an application to the service terminal 350 based on member information registered in the database 335. In addition, the application management unit 336 will update the newly subscribed member information in the database 335.
  • the control unit 333 receives from the contour analysis unit 332 at least one of an alarm for an abnormal situation caused by an object's behavior in the privacy protection area, a state of the object, and at least one of the occurrence locations of the abnormal situation. 350) can be provided.
  • the control unit 333 may transmit an alarm, a state of the object, and information related to the occurrence places of the abnormal situation to not only the service terminal 350 but also a related organization such as a fire department.
  • the configuration of the control server 330 of the present invention has been exemplarily described.
  • the configuration or function of the control server 330 of the present invention is not limited to the illustrated example.
  • the above-described contents are specific examples for carrying out the present invention.
  • the present invention will include simple design changes or embodiments that can be easily changed.
  • the present invention will also include techniques that can be easily modified and implemented using the embodiments. Therefore, the scope of the present invention is limited to the above-described embodiments and should not be determined, and should be determined by the claims and equivalents of the present invention as well as the claims to be described later.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

본 발명에 따른 온도 윤곽 센싱 장치와 데이터 통신하는 제어 서버의 동작 방법은, 사생활 보호 공간 영역의 초기 상태의 기본 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계, 상기 온도 윤곽 센싱 장치가 상기 사생활 보호 공간 영역에서 대상체를 감지한 경우에, 상기 사생활 보호 공간 영역의 센싱 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계, 상기 기본 온도 윤곽 데이터와 상기 센싱 온도 윤곽 데이터를 비교하여 상기 대상체의 온도 및 윤곽 정보를 포함하는 차 온도 윤곽 데이터를 생성하는 단계, 인공 지능 연산을 통하여 상기 차 온도 윤곽 데이터로부터 상기 대상체의 행동 또는 상태를 분석하는 단계, 그리고 상기 분석 결과를 기초로 감지된 상기 대상체의 이상 행동을 외부로 알리는 단계를 포함한다. 본 발명에 의하면, 대상체의 이미지 데이터가 아닌 온도 윤곽 데이터를 사용하여 대상체의 타입이나 상태, 상황 등을 판단할 수 있어 사생활 보호가 가능하다. 더불어, 온도 윤곽 데이터에 대한 인공 지능 연산을 적용하여 대상체의 타입, 대상체의 상태와 주변 상황 등에 대한 식별을 고도화시킬 수 있다.

Description

온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법
본 발명은 보안 시스템에 관한 것으로, 좀 더 구체적으로는 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법에 관한 것이다.
최근, 범죄 예방을 위해 대부분의 시설에는 CCTV(Closed Circuit Television)과 같은 보안 장치가 설치되어 보안이 강화되고 있다. 특히, 공항과 같은 유동 인구가 많은 시설에서는 범죄를 예방하기 위해 초고화질 CCTV, 첨단영상분석시스템 및 추적시스템을 구비하고, 보안인력을 충원하고 있다. 이러한 시설 내의 화장실과 같은 공간은 사생활 보호가 우선하기 때문에 상술한 일반적인 보안 장치가 그대로 적용되기 힘들다.
이러한 사생활 보호가 우선시되는 공간에서 상술한 CCTV 등의 보안 장치 대신에 사용될 수 있는 장치로 열 화상 카메라가 있다. 열 화상 카메라는 카메라를 통해 대상체의 적외선을 감지하여 대상체의 온도 영상을 수집할 수 있다. 다만, 열 화상 카메라는 공중 시설의 넓은 공간에 대한 보안을 보장하도록 다수로 설치되어 사용되기에는 높은 비용이 들기 때문에 적용되기 어려운 측면이 있다. 또한, 열화상 카메라는 카메라 면이 외부로 드러나므로 외관상으로도 사용자가 느끼는 사생활 침해의 정도가 클 수 있다.
본 발명의 목적은 상술한 문제를 해결하기 위한 것으로, 사생활 보호를 위한 온도 윤곽 데이터를 처리하는 제어 서버의 동작 방법 및 보안 시스템을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 온도 윤곽 센싱 장치와 데이터 통신하는 제어 서버의 동작 방법은, 사생활 보호 공간 영역의 초기 상태의 기본 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계, 상기 온도 윤곽 센싱 장치가 상기 사생활 보호 공간 영역에서 대상체를 감지한 경우에, 상기 사생활 보호 공간 영역의 센싱 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계, 상기 기본 온도 윤곽 데이터와 상기 센싱 온도 윤곽 데이터를 비교하여 상기 대상체의 온도 및 윤곽 정보를 포함하는 차 온도 윤곽 데이터를 생성하는 단계, 인공 지능 연산을 통하여 상기 차 온도 윤곽 데이터로부터 상기 대상체의 행동 또는 상태를 분석하는 단계, 그리고 상기 분석 결과를 기초로 감지된 상기 대상체의 이상 행동을 외부로 알리는 단계를 포함한다.
본 발명의 실시 예에 따르면, 대상체의 이미지 데이터가 아닌 온도 윤곽 데이터를 사용하여 대상체의 타입이나 상태, 상황 등을 판단할 수 있어 사생활 보호가 가능하다. 더불어, 온도 윤곽 데이터에 대한 딥 러닝과 같은 인공 지능 연산을 적용하여 대상체의 타입, 대상체의 상태와 주변 상황 등에 대한 식별을 고도화시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 보안 시스템을 보여주는 그림이다.
도 2는 도 1에 도시된 온도 윤곽 센싱 장치를 보여주는 그림이다.
도 3a 및 도 3b는 하나의 온도 윤곽 센싱 장치가 사생활 보호 시설을 센싱하는 영역을 구분하는 방법을 보여주는 도면들이다.
도 4는 도 1의 제어 서버의 구성을 예시적으로 보여주는 도면이다.
도 5는 본 발명의 실시 예에 따른 제어 서버의 동작 방법을 보여주는 순서도이다.
도 6은 본 발명의 실시 예에 따른 도 1의 보안 시스템의 대상체에 대한 행동 분석 방법을 설명하기 위한 그림이다.
도 7은 본 발명의 실시 예에 따라 도 1의 제어 서버에 제공되는 화면을 예시적으로 보여주는 그림이다.
도 8 내지 도 11은 도 6에서 설명된 행동 분석 방법에 의해 분석된 대상체의 행동에 의해 발생하는 이상 상황을 예시적으로 설명하기 위한 그림이다.
도 12는 도 4의 인공 지능 연산부에서 수행되는 연산을 예시적으로 보여주는 도면이다.
도 13은 본 발명의 다른 실시 예에 따른 보안 시스템을 보여주는 그림이다.
도 14는 도 13의 제어 서버의 예시적인 구성을 보여주는 도면이다.
본 발명의 실시를 위한 최선의 형태를 보여주는 도면은 도 5이다.
이하에서, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.
도 1은 본 발명의 실시 예에 따른 보안 시스템을 보여주는 그림이다. 도 1을 참조하면, 보안 시스템(100)은 사생활 보호 시설(110), 네트워크(120), 제어 서버(130), 그리고 관제 모니터(140)를 포함할 수 있다.
사생활 보호 시설(110)은 복수의 사생활 보호 시설(110_1~110_n)을 포함할 수 있다. 예를 들어, 사생활 보호 시설(110)은 화장실, 샤워실, 탈의실, 피팅룸 등의 프라이버시 보호가 우선시되는 시설을 포함할 수 있다. 또는, 사생활 보호 시설(110)은 병원이나 교도소 등과 같이 위급 상황이 빈번하게 발생하는 시설일 수도 있을 것이다. 즉, 사생활 보호 시설(110)은 보안 카메라 설치가 사실상 불가한 시설을 포함한다. 이하에서, 사생활 보호 시설(110)은 화장실을 예로서 설명될 것이다.
사생활 보호 시설(110)은 온도 윤곽 센싱 장치(111)를 포함할 수 있다. 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110) 내에 대상체의 움직임을 감지하여 대상체의 온도 및 윤곽 등의 정보를 네트워크(120)를 통해 제버 서버(130)에 제공할 수 있다. 또한, 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110) 내에 진입한 대상체를 감지하여 전등 스위치 온-오프 제어와 연동 되도록 구성될 수 있다. 온도 윤곽 센싱 장치(111)의 구체적인 구성 및 기능은 도 2를 참조하여 설명될 것이다.
네트워크(120)는 복수의 사생활 보호 시설(110_1~110_n)에 포함된 각각의 온도 윤곽 센싱 장치(111)로부터 수집된 대상체의 온도 윤곽 데이터를 제어 서버(130)에 전달한다. 예를 들어, 네트워크(120)는 사설 네트워크, 장거리 음성 및 대용량 데이터 서비스가 가능한 유선 통신망 등을 포함할 수 있다. 또는, 네트워크(120)는 사생활 보호 기능을 강화하기 위한 폐쇄 네트워크 망을 포함할 수 있다. 혹은, 네트워크(120)는 보안 시스템(100) 사용의 유연성 및 편리성을 제공하기 위한 차세대 유선 망 또는 무선 망을 포함할 수 있다.
네트워크(120)가 이동 통신 망일 경우, 네트워크(120)는 동기식 이동 통신망 또는 비동기식 이동 통신망을 포함할 수 있다. 네트워크(120)가 비동기식 이동 통신망인 경우, 네트워크(120)는 WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 포함할 수 있다. 또는, 네트워크(120)는 3G LTE망, 4G망, 5G망 등의 차세대 통신망, 그 밖의 IP(Internet Protocol)를 기반으로 한 IP망을 포함할 수 있다.
제어 서버(130)는 네트워크(120)를 통해 온도 윤곽 센싱 장치(111)로부터 수집된 대상체의 온도 윤곽 데이터를 제공받는다. 제어 서버(130)는 수집된 온도 윤곽 데이터를 기초로 대상체의 행동을 분석한다. 특히, 제어 서버(130)는 온도 윤곽 데이터를 사용하여 대상체의 행동 분석을 고도화하기 위해 인공 지능(Artificial Intelligence: 이하, AI) 기술이나 빅데이터 기법을 사용할 수 있다.
예를 들면, 제어 서버(130)는 수집된 온도 윤곽 데이터로부터 대상체의 행동 또는 상태를 높은 정확도로 인식하기 위해 딥 러닝(Deep learning), 신경망(Neural net) 등의 머신 러닝 기법을 사용할 수 있다. 더불어, 제어 서버(130)는 다양한 상황에서 다양한 행동들의 온도 윤곽 정보를 축적한 빅데이터 서버를 사용하여, 대상체의 행동 분석의 정확도를 높일 수 있다.
또한, 제어 서버(130)는 사생활 보호 시설(110)의 영역 내에 대상체의 행동에 의한 이상 상황이 감지되는 경우에 관제 모니터(140)에 해당 이상 상황의 알람 및 해당 이상 상황의 발생 장소 등과 같은 정보를 제공할 수 있다. 예를 들면, 제어 서버(130)는 열감지를 이용하여 대상체의 질병을 감지할 수 있다. 대상체의 열 데이터는 수치화 또는 그래프화를 통해서 분석하고, 관제 모니터(140)로 제공할 수 있다.
한편, 사생활 보호 기능을 강화하기 위해, 제어 서버(130)는 대상체의 온도 윤곽 데이터를 관제 모니터(140)에 제공하지 않을 수 있다. 대신에, 해당 이상 상황에 대한 대응이 가능하도록, 제어 서버(130)는 해당 이상 상황의 알람 및 해당 이상 상황의 발생 장소 등의 정보만을 관제 모니터(140)에 제공할 수 있다. 제어 서버(130)에 의한 대상체의 행동 분석 방법은 도 5 내지 도 6을 참조하여 설명될 것이다.
제어 서버(130)는 알람 및 이상 상황의 발생 장소를 관제 모니터(140) 또는 서비스 단말(150)를 통해 관리자 또는 사용자에게 제공한다. 관리자 또는 사용자는 알람 및 이상 상황의 발생 장소를 제공받고, 발생한 이상 상황에 따라 준비된 대응 방안을 수행할 수 있다. 또한, 제어 서버(130)는 실내 뿐만 아니라 야외 야간 이벤트 감지 기능을 수행할 수 있다. 그리고 제어 서버(130)는 실내 또는 야외에 설치된 CCTV와 크로스 체크 기능을 수행할 수 있다.
본 발명의 보안 시스템(100)은 온도 윤곽 센싱 장치(111)를 통해 대상체의 온도 및 윤곽 정보를 포함하는 온도 윤곽 데이터를 제공받는다. 또한, 보안 시스템(100)은 기준 온도 및 기준 윤곽 크기를 설정하고, 설정된 기준을 기초로 대상체의 타입을 구분할 수 있다. 다른 실시 예에서, 보안 시스템(100)은 인공 지능(AI)이나 빅데이터 연산을 사용하여 대상체의 상태, 총기나 흉기와 같은 대상체의 타입을 식별할 수 있다.
예를 들어, 대상체의 타입은 사람, 동물, 가방 등의 소지품, 총기, 흉기, 폭발물 등을 포함할 수 있다. 보안 시스템(100)은 구분된 대상체의 타입의 정보를 기초로 대상체의 행동을 분석할 수 있다.
도 2는 도 1에 도시된 온도 윤곽 센싱 장치를 보여주는 그림이다. 도 2를 참조하면, 온도 윤곽 센싱 장치(111)는 온도 윤곽 센서(112), 모듈(113), 케이스(114), 그리고 적외선 투과막(115)을 포함할 수 있다.
온도 윤곽 센서(112) 및 모듈(113)은 대상체의 복사 에너지를 기초로 온도 윤곽 데이터를 생성한다. 통상적으로, 물체는 절대온도(섭씨온도 + 273) 0도 이상에서 복사 에너지를 방출하고, 물체의 온도에 따라 복사 에너지의 방출량이 차이가 발생한다. 온도 윤곽 센서(112)는 외부로부터 빛의 공급이 없이도 대상체가 발산하는 복사 에너지를 집합시켜 전기적 신호를 발생하고, 전기적 신호를 기초로 온도 윤곽 데이터를 생성한다.
모듈(113)은 온도 윤곽 센서(112)로부터 제공된 전기적 신호를 기초로 사생활 보호 시설(110) 내의 온도와 대상체의 온도 차이를 인식할 수 있다. 또한, 모듈(113)은 온도 윤곽 센서(112)로부터 제공된 전기적 신호를 기초로 사생활 보호 시설(110) 내의 온도 변화를 분석할 수 있다. 모듈(113)은 온도 변화가 감지되는 경우에 대상체의 동작을 분석하는 기준이 되는 기본 온도 윤곽 데이터를 업데이트하여 제어 서버(130)에 제공할 수 있다.
기본 온도 윤곽 데이터는 이하에서 자세히 설명될 것이다. 따라서, 모듈(113)은 제어 서버(130)가 대상체의 움직임을 분석함에 있어 사생활 보호 시설 내의 대상체 주변의 온도 변화를 반영할 수 있다. 결과적으로, 대상체의 행동 분석의 정확도가 향상될 수 있다.
케이스(114)는 온도 윤곽 센서(112) 및 모듈(113)의 외부를 가리고 보호하도록 구성된다. 또한, 케이스(114)의 일부 면은 적외선 투과막(115)으로 형성될 수 있다. 적외선 투과막(115)은 적외선이 투과되는 투명하지 않은 어떠한 재질의 막도 포함 수 있다.
예를 들어, 투명하지 않은 막은 실리콘이나 게르마늄 재질의 반투명하거나 불투명한 막 등을 포함할 수 있다. 혹은, 투명하지 않은 막은 명암이 포함되거나, 색(color)를 포함할 수 있다. 예를 들어, 일부 면은 온도 윤곽 센서(112)가 대상체의 복사 에너지를 감지하기 위한 방향의 면을 포함할 수 있다. 적외선 투과막(115)이 온도 윤곽 센서(112)를 가림에 따라, 온도 윤곽 센서(112)가 외부로 드러나지 않을 수 있게 된다. 따라서, 외관적 측면에서도, 대상체에 대한 사생활 보호 기능이 강화될 수 있다. 다만, 실리콘 막은 예시적일 뿐이며, 온도 윤곽 센서(112)가 복사 에너지를 수집할 수 있음과 동시에 외부에 온도 윤곽 센서(112)가 보이지 않도록 하는 어떠한 재질의 막도 사용될 수 있다. 더불어, 경우에 따라서는 적외선 투과막(115)은 투명 막으로 제공될 수도 있음은 잘 이해될 것이다.
도 3a 및 도 3b는 하나의 온도 윤곽 센싱 장치가 사생활 보호 시설을 센싱하는 영역을 구분하는 방법을 예시적으로 보여주는 도면들이다. 도 3a를 참조하면, 온도 윤곽 센싱 장치(111)가 사생활 보호 시설(110_1)에서 하나의 감시 영역(110_1a)을 센싱하는 예가 도시되어 있다. 예를 들면, 사생활 보호 시설(110_1)은 공중 화장실, 병원이나 교도소의 1인실 등일 수 있다.
도 3b를 참조하면, 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110_2)에서 복수의 감시 영역들(110_2a, 110_2b, 110_2c)을 센싱할 수 있다. 예를 들면, 사생활 보호 시설(110_2)은 병원이나 교도소의 다인실일 수 있다. 하나의 사생활 보호 시설(110_2)을 복수의 감시 영역들로 구분하면, 하나의 온도 윤곽 센싱 장치(111)를 사용하여 복수의 대상체들을 센싱할 수 있다. 사생활 보호 시설(110_2)이 병원의 다인실인 경우, 복수의 감시 영역들(110_2a, 110_2b, 110_2c) 단위로 환자의 존재 여부, 환자의 체온, 환자의 이상 징후 등이 모니터링될 수 있다.
도 4는 도 1의 제어 서버의 구성을 예시적으로 보여주는 도면이다. 도 4를 참조하면, 제어 서버(130)는 윤곽 분석부(132), 관제부(134) 그리고 빅데이터 데이터 베이스(136)를 포함할 수 있다.
윤곽 분석부(132)는 네트워크(120)를 통해 온도 윤곽 센싱 장치(111)로부터 수집된 대상체의 온도 윤곽 데이터를 제공받는다. 윤곽 분석부(132)는 수집된 대상체의 온도 윤곽 데이터를 사용하여 이상 상황의 감지나 위급 상황을 식별해 낼 수 있다. 윤곽 분석부(132)는 대상체의 열 감지를 이용하여 질병을 감지할 수도 있다. 윤곽 분석부(132)는 대상체의 열 데이터를 수치화하거나 그래프화하여 관제부(134)로 제공할 수 있다.
특히, 윤곽 분석부(132)는 수집된 온도 윤곽 데이터의 패턴을 통해서 대상체의 이상 징후를 식별하기 위한 인공 지능 연산부(133)를 포함할 수 있다. 인공 지능 연산부(133)는, 예를 들면, 컨볼루션 신경망(Convolutional Neural Network: 이하, CNN)이나 딥 러닝(Deep learning)과 같은 머신 러닝 기법을 사용하여 온도 윤곽 데이터를 분석할 수 있다.
인공 지능 연산부(133)는 대상체의 위치, 형태, 특정 위치에서 움직임, 특정 위치에서의 기준 시간 이상의 정지 상태를 유지, 대상체의 열 감지, 그리고 대상체가 소지한 물체 등은 머신 러닝(Machine learning)을 통해서 높은 정확도로 인식될 수 있다.
예를 들면, 대상체가 감시 대상 영역에서 심장 마비와 같은 상황에 직면하여 쓰러진 경우를 가정하자. 그러면, 대상체가 쓰러진 형태와 같은 특정 자세는 온도 윤곽 데이터에 대한 학습된 머신 러닝 연산을 통해서 높은 정확도로 식별 가능하다. 인공 지능 연산부(133)에 의해서 대상체의 온도 윤곽 데이터가 쓰러진 자세로 판단되면, 윤곽 분석부(132)는 대상체의 행동에 의한 이상 상황으로 판단하고 관제부(134)에 해당하는 이상 상황이나 발생 장소 정보를 전달할 것이다.
이 밖에도 인공 지능 연산부(136)는 대상체의 특정 자세가 기준 시간을 초과하여 유지되는 경우에도 해당 특정 자세를 식별하여 이상 상황으로 판단할 수 있다. 또는, 인공 지능 연산부(136)는 대상체가 총기나 흉기를 소지하는 경우에도 온도 윤곽 데이터 상에 나타난 총기나 흉기의 패턴을 인식하여 이상 상황으로 판단할 수 있다. 여기서, 인공 지능 연산부(133)는, 예를 들면, 특정 알고리즘으로 구현되는 소프트웨어 형태로 제공될 수 있다. 또는, 인공 지능 연산부(133)는 인공 지능 연산을 수행하기 위한 별도의 프로세서(예를 들면, Network Processor Unit)나 시스템으로 구현될 수도 있을 것이다.
더불어, 윤곽 분석부(132)는 빅데이터 데이터 베이스(136)를 사용하여 다양한 대상체에 대한 상황 판단이나 특정 상황을 인식할 수 있다. 윤곽 분석부(132)는 다양한 장소에서 다양한 이벤트에 대한 인식을 위해서는 빅데이터(Big data)를 활용할 수 있을 것이다.
관제부(134)는 윤곽 분석부(132)로부터 사생활 보호 영역 내에서 대상체의 행동에 의해 발생하는 이상 상황의 알람 및 해당 이상 상황의 발생 장소를 제공받는다. 관제부(134)는 알람 및 이상 상황의 발생 장소를 관제 모니터(140)를 통해 사용자에게 제공할 수 있다. 사용자는 알람 및 이상 상황의 발생 장소를 제공받고, 발생한 이상 상황에 따라 준비된 대응 방안을 수행할 수 있다. 관제부(134)를 통해 사용자에게 제공되는 예시적인 화면 및 알람은 도 7을 참조하여 설명될 것이다.
이상에서는 본 발명의 제어 서버(130)의 구성이 예시적으로 설명되었다. 하지만, 본 발명의 제어 서버(130)의 구성이나 기능은 도시된 예에만 국한되지 않는다. 예컨대, 인공 지능 연산부(133)는 윤곽 분석부(132)의 외부에 인공 지능 연산을 위한 별도의 장치로 제공될 수도 있을 것이다.
도 5는 본 발명의 실시 예에 따른 제어 서버의 동작 방법을 보여주는 순서도이다. 도 4 및 도 5를 참조하면, 제어 서버(130)는 인공 지능 연산을 사용하여 대상체의 온도 윤곽 데이터를 분석하고, 대상체의 상태나 상황에 대한 식별을 고도화시킬 수 있다.
S10 단계에서, 윤곽 분석부(132)는 네트워크(120)를 통해서 온도 윤곽 센싱 장치(111)로부터 지정된 영역에 대한 온도 데이터를 수신한다. 예를 들면, 윤곽 분석부(132)는 사생활 보호 시설(110)의 지정된 영역 내의 대상체가 존재하지 않는 초기 상태의 열 영상 데이터를 제공받을 수 있다. 이하에서는 해당 초기 상태의 열 영상 데이터를 기본 온도 윤곽 데이터라 칭하기로 한다. 그리고, 윤곽 분석부(132)는 지정된 영역 내에서 온도 변화의 감지에 따라 생성되는 열 영상 데이터를 추가로 수신할 수 있다. 이하에서는 지정된 영역 내의 대상체의 감지 및 움직임에 따른 온도 윤곽 데이터를 센싱 온도 윤곽 데이터라 칭하기로 한다.
S20 단계에서, 윤곽 분석부(132)는 수신된 열 영상 데이터를 이용하여 대상체를 식별하기 위한 차 온도 윤곽 데이터를 생성한다. 즉, 윤곽 분석부(132)는 기본 온도 윤곽 데이터와 센싱 온도 윤곽 데이터의 차이값을 추출한다. 추출된 데이터가 앞서 설명된 차 온도 윤곽 데이터에 대응한다. 차 온도 윤곽 데이터에는 대상체나 대상체가 소지한 물체의 윤곽이 나타날 것이다.
S30 단계에서, 윤곽 분석부(132)는 차 온도 윤곽 데이터를 기초로 대상체의 형태, 개수, 그리고 대상체 각각의 타입을 식별할 수 있다. 예를 들어, 대상체의 온도가 기준 온도 이상이고 윤곽의 크기가 사람의 기준 크기의 범위에 해당하는 경우, 윤곽 분석부(132)는 대상체를 사람이라고 인식할 수 있다. 윤곽 분석부(132)는 사람에 해당하는 대상체의 수를 인식할 수 있다. 또한, 윤곽 분석부(132)는 대상체의 열을 감지함으로 대상체의 질병을 감지할 수 있다.
또는, 대상체의 온도가 기준 온도 이하이고 윤곽의 크기가 물체의 기준 크기의 범위에 해당하는 경우, 윤곽 분석부(132)는 대상체를 물체로 인식할 수 있다. 예를 들어, 대상체가 물체인 경우, 윤곽 분석부(132)는 설정된 기준 크기나 모양을 기초로 대상체를 가방 분실물, 폭발물 등으로 구분하여 인식할 수 있다. 여기서, 대상체의 형태, 대상체의 상태, 대상체의 종류를 식별하는데 인공 지능 연산부(133)을 사용할 수 있다. 인공 지능 연산부(133)는 방대한 양의 다양한 대상체들의 형태, 크기, 그리고 온도 정보에 대한 미리 학습된 패턴들을 구비하고 있을 것이다. 이러한 데이터를 기초로 인공 지능 연산부(133)는 대상체의 타입 및 상태에 대한 식별을 고도화시킬 수 있다.
S40 단계에서, 인공 지능 연산부(133)에 의한 분석 결과에 의한 동작 분기가 발생한다. 만약, 대상체의 타입 및 상태의 분석 결과 이상 징후로 판단되면, 절차는 S50 단계로 이동한다. 반면, 대상체의 타입 및 상태의 분석 결과 이상 징후가 아닌 정상적인 경우로 판단되면, 온도 윤곽 센싱 장치(111)로부터 전송된 데이터에 대한 처리는 종료된다. 이후, 도시되지는 않았지만, 제어 서버(130)는 온도 윤곽 센싱 장치(111)로부터 새로운 센싱 온도 윤곽 데이터를 수신하여 분석하기 위한 동작을 시작할 수 있을 것이다.
S50 단계에서, 관제부(134)는 관제 모니터(140)에 알람을 전송할 것이다. 예를 들면, 온도 윤곽 센싱 장치(111)가 설치된 장소가 공중 화장실이고, 윤곽 분석부(132)에서 분석된 대상체가 사람이며, 심장 마비에 의해서 쓰러진 상태로 분석되면, 관제부(134)는 관제 모니터(140)를 통해 관리자에게 알람을 표시할 수 있다.
이상에서는 인공 지능(AI)을 사용한 대상체의 온도 윤곽 데이터를 분석하는 방법이 설명되었다. 예를 들면, 인공 지능(AI)의 예로 최근 대상체의 패턴 인식에 높은 정확도를 제공하는 컨볼루션 신경망(CNN)과 같은 딥 러닝 방식이 사용될 수 있다. 더불어, 대상체의 온도 패턴에 대한 정보가 추가되는 경우, 대상체의 상태에 대한 식별을 고도화시킬 수 있다. 또한, 빅데이터 데이터 베이스(136)를 활용한 빅데이터 참조를 통해서, 다양한 환경에서의 다양한 대상체의 형태나 상태의 식별을 고도화시킬 수 있을 것이다.
도 6은 본 발명의 실시 예에 따른 도 1의 보안 시스템의 대상체에 대한 행동 분석 방법을 설명하기 위한 그림이다. 도 6의 그림은 도 1 및 도 5를 참조하여 설명될 것이다. 도 6을 참조하면, 보안 시스템(100)은 인공 지능(AI)을 사용하여 대상체의 온도 윤곽 데이터를 기초로 대상체의 행동 분석을 수행할 수 있다.
S110 단계에서, 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110)의 지정된 영역 내의 초기 상태의 정보를 수집할 수 있다. 예를 들어, 상술한 바와 같이, 사생활 보호 시설(110)은 공중 화장실일 수 있다. 앞서 도 5에서 언급한 바와 같이, 해당 초기 상태의 정보는 기본 온도 윤곽 데이터라 지칭한다. 제어 서버(130)는 네트워크(120)를 통해 온도 윤곽 센싱 장치(111)로부터 기본 온도 윤곽 데이터를 제공받는다.
여기서, S110 단계 이전에 발생한 상황에 따라, 사생활 보호 시설(110)의 지정된 영역 내부의 온도가 변할 수 있다. 예를 들어, S110 단계 이전에 지정된 영역을 방문했던 대상체에 의해, 지정된 영역 내부의 변기 영역의 온도가 증가할 수 있다. 상술한 바와 같이, 모듈(113)은 지정된 영역 내부의 온도 변화가 감지되는 경우에 기본 온도 윤곽 데이터를 업데이트하여 제어 서버(130)에 제공한다.
S120 단계에서, 온도 윤곽 센싱 장치(111)가 사생활 보호 시설(110)의 지정된 영역 내의 새로운 대상체의 진입을 감지하는 경우에, 온도 윤곽 센싱 장치(111)는 지정된 영역 내의 감지된 대상체의 움직임에 따른 온도 윤곽 데이터를 수집한다. 이하에서, 해당 온도 윤곽 데이터를 센싱(sensing) 온도 윤곽 데이터라 지칭한다. 제어 서버(130)는 네트워크(120)를 통해 온도 윤곽 센싱 장치(111)로부터 센싱 온도 윤곽 데이터를 제공받는다.
S130 단계에서, 제어 서버(130)의 윤곽 분석부(132)는 제공된 기본 온도 윤곽 데이터와 센싱 온도 윤곽 데이터를 비교하여 차 온도 윤곽 데이터를 생성한다. 차 온도 윤곽 데이터는 기본 온도 윤곽 데이터를 기준으로 센싱 온도 윤곽 데이터에서 감지되는 대상체의 온도 및 윤곽 정보를 포함할 수 있다.
S140 단계에서, 윤곽 분석부(132)는 차 온도 윤곽 데이터를 기초로 대상체의 개수 및 대상체 각각의 타입을 구분할 수 있다. 예를 들어, 대상체의 온도가 기준 온도 이상이고 윤곽의 크기가 사람의 기준 크기의 범위에 해당하는 경우, 윤곽 분석부(132)는 대상체를 사람이라고 인식할 수 있다. 또한, 윤곽 분석부(132)는 사람에 해당하는 대상체의 수를 인식할 수 있다.
또는, 대상체의 온도가 기준 온도 이하이고 윤곽의 크기가 물체의 기준 크기의 범위에 해당하는 경우, 윤곽 분석부(132)는 대상체를 물체로 인식할 수 있다. 예를 들어, 대상체가 물체인 경우, 윤곽 분석부(132)는 설정된 기준 크기나 모양을 기초로 대상체를 가방 분실물, 폭발물 등으로 구분하여 인식할 수 있다. 윤곽 분석부(132)의 차 온도 윤곽 데이터를 사용한 대상체의 인식 정확도는 인공 지능 연산부(133)의 지원을 통해서 높아질 수 있다.
S150 단계에서, 윤곽 분석부(132)는 사생활 보호 공간(110)의 영역을 사생활 보호 공간 영역의 벽 부분을 포함하는 경계 영역과 경계 영역 내의 기준 영역으로 구분한다. 예를 들어, 상술한 바와 같이, 사생활 보호 공간(110)이 공중 화장실을 포함하는 경우, 경계 영역은 화장실의 구분된 하나의 칸을 포함하며, 기준 영역은 구분된 하나의 칸 내의 변기 영역을 포함할 수 있다. 경계 영역 및 기준 영역의 크기와 모양 등은 사용자에 의해 설정될 수 있다. 경계 영역과 기준 영역을 구분하여 설정하는 이유는 대상체의 행동 유형의 기준을 제공하기 위함이다.
예를 들어, 대상체가 경계 영역에 접촉된 상태가 일정 시간 이상 지속되는 경우, 윤곽 분석부(132)는 대상체가 쓰러졌거나 대상체가 다른 화장실 칸 영역을 지켜보고 있는 상황이라고 판단할 수 있다. 구체적인 판단의 예는 도 8 내지 도 11을 참조하여 설명될 것이다.
S160 단계에서, 윤곽 분석부(132)는 차 온도 윤곽 데이터를 경계 영역과 기준 영역 각각으로 구분하고, 각각의 영역에서의 대상체의 개수, 대상체 각각의 타입, 대상체 각각의 온도를 포함하는 정보를 기초로 대상체 각각의 행동을 분석한다. 윤곽 분석부(132)는 대상체의 행동 분석 결과를 기초로 대상체의 행동에 의한 이상 상황을 감지하는 경우에 관제부(134)에 알람을 제공한다.
예를 들어, 상술한 바와 같이, 사생활 보호 기능을 강화하기 위해, 윤곽 분석부(132)는 이상 상황의 알람만을 관제부(134)에 제공할 수 있다. S170단계에서, 관제부(134)는 윤곽 분석부(132)로부터 제공된 알람을 관리자나 사용자에게 제공한다. 예를 들면, 관제부(134)는 관제 모니터(140)를 통해서 보안 시스템(100)의 관리자에게 알람을 제공할 수 있다.
이상에서 설명된 대상체의 행동 분석 방법은 영상을 이용하는 것이 아니라 대상체의 온도 윤곽 데이터를 사용하여 수행된다. 더불어, 대상체의 온도 윤곽 데이터에 대한 인공 지능(AI) 연산을 통해서 대상체의 타입이나 상태에 대한 높은 정확도가 제공될 수 있다. 온도 윤곽 데이터는 대상체의 신원을 확인할 정도의 데이터를 포함하지 않으므로 영상을 이용하는 방법과 비교하여 사생활 보호 영역 내의 대상체의 사생활 침해가 현저히 낮아진다.
또한, 온도 윤곽 데이터만을 사용함에도 불구하고, 본 발명의 보안 시스템(100)은 인공 지능 또는 빅데이터를 활용하여 온도 윤곽 데이터에 포함된 대상체의 온도 및 윤곽의 정보를 복합적으로 사용할 수 있다. 따라서, 본 발명의 보안 시스템(100)은 화재 상황, 출혈 상황 등의 다양한 이상 상황을 높은 정확도로 감지하고 이에 대응할 수 있다.
도 7은 본 발명의 실시 예에 따라 도 1의 제어 서버에 제공되는 화면을 예시적으로 보여주는 그림이다. (a)는 대상체의 행동 분석을 위한 임계값을 설정하기 위한 화면을 보여주는 그림이고, (b)는 이상 상황 감지 시에 발생하는 알람을 보여주는 그림이다.
(a)에 도시된 UI(User Interface)를 통해, 사용자 또는 관리자는 제어 서버(130) 및 관제 모니터(140)를 통해 대상체의 행동 분석을 위한 임계값을 설정할 수 있다. 예를 들어, 임계값은 사람 윤곽선 크기, 최대 체온, 물건 윤곽선 크기, 기준 영상 차이, 쓰러짐 상태(타원형 축 비율), 쓰러짐 상황 시간, 체류 시간, 벽터치 시간, 아무 행동하지 않는 시간, 열 감지를 이용한 질병 수치 등을 포함할 수 있다.
또한, 관제부(134)는 사생활 보호 시설(110) 내에서 이상 상황이 감지되는 경우에 (b)에 도시된 바와 같은 알람을 관제 모니터(140)나 서비스 단말(150)을 통해 관리자나 사용자에게 제공할 수 있다. 예를 들어, (b)를 참조하면, 쓰러짐이 의심되는 상황이 13초 동안 지속되었다는 사실을 알람을 통해 사용자에게 알려줄 수 있다.
도 8 내지 도 11은 도 6에서 설명된 행동 분석 방법에 의해 분석된 대상체의 행동에 의해 발생하는 이상 상황을 예시적으로 설명하기 위한 그림이다. 도 8 내지 도 11의 그림은 도 1, 도 4 및 도 6을 참조하여 설명될 것이다.
도 8을 참조하면, 윤곽 분석부(132)는 대상체의 쓰러짐을 감지할 수 있다. 예를 들어, 사람으로 구분된 대상체가 기준 영역을 제외한 경계 영역 내에서 기준 윤곽 모양(예를 들어, 타원형)을 기준 시간 이상 유지하는 경우, 윤곽 분석부(132)는 대상체의 쓰러짐을 감지할 수 있다. 여기서, 윤곽 분석부(132)는 대상체의 윤곽이 일정 크기 이상이고, 대상체의 온도가 체온(36.5℃의 일정 범위 내에 있는지 여부를 판단한다.
판단 결과를 기초로, 윤곽 분석부(132)는 대상체를 구분한다. 윤곽 분석부(132)는 대상체의 윤곽이나, 온도를 통한 대상체의 종류, 상태 그리고 상황을 판단하기 위해 인공 지능 연산부(133) 또는 빅데이터 데이터 베이스(136)를 활용할 수 있다. 이하에서, 윤곽 분석부(132)에 의한 대상체의 구분 과정은 동일하다. 대상체의 쓰러짐을 감지하기 위한 기준 모양, 기준 크기, 기준 시간 등은 사용자에 의해 다르게 설정될 수 있다.
도 9를 참조하면, 윤곽 분석부(132)는 경계 영역과 관련된 대상체의 이상 행동을 감지할 수 있다. 예를 들어, 사람으로 구분된 대상체가 기준 영역 및 경계 영역에 걸쳐 있는 상태가 기준 시간 이상 유지되는 경우, 윤곽 분석부(132)는 대상체가 기준 영역(예를 들어, 변기)에 앉은 채로 쓰러져 있는 상태를 감지할 수 있다. 또는, 사람으로 구분된 대상체가 경계 영역에 접촉된 상태가 기준 시간 이상 유지되는 경우, 윤곽 분석부(132)는 화장실 칸 내에서 대상체가 다른 화장실 칸을 엿보는 등의 이상 행동하는 경우를 감지할 수 있다.
도 10을 참조하면, 윤곽 분석부(132)는 대상체의 이상 온도 여부를 판단할 수 있다. 예를 들어, 사람으로 구분된 대상체의 온도가 질병으로 인해 기준 온도 이상(도 10의 예에서, 37℃으로 올라가는 경우, 윤곽 분석부(132)는 대상체의 질병을 감지할 수 있다. 혹은, 경계 영역 내에서 발생한 화재나 실내 흡연에 의해 물체로 구분된 대상체의 온도가 기준 온도 이상으로 올라가는 경우, 윤곽 분석부(132)는 화재 또는 실내 흡연 등의 이상 상황을 감지할 수 있다.
도 11을 참조하면, 윤곽 분석부(132)는 사람으로 구분된 복수의 대상체가 경계 영역 내에 존재하는지 여부를 판단할 수 있다. 예를 들어, 윤곽 분석부(132)는 대상체의 크기 및 온도를 분석하여 사람으로 구분된 복수의 대상체가 경계 영역에 입장했는지 여부를 감지할 수 있다. 또한, 윤곽 분석부(132)는 복수의 대상체의 움직임을 분석하여 복수의 대상체 사이에서 범죄가 발생하였는지 여부를 판단할 수 있다.
도 8 내지 도 11에 도시된 예는 본 발명의 실시 예에 따라 감지될 수 있는 이상 상황의 일부 예일 뿐이다. 즉, 본 발명의 실시 예는 이에 제한되는 것이 아니다. 예를 들어, 윤곽 분석부(132)는 센싱 온도 윤곽 데이터를 기본 온도 윤곽 데이터와 비교하여 기물 파손 여부, 분실물 발생 여부, 폭발물 설치 여부, 테러 징후, 자살 발생 여부 등을 감지할 수 있다.
또는, 윤곽 분석부(132)는 일정 온도 이상의 체액을 감지하여 출혈 발생 여부 등을 감지할 수 있고, 사람으로 구분된 대상체의 체류 시간을 감지할 수 있다. 특히, 윤곽 분석부(132)는 인공 지능 연산부(133)를 사용하여 상술한 대상체의 타입, 상태 및 이상 상황의 발생 여부에 대한 식별을 고도화시킬 수 있다.
도 12는 도 4의 인공 지능 연산부에서 수행되는 연산을 예시적으로 보여주는 도면이다. 도 4 및 도 12을 참조하면, 인공 지능 연산부(133)는 입력된 차 온도 윤곽 영상(210)에 대해 컨볼루션 계층(Convolution layer)과 그 결과를 다운 샘플링하기 위한 풀링 계층(Pooling layer)을 반복하여 패턴 인식의 결과를 출력할 수 있다. 여기서, 인공 지능 연산부(133)가 컨볼루션 신경망(CNN) 연산을 수행하는 예가 설명될 것이다. 하지만, 본 발명의 인공 지능 연산부(133)의 머신 러닝 기법은 여기의 개시에 국한되지 않음은 잘 이해될 것이다.
인공 지능 연산부(133)에 차 온도 윤곽 영상(210)이 제공되면, 컨볼루션 계층(Convolution layer) 연산이 적용된다. 컨볼루션 계층의 적용을 위해 차 온도 윤곽 영상(210)는 커널(Kernel)을 사용한 컨볼루션 연산(Convolution Operation)이 수행된다. 즉, 커널과 중첩되는 차 온도 윤곽 영상(210)의 데이터가 커널에 정의된 가중치와 곱해진다. 그리고 곱해진 모든 값은 합산되어 하나의 피처값으로 생성될 것이다. 이러한 연산은 커널이 순차적으로 쉬프트되면서 반복적으로 수행될 것이다. 그러면 커널의 이동에 따라 각각의 위치에 대응하는 피처값이 결정될 수 있다.
하나의 차 온도 윤곽 영상(210)에 대한 컨볼루션 연산은 복수의 커널들에 대해서 수행된다. 그리고 컨볼루션 계층의 적용에 따라 복수의 커널들 각각에 대응하는 어레이 형태의 피처 맵(220)이 생성될 수 있을 것이다. 여기서, 커널은 다양한 패턴들에 대한 학습된 데이터일 수 있다. 예를 들면, 대상체가 쓰러진 형태에 대응하는 다양한 패턴들의 학습 결과가 커널로 제공될 수 있다.
컨볼루션 계층의 실행이 완료되면, 피처 맵(220)에 대한 다운 샘플링이 수행된다. 피처 맵(220)의 데이터는 커널의 수나 차 온도 윤곽 영상(210)의 사이즈에 따라 처리의 부담이 되는 사이즈로 생성될 수 있다. 따라서, 풀링 계층(Pooling Layer)에서는 연산 결과에 크게 영향을 주지 않는 범위에서 피처 맵(220)의 사이즈를 줄이기 위한 다운 샘플링(또는, 서브-샘플링)이 수행된다.
다운 샘플링의 대표적인 연산 방식이 풀링(Pooling)이다. 다운 샘플링을 위한 필터를 피처 맵(220)에 미리 결정된 스트라이드(Stride)로 슬라이딩시키면서, 해당 영역에서의 최대값 또는 평균값이 선택될 수 있다. 최대값을 선택하는 경우를 최대값 풀링(Max Pooling)이라 하고, 평균값을 출력하는 방식을 평균값 풀링(Average Pooling)이라 한다. 풀링 계층에 의해서 피처 맵(220)은 감소된 사이즈의 피처 맵(230)으로 변환된다.
피처 맵(230)은 컨볼루션 연산에 의해서 피처 맵(240)으로 생성될 것이다. 그리고 피처 맵(240)은 풀링 계층에 의해서 피처 맵(250)으로 생성될 수 있다. 상술한 도면에서는 컨볼루션 계층-풀링 계층의 실행이 2회 연속되는 방식으로 설명되었으나, 본 발명은 여기에 국한되지 않는다. 컨볼루션 계층-풀링 계층의 반복 실행 횟수는 시스템 요구 사항에 따라 가변될 수 있다. 이러한 연산에 따라 결과(260)가 생성될 수 있을 것이다. 상술한 차 온도 윤곽 영상(210)에 대한 컨볼루션 신경망(CNN)을 통한 처리를 통해서 대상체의 형태에 따른 상태 인식을 고도화시킬 수 있다.
이상에서는 차 온도 윤곽 데이터 또는 차 온도 윤곽 영상을 인공 지능을 사용하여 분석하는 실시 예가 설명되었다. 인공 지능(AI)의 예로 컨볼루션 신경망(CNN)이 간략히 설명되었다. 하지만, 차 온도 윤곽 데이터의 분석에 사용되는 인공 지능(AI)은 다양한 머신 러닝이나 딥 러닝 기법 또는 이것들의 조합일 수 있다.
도 13은 본 발명의 다른 실시 예에 따른 보안 시스템을 보여주는 그림이다. 도 13을 참조하면, 보안 시스템(300)은 사생활 보호 시설(110_1~110_n), 네트워크(320), 제어 서버(330), 관제 모니터(340), 서비스 단말(350)을 포함할 수 있다.
사생활 보호 시설(110)은 복수의 사생활 보호 시설(110_1~110_n)을 포함할 수 있다. 예를 들어, 사생활 보호 시설(110_1~110_n)은 공중 화장실, 개인 화장실, 샤워실, 탈의실, 피팅룸, 병원의 병실, 교도소, 독거 노인 거주처, 또는 원거리에 거주하는 자녀의 기숙사나 원룸 등의 시설을 포함할 수 있다.
사생활 보호 시설(110_1~110_n) 각각에는 온도 윤곽 센싱 장치(111)가 포함될 수 있다. 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110) 내에 대상체의 움직임을 감지하여 대상체의 온도 및 윤곽 등의 정보를 네트워크(320)를 통해 제어 서버(330)에 제공한다. 또한, 온도 윤곽 센싱 장치(111)는 사생활 보호 시설(110) 내에 진입한 대상체를 감지하여 전등 스위치 온-오프 제어와 연동 되도록 구성될 수 있다.
한편, 온도 윤곽 센싱 장치(111)는 실내 뿐만 아니라 야외에 설치되어 야간 이벤트 감지를 수행할 수 있다. 온도 윤곽 센싱 장치(111)는 야외에 설치되어 있는 CCTV와의 크로스 체크 기능을 수행할 수 있다. 즉, 온도 윤곽 센싱 장치(111)는 사생활 보호 기능을 수행하고, 야외에 설치된 CCTV는 대상체의 이상 행동 등을 좀 더 정확하게 파악할 수 있도록 해준다.
네트워크(320)는 복수의 사생활 보호 시설(110_1~110_n)에 포함된 각각의 온도 윤곽 센싱 장치(111)로부터 수집된 대상체의 온도 윤곽 데이터를 제어 서버(330)에 전달한다. 예를 들어, 네트워크(320)는 사설 네트워크, 장거리 음성 및 대용량 데이터 서비스가 가능한 유선 통신망 등을 포함할 수 있다. 또는, 네트워크(320)는 사생활 보호 기능을 강화하기 위한 폐쇄 네트워크 망을 포함할 수 있다. 혹은, 네트워크(320)는 보안 시스템(100) 사용의 유연성 및 편리성을 제공하기 위한 차세대 유선 망 또는 무선 망을 포함할 수 있다.
네트워크(320)가 이동 통신 망일 경우, 네트워크(320)는 동기식 이동 통신망 또는 비동기식 이동 통신망을 포함할 수 있다. 네트워크(320)가 비동기식 이동 통신망인 경우, 네트워크(320)는 WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 포함할 수 있다. 또는, 네트워크(320)는 3G LTE망, 4G망, 5G망 등의 차세대 통신망, 그 밖의 IP(Internet Protocol)를 기반으로 한 IP망을 포함할 수 있다.
제어 서버(330)는 네트워크(320)를 통해 온도 윤곽 센싱 장치(111)로부터 수집된 대상체의 온도 윤곽 데이터를 제공 받는다. 제어 서버(330)는 수집된 온도 윤곽 데이터를 기초로 대상체의 행동을 분석한다. 특히, 제어 서버(330)는 온도 윤곽 데이터를 사용하여 대상체의 행동 분석을 고도화하기 위해 인공 지능(Artificial Intelligence: 이하, AI) 기술을 사용할 수 있다. 예를 들면, 제어 서버(330)는 수집된 온도 윤곽 데이터로부터 대상체의 행동 또는 상태를 높은 정확도로 인식하기 위해 딥 러닝(Deep learning), 신경망(Neural net) 등의 머신 러닝 기법을 사용할 수 있다. 더불어, 제어 서버(330)는 다양한 상황에서 다양한 행동들의 온도 윤곽 정보를 축적한 빅데이터 서버를 사용하여, 대상체의 행동 분석의 정확도를 높일 수 있다.
또한, 제어 서버(330)는 사생활 보호 시설(110)의 영역 내에 대상체의 행동에 의한 이상 상황이 감지되는 경우에, 등록된 서비스 사용자(예를 들면, 대상체의 부모나 보호자)의 서비스 단말(350)에 알람을 전송할 수 있다. 제어 서버(330)는 이상 징후가 감지된 경우, 서비스 단말(350)에 해당 이상 상황의 알람, 이상 상황의 종류 및 해당 이상 상황의 발생 장소를 전송할 수 있다. 예를 들면, 온도 윤곽 센싱 장치(111)가 설치된 장소가 환자나 독거 노인의 거주 공간일 수 있다. 이 경우, 분석된 대상체가 사람이며, 기준 시간 이상 쓰러진 상태로 분석되면, 제어 서버(330)는 네트워크(320)를 통해 서비스 단말(350) 및 소방서나 보건소와 같은 기관에 알람을 전송할 수 있다.
도시되지는 않았지만, 제어 서버(330)는 알람 및 이상 상황의 발생 장소를 서비스 단말(350)과 함께 관제 모니터에도 전달할 수 있음은 잘 이해될 것이다. 서비스 사용자는 알람 및 이상 상황의 발생 장소를 제공받고, 발생한 이상 상황에 따라 준비된 대응 방안을 수행할 수 있다.
도 14는 도 13의 제어 서버의 예시적인 구성을 보여주는 도면이다. 도 13 및 도 14를 참조하면, 제어 서버(330)는 통신부(331), 제어부(333) 그리고 데이터 베이스(335)를 포함할 수 있다.
통신부(331)는 네트워크(320)를 통해서 제어부(333)와 온도 윤곽 센싱 장치(111) 사이의 데이터 송수신을 수행한다. 더불어, 통신부(331)는 네트워크(320)를 통해서 서비스 단말(350)과의 데이터 송수신을 수행한다.
제어부(333)는 윤곽 분석부(332) 및 애플리케이션 관리부(336)를 포함한다. 윤곽 분석부(332)는 도 4의 윤곽 분석부(132)와 마찬가지로 인공 지능 연산부(334)를 포함한다. 인공 지능 연산부(334)는 도 4의 인공 지능 연산부(134)와 동일한 기능을 수행할 수 있다. 애플리케이션 관리부(336)는 서비스를 제공하기 위한 서비스 단말(350)의 애플리케이션을 관리한다. 서비스에 등록된 인증된 회원의 서비스 단말(350)에는 알람이나 대상체의 상태 및 이상 징후의 정보를 제공하기 위한 애플리케이션이 설치되어야 한다. 애플리케이션 관리부(336)는 데이터 베이스(335)에 등록된 회원 정보를 기초로 서비스 단말(350)에 애플리케이션을 전송하고 업데이트할 수 있다. 또한, 애플리케이션 관리부(336) 새롭게 가입된 회원 정보를 데이터 베이스(335)에 업데이트할 것이다.
제어부(333)는 윤곽 분석부(332)로부터 사생활 보호 영역 내에서 대상체의 행동에 의해 발생하는 이상 상황에 대한 알람, 대상체의 상태 그리고 해당 이상 상황의 발생 장소들 중 적어도 하나의 정보를 서비스 단말(350)에 제공할 수 있다. 더불어, 대상체에 위급 상황이 발생하는 경우, 제어부(333)는 서비스 단말(350)뿐 아니라 소방서와 같은 유관 기관에도 알람, 대상체의 상태 그리고 해당 이상 상황의 발생 장소들에 관련된 정보를 전송할 수 있다.
이상에서는 본 발명의 제어 서버(330)의 구성이 예시적으로 설명되었다. 하지만, 본 발명의 제어 서버(330)의 구성이나 기능은 도시된 예에만 국한되지 않는다. 또한, 상술한 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술한 실시 예들 이외에도, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술한 실시 예들에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.

Claims (5)

  1. 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법에 있어서:
    사생활 보호 공간 영역의 초기 상태의 기본 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계;
    상기 온도 윤곽 센싱 장치가 상기 사생활 보호 공간 영역에서 대상체를 감지한 경우에, 상기 사생활 보호 공간 영역의 센싱 온도 윤곽 데이터를 상기 온도 윤곽 센싱 장치로부터 제공받는 단계;
    상기 기본 온도 윤곽 데이터와 상기 센싱 온도 윤곽 데이터를 비교하여 상기 대상체의 온도 및 윤곽 정보를 포함하는 차 온도 윤곽 데이터를 생성하는 단계;
    인공 지능 연산을 통하여 상기 차 온도 윤곽 데이터로부터 상기 대상체의 행동 또는 상태를 분석하는 단계; 그리고
    상기 분석 결과를 기초로 감지된 상기 대상체의 이상 행동을 외부로 알리는 단계를 포함하는 제어 서버의 동작 방법.
  2. 제 1 항에 있어서,
    상기 분석하는 단계는,
    상기 제어 서버에서, 상기 차 온도 윤곽 데이터를 기초로 상기 대상체의 온도 및 크기를 분석하여 상기 대상체의 개수 및 타입을 구분하는 단계; 그리고
    상기 제어 서버에서, 상기 대상체의 개수, 상기 대상체 각각의 타입, 상기 대상체 각각의 온도를 포함하는 정보를 기초로 상기 대상체 각각의 행동 또는 상태를 분석하는 단계를 포함하는 제어 서버의 동작 방법.
  3. 제 1 항에 있어서,
    상기 분석하는 단계는,
    상기 제어 서버에서, 상기 사생활 보호 공간 영역을 상기 사생활 보호 공간 영역의 벽 부분을 포함하는 경계 영역과 상기 경계 영역 내의 기준 영역으로 구분하는 단계; 그리고
    상기 제어 서버에서, 상기 경계 영역과 상기 기준 영역으로 구분된 각각의 영역에서의 상기 대상체의 개수, 상기 대상체 각각의 타입, 상기 대상체 각각의 온도를 포함하는 정보를 기초로 상기 대상체의 행동을 분석하는 단계를 포함하는 제어 서버의 동작 방법.
  4. 제 1 항에 있어서,
    상기 분석하는 단계는,
    상기 차 온도 윤곽 데이터를 기초로 상기 대상체의 온도 및 크기를 분석하여 상기 대상체의 개수 및 타입을 구분하는 단계;
    상기 제어 서버에서, 상기 사생활 보호 공간 영역을 상기 사생활 보호 공간 영역의 벽 부분을 포함하는 경계 영역과 상기 경계 영역 내의 기준 영역으로 구분하는 단계; 그리고
    상기 제어 서버에서, 상기 경계 영역과 상기 기준 영역으로 구분된 각각의 영역 내에서 수집된 상기 대상체의 개수, 상기 대상체 각각의 타입, 상기 대상체 각각의 온도를 포함하는 정보를 기초로 상기 대상체 각각의 행동을 분석하는 단계를 포함하는 제어 서버의 동작 방법.
  5. 제 1 항에 있어서,
    상기 인공 지능 연산은 딥 러닝 연산 또는 컨볼루션 신경망 연산을 포함하는 제어 서버의 동작 방법.
PCT/KR2020/011950 2019-09-04 2020-09-04 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법 WO2021045564A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0109335 2019-09-04
KR1020190109335A KR102335526B1 (ko) 2019-09-04 2019-09-04 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법

Publications (2)

Publication Number Publication Date
WO2021045564A2 true WO2021045564A2 (ko) 2021-03-11
WO2021045564A3 WO2021045564A3 (ko) 2021-04-29

Family

ID=74852791

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011950 WO2021045564A2 (ko) 2019-09-04 2020-09-04 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법

Country Status (2)

Country Link
KR (2) KR102335526B1 (ko)
WO (1) WO2021045564A2 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230163195A (ko) * 2022-05-23 2023-11-30 서울대학교산학협력단 영상 기반 군집 개체들의 군집 행동 패턴 분석 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3046404B2 (ja) * 1991-07-16 2000-05-29 ホーチキ株式会社 テレビカメラを用いた火災監視装置
CN104896685B (zh) * 2014-03-03 2019-06-28 松下电器（美国）知识产权公司 传感方法、传感系统及包含它们的空调设备
KR20170006302A (ko) * 2015-06-30 2017-01-18 김한주 사생활보호 시설에 적용할 수 있는 보안 시스템
KR101781757B1 (ko) * 2016-10-20 2017-09-28 포항공과대학교 산학협력단 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
KR101845077B1 (ko) * 2016-12-12 2018-04-03 김한주 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템

Also Published As

Publication number Publication date
KR102335526B1 (ko) 2021-12-07
WO2021045564A3 (ko) 2021-04-29
KR20210028369A (ko) 2021-03-12
KR20210151032A (ko) 2021-12-13

Similar Documents

Publication Publication Date Title
Tyndall et al. Occupancy estimation using a low-pixel count thermal imager
US11120559B2 (en) Computer vision based monitoring system and method
CN106803943B (zh) 视频监控系统和设备
KR101610657B1 (ko) 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
Waheed et al. A novel approach for smart and cost effective IoT based elderly fall detection system using Pi camera
JP2018073024A (ja) 監視システム
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
WO2021045564A2 (ko) 온도 윤곽 센싱 장치와 통신하는 제어 서버의 동작 방법
KR20200017594A (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
KR101597218B1 (ko) 아이디 정보와 환자 정보를 이용한 수용자 호출 관리 장치 및 그 방법
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
Kalbande et al. Design and implementation of motion sensing security system
KR102299704B1 (ko) 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템
KR101845077B1 (ko) 윤곽 분석 서버의 동작 방법, 윤곽 분석 서버와 통신하는 온도 윤곽 센싱 장치, 및 윤곽 분석 서버를 포함하는 보안 시스템
WO2022097805A1 (ko) 이상 이벤트 탐지 방법, 장치 및 시스템
WO2023022429A1 (ko) 딥러닝 기반 비식별화 데이터 분석을 통한 이상행동감지 시스템
Miaou et al. A smart vision-based human fall detection system for telehealth applications
Sivasankar et al. Internet of Things based Smart Students' body Temperature Monitoring System for a Safe Campus
Nonaka et al. Ceiling sensor network for soft authentication and person tracking using equilibrium line
TWM527988U (zh) 移動感測裝置及其系統
KR20220023225A (ko) 인공지능 기술 기반의 다기능 디지털 사이니지 시스템
CN205722264U (zh) 移动感测装置及其系统
Maharjan et al. Development of IoT monitoring device and prediction of daily life behavior
Malathi et al. Deep learning-based recognition of wearing masks in public during the pandemic
WO2024075919A1 (ko) Iot 카메라 기반의 스마트홈 응급처리 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20861607

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20861607

Country of ref document: EP

Kind code of ref document: A2