WO2023085652A1 - Tof 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법 - Google Patents

Tof 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법 Download PDF

Info

Publication number
WO2023085652A1
WO2023085652A1 PCT/KR2022/016511 KR2022016511W WO2023085652A1 WO 2023085652 A1 WO2023085652 A1 WO 2023085652A1 KR 2022016511 W KR2022016511 W KR 2022016511W WO 2023085652 A1 WO2023085652 A1 WO 2023085652A1
Authority
WO
WIPO (PCT)
Prior art keywords
safety device
closing
tof
opening
safety
Prior art date
Application number
PCT/KR2022/016511
Other languages
English (en)
French (fr)
Inventor
박준영
김지혜
Original Assignee
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유엑스팩토리 filed Critical 주식회사 유엑스팩토리
Publication of WO2023085652A1 publication Critical patent/WO2023085652A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00309—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated with bidirectional data transmission between data carrier and locks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00896—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys specially adapted for particular uses
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an automatic opening and closing safety system and a control method thereof, and more particularly, to an automatic opening and closing safety system using a ToF sensor that automatically controls the opening and closing of a safety device using a ToF sensor, and a control method thereof.
  • Korean Patent Registration No. 10-2111354 discloses a safety door for infants or companion animals.
  • the safety door is separated into an upper door and a lower door, and a locking device is formed on the upper door and the lower door to selectively open and close, thereby securing the lower door to the door frame without installing a separate safety fence.
  • It has the advantage of being able to use the lower door as a safety fence simply by opening only the upper door.
  • it is possible to open the upper door and the lower door together immediately when the safety switch is pressed in an emergency situation such as a fire there is an effect such that it is possible to quickly cope with an emergency situation.
  • such a conventional safety door can be used as a safety fence or door by setting the locking device in advance or operating a separate safety switch in case of emergency, and can automatically control opening and closing by proximity of a specific object. does not exist.
  • Patent Document 1 Korean Patent Registration No. 10-2111354
  • the present invention uses a ToF sensor to automatically recognize an object close to a safety device using the ToF sensor and automatically controls the safety device according to the result, thereby safely protecting an object approaching the safety device unexpectedly. It is intended to provide an automatic opening and closing safety system and a control method thereof.
  • the present invention can flexibly cope with the type of object approaching the safety device by controlling the safety device based on the safety device control information set differently according to the type of object, thereby making it difficult to move It is intended to provide an automatic opening/closing safety system using a ToF sensor and a control method thereof, which can provide convenience to users.
  • an evacuation route can be formed under the control of the safety device, so that people or pets located in the space can evacuate quickly and safely. It is intended to provide an automatic opening and closing safety system using a ToF sensor and a control method thereof.
  • the present invention can reduce power consumption for object recognition by determining whether an object is approaching a safety device using a ToF sensor and driving an object recognition algorithm only when an object exists within a predetermined distance. Therefore, it is intended to provide an automatic opening/closing safety system using a ToF sensor and a control method thereof, which minimizes power consumption of the entire device and enables operation with low power constant power.
  • the present invention uses an AI accelerator that operates with low power and recognizes only the object type based on the distance information collected from the ToF sensor, thereby eliminating the need to perform high-resolution calculations for object recognition, thereby reducing power consumption. It is intended to provide an automatic opening/closing safety system using a ToF sensor and a control method thereof, which can reduce and accelerate object recognition speed.
  • the automatic opening/closing safety system using the ToF sensor collects image information for a predetermined surveillance space, and includes distance information for each object generated by the ToF method and the ToF sensor and the surveillance space A ToF camera that collects two-dimensional images together; a safety device whose opening and closing is controlled based on image information collected from the ToF camera; and an AI accelerator for analyzing image information collected from the ToF camera, recognizing the type of a proximity object located within a predetermined distance from the safety device, and controlling the opening and closing of the safety device according to the type of the proximity object. It is characterized by doing.
  • the automatic opening and closing control method of the safety device using the ToF sensor to automatically control the opening and closing of the safety device the proximity object an object identification information storage step of storing previously learned object identification information to identify the type of; a safety device control information storage step of storing safety device control information according to the type of the proximity object; An image information collection step of collecting image information for a predetermined surveillance space using a ToF camera equipped with a ToF sensor, but collecting both distance information for each object generated by the ToF method and a two-dimensional image of the surveillance space; and an AI accelerator that is always operating at low power, by analyzing the image information collected from the ToF camera to recognize the type of proximity object located within a predetermined distance from the safety device, and then according to the type of the proximity object It characterized in that it comprises a control step of controlling the opening and closing of the safety device.
  • the automatic opening/closing safety system and its control method using the ToF sensor of the present invention as described above automatically recognizes an object close to the safety device using the ToF sensor and automatically controls the safety device according to the result, thereby unexpectedly safety device It has the advantage of being able to safely protect objects that are close to .
  • the present invention can flexibly cope with the type of object approaching the safety device by controlling the safety device based on the safety device control information set differently according to the type of object, thereby making it difficult to move
  • an evacuation route can be formed under the control of the safety device, so that people or pets located in the space can evacuate quickly and safely.
  • the present invention can reduce power consumption for object recognition by determining whether an object is approaching a safety device using a ToF sensor and driving an object recognition algorithm only when an object exists within a predetermined distance. This has the advantage of minimizing the power consumption of the entire device and operating with a low-power constant power supply.
  • the present invention uses an AI accelerator that operates with low power and recognizes only the object type based on the distance information collected from the ToF sensor, thereby eliminating the need to perform high-resolution calculations for object recognition, thereby reducing power consumption. It has the advantage of reducing and accelerating the object recognition speed.
  • FIG. 1 is a schematic block diagram of an automatic opening/closing safety system using a ToF sensor according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of an AI accelerator according to an embodiment of the present invention.
  • FIG. 3 is a diagram for explaining an example of information stored in a safety device control information DB according to an embodiment of the present invention.
  • 4 and 5 are process flow charts for a control method of an automatic opening/closing safety system according to an embodiment of the present invention.
  • an automatic opening/closing safety system 100 using a ToF sensor includes a ToF camera 110, an AI accelerator 120, and a safety device 130.
  • the ToF camera 110 collects image information about a predetermined surveillance space, and includes a ToF sensor to collect both distance information for each object generated by the ToF method and a two-dimensional image of the surveillance space.
  • ToF (Time of Flight) sensor (not shown) is a sensor that detects the distance to a target object by measuring the time it takes for infrared rays to be reflected after irradiating them to a specific space or object. Similar to a thermal imaging camera that displays different colors depending on the heat , showing different colors depending on the distance.
  • the ToF camera 110 equipped with such a ToF sensor may collect a target image using the ToF method, and generate and output a 3D map showing different colors according to a distance.
  • the ToF camera 110 is for detecting an object approaching the safety device 130, it is preferable to install it at a predetermined location of the safety device 130.
  • the AI accelerator 120 analyzes the image information collected from the ToF camera 110, recognizes the type of proximity object located within a predetermined distance from the safety device 130, and determines the type of the proximity object according to the type of the proximity object. Control the opening and closing of the device.
  • the AI accelerator 120 is equipped with a processor to which artificial neural network E2E (End to End) technology is applied and operates based on edge computing rather than based on a cloud server.
  • E2E End to End
  • the AI accelerator 120 operates with low power at all times. possible. That is, power consumed for data exchange with a server can be minimized by self-processing data analysis and processing.
  • a schematic configuration of this AI accelerator 120 is illustrated in FIG. 2 and will be described later in the description referring to FIG. 2 .
  • the safety device 130 is a safety device whose opening and closing is controlled based on the image information collected by the ToF camera 110, and may be installed to restrict or safely protect the entry or movement of infants, children, and companion animals. .
  • the safety device 130 may be a device additionally installed to control the opening and closing of an entrance door, a veranda window, a kitchen safety door, a safety fence, a vehicle door, or a vehicle window, or at least one of them.
  • the AI accelerator 120 is an object identification information DB 121 ), a safety device control information DB 122, an analysis unit 123, an object recognition unit 124, and a control unit 125.
  • the object identification information DB 121 is information for identifying an object from image information collected by the ToF camera 110, and stores previously learned object identification information to control the operation of the safety device 130.
  • the object identification information is used to identify previously registered objects (e.g., canes, wheelchairs, etc.) in order to recognize the approach of persons with reduced mobility, including the handicapped and the elderly, in order to distinguish learned object objects, adults or children in advance.
  • set body size information eg, height, hand length, foot length, etc.
  • a learned human object e.g, an animal object learned to identify a companion animal (eg, dog, cat, etc.), and determining whether a fire has occurred It may include acting objects learned to do so.
  • the human object may be information classified and learned by age group, such as adults, children, and infants, based on the body size information.
  • the safety device control information DB 122 stores control information for automatically controlling the safety device 130 for each object identified by the object identification information. For example, when the proximity object is any one of an object, an adult, a child, or a companion animal, the safety device control information DB 122 may store information on automatically opening or automatically locking the safety device for each object. An example of storing such safety device control information is illustrated in FIG. 3 .
  • the safety device control information 10 is a safety device type ( 11) / Proximity object type (12) / Control command (13) fields are included, and control commands set differently according to the type of safety device and proximity object are stored.
  • the safety device if the safety device is a door, it automatically opens when an object (eg, a cane or wheelchair) or an adult approaches, and automatically locks when a child or companion animal (eg, a cat or dog) approaches, , If the safety device is a banishment safety door, a control command to automatically lock when a child or companion animal approaches is stored.
  • the safety device control information can be set in various ways according to the type of safety device or proximity object or according to a user's request. For example, if the proximity object is a smoke object learned to determine whether or not a fire occurs, the safety device control information may store safety device opening or locking information for forming an evacuation route in the event of a fire.
  • the object identification information DB 121 and the safety device control information DB 122 are implemented in the form of loading a database previously created in an external device into the AI accelerator 120, or data is stored in the AI accelerator 120. It can be stored through an I/O interface unit (not shown) for input/output.
  • the analyzer 123 analyzes the image information collected from the ToF camera 110 to derive distance information for each of the objects included in the image, and as a result, the distance to the ToF camera 110 is a preset predetermined distance. (eg, 3m) determines whether or not there is a proximity object.
  • the object recognition unit 124 is driven only when the proximity object exists, and identifies the type of the proximity object from the 2D image based on object identification information pre-stored in the object identification information DB 121. At this time, the object recognition unit 124 receives an analysis result on whether or not the proximity object exists from the analysis unit 123, and is driven only when the proximity object exists. Due to this, power consumption of the AI accelerator 120 can be reduced.
  • the object recognizing unit 124 since the object recognizing unit 124 only needs to identify the type of object instead of precisely identifying the object, high-resolution calculation is not performed. That is, the object recognition unit 124 identifies only the type of object from the two-dimensional image collected by the ToF camera 110 and displayed with color for each distance, so that high-resolution calculation is unnecessary, and thus the object recognition unit 124 can be operated with low power.
  • the controller 125 automatically controls the opening and closing of the safety device 130 based on the recognition result of the object recognition unit and the safety device control information pre-stored in the safety device control information DB 122 .
  • the automatic opening/closing safety system 100 may further include a thermal imaging camera (not shown) for detecting a temperature change in the surveillance space.
  • the AI accelerator 120 may receive temperature information in the monitoring space from the thermal imaging camera, determine whether a fire occurs, and then control the opening and closing of the safety device 130 to form an evacuation route in the event of a fire.
  • FIGS. 4 and 5 are process flow charts for a control method of an automatic opening/closing safety system according to an embodiment of the present invention. Referring to FIGS. 1 to 5, a control method of the automatic opening/closing safety system 100 according to an embodiment of the present invention will be described.
  • pre-learned object identification information is stored in the object identification information DB 121 to identify the type of proximity object located within a predetermined distance (eg, 3 m) from the safety device 130. . Since the object identification information is the same as described above with reference to FIGS. 1 and 2, redundant description will be omitted.
  • step S120 preset safety device control information is stored in the safety device control information DB 122 to automatically control the safety device 130 according to the type of the proximity object. Since the safety device control information is the same as described above with reference to FIGS. 1 and 2, redundant description will be omitted.
  • the object identification information and the safety device control information may be collected and stored from an external device or stored in a method of loading a previously created database.
  • the ToF camera 110 collects image information for a predetermined surveillance space.
  • the ToF camera 110 may collect both distance information for each object generated by the ToF method and a 2D image of the surveillance space.
  • the image information may be collected using the ToF camera 110 installed at a predetermined location of the safety device 130. This is because the automatic safety device opening/closing system 100 of the present invention needs to identify an object that is close to the safety device 130 within a predetermined distance (eg, 3 m).
  • steps S140 to S180 the image information collected in step S130 is analyzed using the AI accelerator 120, which is always operating at low power, and the opening and closing of the safety device 130 is automatically controlled based on the result. That is, in steps S140 to S180, the AI accelerator 120 determines whether or not the proximity object exists, recognizes the type of the proximity object if it exists, and opens or closes the safety device according to the type of the proximity object. to control
  • step S140 first, by analyzing the image information collected in step S130, it is determined whether a nearby object having a distance from the ToF camera 110 within the preset distance exists. That is, in step S140, the analysis unit 123 may derive distance information of each of the objects included in the image, and determine whether the proximity object among the objects exists based on the distance information.
  • step S150 whether or not a fire is detected is determined by using a thermal imaging camera.
  • the AI accelerator 120 automatically controls the safety device 130 to form an escape route.
  • the processing sequence of step S150 is not limited to proceeding after performing step S140. That is, the step S150 is only limited to being performed before step S170 in the process illustrated in FIG. 4 .
  • step S160 based on the analysis result of step S140, it is determined whether the proximity object exists, and if the proximity object exists, the AI accelerator 120 performs step S170.
  • step S170 the AI accelerator 120 identifies the type of proximity object, and then automatically controls the opening and closing of the safety device 130 based on the result and the safety device control information stored in step S120. To this end, the AI accelerator 120 performs steps S171 to S177.
  • step S171 the AI accelerator 120 identifies the type of the proximity object from the two-dimensional image, but identifies the type of the proximity object from the two-dimensional image based on the object identification information stored in step S110.
  • the safety device is controlled according to its type, but as a result of checking in step S172, the type of object is smoke, or as a result of checking in steps S172 and step S173, if the type of object is not smoke but an object, or As a result of checking in steps S172 to S175, if the type of object is not smoke, object, or companion animal, but an adult, the AI accelerator 120 automatically opens the safety device in step S176.
  • the AI accelerator 120 automatically locks the safety device in step S177.
  • step S170 is performed only when a fire is detected or a nearby object exists. That is, if no fire occurs and no nearby objects exist, the AI accelerator 120 repeatedly performs steps S130 and thereafter until an end command is input (S180) and monitors the monitoring space.
  • the AI accelerator 120 may operate with minimal power when an event such as a fire is detected or a nearby object does not occur. That is, at this time, the AI accelerator 120 can always operate with low power.
  • the present invention automatically recognizes an object close to the safety device using the ToF sensor, automatically controls the safety device according to the result, and drives the object recognition algorithm only when the object exists within a predetermined distance, It not only can safely protect an object approaching the safety device unexpectedly, but also has a feature of minimizing the power consumption of the entire device so that it can be operated with a low-power constant power supply.
  • the automatic opening/closing safety system of the present invention can be applied and used to a device that is always supplied with low power, such as a vehicle.
  • AI accelerator 121 object identification information DB
  • safety device control information DB 123 analysis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Power-Operated Mechanisms For Wings (AREA)

Abstract

본 발명의 ToF 센서를 이용한 자동 개폐 안전 시스템은 소정 감시공간에 대한 영상정보를 수집하되, ToF 센서를 구비하고 ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집하는 ToF 카메라; 상기 ToF 카메라에서 수집된 영상정보에 의거하여 개폐가 제어되는 안전장치; 및 상기 ToF 카메라에서 수집된 영상정보를 분석하여 상기 안전장치로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 인식하고, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어하는 AI 가속기를 포함하고, 안전장치에 근접한 객체를 자동 인식하고, 그 결과에 따라 안전장치를 자동 제어함으로써, 불시에 안전장치에 근접하는 객체를 안전하게 보호할 수 있도록 한다. 또한, 본 발명은 안전장치로부터 소정 거리 이내에 객체가 존재하는 경우에만 객체 인식 알고리즘을 구동시킴으로써, 객체 인식을 위한 전력 소모를 줄일 수 있고, 이로 인해 장치 전체의 전력 소모를 최소화하여 저전력 상시 전원으로 동작할 수 있는 장점이 있다.

Description

TOF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법
본 발명은 자동 개폐 안전 시스템 및 이의 제어방법에 관한 것으로서, 보다 상세하게는, ToF 센서를 이용하여 안전장치의 개폐를 자동으로 제어하는 ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법에 관한 것이다.
최근에는 유아나 반려동물 등의 안전을 위해 이들의 이동을 제한하는 안전장치가 다양하게 개발되고 있다.
이러한 종래 기술의 예로써, 한국 등록특허 제 10-2111354 호에는, 유아 또는 반려동물용 안전문이 개시되어 있다. 상기 특허에 의하면, 안전문을 상부도어와 하부도어로 분리 형성하고 상부도어 및 하부도어에 각각 잠금장치를 형성하여 선택적으로 개폐함으로써, 별도로 안전 울타리를 설치하지 않고 하부도어를 문틀에 고정시킨 상태에서 상부도어만 따로 개방하여 간편하게 하부도어를 안전울타리용도로 사용할 수 있는 장점이 있다. 또한, 화재 등의 비상 상황시, 안전 스위치를 누르면 즉시 상부도어와 하부도어를 함께 개방하는 것이 가능하기 때문에 신속하게 비상 상황에 대처하는 것이 가능한 등의 효과가 있다.
그런데, 이러한 종래의 안전문은 상기 잠금장치를 사전에 설정하거나, 유사시에 별도의 안전 스위치를 조작함으로써, 안전 울타리 또는 출입문으로 사용할 수 있을 뿐, 특정 객체의 근접에 의해 자동으로 개폐를 제어할 수 없다.
따라서 상기 안전문이 안전 울타리로 동작하도록 잠금장치를 설정하지 않고 안전 스위치의 조작도 어려운 상태에서, 유아나 반려동물이 안전문에 접근할 경우 신속하게 대처할 수 있는 방안이 없었다. 예를 들어, 베란다나 출입문에 설치된 안전문이 개방된 상태에서, 보호자가 유아나 반려동물이 상기 안전문에 접근하는 것을 인지하지 못하는 경우, 유아나 반려동물이 위험한 상황에 처할 수 있게 된다.
또한 상기 안전문이 안전 울타리로 동작 중인 상태에서, 휠체어나 지팡이에 의존하여 이동하여야 하는 장애우 또는 노약자가 근접한 경우 이에 대하여 유연하게 대처할 수 있는 방안이 없었다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) 한국 등록특허 제 10-2111354 호
따라서 본 발명은 ToF 센서를 이용하여 안전장치에 근접한 객체를 자동 인식하고, 그 결과에 따라 안전장치를 자동 제어함으로써, 불시에 안전장치에 근접하는 객체를 안전하게 보호할 수 있도록 하는, ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명은 객체의 종류에 따라 서로 다르게 설정된 안전장치 제어정보에 의거하여 상기 안전장치를 제어함으로써, 상기 안전장치에 접근하는 객체의 종류에 따라 유연하게 대처할 수 있고, 이로 인해, 거동이 불편한 사용자에게는 편의성을 제공할 수 있는, ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명은 상기 ToF 센서에 의해 감시되는 공간에 화재가 감지된 경우 상기 안전장치의 제어에 의해, 대피로를 형성할 수 있도록 함으로써, 상기 공간에 위치하는 사람 또는 반려동물이 신속하고 안전하게 대피할 수 있도록 하는, ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명은 ToF 센서를 이용하여 안전장치에 임의의 객체가 근접하는 지 여부를 판단하고, 소정 거리 이내에 객체가 존재하는 경우에만 객체 인식 알고리즘을 구동시킴으로써, 객체 인식을 위한 전력 소모를 줄일 수 있고, 이로 인해 장치 전체의 전력 소모를 최소화하여 저전력 상시 전원으로 동작할 수 있도록 하는, ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법을 제공하고자 한다.
또한, 본 발명은 저전력으로 동작하는 AI 가속기를 이용하여, 상기 ToF 센서에서 수집된 거리정보에 의한 객체 종류만을 인식함으로써, 객체 인식을 위해 고해상도의 연산을 수행하지 않아도 되고, 이로 인해, 전력 소모를 줄이고 객체 인식 속도를 가속화할 수 있는, ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 ToF 센서를 이용한 자동 개폐 안전 시스템은 소정 감시공간에 대한 영상정보를 수집하되, ToF 센서를 구비하고 ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집하는 ToF 카메라; 상기 ToF 카메라에서 수집된 영상정보에 의거하여 개폐가 제어되는 안전장치; 및 상기 ToF 카메라에서 수집된 영상정보를 분석하여 상기 안전장치로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 인식하고, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어하는 AI 가속기를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 ToF를 이용한 안전장치 자동 개폐 제어 방법은, ToF 센서를 이용하여 안전장치의 개폐를 자동 제어하는 안전장치 자동 개폐 제어 방법에 있어서, 상기 근접객체의 종류를 식별하기 위해 미리 학습된 객체식별정보를 저장하는 객체식별정보 저장단계; 상기 근접객체의 종류에 따른 안전장치 제어정보를 저장하는 안전장치 제어정보 저장단계; ToF 센서를 구비한 ToF 카메라를 이용하여, 소정 감시공간에 대한 영상정보를 수집하되, ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집하는 영상정보 수집단계; 및 상시 저전력으로 작동중인 AI 가속기를 이용하여, 상기 ToF 카메라에서 수집된 영상정보를 분석하여 상기 안전장치로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 인식한 후, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어하는 제어단계를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명의 ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법은, ToF 센서를 이용하여 안전장치에 근접한 객체를 자동 인식하고, 그 결과에 따라 안전장치를 자동 제어함으로써, 불시에 안전장치에 근접하는 객체를 안전하게 보호할 수 있는 장점이 있다.
또한, 본 발명은 객체의 종류에 따라 서로 다르게 설정된 안전장치 제어정보에 의거하여 상기 안전장치를 제어함으로써, 상기 안전장치에 접근하는 객체의 종류에 따라 유연하게 대처할 수 있고, 이로 인해, 거동이 불편한 사용자에게는 편의성을 제공할 수 있는 장점이 있다.
또한, 본 발명은 상기 ToF 센서에 의해 감시되는 공간에 화재가 감지된 경우 상기 안전장치의 제어에 의해, 대피로를 형성할 수 있도록 함으로써, 상기 공간에 위치하는 사람 또는 반려동물이 신속하고 안전하게 대피할 수 있도록 하는 장점이 있다.
또한, 본 발명은 ToF 센서를 이용하여 안전장치에 임의의 객체가 근접하는 지 여부를 판단하고, 소정 거리 이내에 객체가 존재하는 경우에만 객체 인식 알고리즘을 구동시킴으로써, 객체 인식을 위한 전력 소모를 줄일 수 있고, 이로 인해 장치 전체의 전력 소모를 최소화하여 저전력 상시 전원으로 동작할 수 있는 장점이 있다.
또한, 본 발명은 저전력으로 동작하는 AI 가속기를 이용하여, 상기 ToF 센서에서 수집된 거리정보에 의한 객체 종류만을 인식함으로써, 객체 인식을 위해 고해상도의 연산을 수행하지 않아도 되고, 이로 인해, 전력 소모를 줄이고 객체 인식 속도를 가속화할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시 예에 따른 ToF 센서를 이용한 자동 개폐 안전 시스템에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 AI 가속기에 대한 개략적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따라 안전장치 제어정보 DB에 저장되는 정보의 예를 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 자동 개폐 안전 시스템의 제어방법에 대한 처리 흐름도들이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 ToF 센서를 이용한 자동 개폐 안전 시스템에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 ToF 센서를 이용한 자동 개폐 안전 시스템(100)은 ToF 카메라(110), AI 가속기(120), 및 안전장치(130)를 포함한다.
ToF 카메라(110)는 소정 감시공간에 대한 영상정보를 수집하되, ToF 센서를 구비하여 ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집한다.
ToF(Time of Flight) 센서(미도시)는 특정 공간 또는 물체로 적외선을 쏜 후 반사되어 오는 시간을 측정하여 대상 물체와의 거리를 감지하는 센서로서, 열에 따라 다른 색상을 나타내는 열화상 카메라와 비슷하게, 거리에 따라 다른 색상을 나타낸다.
이러한 ToF 센서(미도시)를 구비한 ToF 카메라(110)는 상기 ToF 방식으로 대상 영상을 수집하고, 거리에 따라 다른 색상을 나타내는 3D 지도를 생성하여 출력할 수 있다.
한편, ToF 카메라(110)는 안전장치(130)에 접근하는 객체를 감지하기 위한 것이므로, 안전장치(130)의 소정 위치에 설치되는 것이 바람직하다.
AI 가속기(120)는 ToF 카메라(110)에서 수집된 영상정보를 분석하여, 안전장치(130)로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 인식하고, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어한다. 특히, AI 가속기(120)는 인공신경망 E2E(End to End) 기술이 적용된 프로세서를 탑재하여, 클라우드 서버 기반이 아닌 Edge computing 기반으로 동작하며, 이로 인해, AI 가속기(120)는 상시 저전력으로 동작이 가능하다. 즉, 데이터 분석 및 처리를 자체 처리함으로써, 서버와의 데이터 교환을 위해 소모되는 전력을 최소화할 수 있는 것이다. 이러한 AI 가속기(120)의 개략적인 구성이 도 2에 예시되어 있으며, 도 2를 참조한 설명에서 후술될 것이다.
안전장치(130)는 ToF 카메라(110)에서 수집된 영상정보에 의거하여 개폐가 제어되는 안전장치로서, 영유아, 어린이, 및 반려동물의 출입 또는 이동을 제한하거나 안전하게 보호하기 위해 설치된 장치일 수 있다. 이러한 안전장치(130)는, 출입문, 베란다 창문, 주방 안전문, 안전 울타리, 차량의 도어, 또는 차량의 창문 또는 이들 중 적어도 하나의 개폐를 제어하기 위해 부가적으로 설치된 장치일 수 있다.
도 2는 본 발명의 일 실시 예에 따른 AI 가속기에 대한 개략적인 블록도로서, 도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 AI 가속기(120)는 객체식별정보 DB(121), 안전장치 제어정보 DB(122), 분석부(123), 객체 인식부(124), 및 제어부(125)를 포함한다.
객체식별정보 DB(121)는 ToF 카메라(110)에서 수집된 영상정보로부터 객체를 식별하기 위한 정보로서, 안전장치(130)의 동작을 제어하기 위해 사전에 학습된 객체식별 정보를 저장한다. 상기 객체식별정보는 장애우 및 노약자를 포함한 거동이 불편한 사람의 접근을 인지하기 위해 사전에 등록된 사물(예컨대, 지팡이, 휠체어 등)을 식별하기 위해 학습된 사물객체, 성인 또는 아이를 구별하기 위해 미리 설정된 신체 사이즈 정보(예컨대, 신장, 손 길이, 발 길이 등)를 기준으로 분류 학습된 사람객체, 반려동물(예컨대, 강아지, 고양이 등)을 식별하기 위해 학습된 동물객체, 및 화재발생 여부를 결정하기 위해 학습된 연기객체를 포함할 수 있다.
이 때, 상기 사람객체는 상기 신체 사이즈 정보에 의거하여, 어른, 어린이, 영유아 등 연령별로 분류 학습된 정보일 수 있다.
안전장치 제어정보 DB(122)는 상기 근접객체가 상기 객체식별정보에 의해 식별된 객체 별로 안전장치(130)를 자동으로 제어하기 위한 제어정보를 저장한다. 예를 들어, 안전장치 제어정보 DB(122)는 상기 근접객체가 사물, 성인, 아이, 또는 반려동물 중 어느 하나인 경우 각각에 대한 안전장치 자동개방 또는 자동잠금 정보를 저장할 수 있다. 이러한 안전장치 제어정보의 저장 예가 도 3에 예시되어 있다.
도 3은 본 발명의 일 실시 예에 따라 안전장치 제어정보 DB(122)에 저장되는 정보의 예를 설명하기 위한 도면으로서, 도 3을 참조하면, 안전장치 제어정보(10)는 안전장치종류(11)/근접객체종류(12)/제어명령(13) 필드를 포함하고, 안전장치 및 근접객체의 종류에 따라 다르게 설정된 제어명령을 저장한다. 도 3의 예에서, 안전장치가 출입문인 경우, 사물(예컨대, 지팡이 또는 휠체어 등) 또는 성인이 근접시 자동개방하고, 아이 또는 반려동물(예컨대, 고양이 또는 강아지 등)이 근접시 자동잠금하도록 하고, 안전장치가 추방안전문인 경우, 아이 또는 반려동물이 근접시 자동잠금하도록 하는 제어 명령이 저장되어 있다.
도 3은 이러한 안전장치 제어정보의 일 예를 도시한 도면으로서, 상기 안전장치 제어정보는 안전장치 또는 근접객체의 종류에 따라, 또는 사용자의 요구에 따라 다양하게 설정이 가능하다. 예를 들어, 근접객체가 화재발생 여부를 결정하기 위해 학습된 연기객체인 경우, 상기 안전장치 제어정보는 화재 발생시, 대피로 형성을 위한 안전장치 개방 또는 잠금 정보를 저장할 수 있는 것이다.
이 때, 개체식별정보 DB(121) 및 안전장치 제어정보 DB(122)는 외부의 장치에서 미리 생성된 데이터베이스를 AI 가속기(120)에 탑재하는 형태로 구현하거나, AI 가속기(120)에 데이터를 입/출력하기 위한 I/O 인터페이스부(미도시)를 통해 저장할 수 있다.
분석부(123)는 ToF 카메라(110)에서 수집된 영상정보를 분석하여, 상기 영상에 포함된 객체들 각각의 거리정보를 도출하고, 그 결과로 ToF 카메라(110)와의 거리가 미리 설정된 소정거리(예컨대, 3m) 이내인 근접객체의 존재 여부를 결정한다.
객체 인식부(124)는 상기 근접객체가 존재하는 경우에만 구동되어, 객체식별정보 DB(121)에 기 저장된 객체식별정보에 의거하여, 상기 2차원 이미지로부터 상기 근접객체의 종류를 식별한다. 이 때, 객체 인식부(124)는 분석부(123)로부터 상기 근접객체의 존재여부에 대한 분석결과를 전달받고, 상기 근접객체가 존재하는 경우에만 구동된다. 이로 인해, AI 가속기(120)의 전력 소모를 줄일 수 있다.
또한, 객체 인식부(124)는 객체를 정밀하게 식별하는 것이 아니라, 객체의 종류만을 식별하면 되므로, 고해상도의 연산을 수행하지 않는다. 즉, 객체 인식부(124)는, ToF 카메라(110)로 수집되어 거리별 색상이 표시된 2차원 이미지로부터, 객체의 종류만을 식별함으로써, 고해상도의 연산이 불필요하고, 이로 인해 객체 인식부(124)를 저전력으로 동작시킬 수 있다.
제어부(125)는 상기 객체 인식부의 인식 결과 및 안전장치 제어정보 DB(122)에 기 저장된 상기 안전장치 제어정보에 의거하여, 안전장치(130)의 개폐를 자동 제어한다.
한편, 본 발명의 일 실시 예에 따른 자동 개폐 안전 시스템(100)은 상기 감시공간 내의 온도 변화를 감지하기 위한 열화상 카메라(미도시)를 더 포함할 수 있다. 그리고, AI 가속기(120)는 상기 열화상 카메라로부터 상기 감시공간 내의 온도 정보를 전달받아 화재발생 여부를 결정한 후, 화재 발생시, 대피로 형성을 위해 안전장치(130)의 개폐를 제어할 수 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 자동 개폐 안전 시스템의 제어방법에 대한 처리 흐름도들이다. 도 1 내지 도 5를 참조하여, 본 발명의 일 실시 예에 따른 자동 개폐 안전 시스템(100)의 제어 방법을 설명하면 다음과 같다.
먼저, 단계 S110에서는, 안전장치(130)로부터 미리 설정된 소정거리(예컨대, 3m) 이내에 위치하는 근접객체의 종류를 식별하기 위해 미리 학습된, 객체식별정보를 객체식별정보 DB(121)에 저장한다. 상기 객체식별정보에 대하여는 도 1 및 도 2를 참조하여 전술한 바와 같으므로 중복 설명을 생략한다.
단계 S120에서는, 상기 근접객체의 종류에 따라 안전장치(130)를 자동으로 제어하기 위해 미리 설정된, 안전장치 제어정보를, 안전장치 제어정보 DB(122)에 저장한다. 상기 안전장치 제어정보에 대하여는 도 1 및 도 2를 참조하여 전술한 바와 같으므로 중복 설명을 생략한다.
한편, 단계 S110 및 단계 S120에서는, 상기 객체식별정보 및 안전장치 제어정보를 외부장치로부터 수집하여 저장하거나, 미리 생성된 데이터베이스를 탑재하는 방식으로 저장할 수 있다.
단계 S130에서는, ToF 카메라(110)가, 소정 감시공간에 대한 영상정보를 수집한다. 특히, 단계 S130에서, ToF 카메라(110)는 ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집할 수 있다. 또한, 단계 S130에서는, 안전장치(130)의 소정 위치에 설치된 ToF 카메라(110)를 이용하여, 상기 영상정보를 수집할 수 있다. 이는, 본 발명의 안전장치 자동 개폐 시스템(100)이, 안전장치(130)로부터 소정거리(예컨대, 3m)이내에 근접한 객체를 식별하여야 하기 때문이다.
단계 S140 내지 단계 S180에서는, 상시 저전력으로 작동중인 AI 가속기(120)를 이용하여, 단계 S130에서 수집된 영상정보를 분석하고, 그 결과에 의거하여 안전장치(130)의 개폐를 자동제어한다. 즉, 단계 S140 내지 단계 S180에서, AI 가속기(120)는 상기 근접객체의 존재 여부를 결정한 후, 상기 근접객체가 존재하는 경우 그 종류를 인식하고, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어한다.
이를 위해, 먼저, 단계 S140에서는, 단계 S130에서 수집된 영상정보를 분석하여, ToF 카메라(110)와의 거리가 상기 미리 설정된 소정거리 이내인 근접객체가 존재하는 지 여부를 결정한다. 즉, 단계 S140에서, 분석부(123)는 상기 영상에 포함된 객체들 각각의 거리정보를 도출하고, 그 거리정보에 의거하여 상기 객체들 중 상기 근접객체가 존재하는 지 여부를 결정할 수 있다.
한편, 단계 S150에서는, 화재 감지 여부를 결정하되, 열화상 카메라를 이용하여 화재 감지 여부를 결정한다. 상기 판단 결과, 화재가 발생한 것으로 판단될 경우, 단계 S170에서는, AI 가속기(120)가 대피로 형성을 위해 안전장치(130)를 자동으로 제어한다. 이 때, 상기 단계 S150은, 그 처리 순서가 단계 S140 수행 후에 진행하는 것으로 제한되지 않는다. 즉, 상기 단계 S150은 도 4에 예시된 처리 과정 중 단계 S170 이전에 수행되는 것으로만 제한될 뿐이다.
단계 S160에서는, 단계 S140의 분석결과에 의거하여, 상기 근접객체의 존재 여부를 결정하고, 상기 근접객체가 존재하는 경우, AI 가속기(120)는 단계 S170을 수행한다.
단계 S170에서는, AI 가속기(120)가 근접객체의 종류를 식별한 후, 그 결과 및 단계 S120에서 저장된 안전장치 제어 정보에 의거하여, 안전장치(130)의 개폐를 자동 제어한다. 이를 위해, AI 가속기(120)는 단계 S171 내지 단계 S177를 수행한다.
먼저, 단계 S171에서는, AI 가속기(120)가 상기 2차원 이미지로부터 상기 근접객체의 종류를 식별하되, 단계 S110에서 저장된 객체 식별정보에 의거하여 상기 2차원 이미지로부터 상기 근접객체의 종류를 식별한다.
단계 S172 내지 단계 S177에서는, 그 종류에 따라 안전장치를 제어하되, 단계 S172의 확인 결과 객체의 종류가 연기이거나, 단계 S172 및 단계 S173의 확인 결과 객체의 종류가 연기가 아니고 사물인 경우, 또는 단계 S172 내지 단계 S175의 확인 결과 객체의 종류가 연기, 사물, 및 반려동물이 아니고 성인인 경우, 단계 S176에서 AI 가속기(120)는 안전장치를 자동으로 개방한다.
한편, 단계 S172 내지 단계 S174의 확인 결과 객체의 종류가 연기 및 사물이 아니고 반려동물인 경우, 또는 단계 S172 내지 단계 S175의 확인 결과 객체의 종류가 연기, 사물, 반려동물 및 성인이 아닌 아이 또는 영/유아인 경우, 단계 S177에서 AI 가속기(120)는 안전장치를 자동으로 잠금한다.
이와 같이, 단계 S170은 화재가 감지되거나, 근접객체가 존재하는 경우에만 수행된다. 즉, 화재가 발생하지 않고, 근접객체가 존재하지도 않는다면, 종료 명령이 입력될 때까지(S180), AI 가속기(120)는 단계 S130 이후를 반복 수행하며, 상기 감시공간을 모니터링한다.
따라서, AI 가속기(120)는 화재가 감지되거나, 근접 객체가 존재하는 등의 이벤트가 발생하지 않는 경우, 최소의 전력으로 동작할 수 있다. 즉, 이 때, AI 가속기(120)는 상시 저전력으로 동작이 가능한 것이다.
이와 같이, 본 발명은 ToF 센서를 이용하여 안전장치에 근접한 객체를 자동 인식하고, 그 결과에 따라 안전장치를 자동 제어하되, 미리 설정된 소정 거리 이내에 객체가 존재하는 경우에만 객체 인식 알고리즘을 구동시킴으로써, 불시에 안전장치에 근접하는 객체를 안전하게 보호할 수 있을 뿐만 아니라, 장치 전체의 전력 소모를 최소화하여 저전력 상시 전원으로 동작할 수 있도록 하는 특징이 있다.
따라서, 본 발명의 자동 개폐 안전 시스템을 자동차와 같이 상시 저전력이 공급되는 장치에 적용하여 사용할 수 있다.
이상에서는 본 발명의 실시 예를 설명하였으나, 본 발명의 권리범위는 이에 한정되지 아니하며 본 발명이 실시 예로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 용이하게 변경되어 균등한 것으로 인정되는 범위의 모든 변경 및 수정을 포함한다.
[부호의 설명]
100: 자동 개폐 안전 시스템 110: ToF 카메라
120: AI 가속기 121: 객체식별정보 DB
122: 안전장치 제어정보 DB 123: 분석부
124: 객체 인식부 125: 제어부
130: 안전장치

Claims (16)

  1. 소정 감시공간에 대한 영상정보를 수집하되, ToF 센서를 구비하고 ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집하는 ToF 카메라;
    상기 ToF 카메라에서 수집된 영상정보에 의거하여 개폐가 제어되는 안전장치; 및
    상기 ToF 카메라에서 수집된 영상정보를 분석하여 상기 안전장치로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 인식하고, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어하는 AI 가속기를 포함하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  2. 제1항에 있어서, 상기 ToF 카메라는
    상기 안전장치의 소정 위치에 설치되는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  3. 제2항에 있어서, 상기 AI 가속기는
    상기 근접객체의 종류를 식별하기 위해 미리 학습된 객체식별정보를 저장하는 객체식별정보 저장부;
    상기 안전장치 및 근접객체의 종류에 따라 다르게 설정된 안전장치 제어정보를 저장하는 안전장치 제어정보 저장부;
    상기 ToF 카메라에서 수집된 영상정보를 분석하여, 상기 영상에 포함된 객체들 각각의 거리정보를 도출하고, 상기 ToF 카메라와의 거리가 상기 미리 설정된 소정거리 이내인 근접객체의 존재 여부를 결정하는 분석부;
    상기 근접객체가 존재하는 경우에만 구동되어, 상기 객체식별정보 저장부에 저장된 객체식별정보에 의거하여, 상기 2차원 이미지로부터 상기 근접객체의 종류를 식별하는 객체 인식부; 및
    상기 객체 인식부의 인식 결과 및 상기 안전장치 제어정보에 의거하여, 상기 안전장치의 개폐를 제어하는 제어부를 포함하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  4. 제3항에 있어서, 상기 객체식별정보 저장부는
    장애우 및 노약자를 포함한 거동이 불편한 사람의 접근을 인지하기 위해 사전에 등록된 사물을 식별하기 위해 학습된 사물객체;
    성인 또는 아이를 구별하기 위해 미리 설정된 신체 사이즈 정보를 기준으로 분류 학습된 사람객체; 및
    강아지 및 고양이를 포함한 반려동물을 식별하기 위해 학습된 동물객체를 저장하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  5. 제4항에 있어서, 상기 안전장치 제어정보 저장부는
    상기 근접객체가 사물, 성인, 아이, 또는 반려동물 중 어느 하나인 경우 각각에 대한 안전장치 개방 또는 잠금 정보를 저장하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  6. 제4항에 있어서, 상기 객체식별정보 저장부는
    화재발생 여부를 결정하기 위해 학습된 연기객체를 더 저장하고,
    상기 안전장치 제어정보 저장부는
    화재 발생시, 대피로 형성을 위한 안전장치 개방 또는 잠금 정보를 더 저장하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  7. 제1항에 있어서, 상기 안전장치는
    출입문, 베란다 창문, 주방 안전문, 안전 울타리, 차량의 도어, 또는 차량의 창문 중 어느 하나, 또는 이들 중 적어도 하나의 개폐를 제어하기 위해 부가적으로 설치된 장치인 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  8. 제1항에 있어서,
    상기 감시공간 내의 온도 변화를 감지하기 위한 열화상 카메라를 더 포함하고,
    상기 AI 가속기는
    상기 열화상 카메라로부터 상기 감시공간 내의 온도 정보를 전달받아 화재발생 여부를 결정한 후, 화재 발생시, 대피로 형성을 위해 상기 안전장치의 개폐를 제어하는 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 안전 시스템.
  9. ToF 센서를 이용하여 안전장치의 개폐를 자동 제어하는 안전장치 자동 개폐 제어 방법에 있어서,
    상기 안전장치로부터 미리 설정된 소정거리 이내에 위치하는 근접객체의 종류를 식별하기 위해 미리 학습된 객체식별정보를 저장하는 객체식별정보 저장단계;
    상기 근접객체의 종류에 따른 안전장치 제어정보를 저장하는 안전장치 제어정보 저장단계;
    ToF 센서를 구비한 ToF 카메라를 이용하여, 소정 감시공간에 대한 영상정보를 수집하되, ToF 방식으로 생성된 객체별 거리정보와 상기 감시공간에 대한 2차원 이미지를 함께 수집하는 영상정보 수집단계; 및
    상시 저전력으로 작동중인 AI 가속기를 이용하여, 상기 ToF 카메라에서 수집된 영상정보를 분석하여 상기 근접객체의 종류를 인식한 후, 상기 근접객체의 종류에 따라 상기 안전장치의 개폐를 제어하는 제어단계를 포함하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  10. 제9항에 있어서, 상기 객체식별정보 저장단계는
    장애우 및 노약자를 포함한 거동이 불편한 사람의 접근을 인지하기 위해 사전에 등록된 사물을 식별하기 위해 학습된 사물객체;
    성인 또는 아이를 구별하기 위해 미리 설정된 신체 사이즈 정보를 기준으로 분류 학습된 사람객체; 및
    강아지 및 고양이를 포함한 반려동물을 식별하기 위해 학습된 동물객체를 저장하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  11. 제10항에 있어서, 상기 안전장치 제어정보 저장단계는
    상기 근접객체가 사물, 성인, 아이, 또는 반려동물 중 어느 하나인 경우 각각에 대한 안전장치 개방 또는 잠금 정보를 저장하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  12. 제11항에 있어서, 상기 객체식별정보는
    화재발생 여부를 결정하기 위해 학습된 연기객체를 더 포함하고,
    상기 안전장치 제어정보는
    화재 발생시, 대피로 형성을 위한 안전장치 개방 또는 잠금 정보를 더 포함하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  13. 제12항에 있어서, 상기 영상정보 수집단계는
    상기 안전장치의 소정 위치에 설치된 ToF 카메라를 이용하여, 상기 영상정보를 수집하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  14. 제13항에 있어서, 상기 제어단계는
    상기 ToF 카메라에서 수집된 영상정보를 분석하여, 상기 영상에 포함된 객체들 각각의 거리정보를 도출하고, 상기 ToF 카메라와의 거리가 상기 미리 설정된 소정거리 이내인 근접객체의 존재 여부를 결정하는 분석단계;
    상기 근접객체가 존재하는 경우, 상기 객체식별정보에 의거하여 상기 2차원 이미지로부터 상기 근접객체의 종류를 식별하는 근접객체 종류식별단계; 및
    상기 근접객체 종류식별단계의 식별결과 및 상기 안전장치 제어 정보에 의거하여, 상기 안전장치의 개폐를 제어하는 개폐단계를 포함하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
  15. 제9항에 있어서, 상기 안전장치는
    출입문, 베란다 창문, 주방 안전문, 안전 울타리, 차량의 도어, 또는 차량의 창문 중 어느 하나, 또는 이들 중 적어도 하나의 개폐를 제어하기 위해 부가적으로 설치된 장치인 것을 특징으로 하는 ToF 센서를 이용한 자동 개폐 제어 방법.
  16. 제15항에 있어서,
    열화상 카메라를 이용하여, 상기 감시공간 내의 온도 변화를 감지하는 온도 감지단계를 더 포함하고,
    상기 제어단계는
    상기 감시공간 내의 온도 변화에 따라 화재발생 여부를 결정하고, 화재 발생시, 대피로 형성을 위해 상기 안전장치의 개폐를 제어하는 것을 특징으로 하는 ToF를 이용한 안전장치 자동 개폐 제어 방법.
PCT/KR2022/016511 2021-11-10 2022-10-26 Tof 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법 WO2023085652A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210154085A KR102619956B1 (ko) 2021-11-10 2021-11-10 ToF 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법
KR10-2021-0154085 2021-11-10

Publications (1)

Publication Number Publication Date
WO2023085652A1 true WO2023085652A1 (ko) 2023-05-19

Family

ID=86336385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016511 WO2023085652A1 (ko) 2021-11-10 2022-10-26 Tof 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법

Country Status (2)

Country Link
KR (1) KR102619956B1 (ko)
WO (1) WO2023085652A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649476B1 (ko) * 2023-07-07 2024-03-20 한국피디도어 주식회사 스마트 인공지능 센서 도어 개폐 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794962B1 (ko) * 2017-09-08 2017-11-07 김상수 비상문 자동 개폐 관리 시스템
KR20190117281A (ko) * 2018-04-06 2019-10-16 삼성에스디에스 주식회사 디지털 도어락
KR102263807B1 (ko) * 2019-10-18 2021-06-10 건국대학교 산학협력단 유아 모니터링 방법 및 이를 수행하는 장치들
KR102291211B1 (ko) * 2019-02-20 2021-08-20 주식회사 애드리온 서브 도어를 포함하는 출입문에서의 도어 관리 운영 방법 및 시스템
JP2021161778A (ja) * 2020-03-31 2021-10-11 文化シヤッター株式会社 開閉装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101064114B1 (ko) * 2010-02-11 2011-09-15 한국수자원공사 패턴인식을 통한 출입통제시스템
KR102111354B1 (ko) 2018-04-27 2020-05-15 서광민 유아 또는 애완동물용 안전문
KR101946756B1 (ko) * 2018-06-11 2019-02-11 주식회사 에버정보기술 생체 정보를 이용한 이원화 출입보안 시스템
KR102220745B1 (ko) * 2019-01-31 2021-02-25 주식회사 에스원 생체 정보를 이용한 출입 제어 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794962B1 (ko) * 2017-09-08 2017-11-07 김상수 비상문 자동 개폐 관리 시스템
KR20190117281A (ko) * 2018-04-06 2019-10-16 삼성에스디에스 주식회사 디지털 도어락
KR102291211B1 (ko) * 2019-02-20 2021-08-20 주식회사 애드리온 서브 도어를 포함하는 출입문에서의 도어 관리 운영 방법 및 시스템
KR102263807B1 (ko) * 2019-10-18 2021-06-10 건국대학교 산학협력단 유아 모니터링 방법 및 이를 수행하는 장치들
JP2021161778A (ja) * 2020-03-31 2021-10-11 文化シヤッター株式会社 開閉装置

Also Published As

Publication number Publication date
KR20230068108A (ko) 2023-05-17
KR102619956B1 (ko) 2024-01-02

Similar Documents

Publication Publication Date Title
US6496220B2 (en) Method and arrangement for driving door installations as a function of the presence of persons
EP2300949B1 (en) Video-based system and method of elevator door detection
CN106358021A (zh) 一种智慧社区监控系统
WO2023085652A1 (ko) Tof 센서를 이용한 자동 개폐 안전 시스템 및 이의 제어방법
CN110091324B (zh) 机器人控制装置以及机器人管理系统
WO2007052336A1 (ja) エレベーター制御システム
KR20090086966A (ko) 엘리베이터의 제어 장치 및 제어 방법
WO2022196928A1 (ko) 딥러닝 영상분석 기술 기반 축산농장 차단 방역 통제 관리시스템
JP2008158678A (ja) 人物認証装置および人物認証方法および入退場管理システム
WO2022045507A1 (ko) 게이트 출입을 위한 인증 방법 및 장치
CN110516635A (zh) 人脸识别比对装置、门禁系统及方法
CN113291938A (zh) 一种电梯优化调度系统及其调度方法
CN116563986A (zh) 一种智能楼宇门禁系统和方法
CN108460474B (zh) 疏散系统和疏散方法
CN213265184U (zh) 一种智能无接触呼梯系统
CN214376665U (zh) 自助访客系统及自助访客机
CN111918028A (zh) 基于人工智能的楼宇信息处理装置
CN109359457A (zh) 一种基于面部识别的智能门禁系统
CN112950413A (zh) 一种楼宇智能管理方法、装置、智能终端及存储介质
WO2022164165A1 (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
WO2023128014A1 (ko) 실내 재실자를 인식하여 공조기를 제어하는 공조기 제어장치
CN217467729U (zh) 一种访客管理系统
CN117657905A (zh) 一种电梯控制方法、系统、电子设备及存储介质
EP4095341B1 (en) Door operating system
KR102378691B1 (ko) 교통약자를 위한 엘레베이터 호출시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22893075

Country of ref document: EP

Kind code of ref document: A1