WO2023074994A1 - 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법 - Google Patents

산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
WO2023074994A1
WO2023074994A1 PCT/KR2021/017270 KR2021017270W WO2023074994A1 WO 2023074994 A1 WO2023074994 A1 WO 2023074994A1 KR 2021017270 W KR2021017270 W KR 2021017270W WO 2023074994 A1 WO2023074994 A1 WO 2023074994A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
camera module
area
fall
industrial site
Prior art date
Application number
PCT/KR2021/017270
Other languages
English (en)
French (fr)
Inventor
이동훈
이기춘
주용택
정종문
정동준
고윤영
김혜리
백정석
하선철
Original Assignee
(주)연합안전컨설팅
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)연합안전컨설팅, 연세대학교 산학협력단 filed Critical (주)연합안전컨설팅
Publication of WO2023074994A1 publication Critical patent/WO2023074994A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a surveillance camera system for detecting a fall in an industrial site and a method for operating the same.
  • CCTV surveillance camera systems
  • Patent Document 1 KR 10-2019-0072703 A
  • An object according to an embodiment of the present invention is an industrial site fall detection surveillance camera that analyzes an image received from a camera photographing an industrial site, determines that an abnormal event has occurred if there is a person who has fallen, and transmits a notification to a manager.
  • a system and its operating method are provided.
  • a surveillance camera system for detecting a fall at an industrial site includes a camera module for generating an optical image by photographing an industrial site, and dividing the optical image received from the camera module according to an embodiment of the present invention.
  • the purpose is to provide a fall detection surveillance camera system and its operation method in an industrial site that analyzes the video received from the camera that shoots the industrial site, determines that an abnormal event has occurred if there is a person who has fallen, and transmits a notification to the manager. . It may include a server that analyzes and determines whether a fallen person exists.
  • the server includes a storage unit for storing the optical image received from the camera module, analyzing the optical image to determine whether a person is in a fallen state, and outputting an abnormal person event when it is determined that the person has fallen.
  • a judgment unit and a notification unit notifying a manager of the occurrence of the abnormal person event when the abnormal person determination unit outputs the occurrence of the abnormal person event.
  • the person abnormality determination unit extracts a frame from the optical image and inputs the frame to a fall recognition artificial intelligence model, and when the fall recognition artificial intelligence model determines that a person who has fallen in the frame exists, the person It may be determined that an abnormal event has occurred.
  • the fall recognition artificial intelligence model is learned using learning data in which an image of a person falling down is input data and information indicating a person who has fallen in the image is label data, and when a frame extracted from the optical image is input, the person It is possible to determine whether the person is in a collapsed state, display a box in the area where the person fell, and display and output the class matching score.
  • the fall recognition artificial intelligence model may be formed by adjusting network weights of a trained CNN model to determine a person's fall by applying deep transfer learning for the purpose of classifying people, vehicles, and animals.
  • a plurality of camera modules may be disposed at the industrial site so that at least a part of an effective area that varies depending on a collapsed posture and a positional relationship with the camera module in the surveillance area is continuous.
  • the person abnormality determining unit may determine that a person has fallen when a class concordance score output by the fall recognition artificial intelligence model is higher than a reference score.
  • the direction the camera module faces changes so that at least a part of the effective region continues when the reference score increases, and the reference score increases.
  • the direction in which the camera module is directed may be changed so as to monitor an area as wide as possible.
  • a method of operating a surveillance camera system for detecting a fall at an industrial site includes an image generation step in which a camera module photographs an industrial site, generates an optical image, and transmits the optical image to a server, A person abnormality determination step of extracting a frame from an optical image and inputting the frame to a fall recognition artificial intelligence model to determine that an abnormal person event has occurred if there is a person who has fallen, and outputting the occurrence of an abnormal person event in the abnormal person judgment unit,
  • the notification unit of the server may include a notification step of notifying an administrator of the occurrence of an abnormal event.
  • an image of a person falling down is input data and information indicating a person falling down in the image is learned using a learning data set as label data, and when a frame extracted from the optical image is received, it is determined whether the person is in a fallen state
  • the method may further include a model generation step of generating the fall recognition artificial intelligence model so that a box is displayed in the area where the person fell and a class matching score is displayed and output.
  • model generation step may be performed in advance before the human abnormality determination step.
  • the area of the effective region narrows.
  • the reference score of the class matching score which is the criterion for determining that a person has fallen
  • the area of the effective region narrows.
  • the reference score is high, the direction in which the camera module faces is changed so that at least a part of the valid area is continuous, and when the reference score is low, the area of the valid area is widened.
  • It may further include a reference score changing step in which the direction of the camera module is controlled to change so as to monitor a wide area as possible while continuing at least a part of the .
  • an abnormal event it is determined that an abnormal event has occurred when there is a person who has fallen at an industrial site, and automatically notifies a manager of the occurrence of an abnormal event to support prompt response to the accident.
  • FIG. 1 is a diagram showing a fall detection monitoring camera system and an industrial site in an industrial site according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing a surveillance camera system for detecting a fall at an industrial site according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operating method of a fall detection monitoring camera system at an industrial site according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a fall detection artificial intelligence model of an industrial site fall detection surveillance camera system according to an embodiment of the present invention.
  • FIG. 5 is a diagram showing a relationship between a camera module and a collapsed posture of an industrial site fall detection surveillance camera system according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a state in which a plurality of camera modules are disposed in consideration of a fall recognition accuracy distribution and a step of changing a reference score.
  • FIG. 1 is a diagram showing a fall detection monitoring camera system 10 and an industrial site 1 according to an embodiment of the present invention.
  • the industrial site (1) may include various indoor facilities such as factories, research institutes, laboratories, chemical plants, oil refineries, automation facilities, and smart factories, as well as outdoor facilities such as ports, ports, logistics hubs, and loading docks.
  • various facilities (2) such as motors, heaters, air conditioners, pipes, distillers, etc. may be installed.
  • there may be various people (3) such as workers, managers, or visitors who work using the facility (2). An accident that occurs at an industrial site (1) may injure a person (3) or damage a facility (2).
  • the surveillance camera system 10 for detecting falls in an industrial site prevents an accident that may occur in an industrial site 1 in advance, or in order to quickly cope with an accident when it occurs, a person 3 occurs It can detect abnormal events that occur and notify the manager of abnormal events.
  • the manager may include a safety manager, a worker, and the like of the industrial site (1), and may include public officials such as a fire station, an ambulance, and a district office.
  • the abnormal event may include an abnormal human event.
  • the abnormal event may include various accidents such as an abnormality in a facility or a fire.
  • An abnormal person event may include a person 3 being knocked down. For example, when the person (3) falls down due to an accident such as a leak of toxic gas or electric shock, or when the person (3) falls down due to a disease such as a heart attack or stroke, and the person (3) is lying on the floor An abnormal event has occurred. According to an embodiment of the present invention, it is possible to detect whether or not a person has fallen due to a person abnormal event occurring due to various causes.
  • FIG. 2 is a block diagram showing a fall detection surveillance camera system 10 in an industrial site according to an embodiment of the present invention. See Figures 1 and 2 together.
  • the industrial site fall detection surveillance camera system 10 includes a camera module 100 for generating an optical image by photographing an industrial site 1, and an optical image received from the camera module 100. It may include a server 200 that analyzes the video and determines whether the person 3 who has fallen is present.
  • the camera module 100 may be disposed in the industrial site 1 to photograph a space where facilities 2 or people 3 exist. A plurality of camera modules 100 may be disposed in the industrial site 1 . The camera module 100 may change a photographing direction according to a control signal received from the server 200 .
  • the camera module 100 may include one or more optical cameras 110 .
  • the camera module 100 may include an optical camera 110 and a thermal imaging camera 120 together in one module.
  • the optical camera 110 may include a general digital camera of the RGB method.
  • the optical camera 110 may generate an optical image recognizable by the eyes of a person 3 by photographing the industrial site 1 in the visible ray region.
  • the thermal imaging camera 120 may include a digital camera that captures an infrared region.
  • the thermal imaging camera 120 may capture the industrial site 1 in the infrared region and generate a grayscale thermal image.
  • Server 200 may be installed in the industrial site (1).
  • the server 200 may be connected to the camera module 100 through a wired or wireless network, receive an image generated by the camera module 100, and control the camera module 100.
  • the server 200 is a computer device having an information processing function.
  • the camera module 100 and the server 200 may be connected through a closed circuit or through an encrypted network using an IP address.
  • the server 200 analyzes the storage unit 210 for storing the optical image and thermal image received from the camera module 100 and the optical image to determine whether the person 3 is in a fallen state, and determines that the person 3 has fallen down. If it is determined, the abnormal person determination unit 240 outputs the occurrence of the abnormal human event, and if the abnormal human determination unit 240 outputs the occurrence of the abnormal human event, the notification unit 250 notifies the manager of the occurrence of the abnormal event can include
  • the server 200 may further include a communication unit 220 connected to a wired or wireless network to transmit and receive data, and an interface unit 230 to receive a manager's command or provide data or information to the manager.
  • the storage unit 210 includes an optical image, a thermal image, a learned fall recognition artificial intelligence model 241, and an operating method of the industrial site fall detection surveillance camera system 10 according to an embodiment of the present invention implemented in software. Program codes and other necessary data can be stored.
  • the storage unit 210 may include a hard disk, a memory, a cloud storage device, a database, and the like.
  • the communication unit 220 may be connected to a wired or wireless network to transmit and receive data between the camera module 100 , the manager terminal 300 , and the server 200 .
  • the communication unit 220 may use known communication methods such as the World Wide Web (www), Ethernet, IPv4, IPv6, LAN, and WAN.
  • the communication unit 220 may use a known short-range communication method such as wi-fi, bluetooth, zigbee, or the like.
  • the interface unit 230 may include input devices such as a keyboard, mouse, touch panel, and switch capable of receiving commands from a manager, and output devices such as a display, speaker, and printer capable of providing information to the manager.
  • input devices such as a keyboard, mouse, touch panel, and switch capable of receiving commands from a manager
  • output devices such as a display, speaker, and printer capable of providing information to the manager.
  • the human anomaly determination unit 240 and the notification unit 250 may be written in program code and implemented in a manner that runs on the processor or graphics processing unit (GPU) of the server 200, or may be implemented within the server 200. It may be implemented as an independent computer device included.
  • GPU graphics processing unit
  • the abnormal person determination unit 240 may determine whether the person 3 is in a fallen state by analyzing an optical image received from the camera module 100 in real time or an optical image stored in the storage unit 210 in real time.
  • the abnormal person determination unit 240 extracts a frame from the optical image and inputs the frame to the fall recognition artificial intelligence model 241, so that the fall recognition artificial intelligence model 241 determines that the fallen person 3 exists in the frame. In the case of determination, it may be determined that an abnormal event has occurred to the person 3 .
  • the human abnormality determination unit 240 may include a fall recognition artificial intelligence model 241 .
  • the fall recognition artificial intelligence model 241 is learned using learning data in which an image of a person 3 falling down is input data and information indicating the person 3 falling in the image is label data, and a frame extracted from an optical image. When is input, it is determined whether the person 3 is in a collapsed state, a box is displayed in the area where the person 3 has fallen, and a class matching score is displayed and output.
  • the class consistency score refers to the extent to which an object included in a box inferred and displayed by the fall recognition artificial intelligence model 241 corresponds to the fallen person (3).
  • the class consistency score is one of the output values of the fall recognition artificial intelligence model 241 .
  • the abnormal person determination unit 240 may determine that the person 3 has fallen when the class matching score output by the fall recognition artificial intelligence model 241 is higher than the reference score.
  • the reference score can be changed by the manager.
  • the fall recognition artificial intelligence model 241 may display a box for each person 3 and display a class matching score when it is determined that a plurality of people 3 are in a collapsed state in one frame.
  • the notification unit 250 may notify the administrator of the occurrence of the abnormal event and notify the contents of the abnormal event.
  • the contents of the abnormal event include the location of the camera module 100 that captured the abnormal event, the occurrence time of the abnormal event, the frame of the optical image in which the abnormal event occurred, guidelines for responding to the abnormal event, and other necessary information. can do.
  • the notification unit 250 may automatically transmit a phone call, text message, e-mail, etc. to the administrator terminal 300, display the occurrence of an abnormal event on a display, or notify the occurrence of an abnormal event through a speaker.
  • the notification unit 250 may provide a manager with an image in which a box in which the fall recognition artificial intelligence model 241 displays the fallen person 3 is displayed in a frame of an optical image. For example, the notification unit 250 may automatically generate an email including an image of the fallen person 3 as a box and send it to the manager's email address.
  • the notification unit 250 may include the number of people 3 who have fallen in the notification provided to the manager.
  • the notification unit 250 may provide the manager with the number of people 3 who have fallen down.
  • FIG. 3 is a flowchart illustrating an operating method of the fall detection monitoring camera system 10 at an industrial site according to an embodiment of the present invention. See Figures 2 and 3 together.
  • the optical camera 110 of the camera module 100 photographs the industrial site 1 to generate an optical image
  • the server 200 the thermal image camera 120 of the camera module 100 photographs the industrial site 1, generates a thermal image, and transmits the thermal image to the server 200 (S21), the server ( 200), in which the person abnormality determination unit 240 extracts frames from the optical image and inputs them to the fall recognition artificial intelligence model 241, and determines that a person abnormality event has occurred if there is a person who has fallen (3).
  • S22 and a notification step (S24) in which the notification unit 250 of the server 200 notifies the manager of the occurrence of the abnormal person event when the abnormal person determination unit 240 outputs the occurrence of the abnormal person event. there is.
  • the image generation step (S21) and the human abnormality determination step (S22) may be included in the monitoring step (S20).
  • the monitoring step (S20) is repeatedly performed in real time while the operation method of the industrial site fall detection monitoring camera system 10 according to an embodiment of the present invention is being performed.
  • the notification unit 250 determines whether an abnormal event is output from the abnormal person determination unit 240 (S23), and performs a notification step (S24) when an abnormal event occurs.
  • the operation method of the surveillance camera system 10 for detecting falls at an industrial site may further include a model generation step (S11) of generating a fall recognition artificial intelligence model 241 using learning data.
  • the reference score change step in which the manager changes the reference score that is the criterion for determining whether the person 3 is down in the person abnormality determination unit 240 and controls the direction of the camera module 100 accordingly ( S12) may be further included.
  • the model generation step (S11) and the reference score change step (S12) may be included in the preparation step (S10).
  • the preparation step (S10) is a process of setting the fall detection monitoring camera system 10 of the industrial site to perform the monitoring step (S20).
  • the preparation step (S10) may be carried out before the monitoring step (S20). While the preparation step (S10) is being performed, the operation of the monitoring step (S20) may be stopped.
  • the preparation step (S10) and the monitoring step (S10) may be written as a program code that can be driven in the processor of the server and stored in the storage unit.
  • the model generation step (S11) may be performed in advance before the human abnormality determination step (S22). That is, the model generation step (S11) may be performed before the fall detection monitoring camera system 10 of the industrial site is installed in the industrial site 1.
  • the model generation step (S11) may be performed regularly or irregularly to improve the performance of the fall recognition artificial intelligence model 241 even after the fall detection surveillance camera system 10 of the industrial site is installed in the industrial site 1. .
  • the model generation step (S11) is performed to generate the fall recognition artificial intelligence model 241 with improved performance, the existing fall recognition artificial intelligence model 241 stored in the server 200 may be updated.
  • the reference score change step (S12) may be performed according to a manager's judgment or an update of the fall recognition artificial intelligence model 241. If the reference score is changed, the width of the effective area (EA) capable of determining whether the person 3 falls in the area monitored by the camera module 100 is changed, so the person abnormality determination unit 240 determines whether the person 3 has fallen down. It is possible to change the direction of the camera module 100 so that no blind spot is not recognized.
  • EA effective area
  • FIG. 4 is a diagram illustrating a fall recognition artificial intelligence model 241 of the fall detection monitoring camera system 10 at an industrial site according to an embodiment of the present invention. See Figures 2 and 3 together.
  • a fall recognition artificial intelligence model 241 is generated.
  • the model generation step (S11) may be performed in the server 200, or may be performed in another computer device remotely connected to the server 200.
  • the image used as learning data is an image of a state in which the person 3 is down.
  • images to be used as learning data are collected.
  • Images for training data can be acquired through various paths. For example, public images may be collected using web crawling.
  • an image in which the person 3 is in a fallen state may be selected from among images included in a dataset collected for artificial intelligence learning (eg, Fallen Person Dataset, Human Pose Dataset, etc.).
  • input data and label data are generated by pre-processing images for training data.
  • Input data is created by adjusting the size of the image for training data.
  • the image for training data may be pre-processed to be processed into an image of an RGB method (3 channels) having a width of 608 pixels and a height of 608 pixels.
  • the label data may be generated as a character string including a position of a box displaying the form in which the person 3 has collapsed in the input data and a class name.
  • the class name is "Fall”
  • the box location indicating the state in which the person (3) has fallen is displayed as numbers (0.531, 0.529, 0.877, 0.286).
  • the location of the box may be a character string in which the coordinates of the center of the box in the width direction (0.531), the coordinates of the center of the box in the height direction (0.529), the width of the box (0.877), and the height of the box (0.286) are sequentially arranged as numbers.
  • One input data image and one label data string may be generated by pre-processing one training data image. In the above manner, a plurality of label data strings corresponding to a plurality of input data images may be generated.
  • batch division is performed to divide the plurality of input data and label data included in the training data into a plurality of batches.
  • the learning speed can be improved by dividing the batch size by 64 and the mini-batch by 64.
  • the model training step is performed.
  • deep transfer learning can be used.
  • the network configuration file has a network structure of 604x604 and 708x708 sizes.
  • the fall recognition artificial intelligence model 241 is formed by adjusting the network weights of the trained CNN model to determine the fall of the person 3 by applying deep transfer learning for the purpose of distinguishing people 3, vehicles, and animals.
  • the network structure uses a convolutional neural network (CNN) structure used for classifying various objects, such as people 3, vehicles, and animals. Existing network weights are weights pre-learned in a CNN structure in order to classify people (3), vehicles, animals, and the like.
  • CNN convolutional neural network
  • the fall weight is a weight generated by fine-tuning an existing network weight as a result of learning using learning data including a state in which the person 3 has fallen.
  • the 604x604 network structure is set to the initial value of the learning rate of 0.01% and the number of training iterations is 6000, and learning is performed.
  • the 708x708 network structure was set to an initial value of 0.01% of the learning rate and 6000 training iterations, and learning was performed to generate three learned fall recognition artificial intelligence models (241).
  • a fall recognition artificial intelligence model 241 is generated through learning, and then a performance test step is performed. In the performance test step, how well the fall recognition artificial intelligence model 241 judges the state in which the person 3 has fallen is evaluated.
  • the performance test is performed by calculating loss, IoU, mAP, and class concordance score, and generating an accuracy distribution.
  • y i label value of the prediction model
  • t i label value of the actual model
  • i training data number
  • N number of training data
  • the performance of the fall recognition artificial intelligence model 241 in a state in which the loss is minimized by calculating the loss is determined to be the best.
  • the box of the label data is a box indicating the part where the person (3) fell down in the input data image of the learning data
  • the predicted box is the part where the person (3) fell after the fall recognition AI received the input data image of the training data. It is a box indicating the area determined to be .
  • mAP (mean average precision) is a method of generating a confusion matrix by comparing actual data and predicted results, obtaining an AP, and evaluating the model as having higher accuracy as the AP increases.
  • the error matrix is calculated according to Table 1 below.
  • AP is obtained as the area under the graph where the vertical is the precision and the horizontal is the recall.
  • the class confidence score is a value indicating how accurately the fall recognition artificial intelligence model 241 recognized the person 3 who fell down.
  • the class concordance score is calculated by Equation 3 below.
  • the class concordance score is expressed as the product of conditional class probability and box confidence.
  • the conditional class probability indicates the probability that the current object is class i
  • the box confidence means the similarity between the location of the box in the label data and the location of the box predicted by the fall recognition artificial intelligence model 241. Therefore, the class concordance score is a numerical value that reflects both the accuracy of whether the class name is correctly classified and how accurately the box is predicted.
  • the model trained with the 608x608 network structure has relatively faster average frame processing speed than the model trained with the 704x704 network structure. As the size of the network structure increases, the time required for learning and frame processing increases. However, the model trained with the 704x704 network structure has a higher class concordance score than the model trained with the 608x608 network structure. Although it has the same 704x704 network structure, the model with 20000 training iterations had a lower loss and the highest class concordance score of 98% or more than the model with 6000 training iterations. Therefore, the fall recognition artificial intelligence model 241 according to an embodiment of the present invention uses a model having a 704x704 network structure and 20000 training iterations.
  • the accuracy distribution depends on the relationship between the camera module and the person 3's fallen position and the camera module and the person 3's position when the fall recognition artificial intelligence model 241 determines that the person 3 has fallen. It is a graph showing that the accuracy varies according to the
  • FIG. 5 is a diagram showing the relationship between the camera module 100 and the fallen posture of the fall detection surveillance camera system 10 at an industrial site according to an embodiment of the present invention.
  • Posture 1 is a posture in which the head and feet of the person 3 are directed in the direction (arrow B) perpendicular to the direction the camera shoots (arrow A), and pose 2 (Form 2) is the direction the camera shoots (arrow B).
  • This is a posture in which the head and feet of the person 3 are directed in a direction parallel to arrow A) (arrow C).
  • the posture in which the person 3 falls is various.
  • the posture captured in the optical image taken by the camera module 100 is different according to the posture in which the person 3 falls down. Accordingly, the fall recognition artificial intelligence model 241 may have different class concordance scores for recognizing a fall according to the posture in which the person 3 has fallen.
  • the person 3 who fell down is located in the central part of the monitoring area (MA) photographed by the camera module 100, but the person 3 who fell down at the edge of the monitoring area MA may be located.
  • the fallen person 3 is located at the edge of the monitoring area MA, there may be a problem such as not all of the person 3 being captured in the optical image. In this case, a problem may occur in which the fall recognition artificial intelligence model 241 cannot recognize the person 3 who has fallen. Therefore, the accuracy of falling recognition may vary depending on the location and direction of the camera module 100 and the fallen person 3 .
  • 6 is a diagram showing a fall recognition accuracy distribution according to posture 1 (Form 1).
  • 7 is a diagram showing a fall recognition accuracy distribution according to posture 2 (Form 2). 6 and 7, the accuracy distribution is displayed using lines and shading at 10% intervals from 20% to 90% based on the class concordance score.
  • the camera module 100 was installed at a height of 1.8 m from the ground, and optical images were taken to test accuracy distribution.
  • the surveillance area (MA) photographed by the camera module 100 was tested with a width of 16 m and a length of 12 m.
  • the reference score is set to 90% in the fall recognition accuracy distribution according to the posture 1 (Form 1) of FIG. From a position approximately 4m away from the camera to a position 12m away from the end of the monitoring area (MA), up to a position 6m left and right around the camera in a direction perpendicular to the direction in which the camera shoots, and as a whole, the width of the side farther away from the camera appears as a broad trapezoid.
  • the reference score is set to 90% in the fall recognition accuracy distribution according to the posture 2 (Form 2) of FIG. From a position about 5m away to a position 10m away, in a direction perpendicular to the direction the camera shoots, up to a position of 5m left and right with the camera as the center, and as a whole, the side closest to the camera is a fan shape centered on the camera, and the side in the far direction is It appears as a trapezoid with a wide area.
  • the fall recognition accuracy varies according to the posture and position of the camera module 100 and the person who fell down 3 .
  • Form 1 where the head and feet of the person 3 are directed in a direction perpendicular to the direction in which the camera module 100 is photographed, the accuracy of fall recognition is high, and the camera module 100 is in a direction parallel to the photographed direction.
  • the posture 2 (Form 2) in which the head and feet of the person (3) are directed, the fall recognition accuracy is low.
  • the camera module 100 of the surveillance camera system 10 for detecting a fall in an industrial site has an effective area that varies depending on the positional relationship between the falling posture and the camera module 100 in the surveillance area MA.
  • a plurality of EAs may be arranged in the industrial site 1 such that at least a portion thereof is continuous.
  • a plurality of camera modules 100 should be disposed at the industrial site 1 so that at least a portion of the effective area EA is continuous, so that a person who has fallen down 3 can be recognized without a blind spot.
  • the monitoring area MA of the camera module 100 is arranged so that it is continuous, the fall recognition accuracy is increased between the effective area EA of an arbitrary camera module 100 and the effective area EA of an adjacent camera module 100.
  • the camera module 100 is arranged so that at least a part of the effective area EA of adjacent camera modules 100 overlaps or continues, the person 3 who fell even at the boundary of the effective area EA can be effectively recognized.
  • FIG. 8 is a diagram illustrating a state in which a plurality of camera modules 100 are disposed in consideration of a fall recognition accuracy distribution and a reference score change step (S12).
  • FIG. 8 illustratively shows a state in which the industrial site 1 is a square and four camera modules 100 are disposed.
  • the camera module 100 may be arranged in various ways.
  • FIG. 8 is a diagram showing the monitoring area MA and effective area EA of the camera module 100 when the reference score is 70%.
  • the direction of the camera module 100 is fixed so that the effective areas EA of adjacent camera modules 100 partially overlap.
  • FIG. 8 (b) is a diagram showing the monitoring area MA and effective area EA of the camera module 100 when the reference score is changed from 70% to 90%.
  • the reference score is raised from 70% to 90%, the area of the effective area EA is reduced, and the effective areas EA of adjacent camera modules 100 do not overlap. Therefore, the human abnormality determination unit 240 of the server 200 controls the camera module 100 to change the photographing direction of the camera module 100 so that the effective areas EA of the camera module 100 partially overlap.
  • FIG. 8 shows a state in which the direction of the camera module 100 is changed so that a part of the effective area EA overlaps with a reference score of 90%.
  • the direction of the camera module 100 is moved so that a part of the effective area EA overlaps.
  • the positions of the surveillance areas MA of the camera module 100 are moved so that they overlap each other more.
  • the camera module 100 may include a driving unit including a motor and the like to change the shooting direction.
  • the reference score change step (S12) when the manager performs a change to increase the reference score, as shown in (a), (b) and (c) of FIG. 8 in order, a portion of the reduced effective area overlaps the camera.
  • FIG. 8 shows a state in which the reference score is changed from 90% to 70%.
  • the reference score decreases, the area of the effective area EA increases, and the effective areas EA of adjacent camera modules 100 overlap each other a lot.
  • the human abnormality determination unit 240 of the server 200 overlaps some of the effective areas EA of the adjacent camera modules 100 with a little more camera modules ( 100) can be changed.
  • the surveillance area MA may be maximized while minimizing blind spots by moving the photographing direction of the camera module 100 so as to monitor a wide area as possible.
  • the direction in which the camera module 100 faces is such that at least a part of the effective area EA continues when the reference score increases. change, and when the reference score is lowered, the area of the effective area (EA) widens. When the reference score is lowered, at least a part of the effective area (EA) continues and the camera module 100 is directed so as to monitor as wide an area as possible. It can be controlled to change direction. This control is performed in the reference score change step (S12).
  • the reference score change step (S12) is performed by the person abnormality determination unit 240, and when the reference score of the class matching score, which is the criterion for determining that the person 3 has fallen, increases, the area of the effective area EA narrows.
  • the reference score increases, the direction in which the camera module 100 faces is changed so that at least a portion of the effective area EA continues, and when the reference score decreases, the area of the effective area EA widens, so that the reference score decreases.
  • the direction of the camera module 100 is controlled to change so that at least a part of the effective area EA is continuous and monitors a wide area as possible.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Emergency Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 일실시예에 따르면, 산업현장을 촬영하여 광학영상을 생성하는 카메라모듈, 및 상기 카메라모듈로부터 수신한 상기 광학영상을 분석하여 쓰러진 사람이 존재하는지 판단하는 서버를 포함하는, 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작방법을 제공하며, 사람이 쓰러진 경우 사람이상 이벤트를 관리자에게 알려, 사고를 미연에 방지하거나 발생한 사고를 빠르게 대처할 수 있다.

Description

산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법
본 발명은 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법에 관한 것이다.
산업현장에서 사고에 의한 경제적 손실과 인명 손실이 발생하고 있다. 최근 정보통신기술(Information and Communication Technology)의 발전으로 산업현장의 사고를 자동으로 탐지하려는 시도가 존재한다. 종래의 산업현장 안전 관리 기술은 설비에 설치된 센서로부터 수집된 데이터를 분석하여 사고여부를 감지하는 것으로서 이용할 수 있는 데이터가 한정되어 있고 이용 범위가 좁은 문제가 있다.
한편, 종래에 산업현장에서 이용되는 감시카메라 시스템(CCTV)은 영상 촬영 및 저장을 통하여 출입을 확인하는 등의 단순 목적으로 이용되어 왔다. 산업현장에서는 화재, 폭발, 유독가스 누출, 고온, 연기발생 등의 다양한 사고가 발생할 수 있다. 산업현장에서 이상여부를 검출하고 사고 발생 전에 미리 대처할 수 있기 위하여 산업현장에서 이상여부를 감지하기 위한 기술이 요구된다.
[선행기술문헌]
[특허문헌]
(특허문헌 1) KR 10-2019-0072703 A
본 발명의 일실시예에 따른 목적은, 산업현장을 촬영하는 카메라로부터 수신한 영상을 분석하여 쓰러진 사람이 존재하면 이상 이벤트가 발생한 것으로 판단하고, 관리자에게 알림을 전송하는 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법을 제공한다.
본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템은, 산업현장을 촬영하여 광학영상을 생성하는 카메라모듈, 및 상기 카메라모듈로부터 수신한 상기 광학영상을 분본 발명의 일실시예에 따른 목적은, 산업현장을 촬영하는 카메라로부터 수신한 영상을 분석하여 쓰러진 사람이 존재하면 이상 이벤트가 발생한 것으로 판단하고, 관리자에게 알림을 전송하는 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법을 제공한다. 석하여 쓰러진 사람이 존재하는지 판단하는 서버를 포함할 수 있다.
또한, 상기 서버는 상기 카메라모듈로부터 수신한 광학영상을 저장하는 저장부, 상기 광학영상을 분석하여 사람이 쓰러진 상태인지 판단하고, 사람이 쓰러진 것으로 판단되는 경우 사람이상 이벤트의 발생을 출력하는 사람이상 판단부, 및 상기 사람이상 판단부에서 사람이상 이벤트의 발생을 출력하는 경우, 이상 이벤트의 발생을 관리자에게 알리는 알림부를 포함할 수 있다.
또한, 상기 사람이상 판단부는 상기 광학영상에서 프레임을 추출하고, 상기 프레임을 쓰러짐 인식 인공지능 모델에 입력하여, 상기 쓰러짐 인식 인공지능 모델이 상기 프레임 내에 쓰러진 사람이 존재하는 것으로 판단하는 경우, 사람에게 이상 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 쓰러짐 인식 인공지능 모델은 사람이 쓰러져 있는 이미지가 입력데이터이고 상기 이미지에서 쓰러진 사람을 표시하는 정보가 라벨데이터인 학습데이터를 이용하여 학습되고, 상기 광학영상에서 추출된 프레임을 입력받으면 사람이 쓰러진 상태인지 판단하고 사람이 쓰러진 영역에 박스를 표시하고 클래스 일치도 점수를 표시하여 출력할 수 있다.
또한, 상기 쓰러짐 인식 인공지능 모델은 사람, 차량, 동물을 구분하기 위한 목적으로 훈련된 CNN 모델의 네트워크 가중치를 심층전이학습을 적용하여 사람의 쓰러짐을 판단하도록 조정하여 형성될 수 있다.
또한, 상기 카메라모듈은 감시 영역 중에서 쓰러짐 자세와 상기 카메라모듈과의 위치관계에 따라 달라지는 유효 영역의 적어도 일부가 연속되도록 상기 산업현장에 복수개 배치될 수 있다.
또한, 상기 사람이상 판단부는 상기 쓰러짐 인식 인공지능 모델이 출력하는 클래스 일치도 점수가 기준점수보다 높은 경우 사람이 쓰러진 것으로 판단할 수 있다.
또한, 상기 카메라모듈은 상기 기준점수가 높아지는 경우 상기 유효 영역의 면적이 좁아지므로, 상기 기준점수가 높아지는 경우 상기 유효 영역의 적어도 일부가 연속되도록 상기 카메라모듈이 향하는 방향이 변화하고, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 면적이 넓어지므로, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 상기 카메라모듈이 향하는 방향이 변화할 수 있다.
본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법은, 카메라모듈이 산업현장을 촬영하여 광학영상을 생성하고 서버로 전송하는 영상 생성 단계, 상기 서버의 사람이상 판단부가 상기 광학영상에서 프레임을 추출하여 쓰러짐 인식 인공지능 모델에 입력하여 쓰러진 사람이 존재하면 사람이상 이벤트가 발생한 것으로 판단하는 사람이상 판단단계, 및 상기 사람이상 판단부에서 사람이상 이벤트의 발생을 출력하는 경우, 상기 서버의 알림부가 이상 이벤트의 발생을 관리자에게 알리는 알림단계를 포함할 수 있다.
또한, 사람이 쓰러져 있는 이미지가 입력데이터이고 상기 이미지에서 쓰러진 사람을 표시하는 정보가 라벨데이터인 학습데이터세트를 이용하여 학습되고, 상기 광학영상에서 추출된 프레임을 입력받으면 사람이 쓰러진 상태인지 판단하고 사람이 쓰러진 영역에 박스를 표시하고 클래스 일치도 점수를 표시하여 출력하도록 상기 쓰러짐 인식 인공지능 모델을 생성하는 모델생성단계를 더 포함할 수 있다.
또한, 상기 모델생성단계는 상기 사람이상 판단단계 이전에 미리 수행될 수 있다.
또한, 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법은, 사람이 쓰러진 것으로 판단하는 기준인 클래스 일치도 점수의 기준점수가 높아지는 경우 상기 유효 영역의 면적이 좁아지므로, 상기 기준점수가 높아지는 경우 상기 유효 영역의 적어도 일부가 연속되도록 상기 카메라모듈이 향하는 방향이 변화하고, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 면적이 넓어지므로, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 상기 카메라모듈이 향하는 방향이 변화하도록 제어되는 기준점수 변경단계를 더 포함할 수 있다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 일실시예에 따르면, 산업현장에서 쓰러진 사람이 존재하는 경우 이상 이벤트가 발생한 것으로 판단하고, 관리자에게 이상 이벤트 발생을 자동으로 통보하여 신속하게 사고에 대응하도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템과 산업현장을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템을 나타내는 블록도이다.
도 3은 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법을 나타내는 흐름도이다.
도 4는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템의 쓰러짐 감지 인공지능 모델을 설명하는 도면이다.
도 5는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템의 카메라모듈과 쓰러진 자세의 관계를 나타내는 도면이다.
도 6은 자세 1에 따른 쓰러짐 인식 정확도 분포를 나타내는 도면이다.
도 7은 자세 2에 따른 쓰러짐 인식 정확도 분포를 나타내는 도면이다.
도 8은 쓰러짐 인식 정확도 분포를 고려하여 복수의 카메라모듈을 배치한 상태와 기준점수 변경단계를 설명하는 도면이다.
본 발명의 일실시예의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, "일면", "타면", "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다. 이하, 본 발명의 일실시예를 설명함에 있어서, 본 발명의 일실시예의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.
또한, 본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 달리 명시하지 않는 한 복수의 표현을 포함한다는 것을 알아야 한다.
이하, 첨부된 도면을 참조하여, 본 발명의 일실시예를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)과 산업현장(1)을 나타내는 도면이다.
산업현장(1)은 공장, 연구소, 실험실, 화학플랜트, 정유플랜트, 자동화시설, 스마트팩토리 등의 다양한 실내 시설 뿐만 아니라, 항구, 항만, 물류허브, 하역장 등의 야외 시설들을 포함할 수 있다. 산업현장(1)에는 모터, 히터, 냉방기, 파이프, 증류기, 등 다양한 설비(2)들이 설치될 수 있다. 산업현장(1)에는 설비(2)를 이용하여 일하는 작업자, 관리자, 또는 방문자 등 다양한 사람(3)이 있을 수 있다. 산업현장(1)에서 발생하는 사고는 사람(3)을 다치게 하거나, 설비(2)를 파손시킬 수 있다. 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)은 산업현장(1)에서 발생할 수 있는 사고를 미리 방지하거나, 사고가 발생한 경우 빠르게 대처하기 위하여, 사람(3)에게 발생하는 이상 이벤트를 감지하고 관리자에게 이상 이벤트의 발생을 알릴 수 있다. 관리자는 산업현장(1)의 안전책임자, 작업자 등을 포함할 수 있고, 소방서, 구급대, 구청 등의 공무원 등을 포함할 수 있다.
이상 이벤트는 사람이상 이벤트를 포함할 수 있다. 이상 이벤트는 설비에 이상이 존재하거나, 화재 등이 발생하는 등 다양한 사고를 포함할 수도 있다. 사람이상 이벤트는 사람(3)이 쓰러진 것을 포함할 수 있다. 예를 들어, 유독가스 유출이나, 감전 등의 사고에 의해 사람(3)이 쓰러지거나, 심장마비, 뇌졸증 등의 질병에 의해 사람(3)이 쓰러져, 사람(3)이 바닥에 누워있는 경우 사람이상 이벤트가 발생한 것이다. 본 발명의 일실시예는 다양한 원인으로 인하여 사람이상 이벤트가 발생하여 사람이 쓰러진 상태인지 여부를 감지할 수 있다.
도 2는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)을 나타내는 블록도이다. 도 1 및 도 2를 함께 참조한다.
본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)은, 산업현장(1)을 촬영하여 광학영상을 생성하는 카메라모듈(100), 및 카메라모듈(100)로부터 수신한 광학영상을 분석하여 쓰러진 사람(3)이 존재하는지 판단하는 서버(200)를 포함할 수 있다.
카메라모듈(100)은 설비(2) 또는 사람(3)이 존재하는 공간을 촬영하도록 산업현장(1)에 배치될 수 있다. 카메라모듈(100)은 산업현장(1)에 복수개 배치될 수 있다. 카메라모듈(100)은 서버(200)로부터 수신하는 제어신호에 따라 촬영 방향을 변경할 수 있다. 카메라모듈(100)은 하나 이상의 광학카메라(110)를 포함할 수 있다. 카메라모듈(100)은 하나의 모듈에 광학카메라(110) 및 열화상카메라(120)를 함께 포함할 수 있다.
광학카메라(110)는 RGB 방식의 일반적인 디지털 카메라를 포함할 수 있다. 광학카메라(110)는 가시광선 영역에서 산업현장(1)을 촬영하여 사람(3)의 눈으로 인식가능한 광학영상을 생성할 수 있다. 열화상카메라(120)는 적외선 영역을 촬영하는 디지털 카메라를 포함할 수 있다. 열화상카메라(120)는 적외선 영역에서 산업현장(1)을 촬영하여, 그레이스케일(GrayScale)의 열화상을 생성할 수 있다.
서버(200)는 산업현장(1)에 설치될 수 있다. 서버(200)는 카메라모듈(100)과 유선 또는 무선 네트워크를 통해 연결되어, 카메라모듈(100)이 생성한 영상을 수신할 수 있고, 카메라모듈(100)을 제어할 수 있다. 서버(200)는 정보처리기능을 갖는 컴퓨터 장치이다. 카메라모듈(100)과 서버(200)는 폐쇄회로(Closed Circuit)로 연결되거나, IP 주소를 이용한 암호화된 네트워크 등을 이용하여 연결될 수 있다.
서버(200)는 카메라모듈(100)로부터 수신한 광학영상 및 열화상을 저장하는 저장부(210), 광학영상을 분석하여 사람(3)이 쓰러진 상태인지 판단하고, 사람(3)이 쓰러진 것으로 판단되는 경우 사람이상 이벤트의 발생을 출력하는 사람이상 판단부(240), 사람이상 판단부(240)에서 사람이상 이벤트의 발생을 출력하는 경우, 이상 이벤트의 발생을 관리자에게 알리는 알림부(250)를 포함할 수 있다. 서버(200)는 유선 또는 무선 네트워크와 연결되어 데이터를 송수신하는 통신부(220), 관리자의 명령을 입력받거나 데이터나 정보를 관리자에게 제공하는 인터페이스부(230)를 더 포함할 수 있다.
저장부(210)는 광학영상, 열화상, 학습된 쓰러짐 인식 인공지능 모델(241), 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 동작방법이 소프트웨어로 구현된 프로그램 코드, 그 밖에 필요한 데이터를 저장할 수 있다. 저장부(210)는 하드디스크, 메모리, 클라우드 저장장치, 데이터베이스 등을 포함할 수 있다.
통신부(220)는 카메라모듈(100), 관리자 단말(300), 서버(200) 사이에서 데이터를 송수신할 수 있도록, 유선 또는 무선 네트워크에 연결될 수 있다. 통신부(220)는 월드와이드웹(www), 이더넷(ethernet), IPv4, IPv6, LAN, WAN, 등의 알려진 통신방식을 이용할 수 있다. 통신부(220)는 wi-fi, bluetooth, zigbee, 등의 알려진 근거리 통신방식을 이용할 수도 있다.
인터페이스부(230)는 관리자의 명령을 수신할 수 있는 키보드, 마우스, 터치패널, 스위치 등의 입력장치를 포함할 수 있고, 관리자에게 정보를 제공할 수 있는 디스플레이, 스피커, 프린터 등의 출력장치를 포함할 수 있다.
사람이상 판단부(240), 알림부(250)는 프로그램 코드로 작성되어 서버(200)의 프로세서(Processor) 또는 그래픽처리장치(GPU)에서 구동되는 방식으로 구현될 수도 있고, 서버(200) 내에 포함되는 독립된 컴퓨터 장치로 구현될 수도 있다.
사람이상 판단부(240)는 카메라모듈(100)로부터 실시간으로 수신되는 광학영상 또는 저장부(210)에 실시간으로 저장되는 광학영상을 분석하여 사람(3)이 쓰러진 상태인지 판단할 수 있다. 사람이상 판단부(240)는 광학영상에서 프레임을 추출하고, 프레임을 쓰러짐 인식 인공지능 모델(241)에 입력하여, 쓰러짐 인식 인공지능 모델(241)이 프레임 내에 쓰러진 사람(3)이 존재하는 것으로 판단하는 경우, 사람(3)에게 이상 이벤트가 발생한 것으로 판단할 수 있다.
사람이상 판단부(240)는 쓰러짐 인식 인공지능 모델(241)을 포함할 수 있다. 쓰러짐 인식 인공지능 모델(241)은 사람(3)이 쓰러져 있는 이미지가 입력데이터이고 이미지에서 쓰러진 사람(3)을 표시하는 정보가 라벨데이터인 학습데이터를 이용하여 학습되고, 광학영상에서 추출된 프레임을 입력받으면 사람(3)이 쓰러진 상태인지 판단하고 사람(3)이 쓰러진 영역에 박스를 표시하고 클래스 일치도 점수를 표시하여 출력할 수 있다.
클래스 일치도 점수는 쓰러짐 인식 인공지능 모델(241)이 추론하여 표시한 박스에 포함된 객체가 쓰러진 사람(3)에 해당하는 정도를 말한다. 클래스 일치도 점수는 쓰러짐 인식 인공지능 모델(241)의 출력값 중 하나이다. 사람이상 판단부(240)는 쓰러짐 인식 인공지능 모델(241)이 출력하는 클래스 일치도 점수가 기준점수보다 높은 경우 사람(3)이 쓰러진 것으로 판단할 수 있다. 기준점수는 관리자에 의해 변경될 수 있다.
쓰러짐 인식 인공지능 모델(241)은 하나의 프레임에 복수의 사람(3)이 쓰러진 상태로 판단되는 경우, 사람(3)마다 박스를 표시하고 클래스 일치도 점수를 표시할 수 있다.
알림부(250)는 사람이상 판단부(240)에서 사람이상 이벤트의 발생을 출력하면, 관리자에게 이상 이벤트의 발생을 알리고, 이상 이벤트의 내용을 알릴 수 있다. 이상 이벤트의 내용은 이상 이벤트를 촬영한 카메라모듈(100)의 위치, 이상 이벤트 발생 시간, 이상 이벤트가 발생한 것으로 판단된 광학영상의 프레임, 이상 이벤트에 대응하기 위한 가이드라인, 그 밖에 필요한 정보를 포함할 수 있다. 알림부(250)는 전화, 문자메세지, 이메일 등을 관리자 단말(300)로 자동으로 전송하거나, 디스플레이에 이상 이벤트의 발생을 표시하거나, 스피커를 통해 이상 이벤트의 발생을 소리로 알릴 수 있다.
알림부(250)는 사람이상 이벤트가 발생하면 쓰러짐 인식 인공지능 모델(241)이 쓰러진 사람(3)을 표시한 박스를 광학영상의 프레임에 표시한 이미지를 관리자에게 제공할 수 있다. 예를 들어, 알림부(250)는 쓰러진 사람(3)이 박스로 표시된 이미지를 포함하는 메일을 자동으로 생성하고 관리자의 메일주소로 송신할 수 있다.
알림부(250)는 관리자에게 제공하는 알림에 쓰러진 사람(3)의 수를 포함할 수 있다. 쓰러짐 인식 인공지능 모델(241)이 하나의 프레임에 복수의 사람(3)이 쓰러진 것으로 판단하는 경우, 알림부(250)는 쓰러진 사람(3)의 수를 관리자에게 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 동작방법을 나타내는 흐름도이다. 도 2 및 도 3을 함께 참조한다.
본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 동작방법은, 카메라모듈(100)의 광학카메라(110)가 산업현장(1)을 촬영하여 광학영상을 생성하고 서버(200)로 전송하며, 카메라모듈(100)의 열화상카메라(120)가 산업현장(1)을 촬영하여 열화상을 생성하고 상기 서버(200)로 전송하는 영상 생성 단계(S21), 서버(200)의 사람이상 판단부(240)가 광학영상에서 프레임을 추출하여 쓰러짐 인식 인공지능 모델(241)에 입력하여 쓰러진 사람(3)이 존재하면 사람이상 이벤트가 발생한 것으로 판단하는 사람이상 판단단계(S22), 및 사람이상 판단부(240)에서 사람이상 이벤트의 발생을 출력하는 경우, 서버(200)의 알림부(250)가 이상 이벤트의 발생을 관리자에게 알리는 알림단계(S24)를 포함할 수 있다.
영상 생성 단계(S21), 사람이상 판단단계(S22)는 감시단계(S20)에 포함될 수 있다. 감시단계(S20)는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 동작방법이 수행되는 동안 실시간으로 반복 수행된다. 알림부(250)는 사람이상 판단부(240)에서 이상 이벤트를 출력하는지 판단(S23)하고, 이상 이벤트가 발생한 경우 알림단계(S24)를 수행한다.
본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 동작방법은, 학습데이터를 이용하여 쓰러짐 인식 인공지능 모델(241)을 생성하는 모델생성단계(S11)를 더 포함할 수 있고,관리자가 사람이상 판단부(240)에서 사람(3)이 쓰러진 것인지 여부를 판단하는 기준이 되는 기준점수를 변경하고, 그에 따라 카메라모듈(100)의 방향을 제어하는 기준점수 변경단계(S12)를 더 포함할 수 있다. 모델생성단계(S11)와 기준점수 변경단계(S12)는 준비단계(S10)에 포함될 수 있다. 준비단계(S10)는 감시단계(S20)를 수행하기 위하여 산업현장의 쓰러짐 감지 감시카메라 시스템(10)을 세팅하는 과정이다. 준비단계(S10)는 감시단계(S20) 이전에 실시될 수 있다. 준비단계(S10)가 수행되는 동안에는 감시단계(S20)의 동작이 중지될 수 있다. 준비단계(S10) 및 감시단계(S10)는 서버의 프로세서에서 구동될 수 있는 프로그램코드로 작성되어 저장부에 저장될 수 있다.
모델생성단계(S11)는 사람이상 판단단계(S22) 이전에 미리 수행될 수 있다. 즉, 모델생성단계(S11)는 산업현장의 쓰러짐 감지 감시카메라 시스템(10)이 산업현장(1)에 설치되기 전에 수행될 수 있다. 모델생성단계(S11)는 산업현장의 쓰러짐 감지 감시카메라 시스템(10)이 산업현장(1)에 설치된 이후에도, 쓰러짐 인식 인공지능 모델(241)의 성능 향상을 위하여 정기적 또는 비정기적으로 수행될 수도 있다. 모델생성단계(S11)가 수행되어 성능이 향상된 쓰러짐 인식 인공지능 모델(241)이 생성되면, 서버(200)에 저장된 기존 쓰러짐 인식 인공지능 모델(241)을 업데이트할 수 있다.
기준점수 변경단계(S12)는 관리자의 판단 또는 쓰러짐 인식 인공지능 모델(241)의 업데이트에 따라 수행될 수 있다. 기준점수가 변경되면 카메라모듈(100)이 감시하는 영역에서 사람(3)의 쓰러짐을 판단할 수 있는 유효 영역(EA)의 넓이가 달라지므로, 사람이상 판단부(240)는 쓰러진 사람(3)을 인식하지 못하는 사각이 생기지 않도록 카메라모듈(100)의 방향을 변경할 수 있다.
도 4는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 쓰러짐 인식 인공지능 모델(241)을 설명하는 도면이다. 도 2, 3을 함께 참조한다.
모델생성단계(S11)는 쓰러짐 인식 인공지능 모델(241)을 생성한다. 모델생성단계(S11)는 서버(200)에서 수행될 수도 있고, 서버(200)와 원격으로 연결된 다른 컴퓨터 장치에서 수행될 수도 있다.
학습데이터로 이용되는 이미지는 사람(3)이 쓰러져 있는 상태를 촬영한 이미지이다. 이미지 획득 단계에서는 학습데이터로 이용될 이미지를 수집한다. 학습데이터용 이미지는 다양한 경로로 획득할 수 있다. 예를 들어, 웹 크롤링을 이용하여 공개된 이미지들을 수집할 수 있다. 또는 인공지능 학습용으로 수집된 데이터셋(예를 들어, Fallen Person Dataset, Human Pose Dataset 등)에 포함된 이미지들 중에서 사람(3)이 쓰러진 상태를 촬영한 이미지를 선별할 수도 있다.
학습데이터 생성 단계에서는 학습데이터용 이미지를 전처리하여 입력데이터 및 라벨데이터를 생성한다. 입력데이터는 학습데이터용 이미지의 크기를 조절하여 생성한다. 예를 들어, 학습데이터용 이미지를 전처리하여, 이미지의 폭이 608픽셀, 높이가 608 픽셀의 RGB방식(3개 채널)의 이미지로 가공할 수 있다. 라벨데이터는 입력데이터에서 사람(3)이 쓰러진 형태를 표시하는 박스의 위치와, 클래스 네임을 포함하는 문자열로 생성될 수 있다. 예를 들어, 라벨데이터는 클래스 네임(Class name)이 "Fall"이고, 사람(3)이 쓰러진 상태를 표시하는 박스의 위치(Box location)가 숫자로 표시(0.531, 0.529, 0.877, 0.286)될 수 있다. 박스의 위치는 박스의 중심의 폭 방향 좌표(0.531), 박스의 중심의 높이 방향 좌표(0.529), 박스의 폭(0.877), 박스의 높이(0.286)를 숫자로 순서대로 나열한 문자열일 수 있다. 하나의 학습데이터용 이미지를 전처리하여, 하나의 입력데이터 이미지와 라벨데이터 문자열을 생성할 수 있다. 위와 같은 방식으로, 복수의 입력데이터 이미지와 대응하는 복수의 라벨데이터 문자열을 생성할 수 있다.
학습데이터가 생성되면, 학습데이터에 포함된 복수의 입력데이터 및 라벨데이터를 복수의 배치(batch)로 분할하는 배치 분할을 수행한다. 배치 분할 단계에서 배치 크기(batch size)는 64, 배치 분할(mini batch)는 64로 분할하여 학습 속도를 향상시킬 수 있다.
학습데이터를 복수개의 배치로 분할한 다음, 모델 훈련 단계를 수행한다. 모델 훈련 단계에서는 심층전이학습(Deep Transfer Learning)을 이용할 수 있다. 네트워크 설정 파일에는 604x604, 708x708 사이즈의 네트워크 구조가 설정되어 있다. 쓰러짐 인식 인공지능 모델(241)은 사람(3), 차량, 동물을 구분하기 위한 목적으로 훈련된 CNN 모델의 네트워크 가중치를 심층전이학습을 적용하여 사람(3)의 쓰러짐을 판단하도록 조정하여 형성될 수 있다. 네트워크 구조는 다양한 객체들, 예를 들어 사람(3), 차량, 동물 등의 분류를 위해 이용되는 CNN(Convolutional Neural Network) 구조를 이용한다. 기존 네트워크 가중치는 사람(3), 차량, 동물 등을 분류하기 위하여 CNN 구조로 미리 학습되어 있는 가중치이다. 기존 네트워크 가중치로 CNN 네트워크 구조를 세팅한 다음, 분할된 학습데이터를 이용하여 추가학습을 수행하여 가중치를 파인튜닝(fine-tuning)하여 쓰러짐 가중치를 생성한다. 쓰러짐 가중치는 사람(3)이 쓰러진 상태를 포함하는 학습데이터를 이용하여 학습된 결과, 기존 네트워크 가중치가 파인 튜닝되어 생성된 가중치이다. 파인튜닝 단계에서 604x604 네트워크 구조를 학습률의 초기값 0.01%, 훈련반복수 6000으로 설정하고 학습을 수행하고, 파인튜닝 단계에서 708x708 네트워크 구조를 학습률의 초기값 0.01%, 훈련반복수 6000으로 설정하고 학습을 수행하고, 708x708 네트워크 구조를 학습률의 초기값 0.01%, 훈련반복수 6000으로 설정하고 학습을 수행하여, 3개의 학습된 쓰러짐 인식 인공지능 모델(241)을 생성하였다.
학습을 통해 쓰러짐 인식 인공지능 모델(241)을 생성한 다음, 성능 테스트 단계를 수행한다. 성능 테스트 단계는 쓰러짐 인식 인공지능 모델(241)이 사람(3)이 쓰러진 상태를 얼마나 잘 판단하는지를 평가한다. 성능 테스트는 손실, IoU, mAP, 클래스 일치도 점수를 산출하고, 정확도 분포를 생성하여 수행한다.
손실(Loss)은 아래 수학식 1에 따라 계산된다.
Figure PCTKR2021017270-appb-img-000001
yi: 예측 모델의 라벨 값, ti: 실제 모델의 라벨 값, i: 학습데이터 번호,
N: 학습데이터 개수
손실을 계산하여 손실이 최소가 되는 상태의 쓰러짐 인식 인공지능 모델(241)의 성능이 가장 좋은 것으로 판단한다.
IoU(Intersection over Union)는 아래 수학식 2에 의해 계산된다.
Figure PCTKR2021017270-appb-img-000002
라벨데이터의 박스는 학습데이터의 입력데이터 이미지에서 사람(3)이 쓰러진 부분을 표시하는 박스이고, 예측된 박스는 쓰러짐 인식 인공지능이 학습데이터의 입력데이터 이미지를 입력받고 사람(3)이 쓰러진 부분이라고 판단되는 영역을 표시한 박스이다. 두 박스가 완전히 겹치는 경우 IoU는 1이 되며, 본 발명의 일실시예에서 IoU가 0.5인 경우를 검출 지표로 이용한다.
mAP(mean Average Precision)는 실제 데이터와 예측 결과를 비교하여 오차 행렬(Confusion Matrix)를 생성하고, AP를 구하여 AP가 클수록 정확도가 높은 모델로 평가하는 방법이다. 오차행렬은 아래 표 1에 따라 산출된다.
Figure PCTKR2021017270-appb-img-000003
정밀도(Precision)은 전체 검출 결과 중 옳게 검출한 비율을 말하며, Precision=TP/(TP+FP)로 산출되고, 재현율(Recall)은 실제 옳은 결과물 중 옳다고 예측한 것의 비율을 말하며, Recall=TP/(TP+FN)으로 산출된다. AP는 세로가 정밀도이고 가로가 재현율인 그래프의 아래 면적으로 구해진다. 클래스 일치도 점수(Class Confidence Score)는 쓰러짐 인식 인공지능 모델(241)이 쓰러진 사람(3)을 얼마나 정확하게 인식하였는지를 나타내는 값이다. 클래스 일치도 점수는 아래 수학식 3에 의해 계산된다.
Figure PCTKR2021017270-appb-img-000004
클래스 일치도 점수는 conditional class probability와 box confidence의 곱으로 표현된다. conditional class probability는 현재의 object가 classi일 확률을 나타내고, box confidence는 라벨데이터의 박스 위치와 쓰러짐 인식 인공지능 모델(241)이 예상한 박스의 위치의 유사도를 의미한다. 따라서 클래스 일치도 점수는 클래스 네임을 올바르게 분류하였는지에 관한 정확도와, 박스를 얼마나 정확하게 예상하였는지 여부를 모두 반영하는 수치이다.
608x608 네트워크 구조로 훈련된 모델은 704x704 네트워크 구조로 훈련된 모델보다 상대적으로 평균 프레임 처리속도가 빠르다. 네트워크 구조의 크기가 클수록 학습에 소요되는 시간 및 프레임의 처리 시간이 증가한다. 그러나, 608x608 네트워크 구조로 훈련된 모델보다 704x704 네트워크 구조로 훈련된 모델이 클래스 일치도 점수가 높다. 동일하게 704x704 네트워크 구조이지만, 훈련반복수가 6000인 모델보다 훈련반복수가 20000인 모델이 손실(Loss)가 낮고, 클래스 일치도 점수가 98%이상으로 가장 높게 나타났다. 따라서 본 발명의 일실시예의 쓰러짐 인식 인공지능 모델(241)은 704x704 네트워크 구조이면서 훈련반복수가 20000인 모델을 이용한다.
정확도 분포는 쓰러짐 인식 인공지능 모델(241)이 사람(3)의 쓰러짐을 판단함에 있어서, 카메라 모듈과 사람(3)이 쓰러진 자세의 관계 및, 카메라 모듈과 사람(3)이 쓰러진 위치의 관계에 따라 정확도가 달라지는 것을 나타내는 그래프이다.
도 5는 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 카메라모듈(100)과 쓰러진 자세의 관계를 나타내는 도면이다.
자세 1(Form 1)은 카메라가 촬영하는 방향(화살표 A)에 수직인 방향(화살표 B)으로 사람(3)의 머리와 발이 향하는 자세이고, 자세 2(Form 2)는 카메라가 촬영하는 방향(화살표 A)에 나란한 방향(화살표 C)으로 사람(3)의 머리와 발이 향하는 자세이다. 사람(3)이 쓰러지는 자세는 다양하다. 사람(3)이 쓰러지는 자세에 따라 카메라모듈(100)이 촬영한 광학영상에 포착되는 자세는 다르다. 따라서 쓰러짐 인식 인공지능 모델(241)은 사람(3)이 쓰러진 자세에 따라 쓰러짐을 인식하는 클래스 일치도 점수가 다를 수 있다.
도 5는 카메라모듈(100)이 촬영하는 감시 영역(MA, Monitoring Area)의 중앙 부분에 쓰러진 사람(3)이 위치하는 것을 도시하였으나, 감시 영역(MA)의 가장자리 부분에 쓰러진 사람(3)이 위치할 수도 있다. 감시 영역(MA)의 가장자리 부분에 쓰러진 사람(3)이 위치하는 경우 광학영상에 사람(3)이 전부 촬영되지 않는 등의 문제가 존재할 수 있다. 이러한 경우 쓰러짐 인식 인공지능 모델(241)이 쓰러진 사람(3)을 인식할 수 없는 문제가 발생할 수 있다. 따라서 카메라모듈(100)과 쓰러진 사람(3)과의 위치 및 방향에 따라 쓰러짐 인식 정확도가 달라질 수 있다.
도 6은 자세 1(Form 1)에 따른 쓰러짐 인식 정확도 분포를 나타내는 도면이다. 도 7은 자세 2(Form 2)에 따른 쓰러짐 인식 정확도 분포를 나타내는 도면이다. 도 6 및 도 7은 정확도 분포는 클래스 일치도 점수를 기준으로 20% 부터 90% 까지 10% 간격으로 라인 및 음영을 이용하여 표시된다. 카메라모듈(100)은 지면으로부터 1.8m 높이에 설치된 상태에서 광학영상을 촬영하여 정확도 분포를 시험하였다. 카메라모듈(100)이 촬영하는 감시 영역(MA)은 가로 16m 세로 12m을 시험하였다.
도 6의 자세 1(Form 1)에 따른 쓰러짐 인식 정확도 분포에서 기준점수를 90%로 정하면, 90% 이상의 클래스 일치도 점수를 나타내는 유효 영역(EA, Effective Area)은 카메라모듈(100)로부터 카메라가 촬영하는 방향으로 약 4m 떨어진 위치에서 감시 영역(MA)의 끝인 12m 위치까지이고, 카메라가 촬영하는 방향에 수직한 방향으로 카메라를 중심으로 좌우 6m 위치까지이며, 전체적으로 카메라로부터 거리가 먼 방향의 변의 넓이가 넓은 사다리꼴 형으로 나타난다.
도 7의 자세 2(Form 2)에 따른 쓰러짐 인식 정확도 분포에서 기준점수를 90%로 정하면, 90% 이상의 클래스 일치도 점수를 나타내는 유효 영역(EA)은 카메라모듈(100)로부터 카메라가 촬영하는 방향으로 약 5m 떨어진 위치에서 10m 떨어진 위치까지이고, 카메라가 촬영하는 방향에 수직한 방향으로 카메라를 중심으로 좌우 5m 위치까지이며, 전체적으로 카메라로부터 가까운 변이 카메라를 중심으로한 부채꼴 형이고 거리가 먼 방향의 변의 넓이가 넓은 사다리꼴 형으로 나타난다.
정리하면, 카메라모듈(100)과 쓰러진 사람(3)의 자세 및 위치에 따라 쓰러짐 인식 정확도가 달라지는 것을 알 수 있다. 카메라모듈(100)이 촬영하는 방향에 수직인 방향으로 사람(3)의 머리와 발이 향하는 자세 1(Form 1)인 경우 쓰러짐 인식 정확도가 높고, 카메라모듈(100)이 촬영하는 방향에 나란한 방향으로 사람(3)의 머리와 발이 향하는 자세 2(Form 2)인 경우 쓰러짐 인식 정확도가 낮다. 그리고, 카메라모듈(100)이 촬영하는 방향에 수직인 방향으로 사람(3)의 머리와 발이 향하는 자세 1(Form 1)에 비하여, 카메라모듈(100)이 촬영하는 방향에 나란한 방향으로 사람(3)의 머리와 발이 향하는 자세 2(Form 2)는 카메라모듈(100)과 가까운 부분에 반원형의 사각(blind spot)이 존재하고, 전체적으로 유효 영역(EA)의 형태가 불규칙하다. 그리고 쓰러짐 인식 정확도가 높을수록 감시 영역(MA)에서 유효 영역(EA)이 차지하는 면적이 작아지고, 쓰러짐 인식 정확도가 낮을수록 감시 영역(MA)에서 유효 영역(EA)이 차지하는 면적이 넓어진다.
따라서 본 발명의 일실시예에 따른 산업현장의 쓰러짐 감지 감시카메라 시스템(10)의 카메라모듈(100)은 감시 영역(MA) 중에서 쓰러짐 자세와 카메라모듈(100)과의 위치관계에 따라 달라지는 유효 영역(EA)의 적어도 일부가 연속되도록 산업현장(1)에 복수개 배치될 수 있다. 유효 영역(EA)의 적어도 일부가 연속되도록 카메라모듈(100)이 산업현장(1)에 복수개 배치되어야, 사각(blind spot) 없이 쓰러진 사람(3)을 인식할 수 있다. 카메라모듈(100)의 감시 영역(MA)이 연속되도록 배치하는 경우, 임의의 카메라모듈(100)의 유효 영역(EA)과 인접한 카메라모듈(100)의 유효 영역(EA) 사이에 쓰러짐 인식 정확도가 매우 낮은 영역이 존재하게 되므로 산업현장(1)을 효과적으로 모니터링하기 어렵다. 본 발명의 일실시예와 같이 인접한 카메라모듈(100)의 유효 영역(EA)의 적어도 일부가 겹치거나 연속되도록 카메라모듈(100)을 배치하면 유효 영역(EA)의 경계 부분에서도 쓰러진 사람(3)을 효과적으로 인식할 수 있다.
도 8은 쓰러짐 인식 정확도 분포를 고려하여 복수의 카메라모듈(100)을 배치한 상태와 기준점수 변경단계(S12)를 설명하는 도면이다. 도 8은 산업현장(1)이 사각이고 4개의 카메라모듈(100)이 배치된 상태를 예시적으로 도시한다. 산업현장(1)의 형태와 설비(2)의 배치에 따라 카메라모듈(100)이 다양하게 배치될 수 있다.
도 8에서 (a)는 기준점수가 70%인 경우 카메라모듈(100)의 감시 영역(MA)과 유효 영역(EA)을 나타낸 도면이다. 인접한 카메라모듈(100)의 유효 영역(EA)들이 일부 겹쳐지도록 카메라모듈(100)의 방향이 고정된 상태이다.
기준점수 변경단계(S12)에서 관리자가 기준점수를 변경하면 유효 영역(EA)의 면적이 변경된다. 도 8에서 (b)는 기준점수가 70%에서 90%로 변경된 경우 카메라모듈(100)의 감시 영역(MA)과 유효 영역(EA)을 나타낸 도면이다. 기준점수가 70%에서 90%로 상향되어, 유효 영역(EA)의 면적이 줄어들고, 인접한 카메라모듈(100)의 유효 영역(EA)들이 겹쳐지지 않게 되었다. 따라서, 서버(200)의 사람이상 판단부(240)는 카메라모듈(100)의 유효 영역(EA)들이 일부 겹치도록 카메라모듈(100)의 촬영 방향을 변경하도록 카메라모듈(100)을 제어한다.
도 8에서 (c)는 기준점수가 90%인 상태에서 유효 영역(EA)의 일부가 겹쳐지도록 카메라모듈(100)의 방향이 변경된 상태를 나타낸다. 카메라모듈(100)의 방향은 유효 영역(EA)의 일부가 겹쳐지도록 이동된다. 카메라모듈(100)의 감시 영역(MA)은 서로 더 많이 겹쳐지도록 위치가 이동된다. 카메라모듈(100)은 촬영 방향을 변경할 수 있도록 모터 등을 포함하는 구동부를 포함할 수 있다. 기준점수 변경단계(S12)에서 관리자가 기준점수를 상향하는 변경을 수행하면 도 8의 (a), (b), (c)에 순서대로 도시된 바와 같이, 줄어든 유효 면적의 일부가 겹치도록 카메라모듈(100)의 촬영 방향을 이동시켜, 사각을 최소화할 수 있다.
도 8에서 (d)는 기준점수가 90%에서 70%로 변경된 상태를 나타낸다. 기준점수가 하향하면 유효 영역(EA)의 면적이 증가하고, 인접한 카메라모듈(100)의 유효 영역(EA)들이 서로 많이 겹쳐지게 된다. 카메라모듈(100)이 최대한 넓은 영역을 감시할 수 있도록, 서버(200)의 사람이상 판단부(240)는 인접한 카메라모듈(100)의 유효 영역(EA)들의 일부가 더 조금 겹쳐지도록 카메라모듈(100)의 방향을 변화시킬 수 있다.
기준점수 변경단계(S12)에서 관리자가 기준점수를 하향하는 변경을 수행하면, 도 8의 (c), (d), (a)에 순서대로 도시된 바와 같이, 늘어난 유효 면적의 일부가 겹쳐지면서 가능한 넓은 영역을 감시하도록 카메라모듈(100)의 촬영 방향을 이동시켜, 사각을 최소화하면서 감시 영역(MA)을 최대화할 수 있다.
정리하면, 카메라모듈(100)은 기준점수가 높아지는 경우 유효 영역(EA)의 면적이 좁아지므로, 기준점수가 높아지는 경우 유효 영역(EA)의 적어도 일부가 연속되도록 카메라모듈(100)이 향하는 방향이 변화하고, 기준점수가 낮아지는 경우 유효 영역(EA)의 면적이 넓어지므로, 기준점수가 낮아지는 경우 유효 영역(EA)의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 카메라모듈(100)이 향하는 방향이 변화하도록 제어될 수 있다. 이러한 제어는 기준점수 변경단계(S12)에서 수행된다. 기준점수 변경단계(S12)는 사람이상 판단부(240)가 수행하며, 사람(3)이 쓰러진 것으로 판단하는 기준인 클래스 일치도 점수의 기준점수가 높아지는 경우 유효 영역(EA)의 면적이 좁아지므로, 기준점수가 높아지는 경우 유효 영역(EA)의 적어도 일부가 연속되도록 카메라모듈(100)이 향하는 방향이 변화하고, 기준점수가 낮아지는 경우 유효 영역(EA)의 면적이 넓어지므로, 기준점수가 낮아지는 경우 유효 영역(EA)의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 카메라모듈(100)이 향하는 방향이 변화하도록 제어하는 것이다.
이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당해 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함은 명백하다고 할 것이다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.

Claims (9)

  1. 산업현장을 촬영하여 광학영상을 생성하는 카메라모듈; 및
    상기 카메라모듈로부터 수신한 상기 광학영상을 분석하여 쓰러진 사람이 존재하는지 판단하는 서버를 포함하는, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  2. 청구항 1에 있어서,
    상기 서버는
    상기 카메라모듈로부터 수신한 광학영상을 저장하는 저장부;
    상기 광학영상을 분석하여 사람이 쓰러진 상태인지 판단하고, 사람이 쓰러진 것으로 판단되는 경우 사람이상 이벤트의 발생을 출력하는 사람이상 판단부; 및
    상기 사람이상 판단부에서 사람이상 이벤트의 발생을 출력하는 경우, 이상 이벤트의 발생을 관리자에게 알리는 알림부를 포함하는, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  3. 청구항 2에 있어서,
    상기 사람이상 판단부는
    상기 광학영상에서 프레임을 추출하고, 상기 프레임을 쓰러짐 인식 인공지능 모델에 입력하여, 상기 쓰러짐 인식 인공지능 모델이 상기 프레임 내에 쓰러진 사람이 존재하는 것으로 판단하는 경우, 사람에게 이상 이벤트가 발생한 것으로 판단하며,
    상기 쓰러짐 인식 인공지능 모델은
    사람이 쓰러져 있는 이미지가 입력데이터이고 상기 이미지에서 쓰러진 사람을 표시하는 정보가 라벨데이터인 학습데이터를 이용하여 학습되고, 상기 광학영상에서 추출된 프레임을 입력받으면 사람이 쓰러진 상태인지 판단하고 사람이 쓰러진 영역에 박스를 표시하고 클래스 일치도 점수를 표시하여 출력하는, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  4. 청구항 3에 있어서,
    상기 쓰러짐 인식 인공지능 모델은
    사람, 차량, 동물을 구분하기 위한 목적으로 훈련된 CNN 모델의 네트워크 가중치를 심층전이학습을 적용하여 사람의 쓰러짐을 판단하도록 조정하여 형성된, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  5. 청구항 3에 있어서,
    상기 카메라모듈은
    감시 영역 중에서 쓰러짐 자세와 상기 카메라모듈과의 위치관계에 따라 달라지는 유효 영역의 적어도 일부가 연속되도록 상기 산업현장에 복수개 배치되는, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  6. 청구항 5에 있어서,
    상기 사람이상 판단부는
    상기 쓰러짐 인식 인공지능 모델이 출력하는 클래스 일치도 점수가 기준점수보다 높은 경우 사람이 쓰러진 것으로 판단하며,
    상기 카메라모듈은
    상기 기준점수가 높아지는 경우 상기 유효 영역의 면적이 좁아지므로, 상기 기준점수가 높아지는 경우 상기 유효 영역의 적어도 일부가 연속되도록 상기 카메라모듈이 향하는 방향이 변화하고, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 면적이 넓어지므로, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 상기 카메라모듈이 향하는 방향이 변화하는, 산업현장의 쓰러짐 감지 감시카메라 시스템.
  7. 카메라모듈이 산업현장을 촬영하여 광학영상을 생성하고 서버로 전송하는 영상 생성 단계;
    상기 서버의 사람이상 판단부가 상기 광학영상에서 프레임을 추출하여 쓰러짐 인식 인공지능 모델에 입력하여 쓰러진 사람이 존재하면 사람이상 이벤트가 발생한 것으로 판단하는 사람이상 판단단계; 및
    상기 사람이상 판단부에서 사람이상 이벤트의 발생을 출력하는 경우, 상기 서버의 알림부가 이상 이벤트의 발생을 관리자에게 알리는 알림단계를 포함하는, 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법.
  8. 청구항 7에 있어서,
    사람이 쓰러져 있는 이미지가 입력데이터이고 상기 이미지에서 쓰러진 사람을 표시하는 정보가 라벨데이터인 학습데이터세트를 이용하여 학습되고, 상기 광학영상에서 추출된 프레임을 입력받으면 사람이 쓰러진 상태인지 판단하고 사람이 쓰러진 영역에 박스를 표시하고 클래스 일치도 점수를 표시하여 출력하도록 상기 쓰러짐 인식 인공지능 모델을 생성하는 모델생성단계를 더 포함하고,
    상기 모델생성단계는 상기 사람이상 판단단계 이전에 미리 수행되는, 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법.
  9. 청구항 7에 있어서,
    사람이 쓰러진 것으로 판단하는 기준인 클래스 일치도 점수의 기준점수가 높아지는 경우 상기 유효 영역의 면적이 좁아지므로, 상기 기준점수가 높아지는 경우 상기 유효 영역의 적어도 일부가 연속되도록 상기 카메라모듈이 향하는 방향이 변화하고, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 면적이 넓어지므로, 상기 기준점수가 낮아지는 경우 상기 유효 영역의 적어도 일부가 연속되면서 가능한 넓은 영역을 감시하도록 상기 카메라모듈이 향하는 방향이 변화하도록 제어되는 기준점수 변경단계를 더 포함하는, 산업현장의 쓰러짐 감지 감시카메라 시스템의 동작방법.
PCT/KR2021/017270 2021-10-29 2021-11-23 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법 WO2023074994A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0147173 2021-10-29
KR1020210147173A KR102586132B1 (ko) 2021-10-29 2021-10-29 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
WO2023074994A1 true WO2023074994A1 (ko) 2023-05-04

Family

ID=86160040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017270 WO2023074994A1 (ko) 2021-10-29 2021-11-23 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법

Country Status (2)

Country Link
KR (1) KR102586132B1 (ko)
WO (1) WO2023074994A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092750A (ja) * 2003-09-19 2005-04-07 Asahi Breweries Ltd 緊急通報装置
JP2011243085A (ja) * 2010-05-20 2011-12-01 Midori Anzen Co Ltd 移動者の転倒監視システム
JP2017049676A (ja) * 2015-08-31 2017-03-09 セコム株式会社 姿勢判定装置および物体検知装置
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190072703A (ko) 2017-12-15 2019-06-26 진영배 재난사고 비상 신호의 전송 안전시스템 및 전송안전 관리방법
KR102289181B1 (ko) * 2019-12-31 2021-08-13 (주) 티아이에스 정보통신 영상 기반 주차 관리 시스템, 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092750A (ja) * 2003-09-19 2005-04-07 Asahi Breweries Ltd 緊急通報装置
JP2011243085A (ja) * 2010-05-20 2011-12-01 Midori Anzen Co Ltd 移動者の転倒監視システム
JP2017049676A (ja) * 2015-08-31 2017-03-09 セコム株式会社 姿勢判定装置および物体検知装置
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PARK JUN-TAE, KYU-PHIL HAN, YANG-WOO PARK: ", et al. A Dangerous Situation Recognition System Using Human Behavior Analysis", JOURNAL OF KOREA MULTIMEDIA SOCIETY, vol. 24, no. 3, 1 March 2021 (2021-03-01), pages 345 - 354, XP093061480 *

Also Published As

Publication number Publication date
KR20230062175A (ko) 2023-05-09
KR102586132B1 (ko) 2023-10-10

Similar Documents

Publication Publication Date Title
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
US20150262068A1 (en) Event detection apparatus and event detection method
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2021100919A1 (ko) 행동 시퀀스 기반으로 이상행동 여부를 판단하는 방법, 프로그램 및 시스템
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2021095351A1 (ja) 監視装置、監視方法、及びプログラム
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN109903501B (zh) 一种基于大数据的安防探头分析处理系统
WO2024019342A1 (ko) 인공지능 기반 유해 가스 누출 탐지 시스템 및 이의 동작 방법
KR102219809B1 (ko) 영상 분석을 통한 안전작업관리 시스템
WO2024014627A1 (ko) 스마트 하천 관제를 위한 통합 플랫폼
WO2016143976A1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
WO2019045147A1 (ko) 딥러닝을 pc에 적용하기 위한 메모리 최적화 방법
WO2023074994A1 (ko) 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법
WO2022186426A1 (ko) 자동 세그먼트 분류를 위한 영상처리장치 및 그 장치의 구동방법
WO2022055023A1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
CN110597165A (zh) 一种堆钢监测系统及堆钢监测方法
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2019225912A1 (ko) 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
CN116403162A (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN113920535B (zh) 一种基于YOLOv5的电子区域检测方法
WO2022019601A1 (ko) 영상의 객체 특징점 추출과 이를 이용한 영상검색 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962617

Country of ref document: EP

Kind code of ref document: A1