KR20240099676A - Elevator safety accident prevention device and method using TOF camera - Google Patents

Elevator safety accident prevention device and method using TOF camera Download PDF

Info

Publication number
KR20240099676A
KR20240099676A KR1020220181419A KR20220181419A KR20240099676A KR 20240099676 A KR20240099676 A KR 20240099676A KR 1020220181419 A KR1020220181419 A KR 1020220181419A KR 20220181419 A KR20220181419 A KR 20220181419A KR 20240099676 A KR20240099676 A KR 20240099676A
Authority
KR
South Korea
Prior art keywords
door
elevator
boundary
tof camera
safety accident
Prior art date
Application number
KR1020220181419A
Other languages
Korean (ko)
Inventor
김선우
Original Assignee
김선우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김선우 filed Critical 김선우
Priority to KR1020220181419A priority Critical patent/KR20240099676A/en
Publication of KR20240099676A publication Critical patent/KR20240099676A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/02Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions
    • B66B5/021Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions the abnormal operating conditions being independent of the system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B3/00Applications of devices for indicating or signalling operating conditions of elevators
    • B66B3/002Indicators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Elevator Door Apparatuses (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)

Abstract

본 발명은 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법에 관한 것으로, 감지영역이 넓고 작은 물체를 감지할 수 있으며, 설치 및 수리가 용이한 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공하기 위한 것이다. 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치는 엘리베이터 내부 상단에 고정되며, 상기 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈, 상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부, 상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부, 및 상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부를 포함한다.The present invention relates to an elevator safety accident prevention device and method using a TOF camera. The present invention relates to an elevator safety accident prevention device and method using a TOF camera that has a wide detection area, can detect small objects, and is easy to install and repair. It is for. The elevator safety accident prevention device using a TOF camera according to the present invention is fixed to the top of the elevator interior, has a TOF camera module that captures images of the interior and exterior of the elevator, and the boundary of the elevator door based on the images captured by the camera module. Recognizes and sets the vicinity of the boundary as a region of interest, analyzes the location and distance of objects within the region of interest based on distance data of pixels within the region of interest, and types of objects based on deep learning technology. an image analysis unit that analyzes the image analysis unit, a judgment unit that determines the open/closed state of the door based on the boundary of the door recognized by the image analysis unit, and a judgment unit that determines a dangerous state according to the type, location, and distance of the object, and the judgment unit determines the dangerous state. It includes a control unit that controls the opening and closing of the door.

Description

TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법 {Elevator safety accident prevention device and method using TOF camera}Elevator safety accident prevention device and method using TOF camera}

본 발명은 엘리베이터 안전사고 방지 장치 및 방법에 관한 것으로, 더욱 상세하게는 TOF 카메라로 촬영한 영상을 분석하여 엘리베이터 내외부에 존재하는 객체의 종류, 위치 및 거리를 감지함으로써 엘리베이터 문의 개폐를 제어하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법에 관한 것이다.The present invention relates to an elevator safety accident prevention device and method, and more specifically, to a TOF camera that controls the opening and closing of elevator doors by analyzing images captured by a TOF camera and detecting the type, location, and distance of objects existing inside and outside the elevator. It relates to an elevator safety accident prevention device and method using.

엘리베이터의 문이 닫히는 도중에 승객 또는 물체가 출입하게 되면 승객이나 물체가 문에 끼이게 되면, 안전사고로 이어질 수 있다. 이러한 사고를 방지하기 위해 물체와 접촉하면 문이 자동으로 열리는 세이프티 바와 물체가 감지되면 문이 자동으로 열리게 하는 적외선 센서를 사용하고 있다.If a passenger or object enters or exits an elevator while the door is closing, the passenger or object becomes caught in the door, which may lead to a safety accident. To prevent such accidents, a safety bar that automatically opens the door when it comes in contact with an object and an infrared sensor that automatically opens the door when an object is detected are used.

적외선 센서는 물체가 점 광원으로부터 특정 영역 내에 근접한 경우에만 물체의 감지가 가능하므로, 엘리베이터 문이 닫히는 순간에 승객이 급하게 들어가려다 문에 끼이는 사고가 발생하거나 엘리베이터 문 밖의 문틈에 손가락 등이 끼이는 사고가 발생할 수 있다. 또한, 적외선 센서의 점 광원 사이의 간격보다 작은 물체는 감지하기 못하여 반려동물의 목줄 등이 끼이는 사고가 발생할 수 있다.An infrared sensor can detect an object only when the object is close to a specific area from a point light source, so accidents can occur when a passenger gets caught in the door while trying to enter the elevator door at the moment the elevator door closes, or a finger, etc., gets caught in the gap outside the elevator door. Accidents may occur. Additionally, objects smaller than the gap between the point light sources of the infrared sensor cannot be detected, which may result in accidents involving pets' leashes, etc.

이러한 문제를 해결하기 위한 대안으로 세이프티 바와 적외선 센서를 결합한 멀티빔 센서가 개발되었다. 멀티빔 센서는 일반 적외선 센서에 비해 감지할 수 있는 영역이 넓다는 장점이 있다.As an alternative to solve this problem, a multibeam sensor combining a safety bar and an infrared sensor was developed. Multibeam sensors have the advantage of having a wider detection area compared to general infrared sensors.

하지만 멀티빔 센서는 엘리베이터의 좁은 문틈에 설치하여야 하기 때문에 설치 및 수리가 용이하지 않다는 문제가 있다.However, since the multi-beam sensor must be installed in the narrow door gap of the elevator, there is a problem that installation and repair are not easy.

등록특허공보 제10-1619274호 (2016.05.02.)Registered Patent Publication No. 10-1619274 (2016.05.02.)

따라서 본 발명의 목적은 감지영역이 넓고 작은 물체를 감지할 수 있으며, 설치 및 수리가 용이한 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공하기 위한 것이다.Therefore, the purpose of the present invention is to provide an elevator safety accident prevention device and method using a TOF camera that has a wide detection area, can detect small objects, and is easy to install and repair.

상기 목적을 달성하기 위하여, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치는 엘리베이터 내부 상단에 고정되며, 상기 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈, 상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부, 상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부, 및 상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부를 포함한다.In order to achieve the above object, the elevator safety accident prevention device using a TOF camera according to the present invention is fixed to the top of the elevator interior, a TOF camera module that captures images of the interior and exterior of the elevator, and images captured by the camera module. Based on this, the boundary of the elevator door is recognized and the surrounding area of the boundary is set as an area of interest, and the location and distance of objects within the area of interest are analyzed based on the distance data of pixels within the area of interest, using deep learning technology. an image analysis unit that analyzes the type of the object based on the image analysis unit, a judgment unit that determines the open/closed state of the door based on the boundary of the door recognized by the image analysis unit, and determines a dangerous state according to the type, location, and distance of the object, and It includes a control unit that controls opening and closing of the door according to the determination of the dangerous state by the determination unit.

상기 영상분석부는 상기 영상을 컬러 이미지 또는 그레이스케일 이미지로 변환하고 상기 변환한 이미지를 필터링하여 픽셀의 거리데이터를 읽고, 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 상기 영역에 객체가 존재하는 것으로 판단할 수 있다.The image analysis unit converts the image into a color image or a grayscale image, filters the converted image, reads the distance data of the pixel, and if the pixels with the distance data are concentrated in one area, it is determined that an object exists in the area. You can judge.

상기 영상분석부는 상기 영상의 중앙을 중심으로 좌우 대칭을 이루는 상기 문의 경계를 인식하며, 상기 인식한 문의 경계가 좌우 대칭이 아닌 경우 상기 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.The image analysis unit recognizes the boundary of the door that is symmetrical left and right about the center of the image, and if the recognized boundary of the door is not symmetrical, it can set an arbitrary boundary by estimating the slope of the boundary of the door.

상기 판단부는 상기 문이 열린 상태에서 상기 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 상기 문이 닫힌 상태에서 사람의 신체가 상기 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.The determination unit may determine a dangerous state if it is determined that a human body or object exists between the boundaries of the door when the door is open, or that a human body exists between the boundaries of the door when the door is closed.

상기 판단부가 위험상태로 판단하는 경우 알람을 송출하는 알람부를 더 포함할 수 있다.If the determination unit determines a dangerous state, it may further include an alarm unit that transmits an alarm.

본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법은 엘리베이터의 내부 및 외부의 영상을 TOF 카메라로 촬영하는 단계, 상기 영상으로부터 상기 엘리베이터 문의 경계를 인식하는 단계, 상기 문의 경계의 주변을 관심영역으로 설정하는 단계, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하는 단계, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 단계, 상기 문의 경계로부터 상기 문의 개폐상태를 판단하고 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 단계, 및 상기 위험상태로 판단되는 경우 상기 문의 개폐를 중단하는 단계를 포함한다.The elevator safety accident prevention method using a TOF camera according to the present invention includes the steps of capturing images of the inside and outside of the elevator with a TOF camera, recognizing the boundary of the elevator door from the image, and defining the perimeter of the door boundary as an area of interest. setting, analyzing the location and distance of an object existing within the region of interest based on distance data of pixels within the region of interest, analyzing the type of the object based on deep learning technology, from the boundary of the door It includes determining the open/closed state of the door and determining a dangerous state according to the type, location, and distance of the object, and stopping the opening/closing of the door when the dangerous state is determined.

본 발명은 TOF 카메라로 촬영한 영상을 분석하여 엘리베이터 내외부에 존재하는 객체의 종류, 위치 및 거리를 감지함으로써 엘리베이터 문의 개폐를 제어하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공할 수 있다.The present invention can provide an elevator safety accident prevention device and method using a TOF camera that controls the opening and closing of elevator doors by analyzing images captured by a TOF camera and detecting the type, location, and distance of objects existing inside and outside the elevator.

도 1은 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치를 보여주는 블록도이다.
도 2는 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보여주는 흐름도이다.
도 3은 본 발명에 따른 TOF 카메라 모듈이 촬영한 영상을 변환한 이미지다.
도 4는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.
도 5는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.
Figure 1 is a block diagram showing an elevator safety accident prevention device using a TOF camera according to the present invention.
Figure 2 is a flowchart showing a method for preventing elevator safety accidents using a TOF camera according to the present invention.
Figure 3 is an image converted from an image captured by a TOF camera module according to the present invention.
Figure 4 is an exemplary diagram showing a method for determining the presence or absence of an object in a region of interest according to the present invention.
Figure 5 is an exemplary diagram showing a method for determining the presence or absence of an object in a region of interest according to the present invention.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.It should be noted that in the following description, only the parts necessary to understand the embodiments of the present invention will be described, and descriptions of other parts will be omitted without departing from the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as limited to their usual or dictionary meanings, and the inventor should use the concept of terminology appropriately to explain his/her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined clearly. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent the entire technical idea of the present invention, and therefore, various equivalents can be substituted for them at the time of filing the present application. It should be understood that there may be variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings.

도 1은 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치를 보여주는 블록도이다.Figure 1 is a block diagram showing an elevator safety accident prevention device using a TOF camera according to the present invention.

도 1을 참조하면, 본 발명은 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈(10), 카메라 모듈이 촬영한 영상을 기반으로 엘리베이터 문의 경계, 객체의 종류, 위치 및 거리를 분석하는 영상분석부(20), 문의 개폐상태, 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부(30), 및 판단부(30)의 위험상태 판단에 따라 문의 개폐를 제어하는 제어부(40)를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치(100)를 제공한다.Referring to FIG. 1, the present invention includes a TOF camera module 10 that captures images of the inside and outside of an elevator, and an image that analyzes the boundary of the elevator door, the type, location, and distance of the object based on the images captured by the camera module. An analysis unit 20, a determination unit 30 that determines the dangerous state according to the open/closed state of the door, the type, location, and distance of the object, and a control unit 40 that controls the opening and closing of the door according to the dangerous state determination of the judgment unit 30. ) Provides an elevator safety accident prevention device (100) using a TOF camera including.

또한, 본 발명은 판단부(30)가 위험상태로 판단하는 경우 알람을 송출하는 알람부(50)를 더 포함할 수 있다.In addition, the present invention may further include an alarm unit 50 that transmits an alarm when the determination unit 30 determines a dangerous state.

이하, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치(100)의 구성을 보다 상세하게 설명하고자 한다.Hereinafter, the configuration of the elevator safety accident prevention device 100 using a TOF camera according to the present invention will be described in more detail.

TOF 카메라 모듈(10)은 엘리베이터 문의 내부 상단에 고정되며, 엘리베이터의 내부 및 외부의 영상을 촬영할 수 있다. The TOF camera module 10 is fixed to the top of the inside of the elevator door and can capture images of the inside and outside of the elevator.

TOF(Time of Flight) 카메라는 3D 카메라의 한 종류로 적외선, 초음파, 레이저 등의 신호를 쏘아 물체에 부딪혀 반사되어 돌아오는 시간을 측정하여 거리를 계산하는 방식으로 작동한다. 이러한 신호는 반사되어 돌아오는 동안 약해지기 때문에 TOF 카메라는 감지거리에 한계를 갖고 있지만 거리분해능이 뛰어나며 짧은 시간에 물체를 정확하게 감지할 수 있다. 따라서 TOF 카메라는 엘리베이터의 안전 감지 센서로 사용하기에 바람직하다.TOF (Time of Flight) cameras are a type of 3D camera that works by emitting signals such as infrared rays, ultrasonic waves, or lasers and calculating the distance by measuring the time it takes for them to bounce off an object and return. Because these signals become weaker as they reflect and return, TOF cameras have limitations in their detection distance, but they have excellent distance resolution and can accurately detect objects in a short period of time. Therefore, TOF cameras are desirable to use as safety detection sensors in elevators.

기존의 적외선 센서는 물체가 점 광원으로부터 특정 영역 내에 근접한 경우에만 물체의 감지가 가능하므로, 엘리베이터 문이 닫히는 순간에 승객이 급하게 들어가려다 문에 끼이는 사고가 발생하거나 엘리베이터 문 밖의 문틈에 손가락 등이 끼이는 사고가 발생할 수 있다. 또한, 멀티빔 센서는 엘리베이터의 좁은 문틈에 설치하여야 하기 때문에 설치 및 수리가 용이하지 않다는 문제가 있다.Existing infrared sensors can detect objects only when the object is close to a specific area from a point light source, so accidents occur where passengers get caught in the door while trying to rush in at the moment the elevator door closes, or their fingers, etc., get caught in the gap outside the elevator door. Trapped accidents may occur. In addition, there is a problem that multi-beam sensors are not easy to install and repair because they must be installed in narrow door gaps of elevators.

따라서 본 발명은 감지영역이 넓고 작은 물체를 감지할 수 있으며, 엘리베이터 내부 상단에 설치되어 설치 및 수리가 용이하다는 장점이 있다.Therefore, the present invention has the advantage of being able to detect small objects with a wide detection area, and being installed at the top inside the elevator, making installation and repair easy.

도 3은 본 발명에 따른 TOF 카메라 모듈이 촬영한 영상을 변환한 이미지다.Figure 3 is an image converted from an image captured by a TOF camera module according to the present invention.

영상분석부(20)는 TOF 카메라 모듈(10)이 촬영한 영상을 도 3과 같이 컬러 이미지 또는 그레이스케일 이미지로 변환하고 이를 필터링할 수 있다. 또한 영상분석부(20)는 도 3과 같은 이미지를 기반으로 딥러닝 기술을 통해 객체의 종류를 분석할 수 있다. 딥러닝 모델은 객체를 식별하기 위해 해당 객체 고유의 특징을 자동으로 학습할 수 있으며, 이를 기반으로 객체의 종류를 분석할 수 있다. 예컨대, 영상분석부(20)는 객체의 모든 과정을 하나의 딥러닝 네트워크로 구성하여 실시간에 가까운 처리 속도를 갖는 YOLO(You Only Look Once), 모바일에서도 동작 가능한 정도의 빠른 검출 속도를 갖는 SSD(Single Shot MultiBox Detector), 객체의 픽셀 영역을 찾는 영상 분할(Image Segmentation) 등의 딥러닝 기술을 사용하여, 감지된 객체가 사람의 신체 또는 물건인지 분석할 수 있다.The image analysis unit 20 can convert the image captured by the TOF camera module 10 into a color image or grayscale image and filter it, as shown in FIG. 3. Additionally, the image analysis unit 20 can analyze the type of object through deep learning technology based on the image shown in FIG. 3. A deep learning model can automatically learn the unique characteristics of an object to identify it, and can analyze the type of object based on this. For example, the image analysis unit 20 configures all processes of the object into a single deep learning network, such as YOLO (You Only Look Once), which has a processing speed close to real-time, and SSD (SSD), which has a detection speed fast enough to operate on mobile devices. Using deep learning technologies such as Single Shot MultiBox Detector and image segmentation to find the pixel area of the object, it is possible to analyze whether the detected object is a human body or an object.

영상분석부(20)는 필터링한 이미지를 기반으로 엘리베이터 문의 경계를 인식할 수 있다. 예컨대 영상분석부(20)는 변환한 그레이스케일 이미지 즉, 흑백 이미지로부터 검정색과 하얀색의 경계부분을 찾아 점을 찍을 수 있다. 영상분석부(20)는 점의 기울기를 구하고 추세선을 그어 엘리베이터 문의 경계를 인식할 수 있다. 이때, 문의 경계는 영상의 중앙을 중심으로 좌우 대칭을 이루는데, 영상분석부(20)는 문의 경계가 좌우 대칭이 아니면 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.The image analysis unit 20 can recognize the boundary of the elevator door based on the filtered image. For example, the image analysis unit 20 can find the boundary between black and white from a converted grayscale image, that is, a black and white image, and mark a dot. The image analysis unit 20 can recognize the boundary of the elevator door by obtaining the slope of the point and drawing a trend line. At this time, the boundary of the door is symmetrical left and right about the center of the image. If the boundary of the door is not symmetrical, the image analysis unit 20 can set an arbitrary boundary by estimating the slope of the boundary of the door.

영상분석부(20)는 문의 경계의 주변을 관심영역(ROI, Region of Interest)으로 설정할 수 있다. 예컨대 영상분석부(20)는 엘리베이터 문의 경계 사이, 엘리베이터 문의 틈, 엘리베이터 내외부 등을 관심영역으로 설정할 수 있다.The image analysis unit 20 may set the area around the border of the door as a region of interest (ROI). For example, the image analysis unit 20 can set areas between the boundaries of elevator doors, gaps in elevator doors, and the inside and outside of the elevator as areas of interest.

영상분석부(20)는 관심영역 내 픽셀의 거리데이터를 읽을 수 있으며, 기 설정된 거리 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다. 이때, 엘리베이터의 크기를 고려하여 픽셀을 분류하는 거리데이터의 기준을 설정할 수 있으며 바람직하게는 1.8m 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다.The image analysis unit 20 can read distance data of pixels within the region of interest and classify pixels with distance data within a preset distance. At this time, a standard for distance data for classifying pixels can be set considering the size of the elevator, and preferably, pixels with distance data within 1.8 m can be classified.

도 4 및 도 5는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.Figures 4 and 5 are exemplary diagrams showing a method for determining the presence or absence of an object in a region of interest according to the present invention.

도 4 및 도 5에 도시된 바와 같이, 기 설정된 거리 이내의 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 그 영역에 객체가 존재하는 것으로 판단함으로써 객체의 위치를 분석할 수 있다.As shown in Figures 4 and 5, if pixels with distance data within a preset distance are concentrated in one area, the location of the object can be analyzed by determining that an object exists in that area.

판단부(30)는 영상분석부(20)가 인식한 문의 경계로부터 문의 개폐상태를 판단하고, 객체의 종류, 위치 및 거리에 따라 위험상태를 판단할 수 있다. 예컨대 문이 열린 상태에서 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 문이 닫힌 상태에서 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.The determination unit 30 may determine the open/closed state of the door from the boundary of the door recognized by the image analysis unit 20 and determine the dangerous state according to the type, location, and distance of the object. For example, if a human body or object is judged to exist between the boundaries of the door when the door is open, or if a human body is judged to exist between the boundaries of the door when the door is closed, a dangerous state can be determined.

제어부(40)는 판단부(30)가 위험상태로 판단하면 문의 개폐를 제어할 수 있다. 예컨대, 문이 열린 상태이거나 닫히는 도중에 문의 경계 사이에 사람의 신체 또는 물건이 존재하면 문이 열린 상태를 계속 유지하거나 다시 열리게 제어할 수 있으며, 문이 닫힌 상태이거나 열리는 도중에 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 문이 닫힌 상태를 계속 유지하거나 작동을 중단할 수 있다. 또한, 판단부(30)가 위험상태가 아니라고 판단하면 문의 개폐를 정상적으로 가동할 수 있다.The control unit 40 can control the opening and closing of the door when the determination unit 30 determines that the door is in a dangerous state. For example, if a human body or object exists between the boundaries of the door while the door is open or closed, the door can be controlled to remain open or open again, and if a person's body is in the gap between the doors while the door is closed or open. If it is determined to be present, the door may remain closed or may cease operation. Additionally, if the determination unit 30 determines that the door is not in a dangerous state, the door can be opened and closed normally.

알람부(50)는 판단부(30)가 위험상태로 판단하는 경우 알람을 송출할 수 있으며, 위험상태에서 벗어나면 알람을 중단할 수 있다.The alarm unit 50 can transmit an alarm when the determination unit 30 determines that it is in a dangerous state, and can stop the alarm when the dangerous state is removed.

이하, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보다 상세하게 설명하고자 한다.Hereinafter, a method for preventing elevator safety accidents using a TOF camera according to the present invention will be described in more detail.

도 2는 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보여주는 흐름도이다.Figure 2 is a flowchart showing a method for preventing elevator safety accidents using a TOF camera according to the present invention.

도 2를 참조하면, 먼저 S10 단계에서 엘리베이터 안전사고 방지 장치는 엘리베이터의 내부 및 외부의 영상을 TOF 카메라로 촬영한다. 이때, TOF 카메라는 엘리베이터 문의 내부 상단에 고정될 수 있다.Referring to FIG. 2, first, in step S10, the elevator safety accident prevention device captures images of the interior and exterior of the elevator with a TOF camera. At this time, the TOF camera may be fixed to the top inside the elevator door.

다음으로 S20 단계에서, 엘리베이터 안전사고 방지 장치는 영상으로부터 엘리베이터 문의 경계를 인식한다. 이때, 엘리베이터 안전사고 방지 장치는 영상으로부터 흑백 이미지를 얻어 검정색과 하얀색의 경계부분을 찾아 점을 찍고, 점의 기울기를 구하여 추세선을 그을 수 있다. 이러한 추세선을 엘리베이터 문의 경계로 인식할 수 있다. 이때, 문의 경계가 좌우 대칭이 아니면, 엘리베이터 안전사고 방지 장치는 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.Next, in step S20, the elevator safety accident prevention device recognizes the boundary of the elevator door from the image. At this time, the elevator safety accident prevention device can obtain a black and white image from the video, find the boundary between black and white, place a point, and draw a trend line by finding the slope of the point. This trend line can be recognized as the boundary of the elevator door. At this time, if the door boundary is not left-right symmetrical, the elevator safety accident prevention device can set an arbitrary boundary by estimating the slope of the door boundary.

다음으로 S30 단계에서, 문의 경계의 주변을 관심영역으로 설정한다. 이때, 관심영역은 엘리베이터 문의 경계 사이, 엘리베이터 문의 틈, 엘리베이터 내외부 등을 일 수 있다.Next, in step S30, the surrounding area of the door boundary is set as the area of interest. At this time, the area of interest may be between the boundaries of the elevator door, a gap in the elevator door, and the inside and outside of the elevator.

다음으로 S40 단계에서, 관심영역 내에 존재하는 객체의 위치 및 거리를 분석한다. 엘리베이터 안전사고 방지 장치는 관심영역 내 픽셀의 거리데이터를 읽을 수 있으며, 기 설정된 거리 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다. 기 설정된 거리 이내의 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 그 영역에 객체가 존재하는 것으로 판단함으로써 객체의 위치를 분석할 수 있다.Next, in step S40, the positions and distances of objects existing within the region of interest are analyzed. The elevator safety accident prevention device can read the distance data of pixels within the area of interest and classify pixels with distance data within a preset distance. If pixels with distance data within a preset distance are concentrated in one area, the location of the object can be analyzed by determining that the object exists in that area.

다음으로 S50 단계에서, 딥러닝 기술을 기반으로 객체의 종류를 분석한다. 이때, 엘리베이터 안전사고 방지 장치는 YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector), 영상 분할(Image Segmentation) 등의 딥러닝 기술을 사용하여 감지된 객체가 사람의 신체 또는 물건인지 분석할 수 있다.Next, in step S50, the type of object is analyzed based on deep learning technology. At this time, the elevator safety accident prevention device uses deep learning technologies such as YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), and image segmentation to analyze whether the detected object is a human body or an object. You can.

다음으로 S60 단계에서, 문의 경계로부터 문의 개폐상태를 판단하고 객체의 종류, 위치 및 거리에 따라 위험상태를 판단한다. 엘리베이터 안전사고 방지 장치는 문이 열린 상태에서 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 문이 닫힌 상태에서 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.Next, in step S60, the open/closed state of the door is determined from the boundary of the door, and the dangerous state is determined according to the type, location, and distance of the object. The elevator safety accident prevention device can determine a dangerous state if a human body or object is judged to exist between the boundaries of the door when the door is open, or if a human body is judged to exist between the door boundaries when the door is closed.

마지막으로 S70 단계에서, 위험상태로 판단되는 경우 문의 개폐를 중단한다. 엘리베이터 안전사고 방지 장치는 문이 열린 상태이거나 닫히는 도중에 문의 경계 사이에 사람의 신체 또는 물건이 존재하면 문이 열린 상태를 계속 유지하거나 다시 열리게 제어할 수 있으며, 문이 닫힌 상태이거나 열리는 도중에 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 문이 닫힌 상태를 계속 유지하거나 작동을 중단할 수 있다. 또한, 엘리베이터 안전사고 방지 장치는 위험상태가 아니라고 판단하면 문의 개폐를 정상적으로 가동할 수 있다.Finally, in step S70, if it is judged to be in a dangerous state, the opening and closing of the door is stopped. The elevator safety accident prevention device can control the door to remain open or reopen if a human body or object is present between the boundaries of the door while the door is open or closing, and can control the door to remain open or open again. If it is determined that a gas is present in the door gap, the door may remain closed or may cease operation. Additionally, if the elevator safety accident prevention device determines that the elevator is not in a dangerous state, it can operate the door opening and closing normally.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.Meanwhile, the embodiments disclosed in the specification and drawings are merely provided as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those skilled in the art that in addition to the embodiments disclosed herein, other modifications based on the technical idea of the present invention can be implemented.

100 : 엘리베이터 안전사고 방지 장치
10 : TOF 카메라 모듈
20 : 영상분석부
30 : 판단부
40 : 제어부
50 : 알람부
100: Elevator safety accident prevention device
10: TOF camera module
20: Video analysis department
30: judgment unit
40: control unit
50: Alarm unit

Claims (6)

엘리베이터 내부 상단에 고정되며, 상기 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈;
상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부;
상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부; 및
상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부;
를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.
A TOF camera module fixed to the top of the elevator and capturing images of the interior and exterior of the elevator;
Based on the image captured by the camera module, the boundary of the elevator door is recognized and the surrounding area of the boundary is set as an area of interest, and the location and distance of objects existing within the area of interest are based on distance data of pixels within the area of interest. an image analysis unit that analyzes the type of the object based on deep learning technology;
a determination unit that determines the open/closed state of the door from the boundary of the door recognized by the image analysis unit and determines a dangerous state according to the type, location, and distance of the object; and
a control unit that controls opening and closing of the door according to the determination of a dangerous state by the determination unit;
Elevator safety accident prevention device using TOF camera including.
제1항에 있어서,
상기 영상분석부는 상기 영상을 컬러 이미지 또는 그레이스케일 이미지로 변환하고 상기 변환한 이미지를 필터링하여 픽셀의 거리데이터를 읽고, 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 상기 영역에 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.
According to paragraph 1,
The image analysis unit converts the image into a color image or a grayscale image, filters the converted image, reads the distance data of the pixel, and if the pixels with the distance data are concentrated in one area, it is determined that an object exists in the area. An elevator safety accident prevention device using a TOF camera that is characterized by judging.
제1항에 있어서,
상기 영상분석부는 상기 영상의 중앙을 중심으로 좌우 대칭을 이루는 상기 문의 경계를 인식하며, 상기 인식한 문의 경계가 좌우 대칭이 아닌 경우 상기 문의 경계의 기울기를 추정하여 임의경계를 설정하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.
According to paragraph 1,
The image analysis unit recognizes the boundary of the door that is symmetrical left and right about the center of the image, and if the recognized boundary of the door is not symmetrical, it sets an arbitrary boundary by estimating the slope of the boundary of the door. Elevator safety accident prevention device using TOF camera.
제1항에 있어서,
상기 판단부는 상기 문이 열린 상태에서 상기 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 상기 문이 닫힌 상태에서 사람의 신체가 상기 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.
According to paragraph 1,
The determination unit determines a dangerous state when it is determined that a human body or object exists between the boundaries of the door when the door is open, or when it is determined that a human body exists between the boundaries of the door when the door is closed. Elevator safety accident prevention device using TOF camera.
제1항에 있어서,
상기 판단부가 위험상태로 판단하는 경우 알람을 송출하는 알람부;
를 더 포함하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.
According to paragraph 1,
an alarm unit that sends out an alarm when the determination unit determines a dangerous state;
An elevator safety accident prevention device using a TOF camera, further comprising:
엘리베이터의 내부 및 외부의 영상을 TOF 카메라로 촬영하는 단계;
상기 영상으로부터 상기 엘리베이터 문의 경계를 인식하는 단계;
상기 문의 경계의 주변을 관심영역으로 설정하는 단계;
상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하는 단계;
딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 단계;
상기 문의 경계로부터 상기 문의 개폐상태를 판단하고 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 단계; 및
상기 위험상태로 판단되는 경우 상기 문의 개폐를 중단하는 단계;
를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법.
Taking images of the interior and exterior of the elevator with a TOF camera;
Recognizing the boundary of the elevator door from the image;
Setting the surrounding area of the door boundary as an area of interest;
Analyzing the location and distance of an object existing within the region of interest based on distance data of pixels within the region of interest;
Analyzing the type of the object based on deep learning technology;
determining an open/closed state of the door from the boundary of the door and determining a dangerous state according to the type, location, and distance of the object; and
stopping the opening and closing of the door when the dangerous condition is determined;
Elevator safety accident prevention method using TOF camera including.
KR1020220181419A 2022-12-22 2022-12-22 Elevator safety accident prevention device and method using TOF camera KR20240099676A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220181419A KR20240099676A (en) 2022-12-22 2022-12-22 Elevator safety accident prevention device and method using TOF camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220181419A KR20240099676A (en) 2022-12-22 2022-12-22 Elevator safety accident prevention device and method using TOF camera

Publications (1)

Publication Number Publication Date
KR20240099676A true KR20240099676A (en) 2024-07-01

Family

ID=91944597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220181419A KR20240099676A (en) 2022-12-22 2022-12-22 Elevator safety accident prevention device and method using TOF camera

Country Status (1)

Country Link
KR (1) KR20240099676A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619274B1 (en) 2014-09-15 2016-05-10 (주)매직에코 Smart speaker and sound system using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619274B1 (en) 2014-09-15 2016-05-10 (주)매직에코 Smart speaker and sound system using the same

Similar Documents

Publication Publication Date Title
US6339375B1 (en) Image monitoring apparatus and image monitoring method
EP3192763B1 (en) Elevator system
US10941019B2 (en) User detection system and image processing device
JP6134641B2 (en) Elevator with image recognition function
KR101724658B1 (en) Human detecting apparatus and method
EP2801956B1 (en) Passenger counter
US8660700B2 (en) Video-based system and method of elevator door detection
CN110526058B (en) Elevator door monitoring system, elevator system and elevator door monitoring method
JP5317426B2 (en) Elevator equipment
US20160096509A1 (en) Vehicle access system
EP3527525A1 (en) Elevator door control system for detection of obstacle trapping
US11332345B2 (en) Elevator system with optimized door response
KR101786209B1 (en) Intelligent camera and System for automatic opening door using Intelligent camera
US10183843B2 (en) Monitoring of step rollers and maintenance mechanics of passenger conveyors
JP2007186915A (en) Power window device
JP2007186916A (en) Window image area detection device and power window device
CN103373660A (en) Elevator anti-pinch device
JP2017214191A (en) Control system of transport apparatus and control method of transport apparatus
JP4622416B2 (en) Elevator door safety device
KR102113489B1 (en) Action Detection System and Method Using Deep Learning with Camera Input Image
KR20240099676A (en) Elevator safety accident prevention device and method using TOF camera
KR101761357B1 (en) System and method for vehicle monitoring
KR101407952B1 (en) Elevator crime prvent system and method of controlling the same
CN116729254A (en) Bus cockpit safe driving behavior monitoring system based on overhead view image
KR20100081500A (en) Infrared sensor system for driving the auto door and infrared sensing method using the same