KR20240099676A - Elevator safety accident prevention device and method using TOF camera - Google Patents
Elevator safety accident prevention device and method using TOF camera Download PDFInfo
- Publication number
- KR20240099676A KR20240099676A KR1020220181419A KR20220181419A KR20240099676A KR 20240099676 A KR20240099676 A KR 20240099676A KR 1020220181419 A KR1020220181419 A KR 1020220181419A KR 20220181419 A KR20220181419 A KR 20220181419A KR 20240099676 A KR20240099676 A KR 20240099676A
- Authority
- KR
- South Korea
- Prior art keywords
- door
- elevator
- boundary
- tof camera
- safety accident
- Prior art date
Links
- 230000002265 prevention Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000010191 image analysis Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/02—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions
- B66B5/021—Applications of checking, fault-correcting, or safety devices in elevators responsive to abnormal operating conditions the abnormal operating conditions being independent of the system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B3/00—Applications of devices for indicating or signalling operating conditions of elevators
- B66B3/002—Indicators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Elevator Door Apparatuses (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
Abstract
본 발명은 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법에 관한 것으로, 감지영역이 넓고 작은 물체를 감지할 수 있으며, 설치 및 수리가 용이한 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공하기 위한 것이다. 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치는 엘리베이터 내부 상단에 고정되며, 상기 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈, 상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부, 상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부, 및 상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부를 포함한다.The present invention relates to an elevator safety accident prevention device and method using a TOF camera. The present invention relates to an elevator safety accident prevention device and method using a TOF camera that has a wide detection area, can detect small objects, and is easy to install and repair. It is for. The elevator safety accident prevention device using a TOF camera according to the present invention is fixed to the top of the elevator interior, has a TOF camera module that captures images of the interior and exterior of the elevator, and the boundary of the elevator door based on the images captured by the camera module. Recognizes and sets the vicinity of the boundary as a region of interest, analyzes the location and distance of objects within the region of interest based on distance data of pixels within the region of interest, and types of objects based on deep learning technology. an image analysis unit that analyzes the image analysis unit, a judgment unit that determines the open/closed state of the door based on the boundary of the door recognized by the image analysis unit, and a judgment unit that determines a dangerous state according to the type, location, and distance of the object, and the judgment unit determines the dangerous state. It includes a control unit that controls the opening and closing of the door.
Description
본 발명은 엘리베이터 안전사고 방지 장치 및 방법에 관한 것으로, 더욱 상세하게는 TOF 카메라로 촬영한 영상을 분석하여 엘리베이터 내외부에 존재하는 객체의 종류, 위치 및 거리를 감지함으로써 엘리베이터 문의 개폐를 제어하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법에 관한 것이다.The present invention relates to an elevator safety accident prevention device and method, and more specifically, to a TOF camera that controls the opening and closing of elevator doors by analyzing images captured by a TOF camera and detecting the type, location, and distance of objects existing inside and outside the elevator. It relates to an elevator safety accident prevention device and method using.
엘리베이터의 문이 닫히는 도중에 승객 또는 물체가 출입하게 되면 승객이나 물체가 문에 끼이게 되면, 안전사고로 이어질 수 있다. 이러한 사고를 방지하기 위해 물체와 접촉하면 문이 자동으로 열리는 세이프티 바와 물체가 감지되면 문이 자동으로 열리게 하는 적외선 센서를 사용하고 있다.If a passenger or object enters or exits an elevator while the door is closing, the passenger or object becomes caught in the door, which may lead to a safety accident. To prevent such accidents, a safety bar that automatically opens the door when it comes in contact with an object and an infrared sensor that automatically opens the door when an object is detected are used.
적외선 센서는 물체가 점 광원으로부터 특정 영역 내에 근접한 경우에만 물체의 감지가 가능하므로, 엘리베이터 문이 닫히는 순간에 승객이 급하게 들어가려다 문에 끼이는 사고가 발생하거나 엘리베이터 문 밖의 문틈에 손가락 등이 끼이는 사고가 발생할 수 있다. 또한, 적외선 센서의 점 광원 사이의 간격보다 작은 물체는 감지하기 못하여 반려동물의 목줄 등이 끼이는 사고가 발생할 수 있다.An infrared sensor can detect an object only when the object is close to a specific area from a point light source, so accidents can occur when a passenger gets caught in the door while trying to enter the elevator door at the moment the elevator door closes, or a finger, etc., gets caught in the gap outside the elevator door. Accidents may occur. Additionally, objects smaller than the gap between the point light sources of the infrared sensor cannot be detected, which may result in accidents involving pets' leashes, etc.
이러한 문제를 해결하기 위한 대안으로 세이프티 바와 적외선 센서를 결합한 멀티빔 센서가 개발되었다. 멀티빔 센서는 일반 적외선 센서에 비해 감지할 수 있는 영역이 넓다는 장점이 있다.As an alternative to solve this problem, a multibeam sensor combining a safety bar and an infrared sensor was developed. Multibeam sensors have the advantage of having a wider detection area compared to general infrared sensors.
하지만 멀티빔 센서는 엘리베이터의 좁은 문틈에 설치하여야 하기 때문에 설치 및 수리가 용이하지 않다는 문제가 있다.However, since the multi-beam sensor must be installed in the narrow door gap of the elevator, there is a problem that installation and repair are not easy.
따라서 본 발명의 목적은 감지영역이 넓고 작은 물체를 감지할 수 있으며, 설치 및 수리가 용이한 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공하기 위한 것이다.Therefore, the purpose of the present invention is to provide an elevator safety accident prevention device and method using a TOF camera that has a wide detection area, can detect small objects, and is easy to install and repair.
상기 목적을 달성하기 위하여, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치는 엘리베이터 내부 상단에 고정되며, 상기 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈, 상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부, 상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부, 및 상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부를 포함한다.In order to achieve the above object, the elevator safety accident prevention device using a TOF camera according to the present invention is fixed to the top of the elevator interior, a TOF camera module that captures images of the interior and exterior of the elevator, and images captured by the camera module. Based on this, the boundary of the elevator door is recognized and the surrounding area of the boundary is set as an area of interest, and the location and distance of objects within the area of interest are analyzed based on the distance data of pixels within the area of interest, using deep learning technology. an image analysis unit that analyzes the type of the object based on the image analysis unit, a judgment unit that determines the open/closed state of the door based on the boundary of the door recognized by the image analysis unit, and determines a dangerous state according to the type, location, and distance of the object, and It includes a control unit that controls opening and closing of the door according to the determination of the dangerous state by the determination unit.
상기 영상분석부는 상기 영상을 컬러 이미지 또는 그레이스케일 이미지로 변환하고 상기 변환한 이미지를 필터링하여 픽셀의 거리데이터를 읽고, 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 상기 영역에 객체가 존재하는 것으로 판단할 수 있다.The image analysis unit converts the image into a color image or a grayscale image, filters the converted image, reads the distance data of the pixel, and if the pixels with the distance data are concentrated in one area, it is determined that an object exists in the area. You can judge.
상기 영상분석부는 상기 영상의 중앙을 중심으로 좌우 대칭을 이루는 상기 문의 경계를 인식하며, 상기 인식한 문의 경계가 좌우 대칭이 아닌 경우 상기 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.The image analysis unit recognizes the boundary of the door that is symmetrical left and right about the center of the image, and if the recognized boundary of the door is not symmetrical, it can set an arbitrary boundary by estimating the slope of the boundary of the door.
상기 판단부는 상기 문이 열린 상태에서 상기 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 상기 문이 닫힌 상태에서 사람의 신체가 상기 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.The determination unit may determine a dangerous state if it is determined that a human body or object exists between the boundaries of the door when the door is open, or that a human body exists between the boundaries of the door when the door is closed.
상기 판단부가 위험상태로 판단하는 경우 알람을 송출하는 알람부를 더 포함할 수 있다.If the determination unit determines a dangerous state, it may further include an alarm unit that transmits an alarm.
본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법은 엘리베이터의 내부 및 외부의 영상을 TOF 카메라로 촬영하는 단계, 상기 영상으로부터 상기 엘리베이터 문의 경계를 인식하는 단계, 상기 문의 경계의 주변을 관심영역으로 설정하는 단계, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하는 단계, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 단계, 상기 문의 경계로부터 상기 문의 개폐상태를 판단하고 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 단계, 및 상기 위험상태로 판단되는 경우 상기 문의 개폐를 중단하는 단계를 포함한다.The elevator safety accident prevention method using a TOF camera according to the present invention includes the steps of capturing images of the inside and outside of the elevator with a TOF camera, recognizing the boundary of the elevator door from the image, and defining the perimeter of the door boundary as an area of interest. setting, analyzing the location and distance of an object existing within the region of interest based on distance data of pixels within the region of interest, analyzing the type of the object based on deep learning technology, from the boundary of the door It includes determining the open/closed state of the door and determining a dangerous state according to the type, location, and distance of the object, and stopping the opening/closing of the door when the dangerous state is determined.
본 발명은 TOF 카메라로 촬영한 영상을 분석하여 엘리베이터 내외부에 존재하는 객체의 종류, 위치 및 거리를 감지함으로써 엘리베이터 문의 개폐를 제어하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치 및 방법을 제공할 수 있다.The present invention can provide an elevator safety accident prevention device and method using a TOF camera that controls the opening and closing of elevator doors by analyzing images captured by a TOF camera and detecting the type, location, and distance of objects existing inside and outside the elevator.
도 1은 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치를 보여주는 블록도이다.
도 2는 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보여주는 흐름도이다.
도 3은 본 발명에 따른 TOF 카메라 모듈이 촬영한 영상을 변환한 이미지다.
도 4는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.
도 5는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.Figure 1 is a block diagram showing an elevator safety accident prevention device using a TOF camera according to the present invention.
Figure 2 is a flowchart showing a method for preventing elevator safety accidents using a TOF camera according to the present invention.
Figure 3 is an image converted from an image captured by a TOF camera module according to the present invention.
Figure 4 is an exemplary diagram showing a method for determining the presence or absence of an object in a region of interest according to the present invention.
Figure 5 is an exemplary diagram showing a method for determining the presence or absence of an object in a region of interest according to the present invention.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 벗어나지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.It should be noted that in the following description, only the parts necessary to understand the embodiments of the present invention will be described, and descriptions of other parts will be omitted without departing from the gist of the present invention.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the specification and claims described below should not be construed as limited to their usual or dictionary meanings, and the inventor should use the concept of terminology appropriately to explain his/her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined clearly. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent the entire technical idea of the present invention, and therefore, various equivalents can be substituted for them at the time of filing the present application. It should be understood that there may be variations.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the attached drawings.
도 1은 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치를 보여주는 블록도이다.Figure 1 is a block diagram showing an elevator safety accident prevention device using a TOF camera according to the present invention.
도 1을 참조하면, 본 발명은 엘리베이터의 내부 및 외부의 영상을 촬영하는 TOF 카메라 모듈(10), 카메라 모듈이 촬영한 영상을 기반으로 엘리베이터 문의 경계, 객체의 종류, 위치 및 거리를 분석하는 영상분석부(20), 문의 개폐상태, 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부(30), 및 판단부(30)의 위험상태 판단에 따라 문의 개폐를 제어하는 제어부(40)를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치(100)를 제공한다.Referring to FIG. 1, the present invention includes a
또한, 본 발명은 판단부(30)가 위험상태로 판단하는 경우 알람을 송출하는 알람부(50)를 더 포함할 수 있다.In addition, the present invention may further include an
이하, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치(100)의 구성을 보다 상세하게 설명하고자 한다.Hereinafter, the configuration of the elevator safety
TOF 카메라 모듈(10)은 엘리베이터 문의 내부 상단에 고정되며, 엘리베이터의 내부 및 외부의 영상을 촬영할 수 있다. The
TOF(Time of Flight) 카메라는 3D 카메라의 한 종류로 적외선, 초음파, 레이저 등의 신호를 쏘아 물체에 부딪혀 반사되어 돌아오는 시간을 측정하여 거리를 계산하는 방식으로 작동한다. 이러한 신호는 반사되어 돌아오는 동안 약해지기 때문에 TOF 카메라는 감지거리에 한계를 갖고 있지만 거리분해능이 뛰어나며 짧은 시간에 물체를 정확하게 감지할 수 있다. 따라서 TOF 카메라는 엘리베이터의 안전 감지 센서로 사용하기에 바람직하다.TOF (Time of Flight) cameras are a type of 3D camera that works by emitting signals such as infrared rays, ultrasonic waves, or lasers and calculating the distance by measuring the time it takes for them to bounce off an object and return. Because these signals become weaker as they reflect and return, TOF cameras have limitations in their detection distance, but they have excellent distance resolution and can accurately detect objects in a short period of time. Therefore, TOF cameras are desirable to use as safety detection sensors in elevators.
기존의 적외선 센서는 물체가 점 광원으로부터 특정 영역 내에 근접한 경우에만 물체의 감지가 가능하므로, 엘리베이터 문이 닫히는 순간에 승객이 급하게 들어가려다 문에 끼이는 사고가 발생하거나 엘리베이터 문 밖의 문틈에 손가락 등이 끼이는 사고가 발생할 수 있다. 또한, 멀티빔 센서는 엘리베이터의 좁은 문틈에 설치하여야 하기 때문에 설치 및 수리가 용이하지 않다는 문제가 있다.Existing infrared sensors can detect objects only when the object is close to a specific area from a point light source, so accidents occur where passengers get caught in the door while trying to rush in at the moment the elevator door closes, or their fingers, etc., get caught in the gap outside the elevator door. Trapped accidents may occur. In addition, there is a problem that multi-beam sensors are not easy to install and repair because they must be installed in narrow door gaps of elevators.
따라서 본 발명은 감지영역이 넓고 작은 물체를 감지할 수 있으며, 엘리베이터 내부 상단에 설치되어 설치 및 수리가 용이하다는 장점이 있다.Therefore, the present invention has the advantage of being able to detect small objects with a wide detection area, and being installed at the top inside the elevator, making installation and repair easy.
도 3은 본 발명에 따른 TOF 카메라 모듈이 촬영한 영상을 변환한 이미지다.Figure 3 is an image converted from an image captured by a TOF camera module according to the present invention.
영상분석부(20)는 TOF 카메라 모듈(10)이 촬영한 영상을 도 3과 같이 컬러 이미지 또는 그레이스케일 이미지로 변환하고 이를 필터링할 수 있다. 또한 영상분석부(20)는 도 3과 같은 이미지를 기반으로 딥러닝 기술을 통해 객체의 종류를 분석할 수 있다. 딥러닝 모델은 객체를 식별하기 위해 해당 객체 고유의 특징을 자동으로 학습할 수 있으며, 이를 기반으로 객체의 종류를 분석할 수 있다. 예컨대, 영상분석부(20)는 객체의 모든 과정을 하나의 딥러닝 네트워크로 구성하여 실시간에 가까운 처리 속도를 갖는 YOLO(You Only Look Once), 모바일에서도 동작 가능한 정도의 빠른 검출 속도를 갖는 SSD(Single Shot MultiBox Detector), 객체의 픽셀 영역을 찾는 영상 분할(Image Segmentation) 등의 딥러닝 기술을 사용하여, 감지된 객체가 사람의 신체 또는 물건인지 분석할 수 있다.The
영상분석부(20)는 필터링한 이미지를 기반으로 엘리베이터 문의 경계를 인식할 수 있다. 예컨대 영상분석부(20)는 변환한 그레이스케일 이미지 즉, 흑백 이미지로부터 검정색과 하얀색의 경계부분을 찾아 점을 찍을 수 있다. 영상분석부(20)는 점의 기울기를 구하고 추세선을 그어 엘리베이터 문의 경계를 인식할 수 있다. 이때, 문의 경계는 영상의 중앙을 중심으로 좌우 대칭을 이루는데, 영상분석부(20)는 문의 경계가 좌우 대칭이 아니면 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.The
영상분석부(20)는 문의 경계의 주변을 관심영역(ROI, Region of Interest)으로 설정할 수 있다. 예컨대 영상분석부(20)는 엘리베이터 문의 경계 사이, 엘리베이터 문의 틈, 엘리베이터 내외부 등을 관심영역으로 설정할 수 있다.The
영상분석부(20)는 관심영역 내 픽셀의 거리데이터를 읽을 수 있으며, 기 설정된 거리 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다. 이때, 엘리베이터의 크기를 고려하여 픽셀을 분류하는 거리데이터의 기준을 설정할 수 있으며 바람직하게는 1.8m 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다.The
도 4 및 도 5는 본 발명에 따른 관심영역에서 객체의 존재 유무를 판단하는 방법을 보여주는 예시도이다.Figures 4 and 5 are exemplary diagrams showing a method for determining the presence or absence of an object in a region of interest according to the present invention.
도 4 및 도 5에 도시된 바와 같이, 기 설정된 거리 이내의 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 그 영역에 객체가 존재하는 것으로 판단함으로써 객체의 위치를 분석할 수 있다.As shown in Figures 4 and 5, if pixels with distance data within a preset distance are concentrated in one area, the location of the object can be analyzed by determining that an object exists in that area.
판단부(30)는 영상분석부(20)가 인식한 문의 경계로부터 문의 개폐상태를 판단하고, 객체의 종류, 위치 및 거리에 따라 위험상태를 판단할 수 있다. 예컨대 문이 열린 상태에서 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 문이 닫힌 상태에서 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.The
제어부(40)는 판단부(30)가 위험상태로 판단하면 문의 개폐를 제어할 수 있다. 예컨대, 문이 열린 상태이거나 닫히는 도중에 문의 경계 사이에 사람의 신체 또는 물건이 존재하면 문이 열린 상태를 계속 유지하거나 다시 열리게 제어할 수 있으며, 문이 닫힌 상태이거나 열리는 도중에 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 문이 닫힌 상태를 계속 유지하거나 작동을 중단할 수 있다. 또한, 판단부(30)가 위험상태가 아니라고 판단하면 문의 개폐를 정상적으로 가동할 수 있다.The
알람부(50)는 판단부(30)가 위험상태로 판단하는 경우 알람을 송출할 수 있으며, 위험상태에서 벗어나면 알람을 중단할 수 있다.The
이하, 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보다 상세하게 설명하고자 한다.Hereinafter, a method for preventing elevator safety accidents using a TOF camera according to the present invention will be described in more detail.
도 2는 본 발명에 따른 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법을 보여주는 흐름도이다.Figure 2 is a flowchart showing a method for preventing elevator safety accidents using a TOF camera according to the present invention.
도 2를 참조하면, 먼저 S10 단계에서 엘리베이터 안전사고 방지 장치는 엘리베이터의 내부 및 외부의 영상을 TOF 카메라로 촬영한다. 이때, TOF 카메라는 엘리베이터 문의 내부 상단에 고정될 수 있다.Referring to FIG. 2, first, in step S10, the elevator safety accident prevention device captures images of the interior and exterior of the elevator with a TOF camera. At this time, the TOF camera may be fixed to the top inside the elevator door.
다음으로 S20 단계에서, 엘리베이터 안전사고 방지 장치는 영상으로부터 엘리베이터 문의 경계를 인식한다. 이때, 엘리베이터 안전사고 방지 장치는 영상으로부터 흑백 이미지를 얻어 검정색과 하얀색의 경계부분을 찾아 점을 찍고, 점의 기울기를 구하여 추세선을 그을 수 있다. 이러한 추세선을 엘리베이터 문의 경계로 인식할 수 있다. 이때, 문의 경계가 좌우 대칭이 아니면, 엘리베이터 안전사고 방지 장치는 문의 경계의 기울기를 추정하여 임의경계를 설정할 수 있다.Next, in step S20, the elevator safety accident prevention device recognizes the boundary of the elevator door from the image. At this time, the elevator safety accident prevention device can obtain a black and white image from the video, find the boundary between black and white, place a point, and draw a trend line by finding the slope of the point. This trend line can be recognized as the boundary of the elevator door. At this time, if the door boundary is not left-right symmetrical, the elevator safety accident prevention device can set an arbitrary boundary by estimating the slope of the door boundary.
다음으로 S30 단계에서, 문의 경계의 주변을 관심영역으로 설정한다. 이때, 관심영역은 엘리베이터 문의 경계 사이, 엘리베이터 문의 틈, 엘리베이터 내외부 등을 일 수 있다.Next, in step S30, the surrounding area of the door boundary is set as the area of interest. At this time, the area of interest may be between the boundaries of the elevator door, a gap in the elevator door, and the inside and outside of the elevator.
다음으로 S40 단계에서, 관심영역 내에 존재하는 객체의 위치 및 거리를 분석한다. 엘리베이터 안전사고 방지 장치는 관심영역 내 픽셀의 거리데이터를 읽을 수 있으며, 기 설정된 거리 이내의 거리데이터를 갖는 픽셀을 분류할 수 있다. 기 설정된 거리 이내의 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 그 영역에 객체가 존재하는 것으로 판단함으로써 객체의 위치를 분석할 수 있다.Next, in step S40, the positions and distances of objects existing within the region of interest are analyzed. The elevator safety accident prevention device can read the distance data of pixels within the area of interest and classify pixels with distance data within a preset distance. If pixels with distance data within a preset distance are concentrated in one area, the location of the object can be analyzed by determining that the object exists in that area.
다음으로 S50 단계에서, 딥러닝 기술을 기반으로 객체의 종류를 분석한다. 이때, 엘리베이터 안전사고 방지 장치는 YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector), 영상 분할(Image Segmentation) 등의 딥러닝 기술을 사용하여 감지된 객체가 사람의 신체 또는 물건인지 분석할 수 있다.Next, in step S50, the type of object is analyzed based on deep learning technology. At this time, the elevator safety accident prevention device uses deep learning technologies such as YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector), and image segmentation to analyze whether the detected object is a human body or an object. You can.
다음으로 S60 단계에서, 문의 경계로부터 문의 개폐상태를 판단하고 객체의 종류, 위치 및 거리에 따라 위험상태를 판단한다. 엘리베이터 안전사고 방지 장치는 문이 열린 상태에서 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 문이 닫힌 상태에서 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단할 수 있다.Next, in step S60, the open/closed state of the door is determined from the boundary of the door, and the dangerous state is determined according to the type, location, and distance of the object. The elevator safety accident prevention device can determine a dangerous state if a human body or object is judged to exist between the boundaries of the door when the door is open, or if a human body is judged to exist between the door boundaries when the door is closed.
마지막으로 S70 단계에서, 위험상태로 판단되는 경우 문의 개폐를 중단한다. 엘리베이터 안전사고 방지 장치는 문이 열린 상태이거나 닫히는 도중에 문의 경계 사이에 사람의 신체 또는 물건이 존재하면 문이 열린 상태를 계속 유지하거나 다시 열리게 제어할 수 있으며, 문이 닫힌 상태이거나 열리는 도중에 사람의 신체가 문의 틈에 존재하는 것으로 판단되면 문이 닫힌 상태를 계속 유지하거나 작동을 중단할 수 있다. 또한, 엘리베이터 안전사고 방지 장치는 위험상태가 아니라고 판단하면 문의 개폐를 정상적으로 가동할 수 있다.Finally, in step S70, if it is judged to be in a dangerous state, the opening and closing of the door is stopped. The elevator safety accident prevention device can control the door to remain open or reopen if a human body or object is present between the boundaries of the door while the door is open or closing, and can control the door to remain open or open again. If it is determined that a gas is present in the door gap, the door may remain closed or may cease operation. Additionally, if the elevator safety accident prevention device determines that the elevator is not in a dangerous state, it can operate the door opening and closing normally.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.Meanwhile, the embodiments disclosed in the specification and drawings are merely provided as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those skilled in the art that in addition to the embodiments disclosed herein, other modifications based on the technical idea of the present invention can be implemented.
100 : 엘리베이터 안전사고 방지 장치
10 : TOF 카메라 모듈
20 : 영상분석부
30 : 판단부
40 : 제어부
50 : 알람부100: Elevator safety accident prevention device
10: TOF camera module
20: Video analysis department
30: judgment unit
40: control unit
50: Alarm unit
Claims (6)
상기 카메라 모듈이 촬영한 영상을 기반으로 상기 엘리베이터 문의 경계를 인식하여 상기 경계의 주변을 관심영역으로 설정하고, 상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하며, 딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 영상분석부;
상기 영상분석부가 인식한 문의 경계로부터 상기 문의 개폐상태를 판단하고, 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 판단부; 및
상기 판단부의 위험상태 판단에 따라 상기 문의 개폐를 제어하는 제어부;
를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.A TOF camera module fixed to the top of the elevator and capturing images of the interior and exterior of the elevator;
Based on the image captured by the camera module, the boundary of the elevator door is recognized and the surrounding area of the boundary is set as an area of interest, and the location and distance of objects existing within the area of interest are based on distance data of pixels within the area of interest. an image analysis unit that analyzes the type of the object based on deep learning technology;
a determination unit that determines the open/closed state of the door from the boundary of the door recognized by the image analysis unit and determines a dangerous state according to the type, location, and distance of the object; and
a control unit that controls opening and closing of the door according to the determination of a dangerous state by the determination unit;
Elevator safety accident prevention device using TOF camera including.
상기 영상분석부는 상기 영상을 컬러 이미지 또는 그레이스케일 이미지로 변환하고 상기 변환한 이미지를 필터링하여 픽셀의 거리데이터를 읽고, 거리데이터가 있는 픽셀이 한 영역에 집중되어 있으면 상기 영역에 객체가 존재하는 것으로 판단하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.According to paragraph 1,
The image analysis unit converts the image into a color image or a grayscale image, filters the converted image, reads the distance data of the pixel, and if the pixels with the distance data are concentrated in one area, it is determined that an object exists in the area. An elevator safety accident prevention device using a TOF camera that is characterized by judging.
상기 영상분석부는 상기 영상의 중앙을 중심으로 좌우 대칭을 이루는 상기 문의 경계를 인식하며, 상기 인식한 문의 경계가 좌우 대칭이 아닌 경우 상기 문의 경계의 기울기를 추정하여 임의경계를 설정하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.According to paragraph 1,
The image analysis unit recognizes the boundary of the door that is symmetrical left and right about the center of the image, and if the recognized boundary of the door is not symmetrical, it sets an arbitrary boundary by estimating the slope of the boundary of the door. Elevator safety accident prevention device using TOF camera.
상기 판단부는 상기 문이 열린 상태에서 상기 문의 경계 사이에 사람의 신체 또는 물건이 존재하거나, 상기 문이 닫힌 상태에서 사람의 신체가 상기 문의 틈에 존재하는 것으로 판단되면 위험상태로 판단하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.According to paragraph 1,
The determination unit determines a dangerous state when it is determined that a human body or object exists between the boundaries of the door when the door is open, or when it is determined that a human body exists between the boundaries of the door when the door is closed. Elevator safety accident prevention device using TOF camera.
상기 판단부가 위험상태로 판단하는 경우 알람을 송출하는 알람부;
를 더 포함하는 것을 특징으로 하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 장치.According to paragraph 1,
an alarm unit that sends out an alarm when the determination unit determines a dangerous state;
An elevator safety accident prevention device using a TOF camera, further comprising:
상기 영상으로부터 상기 엘리베이터 문의 경계를 인식하는 단계;
상기 문의 경계의 주변을 관심영역으로 설정하는 단계;
상기 관심영역 내 픽셀의 거리데이터를 기반으로 상기 관심영역 내에 존재하는 객체의 위치 및 거리를 분석하는 단계;
딥러닝 기술을 기반으로 상기 객체의 종류를 분석하는 단계;
상기 문의 경계로부터 상기 문의 개폐상태를 판단하고 상기 객체의 종류, 위치 및 거리에 따라 위험상태를 판단하는 단계; 및
상기 위험상태로 판단되는 경우 상기 문의 개폐를 중단하는 단계;
를 포함하는 TOF 카메라를 이용한 엘리베이터 안전사고 방지 방법.Taking images of the interior and exterior of the elevator with a TOF camera;
Recognizing the boundary of the elevator door from the image;
Setting the surrounding area of the door boundary as an area of interest;
Analyzing the location and distance of an object existing within the region of interest based on distance data of pixels within the region of interest;
Analyzing the type of the object based on deep learning technology;
determining an open/closed state of the door from the boundary of the door and determining a dangerous state according to the type, location, and distance of the object; and
stopping the opening and closing of the door when the dangerous condition is determined;
Elevator safety accident prevention method using TOF camera including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220181419A KR20240099676A (en) | 2022-12-22 | 2022-12-22 | Elevator safety accident prevention device and method using TOF camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220181419A KR20240099676A (en) | 2022-12-22 | 2022-12-22 | Elevator safety accident prevention device and method using TOF camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240099676A true KR20240099676A (en) | 2024-07-01 |
Family
ID=91944597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220181419A KR20240099676A (en) | 2022-12-22 | 2022-12-22 | Elevator safety accident prevention device and method using TOF camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240099676A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101619274B1 (en) | 2014-09-15 | 2016-05-10 | (주)매직에코 | Smart speaker and sound system using the same |
-
2022
- 2022-12-22 KR KR1020220181419A patent/KR20240099676A/en unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101619274B1 (en) | 2014-09-15 | 2016-05-10 | (주)매직에코 | Smart speaker and sound system using the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6339375B1 (en) | Image monitoring apparatus and image monitoring method | |
EP3192763B1 (en) | Elevator system | |
US10941019B2 (en) | User detection system and image processing device | |
JP6134641B2 (en) | Elevator with image recognition function | |
KR101724658B1 (en) | Human detecting apparatus and method | |
EP2801956B1 (en) | Passenger counter | |
US8660700B2 (en) | Video-based system and method of elevator door detection | |
CN110526058B (en) | Elevator door monitoring system, elevator system and elevator door monitoring method | |
JP5317426B2 (en) | Elevator equipment | |
US20160096509A1 (en) | Vehicle access system | |
EP3527525A1 (en) | Elevator door control system for detection of obstacle trapping | |
US11332345B2 (en) | Elevator system with optimized door response | |
KR101786209B1 (en) | Intelligent camera and System for automatic opening door using Intelligent camera | |
US10183843B2 (en) | Monitoring of step rollers and maintenance mechanics of passenger conveyors | |
JP2007186915A (en) | Power window device | |
JP2007186916A (en) | Window image area detection device and power window device | |
CN103373660A (en) | Elevator anti-pinch device | |
JP2017214191A (en) | Control system of transport apparatus and control method of transport apparatus | |
JP4622416B2 (en) | Elevator door safety device | |
KR102113489B1 (en) | Action Detection System and Method Using Deep Learning with Camera Input Image | |
KR20240099676A (en) | Elevator safety accident prevention device and method using TOF camera | |
KR101761357B1 (en) | System and method for vehicle monitoring | |
KR101407952B1 (en) | Elevator crime prvent system and method of controlling the same | |
CN116729254A (en) | Bus cockpit safe driving behavior monitoring system based on overhead view image | |
KR20100081500A (en) | Infrared sensor system for driving the auto door and infrared sensing method using the same |