KR102504249B1 - 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 승강기 통합 관제 방법 및 시스템 - Google Patents

Abstract

본 개시는 적어도 하나의 프로세서에 의해 수행되는, 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 승강기 통합 관제 방법을 제공한다. 이 방법은 승강기 내부와 연관된 제1 영상을 제1 카메라로부터 수신하는 단계, 승강기가 호출된 층과 연관된 제2 영상을 제2 카메라로부터 수신하는 단계, 제1 영상에 포함된 적어도 하나의 객체에 기초하여, 승강기 내부의 여유 공간을 산출하는 단계, 제2 영상에 포함된 적어도 하나의 객체에 기초하여, 탑승 대기자에 대한 필요 공간을 산출하는 단계, 산출된 필요 공간이 여유 공간을 초과하면, 호출된 층을 승강기가 통과하도록 승강기를 제어하는 단계 및 산출된 필요 공간이 여유 공간 이하이면, 호출된 층에 승강기가 정차하도록 승강기를 제어하는 단계를 포함할 수 있다.

Description

에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 승강기 통합 관제 방법 및 시스템{METHOD AND SYSTEM FOR INTEGRATIVELY CONTROLLING ELEVATOR BASED ON MULTI IMAGE FOR ENERGY EFFICIENCY AND ACCIDENT PREVENTION}

본 개시는 승강기 통합 관제 방법에 관한 것으로, 구체적으로 멀티 영상에 포함된 객체에 기초하여 적어도 하나 또는 다수의 승강기를 통합 관제하는 방법 및 시스템에 관한 것이다.

오늘날 아파트, 빌딩 등에 승강기가 설치되고, 사용자는 승강기를 이용하여 목적지의 층까지 편리하게 이동한다. 이러한 승강기는 탑승 대기자의 호출(CALL) 요청 스위치 신호에 따라 해당층으로 이동 정지하여 탑승 대기자를 목적하는 곳으로 이동하도록 설치되어 있고 또한 정원 수가 미리 설정되어 있다. 또한, 승강기는 정원 수를 초과한 탑승자들이 승강기에 탑승하는 경우에 승강기 문이 닫히지 않고 경보 알람이 출력되도록 설계되어 있다.

통상적으로, 각층마다 외부에 승강기를 호출하기 위한 스위치가 있고 승강기 내부에는 목적층을 선택하는 다수의 스위치가 포함되어 있다. 아울러, 승강기에는 적재 하중을 측정하기 위한 센서가 설치되어 있다. 승강기에 탑재된 컨트롤러는 호출(CALL) 스위치, 층 선택 스위치 등을 이용하여 탑승 대기자 유무를 판단하고, 탑승자가 목적지 층으로 이동할 수 있도록 승강기를 제어한다. 또한, 컨트롤러는 정원 하중 측정 센서를 이용하여 탑승자들의 총 하중을 측정하고, 측정된 총 하중이 허용 하중을 초과하면, 탑승 인원이 정원 수를 초과하는 것으로 판정한다.

그런데 승강기의 호출 스위치의 신호만으로 탑승 대기자의 유무를 판정하는 것과 하중을 기준으로 정원 초과 여부를 판정하는 방식은, 승강기 운영 효율을 저하하는 요인으로 작용한다. 예컨대, 3층의 탑승 대기자가 호출 스위치를 누르고 대기하다가 승강기가 타층 대기자 및 정원과다 등으로 지연도착 예상되어 도보로 이동하게 되는 경우를 고려하자. 이 경우, 탑승 대기자가 없음에도 불구하고 호출 스위치의 신호에 의하여 승강기가 3층에 정차하게 된다. 다른 예로서, 무게가 가볍고 부피가 큰 짐이 승강기에 적재됨에 따라, 승강기의 내부의 여유 공간이 부족한 경우를 고려할 수 있다. 이러한 경우, 승강기 내부의 하중이 허용 하중 이하여서, 특정 방향(예컨대, 아래층 또는 위층)으로 운행하는 승강기의 컨트롤러는 승강기에 탑승자를 추가적으로 탑승할 수 있는 상황인 것으로 판정할 수 있다. 이에 따라, 승강기는 호출 층마다 정차할 수 있으나, 탑승 공간이 부족함으로 인하여 탑승자가 승강기에 추가적으로 탑승할 수가 없을 수 있다.

이렇게 실질적으로 승강기에 탑승 대기자가 없거나 탑승이 불가능한 경우에도 승강기가 호출 층에 정차하는 것은, 승강기에 투입되는 전력을 낭비하는 요인으로 작용하고, 더불어 승강기의 운행 주기도 더욱 길게 하는 문제점으로 작용한다.

이에 따라, 보다 효율적으로 승강기를 관제하여 전력 에너지의 절감과 승강기 운행 개선 기술에 대한 요구(needs)가 발생하고 있다.

본 개시는 상기와 같은 문제점을 해결하기 위한 멀티 영상 기반의 승강기 통합 관제 방법, 기록매체에 저장된 컴퓨터 프로그램 및 장치(시스템)를 제공한다.

본 개시는 방법, 장치(시스템) 및/또는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 포함한 다양한 방식으로 구현될 수 있다.

본 개시의 일 실시예에 따르면, 적어도 하나의 프로세서에 의해 수행되는, 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 승강기 통합 관제 방법은, 승강기 내부와 연관된 제1 영상을 제1 카메라로부터 수신하는 단계, 승강기가 호출된 층과 연관된 제2 영상을 제2 카메라로부터 수신하는 단계, 제1 영상에 포함된 적어도 하나의 객체에 기초하여, 승강기 내부의 여유 공간을 산출하는 단계, 제2 영상에 포함된 적어도 하나의 객체에 기초하여, 탑승 대기자에 대한 필요 공간을 산출하는 단계, 산출된 필요 공간이 여유 공간을 초과하면, 호출된 층을 승강기가 통과하도록 승강기를 제어하는 단계 및 산출된 필요 공간이 여유 공간 이하이면, 호출된 층에 승강기가 정차하도록 승강기를 제어하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 호출된 층을 승강기가 통과하도록 승강기를 제어하는 단계는, 호출된 층에 높은 우선순위를 부여하고, 승강기 또는 타 승강기가 다음 운행 주기에 호출된 층에 멈추도록 승강기 또는 타 승강기를 제어하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 내부의 여유 공간을 산출하는 단계는, 제1 영상에 포함된 적어도 하나의 객체가 점유하는 점유 공간을 산출하는 단계 및 승강기의 수용 공간에 점유 공간이 감산된 크기를 기초로, 승강기 내부의 여유 공간을 산출하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 내부의 여유 공간을 산출하는 단계는, 현재의 시각을 식별하는 단계, 식별된 시각에 상응하는 크기를 수용 공간 스케줄링 정보로부터 획득하는 단계 및 획득된 크기에 기초하여 승강기의 수용 공간으로 결정하는 단계를 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 통합 관제 방법은 제1 영상을 제1 카메라로부터 수신하는 단계 이후에, 승강기의 멈춤을 감지하는 단계, 제1 카메라로부터 승강기가 멈춘 후의 제3 영상을 수신하는 단계, 제3 영상에 포함된 사람 객체와 사물 객체의 이동 상태를 모니터링하는 단계 및 사람 객체와 일부 사물 객체가 승강기 밖으로 이동하고 나머지 사물 객체가 승강기 내에 위치하는 것으로 모니터링되는 경우, 승강기의 문이 닫히는 시간이 미리 결정된 시간만큼 연장되도록 승강기를 제어하는 단계를 더 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 통합 관제 방법은, 제2 영상을 제2 카메라로부터 수신하는 단계 이후에, 제2 영상에 교통 약자와 관련된 이동 보조 객체가 식별되는지 여부를 판정하는 단계, 제2 영상으로부터 이동 보조 객체가 식별된 판정 결과에 응답하여, 호출된 층에 우선 순위를 부여하는 단계 및 우선 순위에 기초하여 승강기 또는 타 승강기가 호출된 층에 멈추도록 제어하는 단계를 더 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 통합 관제 방법은, 제1 영상을 제1 카메라로부터 수신하는 단계 이후에, 제1 영상을 기계학습 모델로 입력하고, 기계학습 모델로부터 분석 결과를 획득하는 단계, 분석 결과가 비상 상황을 탐지하는 것과 관련되면, 승강기 내부의 스피커로 경보음을 출력하는 단계 및 가장 가까운 층에 정차하면서 문이 개방되도록 승강기를 제어하는 단계를 더 포함할 수 있다.

본 개시의 일 실시예에 따르면, 승강기 통합 관제 방법은, 제1 영상을 제1 카메라로부터 수신하는 단계 이후에, 제1 영상으로부터 사람 객체를 식별하는 단계, 승강기의 목적지 층이 설정되었는지 여부를 판정하는 단계 및 목적지 층이 설정되지 않았다는 판정 결과에 응답하여, 층 입력을 요구하는 안내 멘트를 출력하는 단계를 더 포함할 수 있다.

상술한 승강기 통합 관제 방법에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

본 개시의 일 실시예에 따르면, 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 시스템은, 메모리 및 메모리와 연결되고, 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로그램은, 승강기 내부와 연관된 제1 영상을 제1 카메라로부터 수신하고, 승강기가 호출된 층과 연관된 제2 영상을 제2 카메라로부터 수신하고, 제1 영상에 포함된 적어도 하나의 객체에 기초하여, 승강기 내부의 여유 공간을 산출하고, 제2 영상에 포함된 적어도 하나의 객체에 기초하여, 탑승 대기자에 대한 필요 공간을 산출하고, 산출된 필요 공간이 여유 공간을 초과하면, 호출된 층을 승강기가 통과하도록 승강기를 제어하고, 산출된 필요 공간이 여유 공간 이하이면, 호출된 층에 승강기가 정차하도록 승강기를 제어하기 위한 명령어들을 포함할 수 있다.

본 개시의 일부 실시예에 따르면, 멀티 영상에 기초하여, 탑승 대기자를 승강기에서 수용할 수 있을지 여부가 판정될 수 있다. 만약, 승강기의 여유 공간이 부족하여 탑승자가 승강기에 탑승하는 것이 불가능한 경우, 승강기가 호출 층에 정차하지 않고 통과할 수 있다. 이 경우, 통과된 층에 우선 순위를 부여하여, 다음 운행 주기에 통과 층에 승강기가 우선적으로 정차하도록 제어할 수 있다. 이에 따라, 승차가 불가능한 호출 층에 승강기가 정차되는 현상이 최소화되고, 더불어 통과 층에 위치한 탑승 대기자의 대기 시간이 최소화될 수 있다.

본 개시의 일부 실시예에 따르면, 교통 약자에 대한 위치한 층으로 우선적으로 승강기가 정차하여, 교통 약자에 대한 이동권이 보장될 수 있다.

본 개시의 일부 실시예에 따르면, 승강기 내부로부터 짐을 나르는 하차자가 인식되는 경우에, 승강기의 문이 닫히는 시간이 연장될 수 있다. 이에 따라, 하자자는 안정하고 편안하게 승강기 내부의 짐을 승강기 밖으로 운반할 수 있다.

본 개시의 일부 실시예에 따르면, 승강기에서 비상 상황이 감지되면, 알람이 출력되고 승강기가 가장 가까운 층으로 정차한 후 문이 개방되어, 비상 상황으로 인하여 발생될 수 있는 인적 및 물적 피해가 최소화될 수 있다.

본 개시의 일부 실시예에 따르면, 승강기에서 층을 누르지 않은 사용자에게 안내 멘트가 제공되어, 승강기 사용에 대한 편의성이 향상될 수 있다.

본 개시의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자('통상의 기술자'라 함)에게 명확하게 이해될 수 있을 것이다.

본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른, 정보 처리 시스템이 적용되는 시스템 환경을 개략적으로 설명하기 위한 개요도이다.
도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템의 내부 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 프로세서의 내부 구성을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른, 멀티 영상에 기초하여 승강기를 제어하는 방법을 설명하는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른, 멀티 영상에 기초하여 승강기 문의 개방 시간을 제어하는 방법을 설명하는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른, 기계학습 모델이 학습되는 과정을 예시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른, 기계학습 모델에 포함된 인공신경망 모델을 예시하는 도면이다.
도 8은 본 개시의 일 실시예에 따른, 영상에 기초하여 비상 상황을 감지하여 후속 조치를 수행하는 방법을 설명하는 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른, 영상에 기초하여 안내 멘트를 출력하는 방법을 설명하는 위한 도면이다.

이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.

첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 통상의 기술자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. 본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한, 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.

또한, 명세서에서 사용되는 '모듈' 또는 '부'라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, '모듈' 또는 '부'는 어떤 역할들을 수행한다. 그렇지만, '모듈' 또는 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '모듈' 또는 '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, '모듈' 또는 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 또는 변수들 중 적어도 하나를 포함할 수 있다. 구성요소들과 '모듈' 또는 '부'들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '모듈' 또는 '부'들로 결합되거나 추가적인 구성요소들과 '모듈' 또는 '부'들로 더 분리될 수 있다.

본 개시의 일 실시예에 따르면, '모듈' 또는 '부'는 프로세서 및 메모리로 구현될 수 있다. '프로세서'는 범용 프로세서, 중앙 처리 장치(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서, '프로세서'는 주문형 반도체(ASIC), 프로그램가능 로직 디바이스(PLD), 필드 프로그램가능 게이트 어레이(FPGA) 등을 지칭할 수도 있다. '프로세서'는, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다. 또한, '메모리'는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. '메모리'는 임의 액세스 메모리(RAM), 판독-전용 메모리(ROM), 비-휘발성 임의 액세스 메모리(NVRAM), 프로그램가능 판독-전용 메모리(PROM), 소거-프로그램가능 판독 전용 메모리(EPROM), 전기적으로 소거가능 PROM(EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.

본 개시에서, '시스템'은 서버 장치와 클라우드 장치 중 적어도 하나의 장치를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 시스템은 하나 이상의 서버 장치로 구성될 수 있다. 다른 예로서, 시스템은 하나 이상의 클라우드 장치로 구성될 수 있다. 또 다른 예로서, 시스템은 서버 장치와 클라우드 장치가 함께 구성되어 동작될 수 있다.

또한, 이하의 실시예들에서 사용되는 제1, 제2, A, B, (a), (b) 등의 용어는 어떤 구성요소를 다른 구성요소와 구별하기 위해 사용되는 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지는 않는다.

본 개시에서, '복수의 A 각각'은 복수의 A에 포함된 모든 구성 요소의 각각을 지칭하거나, 복수의 A에 포함된 일부 구성 요소의 각각을 지칭할 수 있다.

또한, 이하의 실시예들에서, 어떤 구성요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 '연결', '결합' 또는 '접속'될 수도 있다고 이해되어야 한다.

또한, 이하의 실시예들에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

본 개시의 다양한 실시예들을 설명하기에 앞서, 사용되는 용어에 대하여 설명하기로 하기로 한다.

본 개시의 실시예들에서, '운항 주기'는 승강기가 방향이 바뀌기 전 또는 승강기 이동이 멈추기까지의 출발 층에서부터 목적지 층까지의 이동 시간일 수 있다. 예컨대, 꼭대기층에서부터 최저층까지 이동하기까지의 승강기의 이동 시간이 하나의 운항 주기일 수 있다. 다른 예로서, 최저층에서부터 꼭대기층까지 승강기의 이동 시간이 운항 주기일 수 있다. 또 다른 예로서, 제1 층에서 제2 층까지 이동한 후 승강기가 더 이상 운행하지 않고 멈춘 경우에, 제1 층에서부터 제2 층까지의 이동 시간이 승강기의 운항 주기일 수 있다. 운항 주기는 호출 층 및/또는 목적지 층에 기초하여 동적으로 결정될 수 있다.

본 개시의 실시예들에서, '객체(object)'는 영상 내에서 물건 및/또는 동물일 수 있다. 객체는 위치 이동이 감지된 물건 및/또는 동물과 관련될 수 있다. 예컨대, 객체는 사람 객체, 반려 동물 객체, 사물 객체 등을 포함할 수 있다.

이하, 본 개시의 다양한 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

도 1은 본 개시의 일 실시예에 따른, 정보 처리 시스템(110)이 적용되는 시스템 환경을 개략적으로 설명하기 위한 개요도이다. 도 1에 예시된 바와 같이, 각각의 승강기(130, 140, 150)에는 내부 카메라(132, 142, 152)가 설치되어, 내부 카메라(132, 142, 152)는 승강기 내부의 영상을 실시간으로 촬영할 수 있다. 또한, 각각의 승강기(130, 140, 150)는 컨트롤러(도면에 도시되지 않음)를 포함할 수 있으며, 컨트롤러가 승강기 운행과 관련된 승강기 제어를 수행할 수 있다. 일 실시예에 따르면, 각각의 승강기(130, 140, 150)에 포함된 승강기 컨트롤러는 정보 처리 시스템(110)과 통신할 수 있으며, 정보 처리 시스템(110)의 제어에 기초하여, 승강기(130, 140, 150)가 제어될 수 있다.

승강기 출입문 주변에는 승강기(130, 140, 150)를 호출할 수 있는 호출 버튼(134, 144, 154)이 설치될 수 있다. 즉, 각 층에는 호출 버튼(134, 144, 154)이 벽면에 설치될 수 있다. 호출 버튼(134, 144, 154)은 상 방향 버튼 및/또는 하 방향 버튼을 포함할 수 있다. 또한, 호출 버튼(134, 144, 154)는 호출 스위치를 포함할 수 있으며, 호출 스위치는 호출 버튼(134, 144, 154)이 눌러지면 호출 신호를 발생시킬 수 있다.

일 실시예에 따르면, 호출 버튼(134, 144, 154) 주변에는 적어도 하나의 외부 카메라(120)가 설치될 수 있다. 즉, 각각의 층별로 적어도 하나의 외부 카메라(120)가 설치되어, 출입구 주변의 영상을 촬영할 수 있다. 외부 카메라(120)가 촬영한 영상에는 승강기를 기다리는 탑승 대기자가 포함될 수 있다. 일 실시예에 따르면, 해당 층에서의 호출 버튼(134, 144, 154)이 활성화(즉, 버튼이 눌러지면)되면, 동일한 층에 위치한 외부 카메라(120)는 출입문 주변의 영상을 촬영하여 정보 처리 시스템(110)으로 전송할 수 있다.

정보 처리 시스템(110)은 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 시스템일 수 있다. 정보 처리 시스템(110)은 각각의 카메라(120, 130, 140, 150)로부터 수신된 멀티 영상에 기초하여, 각각의 승강기(130, 140, 150)를 통합 관제할 수 있다. 일 실시예에 따르면, 정보 처리 시스템(110)은 승강기 내부에 설치된 내부 카메라(132, 142, 152) 및 승강기 탑승 구역 주변에 설치된 외부 카메라(120) 각각으로부터 영상을 수신할 수 있다. 일 실시예에 따르면, 정보 처리 시스템(110)은 내부 카메라(132, 142, 152)로부터 수신된 영상에 기초하여 승강기 내부의 여유 공간을 산출할 수 있다. 또한, 정보 처리 시스템(110)은 외부 카메라(120)로부터 수신한 영상에 기초하여, 호출 층에 위치한 탑승 대기자를 위한 필요 공간을 산출할 수 있다. 여유 공간 및 필요 공간을 탑승하는 구체적인 방법에 대해서 도 4를 참조하여 보다 구체적으로 설명하기로 한다.

정보 처리 시스템(110)은 여유 공간과 필요 공간에 기초하여, 승강기를 호출 층에 정차시킬지 여부를 결정할 수 있다. 일 실시예에 따르면, 정보 처리 시스템(110)은 필요 공간이 여유 공간을 초과하면, 승강기(130, 140, 150)가 호출 층에 정차하지 않고 통과하도록 승강기(130, 140, 150)를 제어할 수 있다. 반면에, 정보 처리 시스템(110)은 필요 공간이 여유 공간 이하이면, 승강기(130, 140, 150)가 호출 층에 정차하도록 승강기(130, 140, 150)를 제어할 수 있다.

추가적으로, 정보 처리 시스템(110)은 멀티 영상에 기반하여, 승강기 문이 닫히는 시간을 제어할 수 있고, 승강기 내부에서의 비상 상황을 감지할 수 있다.

이하, 내부 카메라(132, 142, 152)가 촬영한 영상을 '제1 영상'이라고 지칭하고, 외부 카메라(120)가 촬영한 영상을 '제2 영상'이라고 지칭하기로 한다.

도 2는 본 개시의 일 실시예에 따른 정보 처리 시스템(110)의 내부 구성을 나타내는 블록도이다. 정보 처리 시스템(110)은 메모리(210), 프로세서(220), 통신 모듈(230) 및 입출력 인터페이스(240)를 포함할 수 있다. 도 2에 도시된 바와 같이, 정보 처리 시스템(110)은 통신 모듈(230)을 이용하여 네트워크를 통해 정보 및/또는 데이터를 통신할 수 있도록 구성될 수 있다.

메모리(210)는 비-일시적인 임의의 컴퓨터 판독 가능한 기록매체를 포함할 수 있다. 일 실시예에 따르면, 메모리(210)는 ROM(read only memory), 디스크 드라이브, SSD(solid state drive), 플래시 메모리(flash memory) 등과 같은 비소멸성 대용량 저장 장치(permanent mass storage device)를 포함할 수 있다. 다른 예로서, ROM, SSD, 플래시 메모리, 디스크 드라이브 등과 같은 비소멸성 대용량 저장 장치는 메모리와는 구분되는 별도의 영구 저장 장치로서 정보 처리 시스템(110)에 포함될 수 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드(예를 들어, 정보 처리 시스템(110)에 설치되어 구동되는 승강기의 통합 관제를 위한 코드 등)가 저장될 수 있다. 도 2에서, 메모리(210)는 단일 메모리인 것으로 도시되었지만, 이는 설명의 편의를 위한 것일 뿐이며, 메모리(210)는 복수의 메모리를 포함할 수 있다.

이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 이러한 정보 처리 시스템(110)에 직접 연결가능한 기록 매체를 포함할 수 있는데, 예를 들어, 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 예로서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 모듈(230)을 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 애플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 통신 모듈(230)을 통해 제공하는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 메모리(210)에 로딩될 수 있다.

프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 모듈(230)에 의해 사용자 단말 또는 다른 외부 시스템으로 제공될 수 있다. 예를 들어, 프로세서(220)는 복수의 카메라로부터 수신된 멀티 영상을 기반으로 적어도 하나의 승강기를 관제할 수 있다. 여기서, 멀티 영상은 제1 영상 및/또는 제2 영상을 포함할 수 있다.

통신 모듈(230)은 네트워크를 통해 사용자 단말과 정보 처리 시스템(110)이 서로 통신하기 위한 구성 또는 기능을 제공할 수 있으며, 정보 처리 시스템(110)이 외부 시스템(일례로 별도의 클라우드 시스템 등)과 통신하기 위한 구성 또는 기능을 제공할 수 있다. 일례로, 정보 처리 시스템(110)의 프로세서(220)의 제어에 따라 제공되는 제어 신호, 명령, 데이터 등이 통신 모듈(230)과 네트워크를 거쳐 사용자 단말 및/또는 외부 시스템의 통신 모듈을 통해 사용자 단말 및/또는 외부 시스템으로 전송될 수 있다.

또한, 정보 처리 시스템(110)의 입출력 인터페이스(240)는 정보 처리 시스템(110)과 연결되거나 정보 처리 시스템(110)이 포함할 수 있는 입력 또는 출력을 위한 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 예를 들면, 입출력 인터페이스(240)는 PCI express 인터페이스, 이더넷(ethernet) 인터페이스 중 적어도 하나를 포함할 수 있다. 도 2에서는 입출력 인터페이스(240)가 프로세서(220)와 별도로 구성된 요소로서 도시되었으나, 이에 한정되지 않으며, 입출력 인터페이스(240)가 프로세서(220)에 포함되도록 구성될 수 있다. 정보 처리 시스템(110)은 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수 있다.

도 3은 본 개시의 일 실시예에 따른, 프로세서(220)의 내부 구성을 나타내는 도면이다. 도 3에 도시된 바와 같이, 프로세서(220)는 객체 식별부(310), 공간 산출부(320), 비상 상황 판정부(330) 및 승강기 제어부(340)를 포함할 수 있다.

객체 식별부(310)는 카메라로부터 수신된 영상으로부터 사람 객체, 반려 동물 객체 및/또는 사물 객체를 식별할 수 있다. 일 실시예에 따르면, 객체 식별부(310)는 객체 인식을 위한 기계학습 모델을 이용하여, 영상에 포함된 사람 객체, 사물 객체 및/또는 반려 동물 객체를 식별할 수 있다. 여기서, 객체 인식을 위한 기계학습 모델은 공지된 인공지능 모델이 이용될 수 있다. 추가적으로 또는 대안적으로, 객체 식별부(310)는 사람 형상과 관련된 견본 이미지, 사물 객체와 관련된 견본 이미지 및 반려 동물과 관련된 견본 이미지에 기초하여, 영상에 포함된 사람 객체, 사물 객체 및/또는 반려 동물 객체를 식별할 수 있다. 이때, 객체 식별부(310)는 영상으로부터 추출된 객체와 견본 이미지와의 일치율이 임계값을 초과하는 경우에, 추출된 객체를 해당 견본 이미지와 연관된 유형의 객체로서 식별할 수 있다.

일 실시예에 따르면, 객체 식별부(310)는 카메라로부터 수신된 영상으로부터 이동 보조 객체를 식별할 수 있다. 여기서, 이동 보조 객체는 유모차, 휠체어 등과 같이, 사람의 이동을 보조하는 기구일 수 있다.

또한, 객체 식별부(310)는 제2 영상 전체 영역을 대상으로 객체를 식별하지 않고, 제2 영상의 전체 영역 중에서 미리 설정된 서브 영역에 위치한 객체를 식별할 수 있다. 예를 들어, 승강기 출입문을 기준으로 미리 결정된 거리 이내에 포함된 영역을 서브 영역으로 설정될 수 있고, 객체 식별부(310)는 서브 영역에 해당하는 일부 영상을 분석하여, 적어도 하나의 객체를 식별할 수 있다. 본 실시예에 따르면, 서브 영역에 위치한 사용자가 승강기를 탑승하고자 하는 탑승자로서 식별될 수 있고, 서브 영역 이외에 영역에 위치한 사용자들은 승강기에 대한 탑승 의지가 없는 사용자로서 여겨질 수 있다.

공간 산출부(320)는 객체 식별부(310)에서 영상에서 사람 객체, 사물 객체, 반려동물 객체 또는 이동 보조 객체 중 적어도 하나를 식별한 경우, 해당 객체가 점유하는 공간을 산출할 수 있다. 여기서, 공간은 2차원 면적일 수 있다. 일 실시예에서, 공간 산출부(320)는 해당 객체가 인식되는 가로폭과 세로폭에 기초하여 객체의 점유 공간을 산출할 수 있다. 일부 실시예에서, 공간 산출부(320)는, 객체 유형에 기초하여 산출된 점유 공간에 가중치를 적용할 수 있다. 예컨대, 공간 산출부(320)는 식별된 제1 객체가 사람 객체이고, 제1 객체의 크기가 제1 크기인 경우, 제1 크기에 제1 가중치를 적용할 있다. 다른 예로서, 공간 산출부(320)는 식별된 제2 객체가 사물 객체이고, 제2 객체의 크기가 제2 크기인 경우, 제2 크기에 제2 가중치를 적용할 있다. 다른 예로서, 공간 산출부(320)는 식별된 제3 객체가 애완동물 객체이고, 제3 객체의 크기가 제3 크기인 경우, 제3 크기에 제3 가중치를 적용할 있다.

일 실시예에 따르면, 내부 카메라가 촬영한 제1 영상으로부터 적어도 하나의 객체가 식별된 경우, 공간 산출부(320)는 제1 영상으로부터 식별된 각 객체의 점유 공간을 산출하고, 미리 설정된 승강기의 수용 공간에 산출된 각 객체의 점유 공간의 총 합을 감산한 후, 감산된 공간 크기에 기초하여 승강기의 여유 공간을 산출할 수 있다. 또한, 외부 카메라가 촬영한 제2 영상으로부터 적어도 하나의 객체가 식별된 경우, 공간 산출부(320)는 제2 영상으로부터 식별된 각 객체의 점유 공간을 산출하고, 산출된 각 객체의 점유 공간을 총 합에 기초하여, 탑승 대기자에게 필요한 필요 공간을 산출할 수 있다.

일 실시예에 따르면, 수용 공간은 시간대별로 상이하게 설정될 수 있다. 이렇게 시간대에 따라 상이하게 설정된 수용 공간 스케줄링 정보가 정보 처리 시스템에 저장될 수 있다. 수용 공간 스케줄 정보는 관리자에 의해서 작성될 수 있다. 예컨대, 유동 인구가 적은 시간대에는 좀 더 여유롭게 사용자들이 승강기에 탑승할 수 있도록 수용 공간이 좁게 설정될 수 있고, 유동 인구가 많은 시간대에는 많은 사람을 탑승시키기 위해 수용 공간이 넓게 설정될 수 있다. 다른 예로서, 감염병이 유행하는 시기에는 보다 적은 수의 사람들이 탑승할 수 있도록 수용 공간이 좁게 설정될 수 있다. 이렇게 수용 공간 스케줄링 정보가 저장된 경우, 공간 산출부(320)는 현재 시각을 식별하고, 식별된 시각에 상응하는 크기를 수용 공간 스케줄링 정보로부터 획득하고, 획득된 크기를 승강기의 수용 공간으로 결정할 수 있다.

비상 상황 판정부(330)는 제1 영상에 기초하여, 승강기 내부에 비상 상황이 발생하였는지 여부를 판정할 수 있다. 일 실시예에 따르면, 비상 상황 판정부(330)는 비상상황을 판정하기 위한 기계학습 모델을 이용하여, 승강기 내부에 비상 상황이 발생하였는지 여부를 판정할 수 있다. 비상상황 판정에 이용되는 기계학습 모델에 대해서는 도 6 및 도 7을 참조하여 후술하기로 한다.

승강기 제어부(340)는 제1 영상 및/또는 제2 영상을 기초하여, 적어도 하나의 승강기를 제어할 수 있다. 일 실시예에 따르면, 승강기 제어부(340)는 공간 산출부(320)에서 산출된 탑승 대기자를 위한 필요 공간과 승강기 내부의 여유 공간에 기초하여, 호출된 층에 승강기를 정차할지 여부를 결정할 수 있다. 즉, 승강기 제어부(340)는 필요 공간이 여유 공간을 초과하면, 승강기가 호출 층에 정차하지 않고 통과하도록 승강기를 제어할 수 있다. 반면에, 승강기 제어부(340)는 필요 공간이 여유 공간 이하이면, 승강기가 호출 층에 정차하도록 승강기를 제어할 수 있다.

일 실시예에 따르면, 승강기 제어부(340)는 호출된 층에 통과하도록 승강기를 제어하는 경우, 호출된 층에 높은 우선순위를 부여하고, 승강기 또는 타 승강기가 다음 운행 주기에 호출된 층에 멈추도록 승강기 또는 타 승강기를 제어할 수 있다. 여기서, 타 승강기는 호출된 층을 통과한 승강기와 상이한 승강기일 수 있다.

일 실시예에 따르면, 비상 상황 판정부(330)를 통해서 비상 상황이 발생한 것으로 판정되는 경우, 승강기 제어부(340)는 승강기 내부에 설치된 스피커로 경보음을 출력할 수 있다. 또한, 비상 상황이 감지된 시점에 승강기가 이동중인 경우, 승강기 제어부(340)는 가장 가까운 층으로 이동하여 정차한 후, 승강기의 문이 개방되도록 승강기를 제어할 수 있다. 한편, 비상 상황이 감지된 시점에 승강기가 정차중인 경우, 승강기 제어부(340)는 승강기의 문이 개방되도록 승강기를 제어할 수 있다. 추가적으로, 승강기 제어부(340)는 지정된 기관(예컨대, 관리사무소 또는 경찰서 등)로 비상 상황을 알리는 메시지를 전송하고, 내부 카메라를 통해 촬영된 실시간 제1 영상을 해당 기관으로 전송할 수 있다.

또한, 승강기 제어부(340)는 승강기의 멈춤이 감지되고 승강기 내부에 사물 객체와 사람 객체가 인식된 상태에서, 사람 객체와 일부 사물 객체가 승강기 밖으로 이동하고 나머지 사물 객체가 승강기 내에 위치하는 것으로 모니터링되는 경우, 승강기의 문이 닫히는 시간을 미리 결정된 시간만큼 연장되도록 승강기를 제어할 수 있다.

일 실시예에 따르면, 승강기 제어부(340)는 제2 영상으로부터 교통 약자와 관련된 이동 보조 객체가 식별되는 경우, 호출된 층에 우선 순위를 부여하고, 이렇게 부여된 우선 순위에 기초하여 승강기가 호출된 층에 멈추도록 제어할 수 있다. 또한, 승강기 제어부(340)는 제1 영상으로부터 사람 객체가 식별되었으나, 승강기의 목적지 층이 설정되지 않은 경우, 층 입력을 요구하는 안내 멘트를 승강기 내부의 스피커로 출력할 수 있다.

도 4 내지 도 9을 참조하여, 본 개시의 다양한 실시예와 관련된 방법을 설명하기로 한다. 도 4, 도 5, 도 8 및 도 9에 도시된 방법은, 본 개시의 목적을 달성하기 위한 일 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 4, 도 5, 도 8 및 도 9에 도시된 방법은, 도 2에 도시된 정보 처리 시스템에 포함된 적어도 하나의 프로세서에 의해서 수행될 수 있다. 설명의 편의를 위해서 도 2에 도시된 정보 처리 시스템에 포함된 프로세서에 의해서, 도 4, 도 5, 도 8 및 도 9에 도시된 각 단계가 수행되는 것으로 설명하기로 한다.

도 4는 본 개시의 일 실시예에 따른, 멀티 영상에 기초하여 승강기를 제어하는 방법(400)을 설명하는 흐름도이다. 프로세서는 승강기 내부에 설치된 내부 카메라를 통해서 제1 영상을 수신할 수 있다(S410). 또한, 프로세서는 특정 층의 호출 버튼이 활성화되면, 호출 버튼 주변에 설치된 외부 카메라를 통해서 제2 영상을 수신할 수 있다(S420).

그 후, 프로세서는 제1 영상으로부터 적어도 하나의 객체가 식별된 경우, 제1 영상으로부터 식별된 각 객체의 점유 공간을 산출하고, 미리 설정된 승강기의 수용 공간에 각 객체의 점유 공간의 총 합을 감산한 후, 감산된 공간 크기에 기초하여 승강기의 여유 공간을 산출할 수 있다(S430). 일 실시예에서, 프로세서는 현재 시각의 식별하고, 식별된 시각에 상응하는 크기를 수용 공간 스케줄링 정보로부터 획득하고, 획득된 크기를 승강기의 수용 공간으로 결정할 수 있다.

다음으로, 프로세서는 제2 영상으로부터 적어도 하나의 객체가 식별된 경우, 공간 산출부(320)는 제2 영상으로부터 식별된 각 객체의 점유 공간을 산출하고, 산출된 각 객체의 점유 공간을 총 합에 기초하여, 탑승 대기자에게 필요한 필요 공간을 산출할 수 있다(S440). 제1 영상 및/또는 제2 영상으로부터 식별된 객체는, 사람 객체, 사물 객체, 이동보조 수단과 관련된 객체 또는 애완동물 객체 중 적어도 하나일 수 있다. 예를 들어, 제2 영상으로부터 사람 객체와 사물 객체가 식별되는 경우, 공간 산출부(320)는 사람 객체가 점유하는 제1 공간과 사물 객체가 점유하는 제2 공간을 산출한 후, 제1 공간과 제2 공간인 합산된 크기를 필요 공간의 크기로서 결정할 수 있다.

그 후, 프로세서는 필요 공간이 여유 공간을 초과하는지 여부를 판정할 수 있다(S450). 프로세서는 필요 공간이 여유 공간을 초과하면, 승강기가 호출 층에 정차하지 않고 통과하도록 승강기를 제어할 수 있다(S460). 일 실시예에 따르면, 프로세서는 호출된 층에 통과하도록 승강기를 제어하는 경우, 호출된 층에 높은 우선순위를 부여하고, 승강기 또는 타 승강기가 다음 운행 주기에 호출된 층에 멈추도록 승강기 또는 타 승강기를 제어할 수 있다. 여기서, 타 승강기는 호출된 층을 통과한 승강기와 상이한 승강기일 수 있다.

반면에, 프로세서는 필요 공간이 여유 공간 이하이면, 승강기가 호출 층에 정차하도록 승강기를 제어할 수 있다(S470).

한편, 프로세서는 승강기가 호출 층에 정차하기로 결정되면, 제2 영상으로부터 탑승 대기자와 연관된 객체가 계속적으로 식별되는지 여부를 모니터링할 수 있다. 프로세스는 제2 영상으로부터 탑승 대기자와 연관된 객체가 계속적으로 식별되는 경우에, 승강기가 호출 층에 정차하도록 제어할 수 있다. 반면에, 프로세서는 제2 영상으로부터 탑승 대기자와 연관된 객체가 식별되지 않으면, 탑승 대기자가 이탈한 것으로 판정하여 승강기가 호출 층에 무정차되도록 제어할 수 있다. 이 경우, 프로세서는 호출 버튼이 리셋(즉, 비활성화)되도록 제어할 수 있다.

본 실시예에 따르면, 탑승 대기자가 승강기에 탑승할 수 있는지 여부 및 탑승 대기자의 존재 유무가 정확하게 판정되어, 불필요하게 호출 층에 승강기 정차되는 현상이 최소화될 수 있다.

도 5는 본 개시의 일 실시예에 따른, 멀티 영상에 기초하여 승강기 문의 개방 시간을 제어하는 방법(500)을 설명하는 흐름도이다. 도 5에 예시된 방법은 승강기에 사람과 사물(예컨대, 짐)이 모두 승차한 경우에 대해서 진행될 수 있다.

도 5를 참조하면, 프로세서는 사용자가 탑승하여 승강기 운행이 개시되면, 제1 영상에 기초하여 승강기 내부에 포함된 적어도 하나의 사물 개체와 사람 객체를 식별할 수 있다(S510). 그 후, 프로세스는 사용자가 입력한 목적지 층에 정차하도록 승강기를 제어할 수 있다(S520). 이어서, 프로세서는 문을 개방하고, 미리 설정된 승강기 문의 개방 시간을 카운팅할 수 있다.

프로세스는 승강기에 설치된 내부 카메라로부터 제3 영상을 수신하고, 이 제3 영상으로부터 사람 객체와 사물 객체의 이동을 추적할 수 있다. 프로세스는 제3 영상으로부터 통해서 추적된 객체의 이동 동선에 기초하여, 사람 객체와 사물 객체가 문 밖으로 이동(즉, 하차)하는 것을 감지할 수 있다(S530).

프로세서는 사람 객체가 승강기에 위치하지 않은 상태에서, 승강기 내에 사물 객체가 위치하는 있는지 여부를 판정할 수 있다(S540). 즉, 프로세서는 제3 영상에 기초하여 일부 물건(즉, 사물 객체)가 승강기 내에 남겨둔 상태에서, 탑승자가 일부 물건(즉, 사물 객체)을 문 밖으로 이동하였는지 여부를 판정할 수 있다.

프로세서는 사람 객체와 사물 객체 모두가 승강기 내에 위치하지 않으면, 카운트가 종료된 후에 승강기의 문이 닫히도록 제어할 수 있다.

반면에, 프로세서는 사물 객체가 승강기 내에 위치하는 것으로 판정되는 경우, 승강기 문의 개방 시간을 미리 결정된 시간만큼 연장할 수 있다(S550). 예를 들어, 사람 객체, 제1 사물 객체 및 제2 사물 객체가 제3 영상으로부터 식별된 상태에서, 사람 객체와 제1 사물 객체가 문 밖으로 이동하고, 제2 사물 객체가 승강기 내에 위치하는 경우, 프로세스는 승강기 문의 개방 시간을 미리 결정된 시간만큼 연장할 수 있다.

본 실시예에 따르면, 사용자가 많은 짐을 승강기를 통해서 특정 층으로 운반하는 경우에, 문이 빨리 닫혀 물건을 모두 하차하지 못하는 상황이 최소화될 수 있다.

도 6은 본 개시의 일 실시예에 따른, 기계학습 모델(610)이 학습되는 과정을 예시하는 도면이다. 도 6에 예시된 기계학습 모델(610)은 승강기에서 발생하는 비상 상황을 판정하기 위한 모델일 수 있다. 여기서, 비상 상황은 폭행, 납치, 위협, 승강기 훼손 등과 같이, 범죄와 관련된 상황일 수 있다.

일 실시예에 따르면, 학습용 데이터 세트(620)가 준비될 수 있다. 학습용 데이터 세트(620)는 복수의 학습용 데이터를 포함하고, 개별 학습용 데이터는 학습용 영상과 정답 값을 포함될 수 있다. 여기서, 정답 값은 비상 상황과 관련된 지수일 수 있으며, 지수는 수치로서 표현될 수 있다. 각각의 지수는 학습용 영상을 분석한 분석자에 의해서 라벨링(즉, 태킹)되어 학습용 데이터에 포함될 수 있다.

학습용 데이터 세트에 포함된 어느 하나의 학습용 데이터 세트가 기계학습 모델(610)에 입력되고, 기계학습 모델(610)로부터 판정 결과가 출력될 수 있다. 판정 결과는 비상 상황과 관련된 지수를 포함할 수 있다.

판정 결과에 포함된 지수와 정답 값에 포함된 지수 간의 손실(loss) 값이 산출되어 기계학습 모델(610)로 피드백될 수 있다. 일 실시예에서, 손실 값은 정답 값에 포함된 지수와 판정 결과에 포함된 지수 간에 산술적인 차이로서 산출될 수 있다. 다른 실시예에서, 판정 결과(630)와 정답 값(640) 간의 손실 값을 산출하기 위한 다양한 함수가 이용될 수 있다.

손실 값이 기계학습 모델(610)에 반영되면, 기계학습 모델(610)에 포함된 가중치가 조정될 수 있다. 이러한 학습은 학습용 데이터셋에 포함된 데이터의 개수만큼 반복적으로 수행될 수 있다.

도 7은 본 개시의 일 실시예에 따른, 기계학습 모델에 포함된 인공신경망 모델(700)을 예시하는 도면이다. 인공신경망 모델(700)은, 기계학습 모델의 일 예로서, 기계학습(Machine Learning) 기술과 인지과학에서, 생물학적 신경망의 구조에 기초하여 구현된 통계학적 학습 알고리즘 또는 그 알고리즘을 실행하는 구조이다.

일 실시예에 따르면, 인공신경망 모델(700)은, 생물학적 신경망에서와 같이 시냅스의 결합으로 네트워크를 형성한 인공 뉴런인 노드(Node)들이 시냅스의 가중치를 반복적으로 조정하여, 특정 입력에 대응한 올바른 출력과 추론된 출력 사이의 오차가 감소되도록 학습함으로써, 문제 해결 능력을 가지는 기계학습 모델을 나타낼 수 있다. 예를 들어, 인공신경망 모델(700)은 기계학습, 딥러닝 등의 인공지능 학습법에 사용되는 임의의 확률 모델, 뉴럴 네트워크 모델 등을 포함할 수 있다.

상술한 기계학습 모델은 인공신경망 모델(700)의 형태로 구현될 수 있다. 일 실시예에 따르면, 인공신경망 모델(700)은 입력된 영상을 분석하여 비상 상황을 발생하였는지 여부를 판정하도록 학습될 수 있다.

인공신경망 모델(700)은 다층의 노드들과 이들 사이의 연결로 구성된 다층 퍼셉트론(MLP: multilayer perceptron)으로 구현될 수 있다. 본 실시예에 따른 인공신경망 모델(700)은 MLP를 포함하는 다양한 인공신경망 모델 구조들 중의 하나를 이용하여 구현될 수 있다. 인공신경망 모델(700)은, 외부로부터 입력 신호 또는 데이터를 수신하는 입력층, 입력 데이터에 대응한 출력 신호 또는 데이터를 출력하는 출력층, 입력층과 출력층 사이에 위치하며 입력층으로부터 신호를 받아 특성을 추출하여 출력층으로 전달하는 n개(여기서, n은 양의 정수)의 은닉층으로 구성된다.

인공신경망 모델(700)의 입력층과 출력층에 복수의 입력변수와 대응되는 복수의 출력변수가 각각 매칭되고, 입력층, 은닉층 및 출력층에 포함된 노드들 사이의 시냅스 값이 조정됨으로써, 특정 입력에 대응한 올바른 출력이 추출될 수 있도록 학습될 수 있다. 학습용 데이터 세트에 포함된 데이터를 기초로 인공신경망 모델(700)이 반복적으로 학습되면, 입력변수에 기초하여 계산된 출력변수와 목표 출력 간의 오차가 줄어들도록 인공신경망 모델(700)의 노드들 사이의 시냅스 값(또는 가중치)를 조정되어, 최적의 값으로 수렴될 수 있다.

상술한 바와 같이, 기계학습 모델에 대해서 충분한 양의 학습이 수행되면, 정확한 예측 결과(즉, 비상 상황과 관련된 판정 결과)가 기계학습 모델을 통해서 출력될 수 있다.

도 8은 본 개시의 일 실시예에 따른, 영상에 기초하여 비상 상황을 감지하여 후속 조치를 수행하는 방법(800)을 설명하는 위한 도면이다. 도 8을 참조하면, 프로세서는 승강기 내부에 설치된 내부 카메라를 이용하여 제4 영상을 수신할 수 있다(S810).

이어서, 프로세서는 제4 영상을 기계학습 모델로 입력할 수 있다(S820). 그 후, 프로세서는 기계학습 모델로부터 출력되는 비상 상황에 대한 판정 결과를 획득할 수 있다(S830).

다음으로, 프로세서는 기계학습 모델로부터 획득된 판정 결과가 비상 상황과 관련된 결과인지를 판정할 수 있다(S840). 판정 결과에 비상 상황과 관련된 지수가 포함된 경우, 프로세서는 해당 지수가 임계 지수를 초과하는 경우에, 판정 결과가 비상 상황과 관련된 결과인 것으로 판정할 수 있다.

프로세서는 판정 결과가 비상 상황과 관련된 결과라는 판정에 응답하여, 승강기 내부에 설치된 스피커로 경보음을 출력할 수 있다(S850). 또한, 비상 상황이 감지된 시점에 승강기가 이동중인 경우, 프로세서는 가장 가까운 층으로 이동하여 정차한 후, 승강기의 문이 개방되도록 승강기를 제어할 수 있다(S860).

한편, 비상 상황이 감지된 시점에 승강기가 정차중인 경우, 프로세서는 승강기의 문이 개방되도록 승강기를 제어할 수 있다. 추가적으로, 프로세서는 모니터링 기관(예컨대, 관리사무소 또는 경찰서 등)로 비상 상황을 알리는 메시지를 전송하고, 내부 카메라를 통해 촬영된 실시간 영상을 모니터링 기관으로 전송할 수 있다.

일 실시예에 따르면, 프로세서는 비상 상황이 발생하여 승강기 문이 개방된 경우, 승강기 내부에서 닫힘 버튼이 입력되더라도, 닫힘 버튼과 관련된 명령을 무시하고 승강기 문이 계속적으로 개방되도록 제어할 수 있다.

본 실시예에 따르면, 승강기 내부에서 발생할 수 있는 비상 상황에 대해서 신속한 조치가 이루어져, 물적 및/또는 신체적 손실이 최소화될 수 있다.

도 9는 본 개시의 일 실시예에 따른, 영상에 기초하여 안내 멘트를 출력하는 방법(900)을 설명하는 위한 도면이다. 도 9를 참조하면, 탑승자가 승강기에 탑승하면, 프로세서는 승강기 내부에 설치된 내부 카메라를 통해서 제5 영상을 수신할 수 있다(S910).

이어서, 프로세서는 제5 영상을 통해서 사람 객체를 인식할 수 있다(S920). 그 후, 프로세서는 미리 결정된 시간 동안에 목적지 층이 설정되었는지 여부를 판정할 수 있다(S930). 즉, 프로세서는 인식된 사람 객체가 목적지 층을 눌렀는지 여부를 판정할 수 있다.

프로세서는 사람 객체가 인식되었으나 목적지 층이 설정되지 않은 경우, 목적지 층을 입력하라는 안내 멘트를 승강기에 포함된 스피커 및/또는 디스플레이 수단(예컨대, 모니터)로 출력할 수 있다(S940).

본 실시예에 따르면, 사용자가 승강기를 탑승한 후에, 목적지를 누르는 것을 깜박한 경우, 승강기 내부에서 안내 멘트가 출력될 수 있다.

상술한 흐름도 및 상술한 설명은 일 예시일 뿐이며, 일부 실시예에서는 다르게 구현될 수 있다. 예를 들어, 일부 실시예에서는 각 단계의 순서가 바뀌거나, 일부 단계가 반복 수행되거나, 일부 단계가 생략되거나, 일부 단계가 추가될 수 있다.

상술한 방법은 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램으로 제공될 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록 수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.

본 개시의 방법, 동작 또는 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 통상의 기술자들은 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 대체를 명확하게 설명하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능적 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 요구사항들에 따라 달라진다. 통상의 기술자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.

하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들(digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들(programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들(field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본 개시에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.

따라서, 본 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 구성의 조합으로서 구현될 수도 있다.

펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리(random access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 비휘발성 RAM(non-volatile random access memory; NVRAM), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable PROM), 플래시 메모리, 컴팩트 디스크(compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행 가능할 수도 있고, 프로세서(들)로 하여금 본 개시에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.

소프트웨어로 구현되는 경우, 상술된 기법들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.

예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크(disk) 와 디스크(disc)는, CD, 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들(disks)은 보통 자기적으로 데이터를 재생하고, 반면 디스크들(discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

소프트웨어 모듈은, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 연결될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 구성요소들로서 존재할 수도 있다.

이상 설명된 실시예들이 하나 이상의 독립형 컴퓨터 시스템에서 현재 개시된 주제의 양태들을 활용하는 것으로 기술되었으나, 본 개시는 이에 한정되지 않고, 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 본 개시에서 주제의 양상들은 복수의 프로세싱 칩들이나 장치들에서 구현될 수도 있고, 스토리지는 복수의 장치들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 장치들은 PC들, 네트워크 서버들, 및 휴대용 장치들을 포함할 수도 있다.

본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 개시의 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

110 : 정보 처리 시스템
120 : 외부 카메라
130, 140, 150 : 승강기
132, 142, 152 : 내부 카메라

Claims (10)

1. 적어도 하나의 프로세서에 의해서 수행되는, 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 승강기 통합 관제 방법에 있어서,
   승강기 내부와 연관된 제1 영상을 제1 카메라로부터 수신하는 단계;
   상기 승강기가 호출된 층과 연관된 제2 영상을 제2 카메라로부터 수신하는 단계;
   상기 제1 영상에 포함된 적어도 하나의 객체에 기초하여, 상기 승강기 내부의 여유 공간을 산출하는 단계;
   상기 제2 영상에 포함된 적어도 하나의 객체에 기초하여, 탑승 대기자에 대한 필요 공간을 산출하는 단계;
   상기 산출된 필요 공간이 상기 여유 공간을 초과하면, 상기 호출된 층을 상기 승강기가 통과하도록 상기 승강기를 제어하는 단계;
   상기 산출된 필요 공간이 상기 여유 공간 이하이면, 상기 호출된 층에 상기 승강기가 정차하도록 상기 승강기를 제어하는 단계;
   목적지 층에 상기 승강기가 정차하면, 상기 승강기의 문을 개방하고 상기 승강기의 문의 개방 시간을 카운팅하는 단계;
   상기 제1 카메라로부터 상기 승강기가 멈춘 후의 제3 영상을 수신하고, 상기 제3 영상으로부터 사람 객체, 제1 사물 객체 및 제2 사물 객체를 식별하는 단계;
   상기 식별된 상기 사람 객체, 상기 제1 사물 객체 및 상기 제2 사물 객체 각각에 대한 이동 상태를 모니터링하는 단계;
   상기 사람 객체, 상기 제1 사물 객체 및 상기 제2 사물 객체 모두가 승강기 밖으로 이동하는 것으로 모니터링되는 경우, 상기 카운팅된 문의 개방 시간이 임계 시간에 도달하면 상기 승강기의 문이 닫히도록 제어하는 단계; 및
   상기 사람 객체와 상기 제1 사물 객체가 승강기 밖으로 이동하고 상기 제2 사물 객체가 승강기 내에 위치하는 것으로 모니터링되는 경우, 상기 승강기의 개방 시간이 상기 임계 시간과 비교하여 미리 결정된 시간만큼 연장되도록 상기 승강기를 제어하는 단계
   를 포함하는, 승강기 통합 관제 방법.
   
2. 제1항에 있어서,
   상기 호출된 층을 상기 승강기가 통과하도록 상기 승강기를 제어하는 단계는,
   상기 호출된 층에 높은 우선순위를 부여하고, 상기 승강기 또는 타 승강기가 다음 운행 주기에 상기 호출된 층에 멈추도록 상기 승강기 또는 타 승강기를 제어하는 단계
   를 포함하는, 승강기 통합 관제 방법.
   
3. 제1항에 있어서,
   상기 승강기 내부의 여유 공간을 산출하는 단계는,
   상기 제1 영상에 포함된 적어도 하나의 객체가 점유하는 점유 공간을 산출하는 단계; 및
   상기 승강기의 수용 공간에 상기 점유 공간이 감산된 크기를 기초로, 상기 승강기 내부의 여유 공간을 산출하는 단계
   를 포함하는, 승강기 통합 관제 방법.
   
4. 제3항에 있어서,
   상기 승강기 내부의 여유 공간을 산출하는 단계는,
   현재의 시각을 식별하는 단계;
   상기 식별된 시각에 상응하는 크기를 수용 공간 스케줄링 정보로부터 획득하는 단계; 및
   상기 획득된 크기에 기초하여 상기 승강기의 수용 공간으로 결정하는 단계
   를 포함하는, 승강기 통합 관제 방법.
   
5. 삭제
6. 제1항에 있어서,
   상기 제2 영상을 제2 카메라로부터 수신하는 단계 이후에,
   상기 제2 영상에 교통 약자와 관련된 이동 보조 객체가 식별되는지 여부를 판정하는 단계;
   상기 제2 영상으로부터 이동 보조 객체가 식별된 판정 결과에 응답하여, 상기 호출된 층에 우선 순위를 부여하는 단계; 및
   상기 우선 순위에 기초하여 상기 승강기 또는 타 승강기가 상기 호출된 층에 멈추도록 제어하는 단계
   를 더 포함하는, 승강기 통합 관제 방법.
   
7. 제1항에 있어서,
   상기 제1 영상을 제1 카메라로부터 수신하는 단계 이후에,
   상기 제1 영상을 기계학습 모델로 입력하고, 기계학습 모델로부터 분석 결과를 획득하는 단계;
   상기 분석 결과가 비상 상황을 탐지하는 것과 관련되면, 상기 승강기 내부의 스피커로 경보음을 출력하는 단계; 및
   가장 가까운 층에 정차하면서 문이 개방되도록 상기 승강기를 제어하는 단계
   를 더 포함하는, 승강기 통합 관제 방법.
   
8. 제1항에 있어서,
   상기 제1 영상을 제1 카메라로부터 수신하는 단계 이후에,
   상기 제1 영상으로부터 사람 객체를 식별하는 단계;
   상기 승강기의 목적지 층이 설정되었는지 여부를 판정하는 단계; 및
   상기 목적지 층이 설정되지 않았다는 판정 결과에 응답하여, 층 입력을 요구하는 안내 멘트를 출력하는 단계
   를 더 포함하는, 승강기 통합 관제 방법.
   
9. 제1항 내지 제4항 및 제6항 내지 제8항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
   
10. 에너지 효율화 및 사고예방을 위한 멀티 영상 기반의 시스템으로서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 포함된 컴퓨터 판독 가능한 적어도 하나의 프로그램을 실행하도록 구성된 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로그램은,
    승강기 내부와 연관된 제1 영상을 제1 카메라로부터 수신하고,
    상기 승강기가 호출된 층과 연관된 제2 영상을 제2 카메라로부터 수신하고,
    상기 제1 영상에 포함된 적어도 하나의 객체에 기초하여, 상기 승강기 내부의 여유 공간을 산출하고,
    상기 제2 영상에 포함된 적어도 하나의 객체에 기초하여, 탑승 대기자에 대한 필요 공간을 산출하고,
    상기 산출된 필요 공간이 상기 여유 공간을 초과하면, 상기 호출된 층을 상기 승강기가 통과하도록 상기 승강기를 제어하고,
    상기 산출된 필요 공간이 상기 여유 공간 이하이면, 상기 호출된 층에 상기 승강기가 정차하도록 상기 승강기를 제어하고,
    목적지 층에 상기 승강기가 정차하면, 상기 승강기의 문을 개방하고 상기 승강기의 문의 개방 시간을 카운팅하고,
    상기 제1 카메라로부터 상기 승강기가 멈춘 후의 제3 영상을 수신하고, 상기 제3 영상으로부터 사람 객체, 제1 사물 객체 및 제2 사물 객체를 식별하고,
    상기 식별된 상기 사람 객체, 상기 제1 사물 객체 및 상기 제2 사물 객체 각각에 대한 이동 상태를 모니터링하고,
    상기 사람 객체, 상기 제1 사물 객체 및 상기 제2 사물 객체 모두가 승강기 밖으로 이동하는 것으로 모니터링되는 경우, 상기 카운팅된 문의 개방 시간이 임계 시간에 도달하면 상기 승강기의 문이 닫히도록 제어하고,
    상기 사람 객체와 상기 제1 사물 객체가 승강기 밖으로 이동하고 상기 제2 사물 객체가 승강기 내에 위치하는 것으로 모니터링되는 경우, 상기 승강기의 개방 시간이 상기 임계 시간과 비교하여 미리 결정된 시간만큼 연장되도록 상기 승강기를 제어하기 위한 명령어들을 포함하는, 정보 처리 시스템.

Images