KR102479799B1 - 클라우드 기반 공용공간 관리와 사석화 방지를 위한 IoT 장비 및 데이터 통계관리 시스템 - Google Patents

Abstract

클라우드 기반 공용공간 관리와 사석화 방지를 위한 IoT 장비 및 데이터 통계관리 시스템이 개시된다. 일 실시예에 따른 클라우드 서버에 의해 수행되는 좌석 관리 방법은, IoT 스마트 좌석에 대한 좌석 데이터를 수집하는 단계; 상기 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 단계; 상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하는 단계를 포함할 수 있다.

Description

클라우드 기반 공용공간 관리와 사석화 방지를 위한 IoT 장비 및 데이터 통계관리 시스템{INTERNET OF THINGS DEIVICE AND A STATISTICAL DATA MANAGEMENT SYSTEM FOR BOTH THE PUBLIC SPACE MANAGEMENT AND THE SEAT HOGGINH PROBLEM BASED ON CLOUD}

아래의 설명은 공용공간의 좌석을 관리하기 위한 서비스에 관한 것으로, 더 상세하게는 IoT 스마트 좌석과 클라우드 서비스, 데이터 통계관리 시스템을 함께 이용하여 사석화를 방지하고 효과적으로 좌석 정보를 관리하게 하고, 더 나아가 공용공간 좌석 관리의 대부분의 과정을 자동화하는 서비스에 관한 것이다.

공용공간은 여러 사람이 공동으로 이용할 수 있는 공간으로, 여기서 중점을 두는 공용공간의 예로는 도서관의 열람실, 스터디 라운지, 공용 독서실 등이 있다.

사석화는 공용공간에 짐, 가방 등으로 자리를 맡아 두고 실제로 이용하지 않는 상태를 말하며, 공용 공간을 관리하는 다양한 기관에서는 공용공간에서 발생하는 사석화 문제를 해결하기 위해 다양한 좌석 관리 시스템이 사용되어 왔다.

이와 관련하여 한국출원특허 제10-2019-0031696호에 정당한 예약자가 좌석을 이용하는지 여부를 실시간으로 파악하는 좌석 관리 시스템이 개시된 바 있다.

그러나, 종래의 좌석 관리 시스템은 예약을 기반으로 운영되고 있어 공용공간에 적용할 수 있는 범위가 제한적이고, 좌석 관리 시스템을 이용하더라도 파악된 정당하지 않은 예약자에 대한 후속 조치 및 전반적인 공용공간 관리의 대부분은 관리자가 담당해야 하는 한계가 있다.

공용공간 좌석의 사석화를 방지하고 효과적으로 좌석을 관리하고자 하는 목적이 있으며, 추가적으로 분산된 시스템을 통합하여 관리자에게 관리를 위한 통계 서비스를 제공하고, 이를 자동화하여 집중 시간에만 관리 인력을 투자할 수 있게 도와 인건비와 같은 비용적 문제를 해결하고자 한다.

또한, 본 발명을 통해 공용 공간의 예약 시스템 없이 사용자에게는 특정 좌석에 대한 이용 여부를 실시간으로 보여주는 서비스를 제공하고, 관리자에게는 사석화가 의심되는 좌석을 자동으로 탐지하여 이를 알려주는 서비스를 제공함을 목적으로 한다.

클라우드 서버에 의해 수행되는 좌석 관리 방법은, IoT 스마트 좌석에 대한 좌석 데이터를 수집하는 단계; 상기 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 단계; 및 상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하는 단계를 포함할 수 있다.

상기 수집하는 단계는, 상기 IoT 스마트 좌석에 부착된 센서로부터 센싱된 센서 데이터를 획득하고, 객체 인식 및 확인을 위한 CCTV를 통해 상기 IoT 스마트 좌석 또는 상기 IoT 스마트 좌석이 포함된 공간이 촬영됨에 따라 영상 데이터를 획득하고, 상기 획득된 센서 데이터 및 상기 획득된 영상 데이터를 포함하는 좌석 데이터를 수집하는 단계를 포함하고, 상기 IoT 스마트 좌석은, 좌석의 주변 환경을 센싱하기 위하여, 좌석의 무게 정보, 압력 정보, 거리 정보가 센싱될 수 있다.

상기 판단하는 단계는, 상기 수집된 좌석 데이터로부터 좌석에 존재하는 사람 또는 사물을 포함하는 객체 정보를 판단하는 단계를 포함할 수 있다.

상기 판단하는 단계는, 좌석 관리를 위한 학습 모델을 이용하여 상기 수집된 좌석 데이터로부터 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하고, 상기 판단된 좌석 상황을 시각화하는 단계를 포함할 수 있다.

상기 제공하는 단계는, 상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하고, 상기 제공된 좌석 정보가 사석화 의심 좌석으로 판단되는 경우, 사석화 의심 좌석에 있는 사용자의 전자 기기 또는 사석화 의심 좌석을 관리하는 관리자의 전자 기기로 알림 정보를 전달하는 단계를 포함할 수 있다.

상기 사용자의 전자 기기는, 상기 사석화 의심 좌석에 있는 것으로 판단될 경우, 경보음, 진동, 알림 팝업을 포함하는 간접적인 알림 정보를 전달받고, 상기 관리자의 전자 기기는, 사석화 의심 좌석에 대한 정보가 로그로 기록되고, 상기 사석화 의심 좌석의 정보를 알람을 통해 전달받고, 상기 사석화 의심 좌석과 관련된 영상 데이터를 제공받을 수 있다.

상기 제공하는 단계는, 상기 제공된 좌석 정보를 통해 사석화 의심 좌석에 대한 문제가 해결됨에 따라 좌석과 관련하여 공간별, 기간별 사석화 통계 정보를 생성하고, 상기 생성된 사석화 통계 정보를 관리자의 전자 기기로 전달하는 단계를 포함할 수 있다.

상기 수집하는 단계는, 관리자의 전자 기기로부터 관리자 명령 및 정보 수정 요청을 포함하는 관리자 요청 정보를 수신하는 단계를 포함할 수 있다.

클라우드 서버는, IoT 스마트 좌석에 대한 좌석 데이터를 수집하는 데이터 수집부; 상기 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 상황 판단부; 및 상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하는 좌석 제공부를 포함할 수 있다.

많은 공용공간의 좌석을 관리함으로써, 관리자는 정당하지 못한 사용자가 좌석을 이용하는지 여부를 실시간으로 파악하고, 사용자는 해당 좌석의 이용 여부를 실시간으로 확인할 수 있다.

또한, 본 발명으로 예약 시스템을 적용하기 어려운 공용공간에서도 사석화 방지 문제를 해결할 수 있고, 분산된 좌석 관리 시스템을 하나로 통합하고, 관리 과정을 자동화할 수 있기 때문에 관리 효율을 향상시킬 수 있다.

본 발명은 관리 업무의 보조의 역할을 할 뿐만 아니라 장기적으로는 관리 업무 전체를 자동화하며, 제공하는 통계 결과로 이용 집중 시간과 같은 필요한 경우에만 인력을 투입할 수 있게 되어 고정적으로 지출되는 인건비 등의 감소를 기대할 수 있다.

도 1은 일 실시예에 따른 데이터 통계 관리 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 클라우드 서버의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 클라우드 서버에서 좌석 관리 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 있어서, 사석화가 의심되는 좌석을 탐지하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 있어서, 좌석 정보를 통계적으로 시각화하여 관리자의 전자 기기로 송신하는 동작을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 있어서, 사석화가 의심되는 좌석을 탐지하였을 때 실행되는 자동화된 공용공간 관리 동작을 설명하기 위한 흐름도이다.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 일 실시예에 따른 데이터 통계 관리 시스템의 개괄적인 동작을 설명하기 위한 도면이다.

데이터 통계 관리 시스템은 클라우드 기반으로 IoT 스마트 좌석에 관한 데이터를 수집 및 분석하여, 관리자에게 좌석의 이용 여부와 관련된 좌석 정보와 통계 정보를 제공하여 공용 공간 관리 업무를 보조할 수 있다.

데이터 통계 관리 시스템은 공용공간 관리와 사석화 방지를 위한 것일 수 있다. 데이터 통계 관리 시스템은 클라우드 서버(100), IoT 스마트 좌석(110), 객체 인식 및 확인을 위한 CCTV(120) 및 전자 기기(사용자의 전자 기기 및 관리자의 전자 기기)(130)를 포함할 수 있다. 도 1에서는 설명의 편의를 위하여 1개의 IoT 스마트 좌석에 대한 공용 사석화 방지를 위한 IoT 및 데이터 통계 관리 동작에 대하여 설명하기로 한다.

IoT 스마트 좌석(110)은 좌석 주변 환경을 센싱하기 위한 적어도 하나 이상의 센서가 포함될 수 있다. IoT 스마트 좌석(110)은 클라우드 서버(100)와 데이터를 송수신하기 위한 통신 모듈을 포함할 수 있다. IoT 스마트 좌석(110)에 좌석의 무게 정보, 압력 정보, 거리 정보가 센싱될 수 있다. 예를 들면, IoT 스마트 좌석(110)은 일반적인 좌석에 IoT 관련된 모듈(예를 들면, 센서 모듈, 통신 모듈 등)이 부착됨으로써 구성될 수 있다. 이때, IoT 스마트 좌석(110)에 좌석에 물건 또는 사람이 착석됨에 따라 센서 데이터의 측정이 시작될 수 있다.

CCTV(120)는 객체 인식 및 확인을 위한 것으로 실내 또는 실외를 포함하는 특정 공간을 촬영할 수 있다. 이때, CCTV(120)에 적어도 하나 이상의 카메라가 포함되어 있을 수 있다. 예를 들면, CCTV(120)는 도서관, 카페 등에서 IoT 스마트 좌석(110) 또는 IoT 스마트 좌석(110)을 포함하는 주변 영역을 촬영할 수 있다. CCTV(120)는 적어도 하나 이상의 카메라로 구성되어, 0도 내지 360도의 전체 또는 일부를 촬영할 수 있다. CCTV(120)는 클라우드 서버(100)와 데이터를 송수신하기 위한 통신 모듈을 포함할 수 있다.

전자 기기(130)는 사용자의 전자 기기 및 관리자의 전자 기기를 포함할 수 있다. 관리자의 전자 기기는 클라우드 서버(100)로부터 좌석 이용 여부를 포함하는 좌석 정보와 통계 정보를 수신하고, 관리자의 명령 및 정보 수정 요청 등을 송신할 수 있다. 관리자의 전자 기기는 관리자로부터 좌석 관리와 관련된 제어 명령을 수신하여 좌석 관리를 제어할 수 있다. 이때, 관리자는 관리자의 전자 기기를 통하여 좌석 관리를 위한 시간 정보를 설정할 수 있고, 설정된 시간 정보 동안에 좌석 관리를 수행할 수 있다. 예를 들면, 관리자는 관리자의 전자 기기를 통하여 적어도 하나 이상의 공간 정보(구역)를 관리할 수 있다. 관리자의 관리하는 공간 정보에 대한 사용자 정보가 제공될 수 있다. 이때, 사용자 정보는 사생활 보호를 위하여 특정 암호화 처리가 되어 관리자 및 관리자 이외의 다른 외부의 누군가에게 좌석 관리 중에 사용자 정보가 노출되는 것을 방지할 수 있다. 사용자의 전자 기기는 좌석의 이용 여부를 포함하는 좌석 정보를 제공받을 수 있다. 사용자는 제공받은 좌석의 이용 여부를 포함하는 좌석 정보에 기초하여 좌석을 예약할 수도 있다. 이에, 사용자가 각각의 공용 공간에 대한 별도의 예약 서비스를 이용하지 않고, 실시예에서 제안된 좌석 관리 서비스만을 이용하여 각각의 공용 공간에 대한 통합 관리가 가능하게 된다. 전자 기기(130)는 클라우드 서버(100)와 데이터를 송수신하기 위한 통신 모듈을 포함할 수 있다.

IoT 스마트 좌석(110)에 부착된 센서는 좌석의 무게 정보, 압력 정보, 거리 정보 등을 센싱하며, 객체 인식 및 확인을 위한 CCTV(120)는 좌석 주변의 영상 데이터를 수집할 수 있다.

클라우드 서버(100)는 CCTV(120)로부터 수집된 영상 데이터를 사전에 기계학습 방식으로 학습된 데이터를 이용하여 좌석 상태(상황)를 판단할 수 있다. 이때, 클라우드 서버(100)는 CCTV(120)로부터 수집된 영상 데이터를 이용하여 좌석 상태를 판단하는 주 도구로 사용하고, 센서로부터 센싱된 센서 데이터를 좌석 상태를 판단한 결과의 신뢰성을 높이기 위한 보조 도구로 사용할 수 있다.

예를 들면, 클라우드 서버(100)는 좌석 관리를 위한 학습 모델을 이용하여 수집된 좌석 데이터로부터 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단할 수 있다. 이때, 좌석 관리를 위한 학습 모델은 좌석 관리를 위한 데이터 셋을 이용하여 학습된 것일 수 있다. 좌석 관리를 위하여 학습된 학습 모델에 좌석 관리를 위한 새로운 데이터(수집된 좌석 데이터)가 입력될 수 있다. 좌석 관리를 위한 학습 모델을 이용하여 수집된 좌석 데이터에 대한 좌석 상황이 판단될 수 있다.

클라우드 서버(100)는 IoT 스마트 좌석(110) 및 CCTV(120)로부터 데이터를 수신할 수 있고, 수신된 데이터를 연산 및 저장한 후, 연산 결과를 전자 기기(130)로 송신할 수 있다.

클라우드 서버(100)는 IoT 스마트 좌석(110)이나 객체 인식 및 확인을 위한 CCTV(120)로부터 데이터를 수신하거나, 관리자의 전자 기기로부터 관리자 명령 및 정보 수정 요청 등을 수신할 수 있다.

클라우드 서버(100)는 수신된 데이터와 통계 정보를 저장하며, 좌석의 사람과 사물을 판단하거나 각종 통계 정보를 생성할 수 있다. 클라우드 서버(100)는 결정된 좌석 이용 정보와 통계 정보를 관리자의 전자 기기로 전송할 수 있다.

실시예에 따르면, 클라우드 기반으로 좌석 이용 데이터와 통계 정보가 공유됨으로써, 공유된 데이터를 기반으로 좌석의 이용 정보 및 사석화 여부가 판단될 수 있고 통계 정보를 기반으로 효율적인 관리에 이용할 수 있다.

도 2는 일 실시예에 따른 클라우드 서버의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 클라우드 서버에서 좌석 관리 방법을 설명하기 위한 흐름도이다.

클라우드 서버(100)의 프로세서는 데이터 수집부(210), 상황 판단부(220) 및 좌석 제공부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 클라우드 서버에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 좌석 관리 방법이 포함하는 단계들(310 내지 330)을 수행하도록 클라우드 서버를 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.

프로세서는 좌석 관리 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 클라우드 서버에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 클라우드 서버를 제어할 수 있다. 이때, 데이터 수집부(210), 상황 판단부(220) 및 좌석 제공부(230) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 330)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.

단계(310)에서 데이터 수집부(210)는 IoT 스마트 좌석에 대한 좌석 데이터를 수집할 수 있다. 데이터 수집부(210)는 IoT 스마트 좌석에 부착된 센서로부터 센싱된 센서 데이터를 획득하고, 객체 인식 및 확인을 위한 CCTV를 통해 IoT 스마트 좌석 또는 IoT 스마트 좌석이 포함된 공간이 촬영됨에 따라 영상 데이터를 획득하고, 획득된 센서 데이터 및 획득된 영상 데이터를 포함하는 좌석 데이터를 수집할 수 있다. 데이터 수집부(210)는 관리자의 전자 기기로부터 관리자 명령 및 정보 수정 요청을 포함하는 관리자 요청 정보를 수신할 수 있다.

단계(320)에서 상황 판단부(220)는 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단할 수 있다. 상황 판단부(220)는 수집된 좌석 데이터로부터 좌석에 존재하는 사람 또는 사물을 포함하는 객체 정보를 판단할 수 있다. 상황 판단부(220)는 좌석 관리를 위한 학습 모델을 이용하여 수집된 좌석 데이터로부터 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하고, 판단된 좌석 상황을 시각화할 수 있다.

단계(330)에서 좌석 제공부(230)는 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공할 수 있다. 좌석 제공부(230)는 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하고, 제공된 좌석 정보가 사석화 의심 좌석으로 판단되는 경우, 사석화 의심 좌석에 있는 사용자의 전자 기기 또는 사석화 의심 좌석을 관리하는 관리자의 전자 기기로 알림 정보를 전달할 수 있다. 이때, 사용자의 전자 기기는, 사석화 의심 좌석에 있는 것으로 판단될 경우, 경보음, 진동, 알림 팝업을 포함하는 간접적인 알림 정보를 전달받고, 관리자의 전자 기기는, 사석화 의심 좌석에 대한 정보가 로그로 기록되고, 사석화 의심 좌석의 정보가 알람을 통해 전달받고, 사석화 의심 좌석과 관련된 영상 데이터를 제공받을 수 있다. 좌석 제공부(230)는 제공된 좌석 정보를 통해 사석화 의심 좌석에 대한 문제가 해결됨에 따라 좌석과 관련하여 공간별, 기간별 사석화 통계 정보를 생성하고, 생성된 사석화 통계 정보를 관리자의 전자 기기로 전달할 수 있다.

도 4는 일 실시예에 있어서, 사석화가 의심되는 좌석을 탐지하는 방법을 설명하기 위한 흐름도이다.

클라우드 서버는 객체 인식 및 확인을 위한 CCTV로부터 전송받은 영상 데이터와 IoT 스마트 좌석에 부착된 센서에서 전송된 센서 데이터를 수신할 수 있다(410, 420). 이때, 클라우드 서버는 영상 데이터와 센서 데이터를 동시에 또는 서로 다른 시간에 수신할 수 있다. 예를 들면, CCTV로부터 실시간으로 촬영되는 영상 데이터가 전송될 수 있고, 기 설정된 시간 단위로 촬영된 영상 데이터가 전송될 수 있다. 마찬가지로, IoT 스마트 좌석에 부착된 센서를 통해 획득된 센서 데이터가 실시간 또는 기 설정된 시간 단위로 전송될 수 있다.

일례로, 클라우드 서버는 CCTV로부터 전송받은 영상 데이터와 센서 데이터를 각각 다른 시간에 수신 하였을지라도, 영상 데이터가 촬영된 시간 데이터, 위치 데이터와 센서 데이터가 측정된 시간 데이터, 센서 데이터를 수신한 위치 데이터 등을 이용하여 시간 및 위치를 기준으로 영상 데이터와 센서 데이터를 동기화시킬 수 있다. 클라우드 서버는 동일한 시간 및 위치를 기준으로 영상 데이터 및 센서 데이터를 매칭시킬 수 있다. 클라우드 서버는 매칭된 영상 데이터 및 센서 데이터를 데이터베이스에 저장할 수 있다.

클라우드 서버는 수집된 IoT 스마트 좌석에 대한 좌석 데이터를 이용하여 좌석에 존재하는 객체 정보가 사람 또는 사물인지 판단할 수 있다(430). 클라우드 서버는 CCTV로부터 전송받은 영상 데이터를 이용하여 객체 인식을 수행할 수 있다. 객체 정보를 인식하는 방법은 다양하게 존재할 수 있다. 예를 들면, 객체 인식은 두 단계로 구성될 수 있다. 클라우드 서버는 영상 데이터를 이용하여 객체 인식을 수행함에 따라 사물 또는 사람을 구분할 수 있고, 구분된 객체 정보에 대하여 센서 데이터를 이용하여 다시 객체 인식을 수행할 수 있다. 클라우드 서버는 영상 데이터로부터 객체 인식을 통해 영상 데이터로부터 사람 또는 사물을 포함하는 객체 정보를 구별하고, 정확도를 높이기 위해 보조 지표로서 센서 데이터를 이용한다. 클라우드 서버(100)는 IoT 스마트 좌석에 부착된 센서 데이터가 특정 값 이상일 경우 사람, 특정 값 이하일 경우 빈 좌석, 특정 값을 포함하는 중간 범위를 사물로 구분할 수 있다.

또는, 영상 데이터 및 센서 데이터 각각에 대한 객체 인식을 수행한 후, 판단 결과가 일치하는 사람 또는 사물에 대하여 결과값으로 도출할 수 있다. 또는, 클라우드 서버는 좌석에 존재하는 객체 여부를 감지한 후, 감지된 객체가 존재하는 것으로 판단됨에 따라 객체 정보의 움직임 여부를 판단하고, 움직임이 존재할 경우 사람, 움직임이 존재하지 않을 경우 사물로 판단할 수 있다. 또는, 클라우드 서버는 객체 정보를 판단하기 위한 학습 모델을 이용하여 영상 데이터로부터 사물 또는 사람을 식별할 수 있다. 클라우드 서버는 식별된 사물 또는 사람에 대하여 센서 데이터를 이용하여 보조적으로 객체 정보를 다시 판단할 수 있다. 이때, 객체 정보를 판단하기 위한 학습 모델은 사전에 객체 정보를 판단하기 위한 데이터 셋을 이용하여 학습 모델이 학습될 수 있다. 이와 같이 학습된 학습 모델에 객체 정보를 판단하기 위한 새로운 영상 데이터가 입력될 수 있다. 학습 모델을 이용하여 영상 데이터에 대한 객체 정보가 식별될 수 있다.

클라우드 서버는 사람 또는 사물을 포함하는 객체 정보를 판단한 결과, 사람으로 구분된 경우, 정상 이용 좌석으로 인식(440)할 수 있고, 사물로 구분된 경우, 사석화 의심 좌석으로 인식(450)할 수 있다. 이때, 사석화 의심 좌석이란, 사용자가 좌석에 착석하지 않고, 사물(예를 들면, 가방, 스마트 폰 등)을 올려놓고서 자리를 비운 상태를 의미한다.

클라우드 서버는 사석화 의심 좌석을 관리자의 전자 기기로 알람을 통해 전달할 수 있다. 관리자의 전자 기기에는 CCTV에서 촬영되는 영상 데이터가 제공될 수 있다. 또는, 관리자의 전자 기기에는 사석화 의심 좌석을 포함하는 영상 데이터가 제공될 수 있다. 관리자는 객체 인식 및 확인을 위한 CCTV(120)를 통해 관리자가 사석화를 직접 확인하여 해결하거나, 사석화 의심 좌석을 포함하는 공간 또는 사석화 의심 좌석에 해당하는 사용자의 전자 기기로 경보음 등을 통해 간접적으로 사석화 문제를 해결할 수 있다(460).

클라우드 서버는 사석화 의심 판단 및 처리 자동화를 반복할 수 있다(470). 이러한, 사석화 의심 좌석 판단을 포함한 전 과정은 센서, 클라우드 서버, 전자 기기에서 데이터가 송수신됨으로써 자동적으로 반복될 수 있다.

도 5는 일 실시예에 있어서, 좌석 정보를 통계적으로 시각화하여 관리자의 전자 기기로 송신하는 동작을 설명하기 위한 흐름도이다.

클라우드 서버는 IoT 스마트 좌석에 대한 좌석 데이터를 수집할 수 있다. 클라우드 서버는 IoT 스마트 좌석에 부착된 센서로부터 센싱된 센서 데이터를 획득하고, 객체 인식 및 확인을 위한 CCTV를 통해 IoT 스마트 좌석 또는 IoT 스마트 좌석이 포함된 공간을 촬영함에 따라 영상 데이터를 획득하고, 획득된 센서 데이터 및 획득된 영상 데이터를 포함하는 좌석 데이터를 수집할 수 있다(510, 520). 클라우드 서버에서 수집된 좌석 데이터는 데이터 통계 관리를 위한 목적으로 수집될 수 있으며, 각 공간별 이용시간, 이용빈도 등을 중점적으로 수집한다.

클라우드 서버는 수집된 좌석 데이터를 시각화하기 위해 이상값(outlier)과 결측값을 평균값으로 대체하거나 삭제하는 데이터 전처리 과정을 수행할 수 있다(530).

클라우드 서버는 전처리 과정을 통해 정제된 수집 데이터에 대하여 google analytics에서 제공하는 API를 이용하거나 태블로(tableau) 시각화 분석 플랫폼, python의 matplotlib, seaborn, pandas visualization 라이브러리 등을 이용하여 시각화할 수 있다(540).

클라우드 서버는 시각화된 데이터에 대하여 관리자의 전자 기기로 송신할 수 있다(550). 이에, 관리자는 관리자의 전자 기기를 통해 시각화된 데이터를 제공받을 수 있다. 관리자의 전자 기기를 통하여 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황, 좌석의 이용 여부를 포함하는 좌석 정보 등이 시각화될 수 있다. 또한, 관리자의 전자 기기에 IoT 스마트 좌석에서 센싱되는 센서 데이터의 값, CCTV로부터 촬영되는 영상 데이터가 시각화될 수 있다. 여기서 시각화란, 각각의 정보를 그대로 제공하는 것뿐만 아니라 가공된 데이터를 제공(예를 들면, 표, 그래프화)하는 것을 의미할 수 있다. 또한, 관리자의 전자 기기를 통해 관리자로부터 입력된 쿼리(Query)에 대응하는 쿼리값이 제공될 수 있다. 예를 들면, 관리자로부터 입력된 좌석의 위치 데이터 또는 시간 데이터가 입력될 수 있고, 입력된 좌석의 위치 데이터 또는 시간 데이터에 대한 영상 데이터가 제공될 수 있다. 이와 같이, 관리자의 전자 기기에 좌석 관리 업무 보조 역할을 위한 통계 정보를 확인할 수 있다.

전자 기기에는 사용자 모드 및 관리자 모드가 동작될 수 있다. 사용자 모드는 좌석 관리 서비스의 실행을 통해 기본적으로 제공되는 모드일 수 있다. 예를 들면, 좌석 관리 서비스가 어플리케이션이 구동됨에 따라 좌석 관리를 위한 서비스의 이용을 위하여 아이디 및 패스워드가 입력될 수 있다. 사전에 회원 가입이 이루어질 수 있다. 사용자로부터 아이디 및 패스워드가 입력됨에 따라 좌석 관리 서비스가 제공될 수 있다. 이때, 회원 가입 시에 관리자 모드를 위한 관리자(기업, 업체 등)의 정보가 입력되어 관리자 인증이 수행될 수 있고, 회원 가입 후에 추후에 관리자의 정보가 입력됨에 따라 관리자 인증을 통해 관리자 모드가 제공될 수 있다. 관리자 모드는 사용자들 중 일부의 사용만이 접근할 수 있는 모드로서, 인증된 전자 기기만이 관리자 모드의 접근에 허용될 수 있다. 또는, 사용자 모드에서 관리자 모드에 접근하기 위한 관리번호, 패스워드 등이 입력됨으로써 관리자 모드로 변환될 수 있다. 관리자 모드를 통하여 좌석 관리와 관련된 통계 정보를 확인 및 제공받을 수 있다.

도 6은 일 실시예에 있어서, 사석화가 의심되는 좌석을 탐지하였을 때 실행되는 자동화된 공용공간 관리 동작을 설명하기 위한 흐름도이다.

클라우드 서버는 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단할 수 있다. 다시 말해서, 도 4에서 설명한 과정을 통해 클라우드 서버는 사석화로 의심되는 좌석 정보를 파악할 수 있다(610). 예를 들면, 사석화로 의심되는 좌석 정보는 A공간의 B위치(x ,y, z 좌표 데이터) 형태로 제공될 수 있다.

클라우드 서버는 판단된 좌석 상황을 통해 좌석 정보를 제공할 수 있다. 클라우드 서버는 전자 기기에게 사석화 의심 좌석 정보를 제공할 수 있다. 사용자의 전자 기기 및 관리자의 전자 기기에는 사석화 의심 좌석에 대한 사석화 의심 상태가 시각화되어 표시될 수 있다(620). 이때, 사석화 의심 상태는 기 설정된 비율에 따라 의심 정도가 구분될 수 있다. 일례로, 클라우드 서버에 의하여 사석화 의심 좌석에 대한 사석화 의심 상태가 분석될 수 있다. 사석화 의심 좌석에서 발생하는 움직임 또는 사석화 의심 좌석을 차지하는 비율에 따라 사석화 의심 상태에 대한 결과값이 계산될 수 있다. 이때, 사석화 의심 좌석에서 발생하는 움직임 또는 사석화 의심 좌석을 차지하는 비율은 영상 데이터 및 센서 데이터를 이용하여 판단될 수 있다. 이외에도 사석화 의심 상태를 계산하는 방법은 다양하게 존재할 수 있다. 사석화 의심 상태를 판단한 결과값이 기 설정된 값 이하일 경우, 경도 의심으로 구분될 수 있고, 사석화 의심 상태를 판단한 결과값이 기 설정된 값 이상일 경우, 중도 의심으로 구분될 수 있다. 또는, 사석화 의심 상태를 판단한 결과값이 A구간(0%~25%)에 포함될 경우, 경도 의심, B 구간(26%~50%)에 포함될 경우, 경중도 의심, C 구간(50%~75%)에 포함될 경우, 중도 의심, D 구간에 포함될 경우 확실 의심 등으로 구분될 수 있다.

클라우드 서버는 전자 기기를 이용하는 사용자가 사용자인지 관리자인지 구분할 수 있다(630). 예를 들면, 클라우드 서버는 전자 기기를 통하여 좌석 관리 서비스에 실행되는 사용자 계정을 통하여 사용자 또는 관리자를 구분할 수 있다.

클라우드 서버는 사석화 의심 좌석을 이용하는 전자 기기에게 경보음이나 진동, 알림, 팝업 등의 간접적인 방법을 통해 사석화 문제를 해결하고자 할 수 있다. 클라우드 서버는 사용자의 전자 기기에게 팝업을 알릴 수 있다(631). 클라우드 서버는 전자 기기에게 팝업 알림을 통해 사석화 문제를 자체적으로 해결하도록 제공할 수 있다. 여기서, 간접적인 방법이란, 오프라인으로 사용자에게 직접적으로 사석화 문제에 대응하기 위하여 알리는 것이 아니라, 온라인으로 사용자에게 간접적으로 사석화 문제를 해결하기 위하여 대응하는 것을 의미한다. 예를 들면, 클라우드 서버는 사석화 의심 좌석을 이용하는 전자 기기에게 사석화 의심 좌석을 해결하도록 사석화 의심 좌석에 대한 여부가 체크되기 위한 팝업 알림을 제공할 수 있다. 사용자는 팝업 알림을 통해 사석화 의심 좌석임을 체크하거나 사석화 의심 좌석이 아님을 체크할 수 있다. 클라우드 서버는 전자 기기로부터 체크된 사석화 의심 좌석에 대한 여부를 응답받을 수 있다. 클라우드 서버는 전자 기기에서 사석화 의심 좌석에 대한 여부가 체크되지 않음에 따라 체크될때까지 전자 기기로 주기적 또는 비주기적으로 팝업 알림을 발생시킬 수 있다. 클라우드 서버는 사석화 의심 좌석의 정도에 따라 팝업 알림 빈도를 결정할 수 있고, 결정된 팝업 알림 빈도에 따라 팝업 알림을 발생시킬 수 있다. 또한, 클라우드 서버는 사석화 의심 좌석을 해결할 수 있는 대안 정보를 제공할 수 있다. 예를 들면, 사석화 의심 좌석이 아닌 다른 좌석으로 이동할 수 있도록 대안 정보(예를 들면, 다른 좌석의 위치 데이터)를 제공할 수 있다.

클라우드 서버는 사석화 문제가 해결되었는지 여부를 판단할 수 있다(640). 클라우드 서버는 사석화 문제가 관리자의 개입없이 사용자의 전자 기기에서 자체적으로 해결할 수 있도록 제공할 수 있다. 클라우드 서버는 사용자의 전자 기기에서 사석화 문제가 해결되었을 경우, 사석화 문제가 해결된 것으로 결정할 수 있다(670).

클라우드 서버는 관리자의 전자 기기로 사석화 의심 좌석에 대한 정보를 로그로 기록할 수 있다(632). 640에서 클라우드 서버는 사석화 문제가 관리자의 개입없이 자체적으로 해결되지 않았을 경우, 관리자가 문제를 직접 해결할 수 있도록 할 수 있다. 클라우드 서버는 관리자의 전자 기기에게 사석화 문제에 대한 팝업을 알릴 수 있다(650). 클라우드 서버는 관리자의 전자 기기에게 사석화 의심 좌석과 관련된 정보를 제공할 수 있다. 클라우드 서버는 관리자의 전자 기기에서 사석화 의심 좌석과 관련된 CCTV 영상 데이터를 제공할 수 있다(660). 예를 들면, 클라우드 서버는 관리자의 개입 없이 사석화 문제가 해결되지 않았다면, 관리자의 전자 기기에게 팝업 또는 알람을 송신하고, 보다 정확한 상황을 빠르게 파악할 수 있도록 객체 인식 및 확인이 가능한 CCTV(120) 영상을 동시에 제공하여(460) 발생한 사석화 문제를 해결할 수 있다(670).

클라우드 서버는 사석화 의심 좌석을 판단하고 해결하기까지 발생한 모든 데이터를 사석화 통계 정보에 반영할 수 있다(680). 클라우드 서버는 사석화 의심 좌석을 판단하고 해결하기까지 발생한 모든 데이터를 통계 관리의 목적으로 활용할 수 있다. 클라우드 서버는 410 내지 480을 포함하는 전 과정을 자동으로 실행하여 관리자의 개입이 최소화된 좌석 관리 동작을 반복적으로 제공할 수 있다(690).

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 클라우드 서버에 의해 수행되는 좌석 관리 방법에 있어서,
   IoT 스마트 좌석에 대한 좌석 데이터를 수집하는 단계;
   상기 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 단계; 및
   상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하는 단계
   를 포함하고,
   상기 수집하는 단계는,
   상기 IoT 스마트 좌석에 부착된 센서로부터 센싱된 센서 데이터를 획득하고, 객체 인식 및 확인을 위한 CCTV를 통해 상기 IoT 스마트 좌석 또는 상기 IoT 스마트 좌석이 포함된 공간이 촬영됨에 따라 영상 데이터를 획득하고, 상기 획득된 센서 데이터 및 상기 획득된 영상 데이터를 포함하는 좌석 데이터를 수집하는 단계
   를 포함하고,
   상기 판단하는 단계는,
   상기 수집된 좌석 데이터로부터 객체 인식을 통해 좌석에 존재하는 사람 또는 사물을 포함하는 객체 정보를 판단하고, 좌석 관리를 위한 학습 모델을 이용하여 상기 수집된 좌석 데이터로부터 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 단계
   를 포함하고,
   상기 제공하는 단계는,
   상기 판단된 좌석 상황을 통해 사용자의 전자 기기 및 관리자의 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하고, 상기 제공된 좌석 정보를 통해 사석화 의심 좌석에 대한 문제가 해결됨에 따라 좌석과 관련하여 공간별, 기간별 사석화 통계 정보를 생성하고, 상기 생성된 사석화 통계 정보를 관리자의 전자 기기로 전달하는 단계
   를 포함하고,
   상기 관리자의 전자 기기에, 관리자에 의해 좌석 관리가 수행되는 적어도 하나 이상의 공간 정보에 대한 사용자 정보가 사생활 보호를 위하여 암호화 처리되어 제공되는 것
   을 포함하는 좌석 관리 방법.
2. 제1항에 있어서,
   상기 IoT 스마트 좌석은, 좌석의 주변 환경을 센싱하기 위하여, 좌석의 무게 정보, 압력 정보, 거리 정보가 센싱되는,
   것을 특징으로 하는 좌석 관리 방법.
3. 삭제
4. 제1항에 있어서,
   상기 판단하는 단계는,
   상기 판단된 좌석 상황을 시각화하는 단계
   를 포함하는 좌석 관리 방법.
5. 제1항에 있어서,
   상기 제공하는 단계는,
   상기 제공된 좌석 정보가 사석화 의심 좌석으로 판단되는 경우, 사석화 의심 좌석에 있는 사용자의 전자 기기 또는 사석화 의심 좌석을 관리하는 관리자의 전자 기기로 알림 정보를 전달하는 단계
   를 포함하는 좌석 관리 방법.
6. 제5항에 있어서,
   상기 사용자의 전자 기기는, 상기 사석화 의심 좌석에 있는 것으로 판단될 경우, 경보음, 진동, 알림 팝업을 포함하는 간접적인 알림 정보를 전달받는
   것을 특징으로 하는 좌석 관리 방법.
7. 제5항에 있어서,
   상기 관리자의 전자 기기는, 사석화 의심 좌석에 대한 정보가 로그로 기록되고, 상기 사석화 의심 좌석의 정보를 알람을 통해 전달받고, 상기 사석화 의심 좌석과 관련된 영상 데이터를 제공받는
   것을 특징으로 하는 좌석 관리 방법.
8. 삭제
9. 제1항에 있어서,
   상기 수집하는 단계는,
   관리자의 전자 기기로부터 관리자 명령 및 정보 수정 요청을 포함하는 관리자 요청 정보를 수신하는 단계
   를 포함하는 좌석 관리 방법.
10. 클라우드 서버에 있어서,
    IoT 스마트 좌석에 대한 좌석 데이터를 수집하는 데이터 수집부;
    상기 수집된 좌석 데이터에 따라 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 상황 판단부; 및
    상기 판단된 좌석 상황을 통해 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하는 좌석 제공부
    를 포함하고,
    상기 데이터 수집부는,
    상기 IoT 스마트 좌석에 부착된 센서로부터 센싱된 센서 데이터를 획득하고, 객체 인식 및 확인을 위한 CCTV를 통해 상기 IoT 스마트 좌석 또는 상기 IoT 스마트 좌석이 포함된 공간이 촬영됨에 따라 영상 데이터를 획득하고, 상기 획득된 센서 데이터 및 상기 획득된 영상 데이터를 포함하는 좌석 데이터를 수집하는 것을 포함하고,
    상기 상황 판단부는,
    상기 수집된 좌석 데이터로부터 객체 인식을 통해 좌석에 존재하는 사람 또는 사물을 포함하는 객체 정보를 판단하고, 좌석 관리를 위한 학습 모델을 이용하여 상기 수집된 좌석 데이터로부터 현재 이용 가능한 좌석 또는 사석화 의심 좌석을 포함하는 좌석 상황을 판단하는 것을 포함하고,
    상기 좌석 제공부는,
    상기 판단된 좌석 상황을 통해 사용자의 전자 기기 및 관리자의 전자 기기에게 좌석의 이용 여부를 포함하는 좌석 정보를 제공하고, 상기 제공된 좌석 정보를 통해 사석화 의심 좌석에 대한 문제가 해결됨에 따라 좌석과 관련하여 공간별, 기간별 사석화 통계 정보를 생성하고, 상기 생성된 사석화 통계 정보를 관리자의 전자 기기로 전달하는 것을 포함하고,
    상기 관리자의 전자 기기에, 관리자에 의해 좌석 관리가 수행되는 적어도 하나 이상의 공간 정보에 대한 사용자 정보가 사생활 보호를 위하여 암호화 처리되어 제공되는 것
    을 포함하는 클라우드 서버.
    

Images