KR20200013888A - Iot 환경에서의 방문자 영상 정보 제공 방법 및 시스템 - Google Patents

Abstract

본 발명의 일 실시예에 따른, IOT게이트웨이에 의해 수행되는, IOT 환경에서의 방문자 영상 정보 제공 방법에 있어서, (a) 실시간 스마트장치의 구동에 기초하여 IOT게이트웨이와 연결되면, 스마트장치에 대한 단말식별정보를 생성 및 접속시간을 저장하는 단계; (b) 도어벨로부터 방문신호를 수신하면 단말식별정보에 기초하여 IOT 게이트웨이와 연결된 스마트장치를 검색하는 단계; 및 (c) 검색된 스마트장치 중 사용자가 가장 최근에 이용한 것으로 확인되는 스마트장치로 도어벨을 통해 입력된 방문자의 영상을 제공하는 단계;를 포함하며, IOT게이트웨이는 IOT게이트웨이로부터 기 설정된 공간 이내에 위치한 스마트장치와 연결되는 방법일 수 있다.

Description

IOT 환경에서의 방문자 영상 정보 제공 방법 및 시스템 {SYSTEM AND METHOD FOR PROVIDING IMAGES OF VISITOR IN IOT ENVIORNMENT}

본 발명은 IOT 환경에서의 방문자 영상 정보 제공 방법 및 시스템에 관한 것이다. 이를 자세하게 설명하면, 본 발명에 따르는 시스템은 도어벨이 트리거 됐을 때, IOT 게이트웨이와 연결되어 관리되는 스마트 기기 중 사용자가 이용하고 있는 기기에 도어벨 화면을 전송하는 기술에 관한 것이다.

도어벨은 일반적으로 건물의 입구 근처에 배치되는 신호 기기이다. 기술의 발달에 따라 최근 도어벨 시스템은 물리 배선을 필요로 하지 않는 무선 도어벨 기술로 진화하고 있다.

이에 따라, 도어벨이 공간의 시작점에 위치하고, 무선기술을 별다른 문제없이 사용할 수 있다는 부분에서 IOT환경을 확장하기에 최적의 기기로 주목을 받고 있는 상황이다.

현재 많은 논문들을 통해 스마트 도어벨을 제안하고 있지만, 사용자 행동 기반의 도어벨 시스템의 개발은 미흡한 상태이다. 그 이유는 도어벨의 내부 자원의 제한으로 인한 과도한 프로세싱이 불가능하고, 데이터관리를 위한 스토리지 또한 부족하기 때문이다.

최근 시장에서 가장 각광받는 도어벨 모델은 모바일 액세스, HD카메라, 모션 감지 및 야간 시각 기능을 포함하고 있으며, 이러한 기능은 사용자가 도어벨의 동작 여부 등을 확인할 수 있도록 도움을 주게 된다.

그럼에도 현재 시장의 스마트 도어벨 시스템은 각각의 리소스 제한으로 인해 상세한 처리기능을 고려하지 못하는 상황이다.

한국공개특허 제 10-2014-0109683 호 (발명의 명칭: 블랙박스 기능을 갖는 스마트 디지털 도어록 시스템)

본 발명은 전술한 문제점을 해결하기 위하여, 푸시버튼과 초음파 센서를 통해 감지된 방문자를 촬영하고, 해당 도어벨 영상을 집 주인이 최근 사용한 스마트 기기로 전송하게 된다.

또한, 방문장소에 사람이 존재하지 않는 경우, 기 등록된 집 주인의 스마트폰에 우선적으로 영상을 전송하도록 구현하는 것을 목적으로 한다.

이때, 동일한 공간에 구비되는 모든 기기는 공간 안의 스마트 IOT 게이트웨이를 기반으로 관리되기에 시스템 설계 단계부터 IOT환경에 맞출 수 있도록 구현하게 된다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른, IOT게이트웨이에 의해 수행되는, IOT 환경에서의 방문자 영상 정보 제공 방법에 있어서, (a) 실시간 스마트장치의 구동에 기초하여 IOT게이트웨이와 연결되면, 스마트장치에 대한 단말식별정보를 생성 및 접속시간을 저장하는 단계; (b) 도어벨로부터 방문신호를 수신하면 단말식별정보에 기초하여 IOT 게이트웨이와 연결된 스마트장치를 검색하는 단계; 및 (c) 검색된 스마트장치 중 사용자가 가장 최근에 이용한 것으로 확인되는 스마트장치로 도어벨을 통해 입력된 방문자의 영상을 제공하는 단계;를 포함하며, IOT게이트웨이는 IOT게이트웨이로부터 기 설정된 공간 이내에 위치한 스마트장치와 연결되는 방법일 수 있다.

또 다른 일 실시예에 따른, IOT 환경에서의 방문자 영상 정보 제공 장치에 있어서, 도어벨에 구비된 카메라 모듈로부터 수신한 방문자 영상이 저장되고, IOT 환경에서의 방문자 영상 정보 제공 방법을 구현하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하여 IOT 환경에서의 방문자 영상 정보 제공 동작을 실행하는 프로세서를 포함하되, 프로세서는 실시간 스마트장치의 구동에 기초하여 IOT게이트웨이와 연결되면, 스마트장치에 대한 단말식별정보를 생성 및 접속시간을 저장하고, 도어벨로부터 방문신호를 수신하면 IOT게이트웨이는 단말식별정보에 기초하여 사용자가 이용중인 스마트장치를 검색하고, 검색의 결과로 사용자가 스마트장치를 이용 중이면, 스마트장치와 도어벨의 연결을 수행하는 장치일 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 푸시버튼과 초음파 센서를 통해 감지된 방문자를 촬영하고, 해당 도어벨 영상을 집 주인이 최근 사용한 스마트 기기로 전송하게 된다.

또한, 방문장소에 사람이 존재하지 않거나 기 설정된 시간 이내에 사용된 스마트 장치가 없는 경우, 기 등록된 집 주인의 스마트폰을 우선적으로 선택하여 영상을 전송하도록 구현할 수 있다.

종래에는 스마트 도어벨을 제안하는 연구가 많으나, 대부분의 도어벨 장치 자체의리소스가 제한적으로 설계되어 현 IOT통신, 제어 및 데이터 관리를 수행할 수 없었다.

따라서, 종래의 스마트 공간 플랫폼용 도어벨은 데이터 관리가 힘들고, 이러한 문제를 해결하기 위해 스마트 공간을 위한 도어벨 기반 IOT플랫폼을 제안하였다.

제안된 플랫폼은 스트리밍 장치의 관리 시스템과 일반 장치를 플랫폼 내에서 분리하고, 도어벨 장치에서 생성된 스트리밍 데이터를 IOT게이트웨이를 사용하여 효과적으로 처리할 수 있게 한다.

또한, 스트리밍 데이터로 인해 발생할 수 있는 IOT게이트웨이 부하를 줄이기 위해 새로운 메시지 전송 방법을 고안할 수 있다.

본 발명에서 제안된 플랫폼을 테스트베드를 통해 구현하고, 이를 스마트 공간을 위한 도어벨 기반의 IOT플랫폼이 스마트 유비쿼터스 환경에 적합함을 입증할 수 있다.

도 1은 본 발명의 일실시 예에 따른, 스마트 도어벨 시스템의 네트워크 연결 구성을 나타낸 예시 도면이다.
도 2는 본 발명의 일 실시예에 따른, 스마트 도어벨 시스템의 구조를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 스마트 도어벨과 기기간의 메시지 전송 방법을 나타낸 흐름도이다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른, 스트리밍 데이터 전송의 각 단계를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, 장치 관리 테이블을 나타낸 도표이다.
도 6은 본 발명의 일 실시예에 따른, IOT 환경에서의 방문자 영상 정보 제공 방법을 나타낸 동작흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

본 발명의 스마트 도어벨 시스템은 IOT 환경에서의 방문자 영상 정보 제공 시스템은 엔드포인트, 미들웨어, 클라우드 컴퓨팅 기능을 구현함으로써, 해당 기능을 수행할 수 있게 된다.

이를 구현하기 위해 라즈베리파이를 사용하게 되는데, 저스팩의 기기이지만 기본적인 프로세싱을 구현하는 것에 최적화 되어 있어, 범용 입출력(GPIO)을 통해 도어벨 스위치를 연결할 수 있으며, 전통적인 초인종처럼 동작할 수 있다. 또한, 라즈베리파이는 이더넷, wi-fi 또는 3G 및 4G 데이터 연결이 가능한 유연성을 지니고 있기에 도어벨은 집 밖 또는 문 앞에 배치할 수 있게 도움을 준다.

또한, 스마트 공간 IOT 환경에서의 사용자 행동 기반 도어벨 시스템은 카메라를 포함하여 독립형 기기로 보관할 수 있고, 도어벨이 작동 시 VNC를 통한 스트리밍 서버를 가지게 된다.

스마트TV는 Kodi 오픈소스 소프트웨어를 사용하게 되고, 도어벨 화면이 스마트TV를 통해 켜질 것을 대비하여, PIP(Picture in picutre)화면 방식으로 제공될 수 있다. PIP화면은 IOT 게이트웨이에서 처리된 이미지 프로세싱 결과값을 표출하고, 정확한 인식값이 사용자에게 전달되는지 확인할 수 있다.

만약, 사용자가 해당 화면이 화면에 켜질 필요가 없다고 판단하는 경우에는 버튼을 눌러 다른 사람의 기기로 도어벨 화면을 전송할 수 있다. 스마트TV의 특성상 최소한의 공간을 사용해야 하는 한계점으로 인해 PIP화면에 오버레이를 입혀 해당 사람이 누구인지를 알리는 기능을 사용하게 된다.

한편, IOT 게이트웨이는 모든 리소스를 관리하게 되고, 이미지 프로세싱을 통해 해당 플랫폼이 스마트 공간을 위해 동작할 수 있도록 구현하게 된다. 기본적인 데이터 통신을 위해서는 IOTivity 프레임워크를 사용하는데, 이 프레임워크에서 리소스 검색 기능과 CoAP-HTTP 프록시 기능을 활용하게 된다.

여기에 추가적인 소스를 더하여 도어벨의 스트리밍 서버 데이터를 관리하고, 외부 클라우드 및 클라우드와 원활한 통신을 가능하게 한다. 또한, 게이트웨이는 엑세스 포인트와 랩톱과 우분투를 베이스로 활용하게 된다.

도어벨을 통해 검출된 얼굴은 기 저장된 데이터와의 관계 데이터를 생성하고, 사용자의 위치를 파악하거나 범죄인인지를 확인할 때 사용하게 된다. 클라우드 컴퓨팅은 GCP에 리눅스를 설치하고, 도어벨 기반 플랫폼에 필요한 컴퓨팅 능력을 제공하게 된다.

GCP는 외부 IP를 제공하며 IOT 게이트웨이에서 생성된 관계 데이터는 HTTP를 통해 GCP내부의 데이터베이스로 전송하게 된다.

또한, IOT 게이트웨이와 서버-클라이언트관계를 구축하여 IOT 게이터웨이가 관계 데이터를 요구할 때에는 서드 파티 인증을 통해 해당 IOT 게이트웨이에 적합한 관계 데이터를 전송하게 된다.

도 1은 본 발명의 일실시 예에 따른, 스마트 도어벨 시스템의 네트워크 연결 구성을 나타낸 예시 도면이다.

스마트 공간 IOT 환경에서의 사용자 행동 기반 도어벨 시스템은 종래의 도어벨 시스템이 안고 있는 문제점을 해결하고, 스마트 공간에 맞게 설계된다.

본 발명에서 도어벨에 인식된 사람은 먼저 서드파티 데이터베이스와 비교 분석되고, 공간 안에서 관리되고 있는 기기 중 스크린이 있다면, 최근까지 사용된 스마트장치로 도어벨 영상을 전송하게 된다.

만약 기기가 동작하고 있지 않는 경우, 사용자가 도어벨이 설치된 공간에 존재하지 않는 것으로 간주하고, 사용자가 추후 방문 흔적을 확인할 수 있도록, 스마트폰으로 해당 영상을 전달하게 된다. 또한, 사용자가 영상을 확인하지 않는 경우에도 방문자를 기 설정된 시간 동안 촬영한 영상과 함께 로그를 스마트폰으로 전송하게 된다.

도 1을 참조하면, 네트워크의 연결 구성은 IOT게이트웨이(100), 유저 디바이스(스마트장치), 도어벨(300)을 포함할 수 있다. 이때, 스마트장치(200)는 다양한 장치가 복수의 종류로 지원될 수 있다.

본 발명에서는 네트워크 연결의 상호 통신을 줄이고, 외부로부터의 접근성을 높이기 위해 도면과 같은 구성을 가지게 된다.

본 발명의 일 실시예에 따라, 도어벨(300)은 제한된 프로세스로 인한 제한된 성능 문제를 분산을 통해 해결할 수 있게 되고, IOT 게이트웨이(100)는 사용자 기기와 엔드포인트(Endpoints) 사이에 배치되어 도어벨(300)이 수행하게 되는 작업을 최소화 하게 된다.

또한, IOT 게이트웨이(100)를 통해 다양한 스마트 디바이스(즉, 스마트장치(200))가 동시에 연결될 수 있다. 예컨대, 데스크톱, 랩톱, 스마트TV, 스마트폰 등이 IOT 게이트웨이(100)와 연결되어 도어벨(300)에서 생성되는 데이터를 수신할 수 있게 된다.

도 2는 본 발명의 일 실시예에 따른, 스마트 도어벨 시스템의 구조를 나타낸 도면이다.

도 2를 살펴보면, 시스템은 크게 엔드포인트, 미들웨어, 클라우드 컴퓨팅 부분으로 나뉜다.

일반적으로 엔드포인트는 CCTV, 스마트장치(200), 도어벨(300)과 같은 사용자나 방문자가 접근하거나 이용하는 기기를 의미한다. 스마트장치(200)의 경우에는 디바이스 명칭, 모델 번호, 하드웨어 유형, 디바이스 종류, 버전, 유형 및 타임스탬프를 센서 값에 로컬로 연결하며, 이것을 통해 측정 메타 데이터를 생성하게 된다.

스마트장치(200)의 인터페이스를 통해 센서 메타 데이터의 획득(get) 요청을 수행하거나, IOT게이트웨이(100)의 사우스 인터페이스로 푸시할 수 있다.

따라서, 데이터 검색 단계에서는 이러한 엔드포인트의 레코드를 보관해야 한다. 또한, 기기 및 엔드포인트의 추가 또는 삭제는 IOT 게이트웨이(100)에 내부 데이터베이스 및 구성을 적절하게 업데이트 하는 것을 푸시로 통해 알릴 수 있다.

스마트장치(200)를 처음 추가하게 되면, 구성 목록이 IOT 게이트웨이(100)로 전송되어 로컬 데이터베이스에 저장된다. 도어벨(300) 역시 이러한 기본적인 데이터 처리를 수행하고, 이와 더불어 스트리밍 서버를 지원한다.

IOT 게이트웨이(100)는 모든 스트리밍 서버의 리스트를 관리한다. 이렇게 리스트를 관리하는 것은 관리적 차원에서 필요한 프로세싱 및 종속적 차원에서 필요로 하는 프로세싱을 분리함으로써, Server-Client부분을 명확하게 구분할 수 있게 한다.

미들웨어는 응용 소프트웨어가 스마트장치(200)로부터 제공받는 서비스 이외에 추가적으로 이용할 수 있는 서비스를 제공하는 컴퓨터 소프트웨어를 뜻한다.

응용 소프트웨어는 유연하고 확장 및 축소가 편리해야 하며, 이러한 강점을 충족할 수 있도록 개발자가 다른 기종 간 플랫폼을 다시 구축할 필요가 없도록 제작되어야 한다.

이때, 미들웨어는 사우스 인터페이스, 이미지프로세싱 파트, 데이터베이스, 데이터프로세싱 파트 CoAP-HTTP 프록시 파트로 구성될 수 있다.

사우스 인터페이스는 앞서 서술한 엔드포인트와 IOT 게이트웨이(100) 간의 통신을 담당하는 인터페이스가 될 수 있다. 이 인터페이스는 CoAP를 활용하여 스마트 기기와 IOT 게이트웨이(100) 간의 네트워크를 생성하고, IOT게이트웨이(100)가 기기를 검색할 시, 필요한 소켓을 열어주게 된다.

데이터베이스는 스마트장치(200)가 IOT 게이트웨이(100)에서 처리된 모든 프로세싱에 필요한 데이터를 저장하는 공간으로써, 프로세싱의 신속한 처리를 위해 데이터가 임시로 거치는 곳을 뜻한다. 대표적으로 저장되는 데이터는 각 스마트장치(200)에서 생성되는 측정데이터, 유저 디바이스 리스트, 도어벨 이미지 및 도어벨(300)이 생성한 기 설정된 시간(약 5초)만큼의 영상이 임시로 저장될 수 있다.

CoAP-HTTP 프록시는 스마트장치(200)와 GCP의 연결을 위해 네트워크와 인터넷을 연결시켜주기 위해 필요한 프록시가 될 수 있다.

이미지 처리는 도어벨(300)에서 생성된 사진을 클라우드에 저장된 사진과 비교하여 사진이 올바른지(즉, 기 저장된 인물이 맞는지) 확인하는 프로세스가 될 수 있다.

이미지 프로세싱 파트는 사람이나 스마트장치(200)를 사진으로부터 추출하고, 이를 클라우드에 저장된 데이터나 등록된 기기와의 비교 및 분석을 수행하게 된다.

도 3은 본 발명의 일 실시예에 따른, 스마트 도어벨(300)과 기기간의 메시지 전송 방법을 나타낸 흐름도이다.

도 3을 살펴보면, 그림(a)은 종래의 메시지 전송 방법을 나타내고, 그림(b)은 본 발명이 제안하는 메시지 전송 방법을 뜻할 수 있다.

종래의 방식인 그림(a)을 살펴보면, 메시지를 전송하는 각 단계별 작업을 분리하여 구현해 왔다. 이러한 방법은 여러 장치가 연결되었을 시, 획득(get) 메시지를 계속 보내야 한다.

따라서, 본 발명에서는 사용자의 행동과 문제를 개선할 수 있는 방법으로 앞서 서술한 단계를 통합하여 제안한다.

그림(b)을 살펴보면, 두 개의 작업을 통합하는 이점으로 획득(get) 메시지, 할당 및 작업 데이터의 전송을 한번에 수행할 수 있게 된다.

그러나, 이 경우 정확한 상태의 파악이 어렵기에, 본 발명에서는 상태를 정확히 구별할 수 있도록 메시지 값의 의미를 부여하게 된다. 이때, 의미를 부여하는 방법은 언어가 아닌 숫자를 사용하여 메시지 값을 구현하게 되는 것이다.

도 4a 내지 도 4d는 본 발명의 일 실시예에 따른, 스트리밍 데이터 전송의 각 단계를 나타낸 도면이다.

먼저, 도 4a를 살펴보면, 디바이스 등록(device registration) 단계를 확인할 수 있다.

해당 단계는 유저 디바이스 관리 테이블에 스마트장치(200)를 등록함으로써 시작하게 된다. 하나의 사용자 기기가 먼저 IOT 게이트웨이(100)에 접속할 시, IOT 게이트웨이(100)는 해당 기기를 스마트 기기로 간주하여 유저 디바이스 관리 테이블에 등록하게 된다.

예를 들어, 현재 스마트 공간(사용자가 이용 중인 공간)에는 랩톱, 데스크톱, 스마트TV, 스마트폰이 있다고 가정한다. 처음 IOT 게이트웨이(100)에 연결되는 스마트장치(200)가 랩톱인 경우, 장치 관리 테이블 ID 1, 트리거 번호 2 및 장치 URI는 랩톱이 된다. 트리거 번호는 랩톱의 ID와 게이트웨이(100)가 현재 관리하는 기기의 합계에 2를 할당하게 된다.

Device URI는 스마트장치(200)에 이미 정의된 URI 정보를 기록한다. 데스크톱, 스마트TV 및 스마트폰이 랩톱 다음에 IOT 게이트웨이(100)에 추가로 연결되면, 랩톱 ID는 1, 데스크톱 ID는 2, 스마트TV ID는 3, 스마트폰은 4가 할당된다. 트리거(Trigger) 번호는 현재 관리되는 총 사용자 장치 수에 따라 4가 되고, 그에 따라 랩톱 5, 스마트TV 6, 스마트폰은 8이 된다. 이때, Device URI는 사용자 기기에 이미 등록된 URI를 참조함으로써 생성된다.

도 4b를 살펴보면, 관찰(Observation) 단계를 확인할 수 있다.

해당 단계는 IOT 게이트웨이(100)가 가장 최근 사용된 스마트장치(200)의 ID값을 브로드 캐스트를 통해 전송하고, IOT 게이트웨이(100)의 브로드 캐스트를 통해 전송된 ID값은 현재 관리되는 모든 스마트장치(200)에 전달된다.

이때, 스마트장치(200)가 ID값을 정상적으로 (?)수신하면, 스마트장치(200)는 ACK 메시지를 IOT 게이트웨이(100)에 전송한다.

스마트장치(200)로부터 ACK 메시지를 수신한 IOT 게이트웨이(100)는 유저 디바이스 관리 테이블의 확인 필드에 ACK 메시지를 기록하게 되고, IOT 게이트웨이(100)가 관리하는 스마트장치(200)에서 정상적으로 ACK를 보내지 않는 장치가 있는지 여부를 확인하게 된다. 만약, ACK를 전달하지 않는 장치가 있는 경우 IOT 게이트웨이(100)는 장치의 확인 필드에 NAK를 기록하고 오류 처리기를 활성화 한다.

도 4c를 살펴보면, 스트리밍 데이터 전송(streaming data transmission) 단계를 확인할 수 있다.

해당 단계에서 도어벨(300)이 동작 할 때, 도어벨(300)의 스트리밍 데이터를 사용자에 의하여 가장 최근에 사용한, 또는 다른 표현으로는 마지막으로 사용한 스마트장치(200)로 전달하게 된다.

도어벨(300) 앞에 사람이 감지되면, 도어벨(300)은 종료 메시지로 IOT 게이트웨이(100)에 트리거 메시지를 전송한다. 트리거 메시지를 수신하는 IOT 게이트웨이(100)는 유저 디바이스 상태 테이블과 관리 테이블을 확인하고, 이전 상태 테이블에서 마지막으로 사용된 스마트장치(200)의 ID값을 확인한다.

다음으로 디바이스 관리 테이블의 상태 테이블에서 확인된 ID값에 대응하는 트리거 번호가 모든 사용자 디바이스에 브로드 캐스트 한다.

예를 들어 도어벨(300)이 트리거 된다고 가정하면, 마지막으로 사용된 스마트장치(200)가 랩톱인 경우 유저 디바이스 관리 테이블에서 랩톱의 ID 1과 일치하는 열을 확인하게 된다. 이때, 확인이 완료되면 ID 1의 트리거 번호를 파악하고, 상태 확인 메커니즘을 사용하여 각각의 스마트장치(200)에 트리거 번호 메시지가 브로드 캐스트 된다.

트리거 번호 메시지를 수신한 스마트장치(200)는 번호가 트리거 번호와 일치하는지 확인하고, 사용자의 트리거 번호와 일치하면, 트리거 번호에 대응하는 스마트장치(200)의 기능이 수행되고, 나머지 스마트장치(200)는 트리거 번호를 삭제한다.

또한, 그와 동시에 도어벨(300)은 스마트장치(200)의 스트리밍 서버에 대한 연결을 종료하게 된다. 다른 사용자의 유저 디바이스 ID값을 수신하면, IOT 게이트웨이(100)는 유저 디바이스 관리 테이블에서 스마트장치(200)의 ID값을 확인하고, 해당 스마트장치(200)의 ID값의 트리거 번호를 기존 메시지와 동일한 메시지로 전송한다.

예를 들어 랩톱을 사용하는 사용자가 도어벨 스트리밍 데이터를 스마트 TV로 전송한다고 가정한다면, 랩톱은 ID 3을 IOT 게이트웨이(100)로 전송하고 스트리밍 연결을 종료한다.

도면에 도시된 바와 같이, IOT 게이트웨이(100)는 유저 디바이스 관리 테이블에서 ID 3에 대응하는 트리거의 수를 체크한다.

여기서, 스마트TV의 트리거 번호는 IOT 게이트웨이(100)를 통해 관리되는 모든 단말에게 7이 전송되며, 트리거 메시지에 해당하는 스마트장치(200)는 도어벨(300) 서버에 대한 접속 기능을 수행하고, 다른 스마트장치(200)는 메시지 7을 삭제한다.

여기서, 예외는 사용자가 마지막으로 사용한 스마트장치(200)가 스마트폰이 아닌 경우 스마트폰은 4단계에서만 스트리밍 서버에 접속한다. 다시 메시지를 보내면 스마트폰이 스트리밍 서버에 다시 연결되지는 않을 경우 스트리밍 서버와의 연결을 끊게 되고, 스트리밍 브라우저 응용 프로그램이 종료된다.

도 4d를 살펴보면, 스트리밍 데이터 쉐어링(streaming data sharing) 단계를 나타낸 것이다.

도 5는 본 발명의 일 실시예에 따른, 장치 관리 테이블을 나타낸 도표이다.

표(a)를 참조하면, 장치 관리 테이블은 현재 IOT 게이트웨이(100)가 관리하는 장치의 URI, ID 및 트리거 번호로 구성되며, 앞서 서술한 바와 같이 테이블에 기록된 숫자는 작업을 구별하기 위해 사용된다.

IOT 게이트웨이(100)에는 테이블을 통하여 모든 장치에 대한 데이터를 가지고 있으며, 제안된 IOT 게이트웨이(100)가 등록 동작을 수행하면, 각 스마트장치(200)의 ID값이 ACK 메시지로 전송된다.

IOT 게이트웨이(100)가 동작을 수행할 시, 상기 장치는 상기 ACK 메시지에 트리거 번호를 전송하게 된다.

트리거 번호는 각 ID를 의미하고, 각 스마트장치(200)에 고유한 번호가 된다. 또한, 총 장치 수를 알고 있는 IOT 게이트웨이(100)는 각 장치의 ID 값에 총 장치 수를 더한 트리거 번호 수를 할당하고, ID가 수신되면, IOT 게이트웨이(100)는 등록을 수행한 것으로 판단하게 된다.

또한, 트리거 번호가 수신되면, 각 스마트장치(200)는 트리거 번호를 IOT 게이트웨이(100)에서 수신된 트리거 번호와 비교하고, 서로 번호가 일치할 시에, 해당 기기가 도어벨(300)의 기능을 수행한다.

표(b)를 참조하면, 시스템의 메시지를 전달하는 방법에 대한 상세한 예시로 테이블은 마지막으로 사용된 스마트장치(200)를 기록하며, ID, 장치 URI 및 시간 로그(time log) 필드로 구성될 수 있다.

ID 및 URI 필드는 유저 디바이스 관리 테이블의 ID 및 장치 URI필드와 동일하며, 시간 로그 필드는 사용자가 마지막으로 스마트장치(200)를 사용한 시간을 뜻한다.

도 6은 본 발명의 일 실시예에 따른, IOT 환경에서의 방문자 영상 정보 제공 방법을 나타낸 동작흐름도이다.

도 6을 살펴보면, 먼저 IOT게이트웨이(100)와 연결되는 스마트장치(200)의 단말식별정보를 생성한다(S610).

이를 상세하게 설명하면, 실시간으로 구동중인 스마트장치(200)에 기초하여 IOT게이트웨이(300)와 연결되면, 스마트장치(200)에 대한 단말식별정보를 생성하고, 접속시간을 저장하게 된다.

이때, 단말식별정보는 ID 및 트리거 넘버 중 적어도 하나를 포함하며, ID는 스마트장치(200)가 IOT게이트웨이(100)와 연결되는 순서에 기초하여 숫자로 구성되고, 트리거 넘버는 ID와 ID에 대응하는 스마트장치(200)와 동일한 종류의 장치들의 총 개수의 합으로 구성되는 것이다.

이때, 추가 실시예로 단말식별정보가 트리거 넘버로 구성되면, 기 설정된 시간 주기마다 스마트장치(200)에 대한 단말식별정보를 갱신하여, 사용하지 않는 스마트장치(200)에 대해서는 단말식별정보를 자동으로 정리되게끔 할 수 있다.

방문자에 의해 도어벨(300)이 방문신호를 생성하고, 이를 IOT게이트웨이(100)가 수신하면, 사용자가 이용중인 스마트장치(200)를 검색한다(S620).

즉, 도어벨(300)로부터 방문신호를 IOT게이트웨이(100)가 수신하면, 단말식별정보에 기초하여 IOT게이트웨이(100)와 연결된 스마트장치(200)를 검색하게 된다.

IOT게이트웨이(100)는 단말식별정보에 기초하여 실시간 구동중인 스마트장치(200)를 검색하되, 접속시간을 기초하여 IOT게이트웨이(100)에 가장 최근 접속한 스마트장치(200)를 판단하게 된다.

단계(S620)의 검색의 결과에 기초하여 도어벨과 스마트장치를 연결하고, 도어벨부터 생성되는 영상을 제공 받는다(S630).

즉, 단계(S610)를 통해 검색된 스마트장치(200) 중 사용자가 가장 최근에 이용한 것으로 확인되는 스마트장치(200)를 도어벨(300)을 통해 입력된 방문자의 영상을 제공하게 되는 것이다.

이때, 최근 사용된 스마트장치(200)와 연결되지 않으면, 차선으로 사용된 스마트장치(200)와의 연결을 수행하게 된다.

또한, 도어벨로부터 실시간으로 수신된 영상을 IOT게이트웨이(100)가 수집하여 스마트장치(200)로 전달하되, 영상이 포함하는 방문자의 안면을 인식하고, 사용자가 기 저장한 인물정보의 안면과 비교하여 매칭값이 있으면, 인물정보를 스마트장치(200)로 함께 전달하고, 매칭값이 없으면, 경고메시지를 생성하여 스마트장치(200)로 전달할 수 있다.

이때, 추가 실시예로, 사용자가 실시간으로 이용중인 스마트장치(200)가 복수로 존재하면, 도어벨(300)과 복수로 연결되는 옵션을 추가로 제공할 수 있다. 예컨대, 도어벨(300)에 컴퓨터나 스마트티비를 동시에 이용중인 사람들과 동시에 연결될 수 있는 것이다.

이를 구현하기 위해서, IOT게이트웨이(100)는 사용자가 실시간으로 이용중인 복수의 스마트장치(200)중 가장 먼저 도어벨(300)과 연결된 스마트장치(200)에 다른 스마트장치(200)의 연결여부를 묻는 연결질문을 제공하고, 회신의 여부에 따라 도어벨(300)과 스마트장치(200)가 복수로 연결되는 것을 허용하게 된다.

그 외에도 IOT게이트웨이(100)가 특정 스마트장치로부터 장치의 전환요청이 접수되면, 전환요청에 대상이 되는 스마트장치(200)로 도어벨(300)의 영상을 제공할 수도 있다.

하지만, 단계(S620)의 검색결과로 스마트장치(200)가 검색되지 않는 경우, IOT게이트웨이(100)는 사용자가 부재중으로 판단하고, 도어벨(300)로부터 도어벨(300)이 방문신호를 생성 후 기 설정된 시간 동안 방문자를 촬영한 영상을 수신한다.

이러한 경우에도, 단계(S630)와 같이 영상이 포함하는 방문자의 안면을 인식하고 기 저장된 인물정보의 안면과 비교하여 매칭 여부의 결과를 방문자 영상에 포함하게 되는 것이다.

이후, 방문자 영상을 IOT게이트웨이(100)에 기 등록된 스마트폰으로 전달하게 되는 것이다. 이를 통해, 집을 비운 상태라도 원격으로 방문한 사람을 확인하고, 그와 연락을 취할 수 있게 되는 것이다.

이상에서 설명한 본 발명의 실시예에 따른 인테리어 자재 주문정보 등록 및 견적서 서비스 제공 장치 및 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: IOT게이트웨이 200: 스마트장치
120: 도어벨

Claims (13)

1. IOT게이트웨이에 의해 수행되는, IOT 환경에서의 방문자 영상 정보 제공 방법에 있어서,
   (a) 실시간 스마트장치의 구동에 기초하여 IOT게이트웨이와 연결되면, 상기 스마트장치에 대한 단말식별정보를 생성하고, 접속시간을 저장하는 단계;
   (b) 도어벨로부터 방문신호를 수신하면 상기 단말식별정보에 기초하여 상기 IOT 게이트웨이와 연결된 상기 스마트장치를 검색하는 단계; 및
   (c) 상기 검색된 스마트장치 중 사용자가 가장 최근에 이용한 것으로 확인되는 스마트장치로 상기 도어벨을 통해 입력된 방문자의 영상을 제공하는 단계;
   를 포함하며,
   상기 IOT게이트웨이는 상기 IOT게이트웨이로부터 기 설정된 공간 이내에 위치한 스마트장치와 연결되는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
2. 제1항에 있어서,
   상기 단말식별정보는
   ID 및 트리거 넘버 중 적어도 하나를 포함하고,
   상기 ID는 상기 스마트장치가 상기 IOT 게이트웨이와 연결되는 순서에 기초하여 숫자로 구성되며, 상기 트리거 넘버는 상기 ID와 상기 ID에 대응하는 스마트장치와 동일한 종류의 장치들의 총 개수의 합으로 구성되는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
3. 제1항에 있어서,
   상기 (b) 단계는
   상기 단말식별정보에 기초하여 실시간 구동중인 상기 스마트장치를 검색하되,
   상기 접속시간에 기초하여 상기 IOT게이트웨이에 가장 최근 접속한 상기 스마트장치를 판단하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
4. 제1항에 있어서,
   상기 (c) 단계는
   상기 도어벨로부터 실시간 수신된 영상을 수집하여 상기 스마트장치로 전달하되, 상기 영상이 포함하는 방문자의 안면을 인식하고,
   사용자가 기 저장한 인물정보의 안면과 비교하여 매칭하는 값이 있으면, 매칭된 인물정보를 상기 스마트장치로 함께 전달하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
5. 제4항에 있어서,
   상기 인물정보의 안면과 매칭하는 값이 없으면, 경고메시지를 생성하여 상기 스마트장치로 전달하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
6. 제1항에 있어서,
   상기 (c) 단계는
   최근 사용된 상기 스마트장치와 연결이 되지 않으면, 차선으로 사용된 상기 스마트장치와 연결을 수행하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
7. 제6항에 있어서,
   상기 IOT게이트웨이와 연결된 상기 스마트장치가 검색되지 않는 경우, 상기 IOT게이트웨이는 사용자가 부재중으로 판단하고,
   (c-1) 상기 도어벨로부터 방문자 영상을 수신하는 단계;
   (c-2) 상기 방문자 영상을 상기 IOT게이트웨이에 기 등록된 스마트폰으로 전달하는 단계;
   를 더 수행하되, 상기 방문자 영상은 상기 도어벨이 방문신호를 생성 후 기 설정된 시간 동안 방문자를 촬영한 영상인 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
8. 제7항에 있어서,
   상기 (c-1) 이후
   상기 IOT게이트웨이는 상기 방문자 영상이 포함하는 방문자의 안면을 인식하고,
   사용자가 기 저장한 인물정보의 안면과 비교하여, 매칭 여부의 결과를 상기 방문자 영상에 포함하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
9. 제1항에 있어서,
   상기 (c) 단계는
   사용자가 실시간으로 이용중인 상기 스마트장치가 복수로 존재하면, 상기 도어벨과 복수로 연결될 수 있는 옵션을 제공하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
10. 제9항에 있어서,
    상기 IOT게이트웨이는 사용자가 실시간으로 이용중인 복수의 상기 스마트장치 중 가장 먼저 상기 도어벨과 연결된 상기 스마트장치에 다른 스마트장치의 연결여부를 묻는 연결질문을 제공하고,
    상기 연결질문의 회신에 따라 상기 도어벨이 상기 스마트장치와 복수로 연결되는 것을 허용하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
11. 제1항에 있어서,
    상기 IOT게이트웨이는 도어벨 영상이 임의의 스마트장치로 제공되고 있는 경우, 다른 스마트장치로부터 장치의 전환요청이 접수되면, 상기 다른 스마트장치로 상기 도어벨의 영상을 제공하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.
12. IOT 환경에서의 방문자 영상 정보 제공 장치에 있어서,
    상기 도어벨에 구비된 카메라 모듈로부터 수신한 방문자 영상이 저장되고, IOT 환경에서의 방문자 영상 정보 제공 방법을 구현하는 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행하여 상 IOT 환경에서의 방문자 영상 정보 제공 동작을 실행하는 프로세서를 포함하되,
    상기 프로세서는 실시간 스마트장치의 구동에 기초하여 IOT게이트웨이와 연결되면, 상기 스마트장치에 대한 단말식별정보를 생성 및 접속시간을 저장하고, 도어벨로부터 방문신호를 수신하면 상기 IOT게이트웨이는 상기 단말식별정보에 기초하여 사용자가 이용중인 상기 스마트장치를 검색하고, 상기 검색의 결과로 사용자가 상기 스마트장치를 이용 중이면, 상기 스마트장치와 도어벨의 연결을 수행하는 것인, IOT 환경에서의 방문자 영상 정보 제공 장치.
13. 제2항에 있어서,
    상기 단말식별정보가 상기 트리거 넘버로 구성되면, 기 설정된 시간 주기마다 상기 스마트장치에 대한 상기 단말식별정보를 갱신하는 것인, IOT 환경에서의 방문자 영상 정보 제공 방법.

Images