KR20190129785A

KR20190129785A - 디스플레이 장치, 단말 장치 및 그 제어 방법

Info

Publication number: KR20190129785A
Application number: KR1020190142838A
Authority: KR
Inventors: 김창원; 주가현; 심정현
Original assignee: 삼성전자주식회사
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2019-11-20

Abstract

디스플레이 장치, 단말 장치 및 그 제어 방법이 개시된다. 본 발명에 따르면, 디스플레이 장치는 단말 장치 또는 중계 서버와 통신을 수행하여 단말 장치에서 수집된 적어도 하나의 주변 기기의 상태 정보를 수신하는 통신부, UI 화면을 디스플레이하는 디스플레이부 및 단말 장치와의 통신 가능 여부에 따라, 적어도 하나의 주변 기기의 상태 정보에 기초하여, 적어도 하나의 주변 기기를 제어하기 위한 제어 UI 또는 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하여 디스플레이부를 통해 디스플레이하는 제어부를 포함한다. 이에 따라, 디스플레이 장치는 단말 장치와의 통신 상태에 따라 주변 기기인 홈 디바이스 기기를 제어하거나 홈 디바이스 기기를 통해 촬영된 영상을 통해 댁 내의 환경 상태를 실시간으로 모니터링할 수 있다.

Description

디스플레이 장치, 단말 장치 및 그 제어 방법{Display apparatus, terminal apparatus and controlling method thereof}

디스플레이 장치, 단말 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 홈 네트워크 서비스를 제공하는 디스플레이 장치, 단말 장치 및 그 제어 방법에 관한 것이다.

통신 기술 발달에 따라 댁 내에 구비된 스마트 TV, 스마트 에어컨 등의 홈 디바이스 간에 네트워크를 구축하고, 통합 관리하는 홈 네트워크 시스템에 관련된 기술이 다양하게 제안되고 있다. 이 같은 다양한 기술이 개발됨에 따라, 사용자는 스마트 폰과 같은 휴대용 단말 장치를 이용하여 홈 디바이스를 통합 관리할 수 있다.

현재 상용화된 기술 혹은 연구 개발된 기술은 살펴보면, 단순히, 휴대용 단말 장치와 홈 디바이스를 통합 관리하는 중계 단말 장치 간의 데이터 통신을 통해 휴대용 단말 장치에서 홈 디바이스의 동작 상태를 모니터링하고, 사용자 명령에 따라, 홈 디바이스를 제어하는 정도의 기술이 대부분이다.

한편, 스마트 TV, 스마트 에어컨, 로봇 청소기와 같은 홈 네트워크 기기는 다양한 기능이 구축되어 있음에도 불구하고, 현재 개발된 홈 네트워크 시스템을 통해 이 같은 홈 디바이스의 다양한 기능을 이용하지 못하고 있는 실정이다.

따라서, 홈 네트워크 시스템을 통해 홈 디바이스의 다양한 기능을 활용할 수 있는 방안이 모색되어야 한다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 홈 네트워크 시스템을 통해 홈 디바이스의 다양한 기능을 활용하도록 함을 목적으로 한다.

나아가, 본 발명의 목적은 사용자의 위치에 따라 사용자에게 적합한 홈 네트워크 서비스를 제공하도록 함을 목적으로 한다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이 장치는 단말 장치 또는 중계 서버와 통신을 수행하여 상기 단말 장치에서 수집된 적어도 하나의 주변 기기의 상태 정보를 수신하는 통신부, UI 화면을 디스플레이하는 디스플레이부 및 상기 단말 장치와의 통신 가능 여부에 따라, 상기 적어도 하나의 주변 기기의 상태 정보에 기초하여, 상기 적어도 하나의 주변 기기를 제어하기 위한 제어 UI 또는 상기 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하여 상기 디스플레이부를 통해 디스플레이하는 제어부를 포함한다.

그리고, 상기 제어부는, 상기 단말 장치와 통신이 가능하면, 상기 수신된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 제어 리스트 정보를 생성하며, 상기 제어 리스트 정보에 기초하여 주변 기기가 선택되면, 선택된 주변 기기에 대응하는 제어 메뉴를 포함하는 제어 UI를 생성할 수 있다.

또한, 상기 제어부는, 상기 단말 장치와 통신이 불가능하면, 상기 수신된 상태 정보 및 기등록된 주변 기기별 설정 정보에 기초하여 모니터링 가능한 주변 기기를 나타내는 식별 정보 및 모니터링 영역을 안내하는 영역 정보를 포함하는 보안 리스트 정보를 생성할 수 있다.

그리고, 상기 제어부는, 상기 보안 리스트 정보에 기초하여 모니터링할 주변 기기가 선택되면, 사용자 인증을 위한 사용자 인증 UI를 생성하며, 상기 사용자 인증 UI가 디스플레이된 상태에서, 기설정된 암호화 정보와 대응되는 암호화 키가 입력되면, 상기 중계 서버를 통해 상기 단말 장치로 상기 선택된 주변 기기에 대한 모니터링을 요청하고, 상기 모니터링 요청에 따라, 상기 중계 서버를 통해 상기 선택된 주변 기기로부터 촬영된 영상 정보가 수신되면, 상기 수신된 영상 정보를 디스플레이하기 위한 보안 UI를 생성할 수 있다.

또한, 상기 제어부는, 상기 선택된 주변 기기의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 포함하는 보안 UI를 생성할 수 있다.

그리고, 상기 제어부는, 상기 선택된 주변 기기로부터 촬영된 영상을 편집하기 위한 편집 메뉴를 더 포함하는 보안 UI를 생성할 수 있다.

또한, 상기 제어부는, 상기 디스플레이 장치의 실행 모드에 따라 제어 리스트 정보를 상이하게 생성하며, 상기 실행 모드는, 퀵 메뉴로 활성화된 제1 실행 모드, 락 스크린으로 활성화된 제2 실행 모드 및 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드 중 적어도 하나일 수 있다.

그리고, 상기 제어부는, 상기 제1 실행 모드이면, 제어 가능한 모든 주변 기기를 포함하는 제1 제어 리스트 정보를 생성하고, 상기 제2 실행 모드이면, 제어 가능한 주변 기기 중 활성화된 주변 기기를 포함하는 제2 제어 리스트 정보를 생성할 수 있다.

또한, 상기 제어부는, 상기 제3 실행 모드이면, 상기 단말 장치와의 통신 가능 여부와 상관없이 상기 수신된 상태 정보에 기초하여 상기 적어도 하나의 주변 기기의 상태 관련 상세 정보 및 제어 메뉴를 포함하는 제어 UI를 생성할 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 단말 장치는 적어도 하나의 주변 기기와 주기적으로 통신을 수행하는 통신부, 상기 적어도 하나의 주변 기기의 상태 정보를 저장하는 저장부 및 디스플레이 장치로부터 주변 기기에 대한 상태 정보 요청 메시지가 수신되면, 상기 디스플레이 장치와의 통신 가능 여부에 따라, 상기 저장부에 저장된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보 또는 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치로 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.

그리고, 상기 제어부는, 상기 디스플레이 장치와 통신이 가능하면, 상기 저장부에 저장된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치로부터 제어 명령이 수신되면, 상기 수신된 제어 명령에 대응되는 주변 기기로 상기 제어 명령을 전송할 수 있다.

또한, 상기 제어부는, 상기 디스플레이 장치와 통신이 불가능하면, 상기 저장부에 저장된 상태 정보에 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 중계 서버를 통해 상기 디스플레이 장치로 전송하고, 상기 중계 서버를 통해 상기 디스플레이 장치에서 전송한 모니터링 수행 명령이 수신되면, 상기 모니터링 수행 명령에 대응하는 주변 기기로 상기 모니터링 수행 명령을 전송하고, 상기 모니터링 수행 명령에 따라 상기 주변 기기로부터 촬영된 영상 정보를 상기 중계 서버를 통해 상기 디스플레이 장치로 전송할 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 디스플레이 장치의 제어 방법은 단말 장치 또는 중계 서버와 통신을 수행하여 상기 단말 장치에서 수집된 적어도 하나의 주변 기기의 상태 정보를 수신하는 단계, 상기 단말 장치와의 통신 가능 여부에 따라, 상기 적어도 하나의 주변 기기의 상태 정보에 기초하여, 상기 적어도 하나의 주변 기기를 제어하기 위한 제어 UI 또는 상기 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하는 단계 및 상기 생성된 제어 UI 또는 보안 UI를 디스플레이하는 단계를 포함한다.

그리고, 상기 생성하는 단계는, 상기 단말 장치와 통신이 가능하면, 상기 적어도 하나의 주변 기기의 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 제어 리스트 정보를 생성하는 단계 및 상기 제어 리스트 정보에 기초하여 주변 기기가 선택되면, 선택된 주변 기기에 대응하는 제어 메뉴를 포함하는 제어 UI를 생성하는 단계를 포함할 수 있다.

또한, 상기 생성하는 단계는, 상기 단말 장치와 통신이 불가능하면, 상기 적어도 하나의 주변 기기의 상태 정보 및 기등록된 주변 기기별 설정 정보에 기초하여 모니터링 가능한 주변 기기를 나타내는 식별 정보 및 모니터링 영역을 안내하는 영역 정보를 포함하는 보안 리스트 정보를 생성하는 단계를 포함할 수 있다.

그리고, 상기 생성하는 단계는, 상기 보안 리스트 정보에 기초하여 모니터링할 주변 기기가 선택되면, 사용자 인증을 위한 사용자 인증 UI를 생성하는 단계. 상기 사용자 인증 UI가 디스플레이된 상태에서, 기설정된 암호화 정보와 대응되는 암호화 키가 입력되면, 상기 중계 서버를 통해 상기 단말 장치로 상기 선택된 주변 기기에 대한 모니터링을 요청하는 단계 및 상기 모니터링 요청에 따라, 상기 서버를 통해 상기 선택된 주변 기기로부터 촬영된 영상 정보가 수신되면, 상기 수신된 영상 정보를 디스플레이하기 위한 보안 UI를 생성하는 단계를 포함할 수 있다.

또한, 상기 보안 UI를 생성하는 단계는, 상기 선택된 주변 기기의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 포함하는 보안 UI를 생성할 수 있다.

그리고, 상기 보안 UI를 생성하는 단계는, 상기 선택된 주변 기기로부터 촬영된 영상을 편집하기 위한 편집 메뉴를 더 포함하는 보안 UI를 생성할 수 있다.

또한, 상기 제어 리스트 정보를 생성하는 단계는, 상기 디스플레이 장치의 실행 모드에 따라 상이하게 생성하며, 상기 실행 모드는, 퀵 메뉴로 활성화된 제1 실행 모드, 락 스크린으로 활성화된 제2 실행 모드 및 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드 중 적어도 하나일 수 있다.

그리고, 상기 제어 리스트 정보를 생성하는 단계는, 상기 제1 실행 모드이면, 제어 가능한 모든 주변 기기를 포함하는 제1 제어 리스트 정보를 생성하고, 상기 제2 실행 모드이면, 제어 가능한 주변 기기 중 활성화된 주변 기기를 포함하는 제2 제어 리스트 정보를 생성할 수 있다.

또한, 상기 제어 UI를 생성하는 단계는, 상기 제3 실행 모드이면, 상기 단말 장치와의 통신 가능 여부와 상관없이 상기 수신된 상태 정보에 기초하여 상기 적어도 하나의 주변 기기의 상태 관련 상세 정보 및 제어 메뉴를 포함하는 제어 UI를 생성할 수 있다.

한편, 본 발명의 또다른 실시 예에 따르면, 단말 장치의 제어 방법은 적어도 하나의 주변 기기와 주기적으로 통신을 수행하여 상기 적어도 하나의 주변 기기의 상태 정보를 수신하는 단계, 상기 수신된 적어도 하나의 주변 기기의 상태 정보를 저장하는 단계, 디스플레이 장치로부터 주변 기기에 대한 상태 정보 요청 메시지를 수신하는 단계 및 상기 디스플레이 장치와의 통신 가능 여부에 따라, 기저장된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보 또는 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치로 전송하는 단계를 포함한다.

그리고, 상기 전송하는 단계는, 상기 디스플레이 장치와 통신이 가능하면, 상기 기저장된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치로 전송하는 단계 및 상기 디스플레이 장치로부터 제어 명령이 수신되면, 상기 수신된 제어 명령에 대응되는 주변 기기로 상기 제어 명령을 전송하는 단계를 포함할 수 있다.

또한, 상기 전송하는 단계는, 상기 디스플레이 장치와 통신이 불가능하면, 상기 기저장된 상태 정보에 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 중계 서버를 통해 상기 디스플레이 장치로 전송하는 단계. 상기 중계 서버를 통해 상기 디스플레이 장치에서 전송한 모니터링 수행 명령이 수신되면, 상기 모니터링 수행 명령에 대응하는 주변 기기로 상기 모니터링 수행 명령을 전송하는 단계 및 상기 모니터링 수행 명령에 따라 상기 주변 기기로부터 촬영된 영상 정보를 상기 중계 서버를 통해 상기 디스플레이 장치로 전송하는 단계를 포함할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 단말 장치와의 통신 상태에 따라 주변 기기인 홈 디바이스 기기를 제어하거나 홈 디바이스 기기를 통해 촬영된 영상을 통해 댁 내의 환경 상태를 실시간으로 모니터링할 수 있다.

도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템도,
도 2는 본 발명의 일 실시예에 따른 홈 네트워크 시스템에서 주변 기기를 제어하기 위한 절차도,
도 3은 본 발명의 일 실시예에 따른 홈 네트워크 시스템에서 홈 디바이스를 이용하여 보안 서비스를 제공하기 위한 절차도,
도 4는 본 발명에 따른 디스플레이 장치의 블록도,
도 5는 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 디스플레이하는 예시도,
도 6은 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 모니터링 가능한 주변 기기에 대한 모니터링 리스트 정보를 디스플레이하는 예시도,
도 7은 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 디스플레이하는 예시도,
도 8은 본 발명의 일 실시예에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 디스플레이하는 예시도,
도 9는 본 발명의 일 실시예에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 디스플레이하는 예시도,
도 10은 본 발명의 일 실시예에 따른 홈 네트워크 서비스 관련 어플리케이션이 활성화된 디스플레이 장치에서 제어 UI를 디스플레이하는 예시도,
도 11은 본 발명의 일 실시예에 따른 단말 장치의 블록도,
도 12는 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 흐름도,
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 생성하는 방법에 대한 흐름도,
도 14는 일 실시예에 따른 디스플레이 장치에서 주변 기기를 모니터링하기 위한 보안 UI를 생성하는 방법에 대한 흐름도,
도 15는 본 발명의 일 실시예에 따른 단말 장치의 제어 방법에 대한 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 홈 네트워크 시스템도이다.

도 1에 도시된 바와 같이, 홈 네트워크 시스템은 제1 내지 제4 주변 기기(100-1~100-4), 단말 장치(200), 디스플레이 장치(300) 및 중계 서버(400)를 포함한다.

제1 내지 제4 주변 기기(100-1~100-4)는 댁 내에 구비된 홈 디바이스로써, 예를 들어, 제1 주변 기기(100-1)는 로봇 청소기, 세탁기, 스마트 TV, 냉장고와 같은 스마트 가전 기기가 될 수 있으며, 제2 주변 기기(100-2)는 IP 카메라, 도어락, CCTV 카메라, 화재 감지기 등과 같은 보안 기기가 될 수 있다. 그리고, 제3 주변 기기(100-3)는 각종 조명 기기가 될 수 있으며, 제4 주변 기기(100-4)는 보일러, 에어컨 등의 에너지 기기가 될 수 있다. 이 같은 제1 내지 제4 주변 기기(100-1~100-4)는 단말 장치(200)를 통해 유선 또는 무선으로 통신이 가능하며, 디스플레이 장치(300)의 제어 명령에 따라 제어될 수 있다.

단말 장치(200)는 예를 들어, 홈 게이트웨이로써, 기등록된 제1 내지 제4 주변 기기(100-1~100-4) 및 디스플레이 장치(300)와 유선 또는 무선으로 통신을 수행한다. 구체적으로, 단말 장치(200)는 제1 내지 제4 주변 기기(100-1~100-4)와 주기적으로 데이터 통신을 수행하여 제1 내지 제4 주변 기기(100-1~100-4)의 상태 정보를 저장할 수 있다. 여기서, 상태 정보는, 제1 내지 제4 주변 기기(100-1~100-4)의 활성화 정보, 제1 내지 제4 주변 기기(100-1~100-4)와 단말 장치(200) 간의 통신 상태 정보 등을 포함할 수 있다.

한편, 단말 장치(200)는 디스플레이 장치(300)로부터 상태 정보 요청 메시지가 수신되면, 디스플레이 장치(300)와의 통신 상태에 따라, 기저장된 제1 내지 제4 주변 기기(100-1~100-4)의 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보 또는 모니터링 가능한 주변 기기에 대한 상태 정보를 디스플레이 장치(300)로 전송한다. 구체적으로, 단말 장치(200)는 기등록된 제1 내지 제4 주변 기기(100-1~100-4) 중 사용자에 의해 선택된 주변 기기를 모니터링 가능한 주변 기기로 설정하여 저장할 수 있다. 따라서, 단말 장치(200)는 디스플레이 장치(300)와의 통신 상태에 따라, 기저장된 상태 정보에 기초하여 디스플레이 장치(300)로 제어 가능한 주변 기기에 대한 상태 정보 또는 모니터링 가능한 주변 기기에 대한 상태 정보를 전송할 수 있다. 실시예에 따라, 디스플레이 장치(300)와 통신이 가능한 경우, 단말 장치(200)는 디스플레이 장치(300)로부터 상태 정보 요청 메시지를 수신할 수 있다. 이 경우, 단말 장치(200)는 기저장된 상태 정보에 기초하여 디스플레이 장치(300)로 제1 내지 제4 주변 기기(100-1~100-4) 중 제어 가능한 주변 기기에 대한 상태 정보를 전송한다. 한편, 디스플레이 장치(300)와 통신이 불가능한 경우, 단말 장치(200)는 중계 서버(400)를 통해 디스플레이 장치(300)로부터 전송된 상태 정보 요청 메시지를 수신할 수 있다. 이 경우, 단말 장치(200)는 기저장된 상태 정보 및 설정 정보에 기초하여 디스플레이 장치(300)로 제1 내지 제4 주변 기기(100-1~100-4) 중 모니터링 가능한 주변 기기에 대한 상태 정보를 전송한다.

여기서, 단말 장치(200)와 디스플레이 장치(300) 간의 통신이 가능한 경우는, 단말 장치(200)와 디스플레이 장치(300)가 동일한 네트워크상에 존재하여 근거리 무선 통신을 통해 단말 장치(200)와 디스플레이 장치(300) 간의 통신이 직접적으로 이루어지는 경우가 될 수 있다. 그리고, 단말 장치(200)와 디스플레이 장치(300) 간의 통신이 불가능한 경우는, 단말 장치(200)와 디스플레이 장치(300)가 서로 다른 네트워크상에 존재하여 중계 서버(400)를 통해 단말 장치(200)와 디스플레이 장치(300) 간의 통신이 가능한 경우가 될 수 있다.

한편, 디스플레이 장치(300)는 단말 장치(200)로부터 수신된 상태 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 제어하기 위한 제어 UI를 생성하여 디스플레하거나 혹은 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하여 디스플레이할 수 있다.

구체적으로, 디스플레이 장치(300)는 단말 장치(200)로부터 제어 가능한 주변 기기에 대한 상태 정보가 수신되면, 수신된 상태 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 제어하기 위한 제어 UI를 생성할 수 있다. 한편, 디스플레이 장치(300)는 단말 장치(200)로부터 모니터링 가능한 주변 기기에 대한 상태 정보가 수신되면, 수신된 상태 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성할 수 있다.

그러나, 전술한 단말 장치(200)는 디스플레이 장치(300)와의 통신 상태에 상관없이 디스플레이 장치(300)로부터 전송된 상태 정보 요청 메시지가 수신되면, 기저장된 제1 내지 제4 주변 기기(100-1~100-4)에 대한 상태 정보를 전송할 수 있다.

이 경우, 디스플레이 장치(300)는 단말 장치(200)와의 통신 상태에 따라 제어 UI 혹은 보안 UI를 생성할 수 있다. 구체적으로, 단말 장치(200)와 직접적으로 무선 통신이 가능한 경우, 디스플레이 장치(300)는 단말 장치(200)로부터 수신한 상태 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 제어하기 위한 제어 UI를 생성할 수 있다. 한편, 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 통신이 가능한 경우, 디스플레이 장치(300)는 단말 장치(200)로부터 수신한 상태 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4) 중 적어도 하나의 주변 기기를 주변 공간을 모니터링하기 위한 보안 UI를 생성할 수 있다.

이와 같이, 본 발명에 따른 홈 네트워크 시스템의 디스플레이 장치(300)는 단말 장치(200)와 디스플레이 장치(300) 간의 통신 상태에 따라 댁 내에 구비된 적어도 하나의 주변 기기를 제어하기 위한 제어 UI를 생성하거나 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성할 수 있다. 이에 따라, 디스플레이 장치(300)의 사용자는 댁 내에 있는 경우, 디스플레이 장치(300)를 통해 주변 기기의 동작을 제어할 수 있으며, 댁 외에 있는 경우, 디스플레이 장치(300)를 통해 댁 내 상황을 실시간으로 모니터링할 수 있다.

이하에서는, 도 2 및 도 3을 통해 전술한 홈 네트워크 시스템의 동작에 대해서 보다 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 홈 네트워크 시스템에서 주변 기기를 제어하기 위한 절차도이며, 도 3은 본 발명의 일 실시예에 따른 홈 네트워크 시스템에서 홈 디바이스를 이용하여 보안 서비스를 제공하기 위한 절차도이다.

도 2에 도시된 바와 같이, 홈 네트워크 시스템에서 단말 장치(200)는 주기적으로 기등록된 적어도 하나의 주변 기기(100)로 상태 정보를 요청하고, 이 같은 요청에 따라 적어도 하나의 주변 기기(100)는 단말 장치(200)로부터 상태 정보가 수신되면, 이를 분석 및 저장한다(S10,S11). 여기서, 상태 정보는 주변 기기(100)의 온/오프 정보, 설정 정보 및 감지 정보 중 적어도 하나를 포함하는 활성화 정보 및 주변 기기(100)와 단말 장치(200) 간의 통신 상태 정보 중 적어도 하나를 포함할 수 있다.

한편, 디스플레이 장치(300)는 사용자 명령에 따라, 적어도 하나의 주변 기기(100)에 대한 상태 정보를 요청하기 위한 상태 정보 요청 메시지를 생성하여 단말 장치(200)로 전송한다(S12). 이 같은 상태 정보 요청 메시지가 수신되면, 단말 장치(200)는 상태 정보 요청 메시지를 전송한 디스플레이 장치(300)와의 직접적으로 통신 가능한지 여부를 판단한다(S13). 구체적으로, 단말 장치(200)는 수신한 상태 정보 요청 메시지로부터 디스플레이 장치(300)가 동일한 네트워크상에 존재하는지 여부를 판단할 수 있다. 판단 결과, 동일한 네트워크상에 존재하면, 단말 장치(200)는 기저장된 적어도 하나의 주변 기기(100)의 상태 정보 중 제어 가능한 주변 기기의 상태 정보를 디스플레이 장치(300)로 전송한다(S14). 한편, 판단 결과, 동일한 네트워크상에 존재하지 않는 것으로 판단되면, 단말 장치(200)는 모니터링 관련 동작을 수행한다(S15). 즉, 단말 장치(200)는 디스플레이 장치(300)가 동일한 네트워크상에 존재하지 않는 것으로 판단되면, 기저장된 적어도 하나의 주변 기기(100)의 상태 정보 중 모니터링 가능한 주변 기기에 대한 상태 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다. 이 같은 모니터링 관련 동작은 도 3을 통해 설명하도록 한다.

한편, 디스플레이 장치(300)는 단말 장치(200)로부터 제어 가능한 주변 기기(100)의 상태 정보가 수신되면, 수신된 상태 정보에 기초하여 제어 리스트 정보 및 제어 UI를 생성한다(S16). 여기서, 제어 리스트 정보는 제어 가능한 적어도 하나의 주변 기기(100)에 대한 리스트 정보이며, 제어 UI는 제어 리스트 정보에 포함된 복수의 주변 기기(100) 중 사용자에 의해 선택된 주변 기기(100)를 제어하기 위한 UI가 될 수 있다. 전술한 예와 같이, 제어 가능한 주변 기기(100)가 제1 내지 제4 주변 기기(100-1~100-4)인 경우, 디스플레이 장치(300)는 제1 내지 제4 주변 기기(100-1~100-4)에 대한 기기 정보를 포함하는 제어 리스트 정보를 생성하여 디스플레이할 수 있다. 이 같은 제어 리스트 정보가 디스플레이된 상태에서, 사용자에 의해 제1 주변 기기(100-1)에 대한 기기 정보가 선택되면, 디스플레이 장치(300)는 선택된 제1 주변 기기(100-1)를 제어하기 위한 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이할 수 있다.

이 같은 제어 UI가 디스플레이된 상태에서 사용자 명령이 입력되면, 디스플레이 장치(300)는 입력된 사용자 명령에 대응되는 제어 명령을 단말 장치(200)로 전송하고, 단말 장치(200)는 디스플레이 장치(300)로부터 수신한 제어 명령에 기초하여 사용자에 의해 선택된 주변 기기(100)로 제어 명령을 전송한다(S17). 따라서, 단말 장치(200)로부터 제어 명령을 수신한 주변 기기(100)는 제어 명령에 기초하여 제어 동작을 수행한다(S18).

한편, 단계 S13에서 디스플레이 장치(300)가 단말 장치(200)와 동일한 네트워크상에 존재하지 않는 것으로 판단되면, 단말 장치(200)는 도 3에 도시된 바와 같이, 기저장된 적어도 하나의 주변 기기(200)의 상태 정보 중 모니터링 가능한 주변 기기(200)의 상태 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다(S20). 이 같은 상태 정보가 수신되면, 디스플레이 장치(300)는 수신한 상태 정보에 기초하여 보안 리스트 정보 및 사용자 인증 UI를 생성하여 디스플레이한다(S21). 여기서, 보안 리스트 정보는 복수의 주변 기기(100) 중 주변 공간에 대한 모니터링이 가능한 주변 기기(100)에 대한 리스트 정보가 될 수 있다. 예를 들어, 제1 내지 제4 주변 기기(100-1~100-4) 중 제1 및 제2 주변 기기(100-1,2)는 모니터링 가능한 주변 기기가 될 수 있다. 이 경우, 디스플레이 장치(300)는 모니터링 가능한 제1 및 제2 주변 기기(100-1,2)에 대한 기기 정보를 포함하는 보안 리스트 정보를 생성하여 디스플레이한다. 이 같은 보안 리스트 정보가 디스플레이된 상태에서, 사용자에 의해 제1 주변 기기(100-1)가 선택되면, 디스플레이 장치(300)는 해당 사용자가 기등록된 사용자인지 여부를 판단하기 위해서, 사용자 인증 UI를 생성하여 디스플레이한다. 이후, 사용자로부터 암호화 키가 입력되면, 디스플레이 장치(300)는 기설정된 암호화 정보와 사용자로부터 입력된 암호화 키가 일치하는지 여부를 판단하여 해당 사용자가 기등록된 사용자인지 여부를 판단할 수 있다.

이 같은 사용자 인증 과정을 통해 해당 사용자가 기등록된 사용자인 것으로 판단되면, 디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)로 사용자에 의해 선택된 주변 기기(100)에 대한 모니터링을 요청한다(S23). 이 같은 모니터링 요청 메시지가 수신되면, 단말 장치(200)는 수신한 모니터링 요청 메시지에 기초하여 사용자가 요청한 주변 기기(100)로 모니터링 수행 명령을 전송하고, 모니터링 수행 명령을 수신한 주변 기기(100)는 수신한 모니터링 수행 명령에 기초하여 주변 공간에 대한 영상 촬영을 수행한다(S24,S25). 이후, 주변 기기(100)는 촬영된 영상 정보를 단말 장치(200)로 전송하고, 단말 장치(200)는 해당 주변 기기(100)로부터 수신된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다(S27). 이 같은 영상 정보가 수신되면, 디스플레이 장치(300)는 보안 UI를 생성하고, 생성된 보안 UI를 통해 수신된 영상 정보를 디스플레이한다(S28). 여기서, 보안 UI는 주변 기기(100)로부터 촬영된 영상 및 해당 주변 기기(100)의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 포함할 수 있다. 여기서, 모니터링 제어 메뉴는 영상을 촬영하는 주변 기기(100)의 동작을 제어하기 위한 제1 제어 메뉴 및 해당 주변 기기(100)를 통해 촬영된 영상을 편집 및 저장하기 위한 제2 제어 메뉴를 포함할 수 있다. 만약, 주변 기기(100)의 동작을 제어하기 위한 제1 제어 메뉴에 대한 사용자 명령이 입력되면, 디스플레이 장치(300)는 입력된 사용자 명령에 대응하는 제어 명령을 중계 서버(400)를 통해 단말 장치(200)로 전송하며, 단말 장치(200)는 모니터링 관련 동작을 수행하는 주변 기기(100)로 해당 제어 명령을 전송할 수 있다. 따라서, 주변 기기(100)는 단말 장치(200)로부터 수신한 제어 명령에 기초하여 영상 촬영 동작을 중단하거나, 영상 촬영 방향을 이동하는 등의 동작을 수행할 수 있다(S29).

한편, 본 발명에 따른 단말 장치(200)는 상태 정보 요청 메시지가 수신되면, 전술한 단계 S13과 같은 동작을 수행하지 않고, 기저장된 적어도 하나의 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 직접 혹은 중계 서버(400)를 통해 전송할 수 있다. 이 경우, 디스플레이 장치(300)는 단말 장치(200)와의 통신 상태에 따라, 단말 장치(200)로부터 전송된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 제어 UI를 생성하거나 혹은 주변 공간에 대한 모니터링 가능한 주변 기기(100)에 대한 보안 UI를 생성할 수 있다. 구체적으로, 디스플레이 장치(300)는 단말 장치(200)와 직접적으로 통신이 가능하면, 수신한 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 제어 리스트 정보를 생성할 수 있다. 한편, 단말 장치(200)와 직접적으로 통신이 불가능하면, 디스플레이 장치(300)는 수신한 상태 정보에 기초하여 주변 공간에 대한 모니터링 가능한 주변 기기(100)에 대한 보안 리스트 정보를 생성할 수 있다. 이후, 단말 장치(200) 및 디스플레이 장치(300)의 동작은 도 2 및 도 3에서 설명한 동작에 따라 주변 기기(100)를 제어하기 위한 제어 UI를 생성하거나 주변 기기를 통해 촬영된 영상 정보를 디스플레이하기 위한 보안 UI를 생성할 수 있다.

이하에서는, 전술한 단말 장치(200) 및 디스플레이 장치(300)의 각 구성에 대해서 상세히 설명하도록 한다.

도 4는 본 발명에 따른 디스플레이 장치의 블록도이다.

도 4에 도시된 바와 같이, 디스플레이 장치(300)는 스마트폰, 테블릿 PC과 같이 무선 통신이 가능한 휴대용 단말 장치로써, 통신부(310), 제어부(320), 디스플레이부(330), 저장부(240) 및 입력부(350)를 포함한다.

통신부(310)는 댁 내에 구비된 홈 디바이스인 적어도 하나의 주변 기기(100)와 통신이 가능한 단말 장치(200) 또는 중계 서버(400)와 무선으로 통신을 수행하여 단말 장치(200)에서 수집된 적어도 하나의 주변 기기(100)의 상태 정보를 수신한다. 여기서, 상태 정보는 주변 기기(100)의 온/오프 정보, 설정 정보 및 감지 정보 중 적어도 하나를 포함하는 활성화 정보 및 주변 기기(100)와 단말 장치(200) 간의 통신 상태 정보 중 적어도 하나를 포함할 수 있다.

이 같은 통신부(310)는 무선 통신 모듈로써, 근거리 통신 모듈(미도시), 무선랜 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 여기서, 근거리 통신 모듈(미도시)은 제어부(320)의 제어 명령에 따라 디스플레이 장치(300)와 단말 장치(200) 사이에 무선으로 근거리 통신을 수행하는 통신모듈이다. 이 같은 근거리 통신모듈은 와이파이(WIFI)모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.

그리고, 무선랜 모듈(미도시)은 제어부(32)의 제어 명령에 따라 기설정된 범위 내에 존재하는 무선 AP(access point)(도시되지 아니함)와 같은 중계 서버(400)에 접속하여 인터넷과 연결되는 구성이다. 이 같은 무선랜 모듈(미도시)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.

그 밖에, 통신부(310)는 셀룰러 통신 모듈(미도시), GPS 통신 모듈(미도시), 방송 통신 모듈(미도시) 중 적어도 하나를 더 포함할 수 있다. 이 같은 통신 모듈은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.

제어부(320)는 디스플레이 장치(300)를 구성하는 각 구성에 대한 전반적인 동작을 제어한다. 특히, 제어부(320)는 단말 장치(200)와의 통신 가능 여부에 따라, 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 적어도 하나의 주변 기기(100)를 제어하기 위한 제어 UI 또는 적어도 하나의 주변 기기(100)를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성한다.

디스플레이부(330)는 제어부(320)의 제어 명령에 따라, 기생성된 제어 UI 또는 보안 UI를 화면상에 디스플레이한다. 이 같은 디스플레이부(330)는 터치(touch)를 감지할 수 있는 터치 스크린(Touch Screen) 형태로 구현될 수 있다.

구체적으로, 제어부(320)는 통신부(310)를 통해 단말 장치(200)에서 수집된 적어도 하나의 주변 기기(100)에 대한 상태 정보가 수신되면, 단말 장치(200)와의 통신 상태를 판단한다. 실시예에 따라, 제어부(320)는 단말 장치(200)와 통신이 가능하면, 수신된 적어도 하나의 주변 기기의 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 제어 리스트 정보를 생성한다. 여기서, 단말 장치(200)와 통신 가능한 경우는, 디스플레이 장치(300)가 단말 장치(200)와 근거리 무선 통신을 통해 직접적으로 통신 가능한 경우가 될 수 있다. 이 같이, 디스플레이 장치(300)와 단말 장치(200) 간의 직접적으로 통신이 가능한 경우, 제어부(320)는 수신된 적어도 하나의 주변 기기의 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 제어 리스트 정보를 생성하며, 디스플레이부(330)를 통해 제어 리스트 정보를 디스플레이한다.

제어 리스트 정보가 디스플레이부(330)를 통해 화면상에 디스플레이된 상태에서, 입력부(350)를 통해 주변 기기(100)에 대한 선택 명령이 입력되면, 제어부(320)는 입력된 선택 명령에 대응하는 주변 기기(100)에 대한 제어 메뉴를 포함하는 제어 UI를 생성한다. 이에 따라, 디스플레이부(330)는 사용자에 의해 선택된 주변 기기(100)에 대응하는 제어 메뉴를 포함하는 제어 UI를 화면상에 디스플레이할 수 있다.

여기서, 제어 리스트 정보는 제어 가능한 적어도 하나의 주변 기기(100)에 대한 기기 정보를 포함하는 리스트 정보가 될 수 있다. 그리고, 입력부(350)는 사용자의 다양한 사용자 조작에 따른 선택 명령을 입력받아 제어부(320)로 전달하기 위한 입력 수단으로써, 전술한 터치 스크린 또는 터치 패드(Touch Pad)와 같은 터치 입력 수단 혹은 각종 기능키, 숫자키, 문자키 등을 구비한 키 패드(Key Pad)와 같은 키 입력 수단을 포함할 수 있다.

따라서, 제어부(320)는 적어도 하나의 주변 기기(100)에 대한 기기 정보를 포함하는 제어 리스트 정보가 디스플레이된 상태에서, 입력부(350)를 통해 제어할 대상의 주변 기기(100)에 대한 선택 명령이 입력되면, 저장부(340)에 기저장된 주변 기기(100)별 제어 메뉴 중 입력된 선택 명령에 대응되는 주변 기기(100)에 대한 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이부(330)를 통해 디스플레이할 수 있다.

이 같이, 선택된 주변 기기(100)를 제어하기 위한 제어 UI를 생성하는 제어부(320)는 디스플레이 장치(300)의 실행 모드에 따라, 제어 리스트 정보를 상이하게 생성할 수 있다. 여기서, 실행 모드는 퀵 메뉴로 활성화된 제1 실행 모드, 락 스크린으로 활성화된 제2 실행 모드 및 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드 중 적어도 하나를 포함할 수 있다.

구체적으로, 제어부(320)는 퀵 메뉴로 활성화된 제1 실행 모드인 경우, 수신된 상태 정보에 기초하여 제어 가능한 모든 주변 기기(100)를 포함하는 제1 제어 리스트 정보를 생성하여 디스플레이할 수 있으며, 락 스크린으로 활성화된 제2 실행 모드인 경우, 제어 가능한 모든 주변 기기(100) 중 활성화된 주변 기기(100)를 포함하는 제2 제어 리스트 정보를 생성하여 디스플레이할 수 있다. 한편, 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드인 경우, 제어부(320)는 단말 장치(200)와의 통신 가능 여부와 상관없이 수신된 상태 정보에 기초하여 적어도 하나의 주변 기기(100)의 상태 관련 상세 정보 및 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이할 수 있다.

이 같이, 제어부(320)는 디스플레이 장치(300)의 실행 모드에 따라 제어 리스트 정보 및 제어 UI를 상이하게 생성하여 디스플레이부(330)를 통해 디스플레이할 수 있다. 이 같은 실행 모드에 따라 제어 리스트 정보 및 제어 UI를 상이하게 생성 및 디스플레이하는 동작은 하기에서 상세히 설명하도록 한다.

한편, 단말 장치(200)와 통신이 불가능한 것으로 판단되면, 제어부(320)는 수신된 적어도 하나의 주변 기기의 상태 정보 및 저장부(340)에 기등록된 주변 기기(100)별 설정 정보에 기초하여, 주변 공간에 대한 모니터링 가능한 주변 기기(100)에 대한 보안 리스트 정보를 생성하여 디스플레이부(330)를 통해 디스플레이할 수 있다. 여기서, 단말 장치(200)와의 통신 불가능한 경우는, 디스플레이 장치(300)와 단말 장치(200)가 중계 서버(400)를 통해 통신 가능한 경우가 될 수 있다. 그리고, 보안 리스트 정보는 주변 공간에 대한 모니터링 가능한 주변 기기(100)를 나타내는 식별 정보 및 해당 주변 기기(100)를 통해 모니터링 가능한 영역을 안내하는 영역 정보를 포함할 수 있다.

이와 같이, 제어부(320)는 디스플레이 장치(300)와 단말 장치(200)가 중계 서버(400)를 통해 간접적으로 통신이 가능한 경우, 수신된 적어도 하나의 주변 기기의 상태 정보 및 기등록된 설정 정보에 기초하여 모니터링 가능한 주변 기기(100)의 식별 정보 및 영역 정보를 포함하는 보안 리스트 정보를 생성하며, 디스플레이부(330)를 통해 보안 리스트 정보를 디스플레이할 수 있다.

이 같은 보안 리스트 정보가 디스플레이된 상태에서, 입력부(350)를 통해 주변 공간을 모니터링할 주변 기기(100)에 대한 선택 명령이 입력되면, 제어부(320)는 사용자 인증을 위한 사용자 인증 UI를 생성하고, 디스플레이부(330)를 통해 사용자 인증 UI를 디스플레이할 수 있다. 이 같은 사용자 인증 UI가 디스플레이된 상태에서, 입력부(350)를 통해 암호와 키가 입력되면, 제어부(320)는 저장부(340)에 기설정된 암호와 정보와 입력된 암호화 키가 일치하는지 여부를 판단한다. 판단 결과, 일치하면, 제어부(320)는 중계 서버(400)를 통해 단말 장치(200)로 기입력된 선택 명령에 대응하는 주변 기기(100)에 대한 모니터링을 요청한다. 이에 따라, 단말 장치(200)는 모니터링을 요청한 주변 기기(100)로 모니터링 수행 명령을 전송하여, 해당 주변 기기(100)로부터 주변 공간에 대한 촬영된 영상 정보가 수신되면, 수신된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다.

이 같은 영상 정보가 수신되면, 제어부(320)는 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 디스플레이하기 위한 보안 UI를 생성한다. 이후, 제어부(320)는 생성된 보안 UI를 통해 수신한 영상 정보에 대응하는 영상을 디스플레이하도록 디스플레이부(330)를 제어한다. 이에 따라, 디스플레이부(330)는 보안 UI의 일 영역 상에 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 디스플레이할 수 있다. 따라서, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI의 일 영역에 디스플레이된 영상을 통해 자신이 선택한 주변 기기(100)와 관련된 주변 공간을 실시간으로 모니터링할 수 있다.

한편, 본 발명의 추가적인 양상에 따라, 제어부(320)는 모니터링을 요청한 주변 기기(100)의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 포함하는 보안 UI를 생성할 수 있다. 추가적으로, 제어부(320)는 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 편집하기 위한 편집 메뉴를 더 포함하는 보안 UI를 생성할 수 있다. 여기서, 모니터링 제어 메뉴는 예를 들어, 모니터링을 수행하는 주변 기기(100)의 전원을 온/오프하기 위한 메뉴 및 해당 주변 기기(100)의 모니터링 방향을 제어하기 위한 메뉴 중 적어도 하나를 포함할 수 있다. 그리고, 편집 메뉴는 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 캡쳐하거나 레코딩하기 위한 메뉴 및 현재 디스플레이되는 보안 UI를 종료하기 위한 메뉴 중 적어도 하나를 포함할 수 있다.

따라서, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI에 포함된 모니터링 제어 메뉴 또는 편집 메뉴를 통해 모니터링을 수행하는 주변 기기(100)이 동작을 제어하거나 해당 주변 기기(100)로부터 촬영된 영상을 편집할 수 있다.

지금까지, 본 발명에 따른 디스플레이 장치(300)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 디스플레이 장치(300)에서 적어도 하나의 주변 기기(100)를 제어하거나 적어도 하나의 주변 기기(100)를 통해 보안 서비스를 제공하는 동작에 대해서 보다 구체적으로 설명하도록 한다.

도 5는 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 디스플레이하는 예시도이다.

디스플레이 장치(300)는 근거리 무선 통신으로 단말 장치(200)와 직접적으로 데이터 통신을 수행하여 단말 장치(200)로부터 적어도 하나의 주변 기기(100)에 대한 상태 정보를 수신할 수 있다. 이 같은 상태 정보가 수신되면, 디스플레이 장치(300)는 실행 모드에 따라, 제어 가능한 주변 기기(100)에 대한 제어 리스트 정보를 생성하여 디스플레이한다.

구체적으로, 도 5의 (a)에 도시된 바와 같이, 디스플레이 장치(300)의 실행 모드가 퀵 메뉴로 활성화된 제1 실행 모드인 경우, 디스플레이 장치(300)는 단말장치(200)로부터 수신한 상태 정보에 기초하여 제어 가능한 모든 주변 기기(100)에 대한 제1 제어 리스트 정보(510)를 생성하여 디스플레이할 수 있다.

예를 들어, 디스플레이 장치(300)는 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기에 대한 상태 정보를 단말 장치(200)로부터 수신할 수 있다. 그리고, 디스플레이 장치(300)는 제1 내지 제4 주변 기기(100-1~100-4)에 속하는 기기들을 제어 가능한 기기로 설정하기 위한 설정 정보를 저장할 수 있으며, 이 같은 설정 정보는 제1 내지 제4 주변 기기(100-1~100-4)에 속하는 기기들에 대한 제어 메뉴를 포함할 수 있다.

이 경우, 디스플레이 장치(300)는 수신한 상태 정보 및 기저장된 설정 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4)에 속하는 기기 중, 수신한 상태 정보와 관련된 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기를 나타내는 식별 아이콘을 포함하는 제1 제어 리스트 정보(510)를 생성하여 디스플레이할 수 있다. 이 같이, 제1 제어 리스트 정보(510)가 디스플레이된 상태에서, 사용자의 요청에 따라 스마트 TV를 나타내는 식별 아이콘(511)이 선택되면, 디스플레이 장치(300)는 도 5의 (b)에 도시된 바와 같이, 기저장된 설정 정보에 포함된 제어 메뉴에 기초하여 스마트 TV와 대응되는 제어 메뉴를 포함하는 제어 UI(520)를 생성하여 디스플레이할 수 있다.

도 5의 (b)에 도시된 바와 같이, 선택된 식별 아이콘(511)에 대응되는 스마트 TV를 제어하기 위한 제어 UI(520)는 스마트 TV의 채널 및 볼륨을 제어하기 위한 제어 메뉴, 스마트 TV의 전원을 온/오프시키기 위한 제어 메뉴 등을 포함할 수 있다. 이 같은 제어 메뉴를 포함하는 제어 UI(520)가 디스플레이된 상태에서, 사용자 요청에 따라, 전원을 온/오프시키기 위한 제어 메뉴가 선택되면, 디스플레이 장치(300)는 선택된 제어 메뉴에 대응하는 제어 명령을 단말 장치(200)로 전송한다. 이에 따라, 단말 장치(200)는 디스플레이 장치(300)로부터 수신한 제어 명령에 기초하여 스마트 TV로 제어 명령을 전송하고, 스마트 TV는 수신한 제어 명령에 따라, 전원을 오 또는 오프 시킬 수 있다.

도 6은 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 모니터링 가능한 주변 기기에 대한 모니터링 리스트 정보를 디스플레이하는 예시도이다.

디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 데이터 통신을 수행하여 단말 장치(200)로부터 수집된 적어도 하나의 주변 기기(100)에 대한 상태 정보를 수신할 수 있다. 이 같은 상태 정보가 수신되면, 디스플레이 장치(300)는 실행 모드에 따라, 모니터링 가능한 주변 기기(100)에 대한 모니터링 리스트 정보를 생성하여 디스플레이한다.

구체적으로, 도 6의 (a)에 도시된 바와 같이, 디스플레이 장치(300)의 실행 모드가 퀵 메뉴로 활성화된 제1 실행 모드인 경우, 디스플레이 장치(300)는 단말 장치(200)로부터 수신한 상태 정보 및 기등록된 설정 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 모니터링 리스트 정보(610)를 생성하여 디스플레이할 수 있다.

예를 들어, 디스플레이 장치(300)는 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기에 대한 상태 정보를 중계 서버(400)를 통해 수신할 수 있다. 그리고, 디스플레이 장치(300)는 제1 내지 제4 주변 기기(100-1~100-4)에 속하는 기기들 중 제1 주변 기기(100-1)에 속하는 스마트 TV 및 로봇 청소기와 제2 주변 기기(100-2)에 속하는 보안 기기를 모니터링 가능한 기기로 설정하기 위한 설정 정보를 저장할 수 있다. 또한, 이 같은 설정 정보는 모니터링 가능한 기기를 나타내는 식별 정보 및 각각의 기기에서 모니터링 가능한 영역을 안내하는 영역 정보를 포함할 수 있다.

이 경우, 디스플레이 장치(300)는 수신한 상태 정보 및 기저장된 설정 정보에 기초하여, 수신한 상태 정보와 관련된 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기 중 모니터링 가능한 기기의 수를 안내하는 알림 메시지(610)를 디스플레이한다. 이후, 사용자에 요청에 따라, 알림 메시지(610)가 선택되면, 디스플레이 장치(300)는 모니터링 가능한 기기에 대응되는 식별 정보 및 영역 정보를 포함하는 모니터링 리스트 정보(620)를 생성하여 디스플레이한다.

전술한 예와 같이, 모니터링 가능한 기기가 스마트 TV 및 로봇 청소기이면, 디스플레이 장치(300)는 도 6의 (b)에 도시된 바와 같이, 스마트 TV를 나타내는 식별 정보(식별 아이콘) 및 영역 정보와 로봇 청소기를 나타내는 식별 정보(식별 아이콘) 및 영역 정보를 포함하는 모니터링 리스트 정보(620)를 생성하여 디스플레이할 수 있다.

이 같은 모니터링 리스트 정보(620)가 디스플레이된 상태에서, 사용자의 요청에 따라 스마트 TV를 나타내는 식별 아이콘(621)이 선택되면, 디스플레이 장치(300)는 도 7과 같이, 사용자 인증을 수행한 후, 보안 UI를 통해 스마트 TV를 통해 촬영된 영상을 디스플레이할 수 있다.

도 7은 본 발명의 일 실시예에 따른 퀵 메뉴로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 디스플레이하는 예시도이다.

도 6에서 설명한 바와 같이, 스마트 TV를 나타내는 식별 아이콘(621)이 선택되면, 디스플레이 장치(300)는 도 7의 (a)에 도시된 바와 같이, 사용자 인증을 위한 사용자 인증 UI(710)를 생성하여 디스플레이한다. 이 같은 사용자 인증 UI(710)가 디스플레이된 상태에서, 사용자로부터 암호화 키가 입력되면, 디스플레이 장치(300)는 입력된 암호화 키가 기설정된 암호화 정보와 대응되는지 여부를 판단한다. 판단 결과, 입력된 암호화 키가 기설정된 암호화 정보와 대응되면, 디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)로 스마트 TV를 통해 모니터링 관련 동작을 수행하도록 하기 위한 모니터링 수행 명령을 전송한다. 이에 따라, 단말 장치(200)는 수신한 모니터링 수행 명령에 기초하여 스마트 TV로 모니터 수행 명령을 전송한다. 따라서, 스마트 TV는 단말 장치(200)로부터 수신된 모니터링 수행 명령에 따라, 주변 공간에 대한 영상 촬영을 수행하고, 촬영된 영상 정보를 단말 장치(200)로 전송한다. 이에 따라, 단말 장치(200)는 스마트 TV로부터 전송된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다. 단말 장치(200)로부터 전송된 스마트 TV로부터 촬영된 영상 정보가 중계 서버(400)를 통해 수신되면, 디스플레이 장치(300)는 도 7의 (b)에 도시된 바와 같이, 보안 UI를 생성하고, 생성된 보안 UI를 통해 스마트 TV로부터 촬영된 영상을 디스플레이할 수 있다.

이때, 디스플레이 장치(300)는 도 7의 (b)에 도시된 바와 같이, 스마트 TV로부터 촬영된 영상이 디스플레이되는 보안 UI의 일 영역(720)에 스마트 TV의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 디스플레이할 수 있으며, 타 영역(730)에는 스마트 TV로부터 촬영된 영상을 편집하기 위한 편집 메뉴를 포함하는 보안 UI를 디스플레이할 수 있다.

구체적으로, 디스플레이 장치(300)는 스마트 TV로부터 촬영된 영상이 디스플레이되는 보안 UI의 일 영역(720)에 스마트 TV를 통해 촬영되는 촬영 영역을 변경하기 위한 방향 메뉴(721) 및 보안 UI를 종료하기 위한 제어 메뉴(723)를 포함하는 모니터링 제어 메뉴를 디스플레이할 수 있다. 그리고, 디스플레이 장치(300)는 보안 UI의 타 영역(730)에 스마트 TV의 전원을 온/오프 동작을 제어하기 위한 전원 메뉴(731), 보안 UI의 일 영역(720)에 디스플레이된 영상을 캡쳐하기 위한 캡쳐 메뉴(733) 및 해당 영상을 레코딩하기 위한 레코딩 메뉴(735)를 포함할 수 있다.

예를 들어, 사용자가 좌측 방향으로 이동하기 위한 방향 메뉴를 선택하면, 디스플레이 장치(300)는 선택된 방향 메뉴에 대한 제어 명령을 중계 서버(400)를 통해 단말 장치(200)로 전송하며, 단말 장치(200)는 수신한 제어 명령을 스마트 TV로 전송한다. 이에 따라, 스마트 TV는 수신한 제어 명령에 기초하여 좌측 방향으로 촬영 방향을 이동하여, 이동된 방향의 주변 공간을 촬영하고, 촬영된 영상 정보를 영상 정보를 단말 장치(200)로 전송한다. 이에 따라, 단말 장치(200)는 스마트 TV에서 촬영된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송하며, 디스플레이 장치(300)는 스마트 TV에서 좌측 방향으로 이동하여 촬영된 영상을 보안 UI의 일 영역(720)을 통해 디스플레이할 수 있다.

한편, 전술한 도 6의 (b)에서 "Free Zone"이라는 영역 정보가 설정된 로봇 청소기의 식별 아이콘이 선택된 경우, 디스플레이 장치(300)는 전술한 동작을 통해 로롯 청소기에서 촬영된 영상을 보안 UI의 일 영역(720)에 디스플레이할 수 있다. 이때, 사용자로부터 보안 UI의 일 영역(720)에 디스플레이된 방향 메뉴가 선택되면, 디스플레이 장치(300)는 선택된 방향 메뉴에 대응되는 제어 명령을 중계 서버(400)를 통해 단말 장치(200)로 전송하며, 단말 장치(200)는 수신한 제어 명령을 로봇 청소기로 전송한다. 이에 따라, 로봇 청소기는 선택된 방향 메뉴에 대응되는 방향으로 이동하여 영상을 촬영할 수 있으며, 디스플레이 장치(300)는 선택된 방향 메뉴에 대응되는 방향으로 이동하면서 촬영된 로봇 청소기의 촬영 영상을 보안 UI의 일 영역(720)에 디스플레이할 수 있다.

이와 같이, 본 발명에 따른 디스플레이 장치(300)는 모니터링 가능한 주변 기기(100)의 카메라 촬영 방향에 대한 이동을 제어할 뿐만 아니라, 해당 주변 기기(100)를 원격으로 이동시키면서 영상을 촬영하도록 제어할 수 있다. 따라서, 사용자는 디스플레이 장치(300)를 통해 댁 내 모든 영역을 실시간을 모니터링하여 위험 요소가 발견되는지 여부를 체크할 수 있다.

도 8은 본 발명의 일 실시예에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 디스플레이하는 예시도이다.

구체적으로, 도 5의 (a)에 도시된 바와 같이, 디스플레이 장치(300)의 실행 모드가 락 스크린으로 활성화된 제2 실행 모드인 경우, 디스플레이 장치(300)는 단말 장치(200)로부터 수신한 상태 정보에 기초하여 제어 가능한 주변 기기(100) 중 활성화된 주변 기기(100)에 대한 제2 제어 리스트 정보(810)를 생성하여 디스플레이할 수 있다.

이 경우, 디스플레이 장치(300)는 수신한 상태 정보 및 기저장된 설정 정보에 기초하여 제1 내지 제4 주변 기기(100-1~100-4)에 속하는 기기 중, 수신한 상태 정보와 관련된 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기를 제어 가능한 주변 기기(100)로 분류한다. 이 같이, 제어 가능한 주변 기기(100)가 분류되면, 수신된 상태 정보에 포함된 활성화 정보에 기초하여 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기 중 활성화 모드로 동작하는 기기만을 제어 가능한 주변 기기(100)로 분류할 수 있다.

여기서, 활성화 모드로 동작하는 기기는 현재 기기가 동작하고 있는 모드가 될 수 있다. 예를 들어, 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기 중 스마트 TV와 에어컨이 동작하고 있는 경우, 디스플레이 장치(300)는 스마트 TV 및 에어컨을 나타내는 식별 아이콘 및 스마트 TV 및 에어컨의 상태 정보에 포함된 활성화 정보를 포함하는 제2 제어 리스트 정보(810)를 생성하여 디스플레이할 수 있다.

따라서, 제2 제어 리스트 정보(810)는 스마트 TV의 식별 아이콘 및 스마트 TV의 현재 채널 정보를 포함하는 활성화 정보와 에어컨의 식별 아이콘 및 에어컨에서 감지된 현재 실내 온도에 대한 활성화 정보를 포함할 수 있다.

이 같은 제2 제어 리스트 정보(810)가 디스플레이된 상태에서, 사용자의 요청에 따라 스마트 TV를 나타내는 식별 아이콘(811)이 선택되면, 디스플레이 장치(300)는 도 8의 (b)에 도시된 바와 같이, 기저장된 설정 정보에 포함된 제어 메뉴에 기초하여 스마트 TV와 대응되는 제어 메뉴를 포함하는 제어 UI(820)를 생성하여 디스플레이할 수 있다.

따라서, 사용자는 이 같은 제어 UI(820)에 포함된 제어 메뉴를 통해 스마트 TV를 원격으로 제어할 수 있다.

도 9는 본 발명의 일 실시예에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 디스플레이하는 예시도이다.

도 9의 (a)에 도시된 바와 같이, 디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 데이터 통신을 수행하여 단말 장치(200)로부터 수집된 적어도 하나의 주변 기기(100)에 대한 상태 정보를 수신할 수 있다. 이 같은 상태 정보가 수신되면, 디스플레이 장치(300)는 실행 모드에 따라, 모니터링 가능한 주변 기기(100)에 대한 모니터링 리스트 정보를 생성하여 디스플레이한다.

구체적으로, 도 9의 (a)에 도시된 바와 같이, 디스플레이 장치(300)의 실행 모드가 락 스크린으로 활성화된 제2 실행 모드인 경우, 디스플레이 장치(300)는 단말 장치(200)로부터 수신한 상태 정보 및 기등록된 설정 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 모니터링 리스트 정보(610)를 생성하여 디스플레이할 수 있다.

이 경우, 디스플레이 장치(300)는 수신한 상태 정보 및 기저장된 설정 정보에 기초하여, 수신한 상태 정보와 관련된 제1 주변 기기(100-1)에 속하는 스마트 TV, 로봇 청소기, 에어컨 및 스마트 세탁기 중 모니터링 가능한 모니터링 리스트 정보(910)를 생성하여 디스플레이한다. 여기서, 모니터링 리스트 정보(910)는 스마트 TV 및 로봇 청소기를 식별하기 위한 식별 아이콘 및 스마트 TV 및 로봇 청소기를 통해 모니터링 가능한 영역을 안내하기 위한 영역 정보를 포함할 수 있다.

이 같은 모니터링 리스트 정보(910)가 디스플레이된 상태에서, 사용자의 요청에 따라 스마트 TV를 나타내는 식별 아이콘(911)이 선택되면, 디스플레이 장치(300)는 도 9의 (b)에 도시된 바와 같이, 사용자 인증을 수행하기 위한 사용자 인증 UI(920)를 생성하여 디스플레이한다.

이 같은 사용자 인증 UI(920)가 디스플레이된 상태에서, 사용자로부터 암호화 키가 입력되면, 디스플레이 장치(300)는 입력된 암호화 키가 기설정된 암호화 정보에 대응되는지 여부를 판단한다. 판단 결과, 입력된 암호화 키가 기설정된 암호화 정보와 대응되면, 디스플레이 장치(300)는 사용자 인증이 완료된 것으로 판단하고, 도 9의 (c)에 도시된 바와 같이, 사용자에 의해 선택된 스마트 TV로부터 촬영된 영상을 디스플레이하기 위한 보안 UI(930)를 생성하여 디스플레이한다.

구체적으로, 디스플레이 장치(300)는 사용자 인증이 완료되면, 중계 서버(400)를 통해 단말 장치(200)로 스마트 TV를 통해 모니터링 관련 동작을 수행하도록 하기 위한 모니터링 수행 명령을 전송한다. 이에 따라, 단말 장치(200)는 수신한 모니터링 수행 명령에 기초하여 스마트 TV로 모니터 수행 명령을 전송한다. 따라서, 스마트 TV는 단말 장치(200)로부터 수신된 모니터링 수행 명령에 따라, 주변 공간에 대한 영상 촬영을 수행하고, 촬영된 영상 정보를 단말 장치(200)로 전송한다. 이에 따라, 단말 장치(200)는 스마트 TV로부터 전송된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다. 단말 장치(200)로부터 전송된 스마트 TV로부터 촬영된 영상 정보가 중계 서버(400)를 통해 수신되면, 디스플레이 장치(300)는 보안 UI(930)를 생성하고, 생성된 보안 UI(930)를 통해 스마트 TV로부터 촬영된 영상을 디스플레이할 수 있다.

도 10은 본 발명의 일 실시에에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 상황을 모니터링하기 위한 제1 예시도이다.

도 10의 (a)에 도시된 바와 같이, 디스플레이 장치(300)는 락 스크린으로 활성화된 제2 실행 모드인 상태에서 화면상에 가상의 오브젝트를 디스플레이할 수 있다. 여기서, 가상의 오브젝트는 사용자의 집을 나타내는 홈 오브젝트(1010) 및 해당 사용자의 집 주변에 대한 환경 상태를 나타내는 주변 환경 오브젝트(1040)를 포함할 수 있다.

따라서, 다스플레이 장치(300)는 중계 서버(400)를 통해 수신된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 이벤트 발생에 따른 댁 내 상황을 락 스크린상에 디스플레이된 홈 오브젝트(1010)를 통해 제공할 수 있다. 뿐만 아니라, 디스플레이 장치(300)는 적어도 하나의 주변 기기(100)에 대한 상태 정보 또는 외부 서버(미도시)와의 데이터 통신을 통해 수신된 환경 정보에 기초하여 주변 환경 오브젝트(1040)를 통해 사용자의 집 주변의 환경 상태를 제공할 수 있다.

한편, 도 10의 (b)에 도시된 바와 같이, 디스플레이 장치(300)는 수신된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 댁 내에 구비된 주변 기기(100)의 이상 유무 혹은 가동 유무 등의 이벤트 발생 여부를 분석할 수 있다. 예를 들어, 수신된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 거실의 스마트 조명에 대한 주변 기기(100)가 현재 스위치 온 되어 있어 있는 것으로 판단되면, 디스플레이 장치(300)는 홈 오브젝트(1010)의 일 영역에 기기 상태 아이콘(1020)을 표시한다.

따라서, 사용자는 락 스크린상에 디스플레이된 홈 오브젝트(1010)에 표시된 기기 상태 아이콘(1020)을 통해 댁 내에 구비된 주변 기기(100) 중 적어도 하나의 주변 기기(100)가 이상 혹은 가동 중임을 인지할 수 있다. 이에 따라, 사용자는 보다 구체적인 상황을 인지하기 위해서 홈 오브젝트(1010)에 표시된 기기 상태 아이콘(1020)을 선택할 수 있다. 이 같은 선택 명령이 입력되면, 디스플레이 장치(300)는 락 스크린이 디스플레이된 화면상에 이벤트 발생과 관련된 주변 기기(100)에 대한 상세 정보 및 제어 메뉴를 포함하는 제어 UI를 디스플레이할 수 있다.

전술한 예와 같이, 기기 상태 아이콘(1020)에 대한 선택 명령이 입력되면, 디스플레이 장치(300)는 "거실 조명이 스위치 온 되어 있습니다."라는 상세 정보와 거실 조명에 대한 스위치 온/오프를 제어하기 위한 제어 메뉴를 포함하는 제어 UI를 락 스크린상에 디스플레이할 수 있다. 따라서, 사용자는 현재 댁 내에 거실 조명이 켜져 있는 것으로 판단하고, 제어 UI 상에 포함된 제어 메뉴를 이용하여 거실 조명에 대한 스위치 오프를 수행할 수 있다.

한편, 도 10의 (c)에 도시된 바와 같이, 디스플레이 장치(300)는 수신된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 보안 관련 이벤트 발행 여부를 분석할 수 있다. 예를 들어, 수신된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 현관에 설치된 보안 시스템에 대한 주변 기기(100)의 이벤트 발생 신호가 발생한 것으로 판단되면, 디스플레이 장치(300)는 홈 오브젝트(1010)의 일 영역에 보안 경고 아이콘(1030)을 표시한다.

따라서, 사용자는 락 스크린상에 디스플레이된 홈 오브젝트(1010)에 표시된 보안 경고 아이콘(1030)을 통해 댁 내에 외부 침입과 같은 보안에 문제가 발생한 것으로 인지하고, 구체적인 상황을 인지하기 위해서 보안 경고 아이콘(1030)을 선택할 수 있다. 이 같은 보안 경고 아이콘(1030)이 선택되면, 디스플레이 장치(300)는 전술한 도 9와 같이, 보안 UI를 생성하고, 생성된 보안 UI를 통해 적어도 하나의 주변 기기(100)로부터 촬영된 영상을 디스플레이할 수 있다.

이에 따라, 사용자는 디스플레이 장치(100)의 보안 UI를 통해 디스플레이된 영상을 통해 댁 내 보안 상황을 실시간으로 모니터링할 수 있다.

도 11은 본 발명의 또다른 실시예에 따른 락 스크린으로 활성화된 디스플레이 장치에서 주변 기기를 통해 주변 상황을 모니터링하기 위한 제2 예시도이다.

도 11의 (a)에 도시된 바와 같이, 디스플레이 장치(300)는 락 스크린으로 활성화된 제2 실행 모드인 상태에서, 화면상에 사용자의 집을 나타내는 홈 오브젝트(1110)를 디스플레이할 수 있다.

이 같이, 락 스크린 화면상에 홈 오브젝트(1110)가 디스플레이된 상태에서, 도 11의 (b)에 도시된 바와 같이, 사용자는 댁 내에 누가 있는지를 확인하기 위해서 홈 오브젝트(1110)의 일 영역(1020)을 선택하고, 선택한 일 영역(1020)을 기준으로 기설정된 방향으로 드래그를 수행할 수 있다. 이 같은 사용자의 터치 명령이 입력되면, 디스플레이 장치(300)는 댁 내 가족 현황을 요청하기 위한 명령인 것으로 판단하고, 수신된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 댁 내에 있는 가족에 대한 가족 현황을 안내하기 위한 가족 모니터링 UI(1030)를 생성하여 디스플레이한다.

구체적으로, 중계 서버(400)를 통해 수신된 적어도 하나의 주변 기기(100)에 대한 상태 정보는 전술한 제1 내지 제4 주변 기기(100-1~100-4)와 같은 홈 디바이스의 상태 정보 뿐만 아니라, 단말 장치(200)와 동일한 네트워크 망에 존재하는 주변 디스플레이 장치(미도시)의 상태 정보를 포함할 수 있다. 단말 장치(200)와 동일한 네트워크 망에 존재하는 주변 디스플레이 장치(미도시)의 상태 정보는 주변 디스플레이 장치(미도시)의 사용자 정보 및 기기 정보 중 적어도 하나를 포함할 수 있다.

따라서, 디스플레이 장치(300)는 가족 현황을 요청하기 위한 사용자 명령이 입력되면, 수신된 상태 정보 중 주변 디스플레이 장치(미도시)의 상태 정보에 기초하여 주변 디스플레이 장치(미도시)의 사용자 정보 및 기기 정보를 획득할 수 있다. 이 같은 사용자 정보 및 기기 정보가 획득되면, 디스플레이 장치(300)는 기저장된 복수의 사용자 얼굴 이미지 중 획득한 사용자 정보와 관련된 사용자 얼굴 이미지를 추출하고, 추출된 사용자 얼굴 이미지를 가족 모니터링 UI(1030)의 가족 리스트 정보(1040) 상에 디스플레이한다. 따라서, 디스플레이 장치(300)는 도 11의 (c)와 같이, 댁 내에 있는 가족에 대응하는 사용자 얼굴 이미지를 제공하는 가족 리스트 정보(1040)를 포함하는 가족 모니터링 UI(1030)를 락 스크린상에 디스플레이할 수 있다. 이에 따라, 사용자는 디스플레이 장치(300)의 락 스크린상에 디스플레이된 가족 모니터링 UI(1030)의 가족 리스트 정보(1040)를 통해 댁 내에 누가 있는지를 확인할 수 있다.

한편, 사용자는 도 11의 (c)와 같이, 가족 리스트 정보(1040)를 통해 제공된 가족들 중 제1 가족(1050)을 선택할 수 있다. 이 같은 선택 명령이 입력되면, 디스플레이 장치(300)는 기저장된 연락처 정보에 기초하여 입력된 선택 명령에 대응하는 제1 가족(1050)의 디스플레이 장치(미도시)로 연락을 수행한다. 따라서, 사용자는 가족 리스트 정보(1040)를 통해 제공된 가족들에 대한 연락처 정보를 별도의 숙지하거나 입력하지 않고도 가족 리스트 정보(1040)를 통해 제공된 가족들과 통화할 수 있다.

도 12는 본 발명의 일 실시예에 따른 홈 네트워크 서비스 관련 어플리케이션이 활성화된 디스플레이 장치에서 제어 UI를 디스플레이하는 예시도이다.

도 12의 (a)에 도시된 바와 같이, 디스플레이 장치(300)는 사용자 요청에 따라, 홈 네트워크 관련 어플리케이션(1210)을 실행할 수 있다. 이 같은 어플리케이션(1010)이 실행되면, 디스플레이 장치(300)는 단말 장치(200)와의 통신 가능 여부와 상관없이 단말 장치(200) 혹은 중계 서버(400)를 통해 수신된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 해당 주변 기기(100)의 상태 관련 상세 정보 및 제어 메뉴를 포함하는 제어 UI(1230)를 생성하여 디스플레이할 수 있다.

여기서, 주변 기기(100)는 전술한 제1 내지 제4 주변 기기(100-1~100-4)와 같은 홈 디바이스의 뿐만 아니라, 단말 장치(200)와 동일한 네트워크 망에 존재하는 주변 디스플레이 장치(미도시)를 포함할 수 있다. 이 경우, 단말 장치(200)와 동일한 네트워크 망에 존재하는 주변 디스플레이 장치(미도시)의 상태 정보는 주변 디스플레이 장치(미도시)의 사용자 정보 및 기기 정보 중 적어도 하나를 포함할 수 있다.

따라서, 디스플레이 장치(300)는 도 10의 (a)에 도시된 바와 같이, 홈 네트워크 서비스 관련 어플리케이션(1010)이 실행되면, 해당 어플리케이션(1010)을 통해 댁 내에 있는 사용자의 사용자 정보 및 제1 내지 제4 주변 기기(100-1~100-4) 중 다이나믹 요소에 해당하는 주변 기기(100)의 현재 상태를 안내하기 위한 브리핑 메뉴(1220)를 제공할 수 있다. 여기서, 다이나믹 요소는 조도, 온도 및 TV 편성 정보가 될 수 있으며, 이 같은 요소에 대한 동작을 수행하는 주변 기기(100)는 스마트 조명, 에어컨 및 스마트 TV가 될 수 있다.

이 같은 어플리케이션(1010)이 실행된 상태에서, 사용자 요청에 따라 브리핑 메뉴(1220)가 선택되면, 디스플레이 장치(300)는 기수신한 상태 정보에 기초하여 다이나믹 요소에 대응되는 주변 기기(100)의 상태 관련 상세 정보 및 해당 주변 기기(100)를 제어하기 위한 제어 메뉴를 포함하는 제어 UI(1230)를 디스플레이할 수 있다. 여기서, 제어 UI(1230)에 디스플레이되는 제어 메뉴는 각 주변 기기(100)의 기본적인 동작(예를 들어, 전원 온/오프, 프로그램 녹화)을 제어하기 위한 메뉴가 될 수 있다. 그리고, 상태 관련 상세 정보는 다이나믹 요소에 대응되는 주변 기기(100)의 상태 정보에 기초하여 분석된 상세 결과 정보가 될 수 있다.

구체적으로, 브리핑 메뉴(1220)에 대한 선택 명령이 입력되면, 디스플레이 장치(300)는 다이나믹 요소에 해당하는 스마트 조명, 에어컨 및 스마트 TV의 상태 정보에 기초하여 분석된 상세 결과 정보 및 스마트 조명, 에어컨 및 스마트 TV의 동작을 제어하기 위한 제어 메뉴를 포함하는 제어 UI(1230)를 디스플레이한다.

즉, 디스플레이 장치(300)는 도 10의 (b)에 도시된 바와 같이, 스마트 조명과 관련하여 "조명이 꺼져 있습니다. 켜시겠습니까?"라는 상세 결과 정보 및 스마트 조명을 온/오프 하기 위한 제어 메뉴, 에어컨과 관련하여 "실내온도가 적정온도 이상입니다. 에어컨을 가동하겠습니까?"라는 상세 결과 정보 및 에어컨 가동을 위한 제어 메뉴와 같은 제어 UI(1230)를 디스플레이할 수 있다.

따라서, 사용자는 이 같은 다이나믹 요소에 해당하는 주변 기기(100)의 상세 결과 정보를 통해 제어할 주변 기기(100)에 대응하는 제어 메뉴를 이용하여 해당 주변 기기(100)를 제어할 수 있다.

도 13은 본 발명의 일 실시예에 따른 단말 장치의 블록도이다.

도 13에 도시된 바와 같이, 단말 장치(200)는 통신부(210), 저장부(220) 및 제어부(230)를 포함한다.

통신부(210)는 기등록된 적어도 하나의 주변 기기(100)와 주기적으로 유선 또는 무선으로 통신을 수행하여 적어도 하나의 주변 기기(100)로부터 상태 정보를 수신한다. 뿐만 아니라, 통신부(210)는 동일한 네트워크 망에 존재하는 디스플레이 장치(300) 또는 중계 서버(400)와 무선 통신을 수행한다. 여기서, 상태 정보는 주변 기기(100)의 온/오프 정보, 설정 정보 및 감지 정보 중 적어도 하나를 포함하는 활성화 정보 및 주변 기기(100)와 단말 장치(200) 간의 통신 상태 정보 중 적어도 하나를 포함할 수 있다.

저장부(220)는 통신부(210)를 통해 수신된 적어도 하나의 주변 기기(100)의 상태 정보를 저장한다. 뿐만 아니라, 저장부(220)는 동일한 네트워크 망에 존재하는 디스플레이 장치(300)의 식별 정보 등을 더 저장할 수 있다.

제어부(230)는 디스플레이 장치(300)로부터 주변 기기(100)에 대한 상태 정보 요청 메시지가 수신되면, 디스플레이 장치(300)와의 통신 가능 여부에 따라, 저장부(220)에 기저장된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 상태 정보 또는 모니터링 가능한 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 전송하도록 통신부(210)를 제어한다.

구체적으로, 제어부(230)는 디스플레이 장치(300)와 통신이 가능하면(동일한 네트워크 망에 존재하는 경우), 저장부(220)에 기저장된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 전송한다. 이 같은 제어 가능한 주변 기기(100)에 대한 상태 정보를 수신한 디스플레이 장치(300)로부터 제어 명령이 수신되면, 제어부(230)는 수신된 제어 명령에 대응되는 주변 기기(100)로 수신된 제어 명령을 전송한다. 이에 따라, 해당 주변 기기(100)는 수신한 제어 명령에 기초하여 동작을 수행할 수 있다.

한편, 제어부(230)는 디스플레이 장치(300)와 통신이 불가능하면(서로 다른 네트워크 망에 존재하여 디스플레이 장치(300)로부터 전송된 상태 정보 요청 메시지가 중계 서버(400)를 통해 수신되는 경우), 저장부(220)에 기저장된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 상태 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다.

이후, 중계 서버(400)를 통해 디스플레이 장치(300)에서 전송한 모니터링 수행 명령이 수신되면, 제어부(230)는 수신된 모니터링 수행 명령에 대응하는 주변 기기(100)로 모니터링 수행 명령을 전송한다. 모니터링 수행 명령을 수신한 주변 기기(100)는 수신한 모니터링 수행 명령에 따라 주변 공간을 촬영하고, 촬영된 영상 정보를 단말 장치(200)로 전송한다. 이에 따라, 제어부(230)는 중계 서버(400)를 통해 디스플레이 장치(300)로 주변 기기(100)로부터 전송된 영상 정보를 전송할 수 있다.

이와 같이, 본 발명에 따른 단말 장치(200)는 디스플레이 장치(300)와 직접적으로 데이터 통신이 가능한 경우, 기저장된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 전송한다. 이에 따라, 디스플레이 장치(300)는 수신한 상태 정보에 기초하여 주변 기기(100)를 제어하기 위한 제어 UI를 생성하여 디스플레이할 수 있으며, 사용자는 디스플레이 장치(300)에 디스플레이된 제어 UI를 통해 댁 내에 있는 주변 기기(100)를 제어할 수 있다.

한편, 단말 장치(200)는 중계 서버(400)를 통해 디스플레이 장치(300)와 간접적으로 데이터 통신이 가능한 경우, 기저장된 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 전송한다. 이에 따라, 디스플레이 장치(300)는 수신한 상태 정보에 기초하여 주변 공간을 모니터링하기 위한 보안 UI를 생성할 수 있으며, 생성된 UI를 통해 사용자가 요청한 주변 기기(100)로부터 촬영된 영상을 디스플레이할 수 있다. 이에 따라, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI를 통해 자신이 선택한 주변 기기(100)로부터 촬영된 영상을 모니터링하여, 댁 내에 위험 요소가 발견되는지 여부를 실시간으로 체크할 수 있다.

지금까지, 본 발명에 따른 단말 장치(200)의 각 구성에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 디스플레이 장치(300) 및 단말 장치(200)의 동작을 제어하는 제어 방법에 대해서 상세히 설명하도록 한다.

도 14는 본 발명의 일 실시예에 따른 디스플레이 장치의 제어 방법에 대한 흐름도이다.

도 14에 도시된 바와 같이, 디스플레이 장치(300)는 단말 장치(200) 또는 중계 서버(400)와 통신을 수행하여 단말 장치(200)에서 수집된 적어도 하나의 주변 기기(100)의 상태 정보를 수신한다(S1410). 여기서, 상태 정보는 주변 기기(100)의 온/오프 정보, 설정 정보 및 감지 정보 중 적어도 하나를 포함하는 활성화 정보 및 주변 기기(100)와 단말 장치(200) 간의 통신 상태 정보 중 적어도 하나를 포함할 수 있다.

이 같은 적어도 하나의 주변 기기(100)에 대한 상태 정보가 수신되면, 디스플레이 장치(300)는 단말 장치(200)와의 통신 가능 여부를 판단한다(S1420). 구체적으로, 디스플레이 장치(300)는 단말 장치(200)와 근거리 무선 통신을 통해 직접적으로 데이터 통신이 가능한지 아니면, 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 데이터 통신이 가능한지 여부를 판단한다.

판단 결과, 단말 장치(200)와 근거리 무선 통신을 통해 직접적으로 데이터 통신이 가능한 것으로 판단되면, 디스플레이 장치(300)는 수신한 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여, 적어도 하나의 주변 기기(100)를 제어하기 위한 제어 UI를 생성하여 디스플레이한다(S1430).

한편, 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 데이터 통신이 가능한 것으로 판단되면, 디스플레이 장치(300)는 수신한 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여, 적어도 하나의 주변 기기(100)를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하여 디스플레이한다(S1440).

이하에서는, 디스플레이 장치(300)에서 단말 장치(400)와의 통신 상태에 따라 적어도 하나의 주변 기기(100)를 제어하기 위한 제어 UI 또는 적어도 하나의 주변 기기(100)를 통해 주변 공간을 모니터링하기 위한 보안 UI를 생성하는 방법에 대해서 상세히 설명하도록 한다.

도 15는 본 발명의 일 실시예에 따른 디스플레이 장치에서 주변 기기를 제어하기 위한 제어 UI를 생성하는 방법에 대한 흐름도이다.

도 15에 도시된 바와 같이, 디스플레이 장치(300)는 단말 장치(200)와 근거리 무선 통신을 통해 직접적으로 데이터 통신이 가능한 것으로 판단되면, 수신한 적어도 하나의 주변 기기(100)의 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 제어 리스트 정보를 생성하여 디스플레이한다(S1510). 이 같은 제어 리스트 정보가 디스플레이된 상태에서, 사용자로부터 하나의 주변 기기(100)에 대한 선택 명령이 입력되면, 디스플레이 장치(300)는 입력된 선택 명령에 대응하는 주변 기기(100)에 대한 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이한다(S1520). 여기서, 제어 리스트 정보는 제어 가능한 적어도 하나의 주변 기기(100)에 대한 기기 정보를 포함하는 리스트 정보가 될 수 있다.

따라서, 디스플레이 장치(300)는 적어도 하나의 주변 기기(100)에 대한 기기 정보를 포함하는 제어 리스트 정보가 디스플레이된 상태에서, 제어할 대상의 주변 기기(100)에 대한 선택 명령이 입력되면, 기저장된 주변 기기(100)별 제어 메뉴 중 입력된 선택 명령에 대응하는 주변 기기(100)의 대한 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이할 수 있다.

이 같이, 선택된 주변 기기(100)를 제어하기 위한 제어 UI를 생성하여 디스플레이하는 디스플레이 장치(300)는 실행 모드에 따라, 제어 리스트 정보를 상이하게 생성할 수 있다. 여기서, 실행 모드는 퀵 메뉴로 활성화된 제1 실행 모드, 락 스크린으로 활성화된 제2 실행 모드 및 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드 중 적어도 하나를 포함할 수 있다.

구체적으로, 디스플레이 장치(300)는 퀵 메뉴로 활성화된 제1 실행 모드인 경우, 수신된 상태 정보에 기초하여 제어 가능한 모든 주변 기기(100)를 포함하는 제1 제어 리스트 정보를 생성하여 디스플레이할 수 있으며, 락 스크린으로 활성화된 제2 실행 모드인 경우, 제어 가능한 모든 주변 기기(100) 중 활성화된 주변 기기(100)를 포함하는 제2 제어 리스트 정보를 생성하여 디스플레이할 수 있다. 한편, 홈 네트워크 서비스 관련 어플리케이션이 활성화된 제3 실행 모드인 경우, 디스플레이 장치(300)는 단말 장치(200)와의 통신 가능 여부와 상관없이 수신된 상태 정보에 기초하여 적어도 하나의 주변 기기(100)의 상태 관련 상세 정보 및 제어 메뉴를 포함하는 제어 UI를 생성하여 디스플레이할 수 있다.

이 같이, 디스플레이 장치(300)는 현재 실행 중인 실행 모드에 따라 제어 리스트 정보 및 제어 UI를 상이하게 생성하여 디스플레이할 수 있다.

한편, 디스플레이 장치(300)는 이 같은 복수의 제어 메뉴를 포함하는 제어 UI가 디스플레이된 상태에서, 적어도 하나의 제어 메뉴에 대한 선택 명령이 입력되면, 입력된 선택 명령에 대응하는 제어 메뉴와 관련된 제어 명령을 단말 장치(200)로 전송한다(S1530). 이에 따라, 단말 장치(200)는 디스플레이 장치(300)로부터 수신한 제어 명령에 기초하여 사용자에 의해 선택된 주변 기기(100)로 제어 명령을 전송한다. 이에 따라, 단말 장치(200)로부터 제어 명령을 수신한 주변 기기(100)는 수신한 제어 명령에 기초하여 제어 동작을 수행할 수 있다.

도 16은 일 실시예에 따른 디스플레이 장치에서 주변 기기를 모니터링하기 위한 보안 UI를 생성하는 방법에 대한 흐름도이다.

도 16에 도시된 바와 같이, 디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)와 간접적으로 통신이 가능한 것으로 판단되면, 수신한 주변 기기(100)의 상태 정보 및 기등록된 주변 기기(100)별 설정 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 보안 리스트 정보를 생성하여 디스플레이한다(S1610). 여기서, 보안 리스트 정보는 주변 공간에 대한 모니터링 가능한 주변 기기(100)를 나타내는 식별 정보 및 해당 주변 기기(100)를 통해 모니터링 가능한 영역을 안내하는 영역 정보를 포함할 수 있다.

이 같은 제어 리스트 정보가 디스플레이된 상태에서, 주변 공간을 모니터링할 주변 기기(100)에 대한 선택 명령이 입력되면, 디스플레이 장치(300)는 사용자 인증을 위한 사용자 인증 UI를 생성하여 디스플레이한다(S1620).

이 같은 사용자 인증 UI가 디스플레이된 상태에서, 암호와 키가 입력되면, 디스플레이 장치(300)는 입력된 암호화 키가 기설정된 암호와 정보와 일치하는지 여부를 판단한다(S1630). 판단 결과, 일치하면, 디스플레이 장치(300)는 중계 서버(400)를 통해 단말 장치(200)로 기입력된 선택 명령에 대응하는 주변 기기(100)에 대한 모니터링을 요청한다(S1640). 모니터링 요청에 따라, 단말 장치(200)는 모니터링을 요청한 주변 기기(100)로 모니터링 수행 명령을 전송하여, 해당 주변 기기(100)로부터 주변 공간에 대한 촬영된 영상 정보가 수신되면, 수신된 영상 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다.

이 같은 영상 정보가 수신되면, 디스플레이 장치(300)는 주변 기기(100)로부터 촬영된 영상을 디스플레이하기 위한 보안 UI를 생성하고, 생성된 보안 UI의 일 영역에 수신한 영상 정보에 대응하는 영상을 디스플레한다(S1650).

따라서, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI의 일 영역에 디스플레이된 영상을 통해 자신이 선택한 주변 기기(100)와 관련된 주변 공간을 실시간으로 모니터링할 수 있다.

한편, 디스플레이 장치(300)는 모니터링을 요청한 주변 기기(100)의 모니터링 동작을 제어하기 위한 모니터링 제어 메뉴를 포함하는 보안 UI를 생성하여 디스플레이할 수 있다. 추가적으로, 디스플레이 장치(300)는 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 편집하기 위한 편집 메뉴를 더 포함하는 보안 UI를 생성하여 디스플레이할 수 있다.

여기서, 모니터링 제어 메뉴는 예를 들어, 모니터링을 수행하는 주변 기기(100)의 전원을 온/오프하기 위한 메뉴 및 해당 주변 기기(100)의 모니터링 방향을 제어하기 위한 메뉴 중 적어도 하나를 포함할 수 있다. 그리고, 편집 메뉴는 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상을 캡쳐하거나 레코딩하기 위한 메뉴 및 현재 디스플레이되는 보안 UI를 종료하기 위한 메뉴 중 적어도 하나를 포함할 수 있다. 따라서, 모니터링을 요청한 주변 기기(100)로부터 촬영된 영상, 모니터링 제어 메뉴 및 편집 메뉴를 포함하는 보안 UI가 화면상에 디스플레이된 상태에서, 모니터링 제어 메뉴에 대한 선택 명령이 입력되면, 디스플레이 장치(300)는 입력된 선택 명령에 대응하는 제어 명령을 중계 서버(400)를 통해 단말 장치(300)로 전송한다(S1660). 이에 따라, 단말 장치(300)는 촬영된 영상을 전송하는 주변 기기(100)로 해당 제어 명령을 전송하며, 이 같은 제어 명령을 수신한 주변 기기(100)는 수신한 제어 명령에 기초하여 제어 동작을 수행할 수 있다.

따라서, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI의 일 영역에 디스플레이된 영상을 통해 댁 내의 상황을 실시간으로 모니터링할 뿐만 아니라, 보안 UI에 포함된 모니터링 제어 메뉴 또는 편집 메뉴를 통해 주변 기기(100)의 촬영 동작을 제어하거나 해당 주변 기기(100)로부터 촬영된 영상을 편집할 수 있다.

도 17은 본 발명의 일 실시예에 따른 단말 장치의 제어 방법에 대한 흐름도이다.

도 17에 도시된 바와 같이, 단말 장치(200)는 기등록된 적어도 하나의 주변 기기(100)와 주기적으로 통신을 수행하여 적어도 하나의 주변 기기(100)의 상태 정보를 수신하여 저장한다(S1710). 여기서, 상태 정보는 주변 기기(100)의 온/오프 정보, 설정 정보 및 감지 정보 중 적어도 하나를 포함하는 활성화 정보 및 주변 기기(100)와 단말 장치(200) 간의 통신 상태 정보 중 적어도 하나를 포함할 수 있다.

한편, 단말 장치(200)는 디스플레이 장치(300)로부터 전송된 주변 기기(100)에 대한 상태 정보 요청 메시지가 수신되면, 디스플레이 장치(300)와 통신 가능한지 여부를 판단한다(S1720,S1730).

구체적으로, 단말 장치(200)는 디스플레이 장치(300)로부터 상태 정보 요청 메시지가 수신되면, 디스플레이 장치(300)와 직접적으로 통신 가능(동일한 네트워크 망에 존재)한 것으로 판단할 수 있다. 한편, 판단 결과, 디스플레이 장치(300)로부터 전송된 상태 정보 요청 메시지가 중계 서버(400)를 통해 수신되면, 단말 장치(200)는 디스플레이 장치(300)와 간접적으로 통신 가능(서로 다른 네트워크 망에 존재)한 것으로 판단할 수 있다.

전술한 바와 같이, 디스플레이 장치(300)와 직접적인 통신을 통해 상태 정보 요청 메시지가 수신된 것으로 판단되면, 단말 장치(200)는 기저장된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 제어 가능한 주변 기기(100)에 대한 상태 정보를 디스플레이 장치(300)로 전송한다(S1740).

이 같은 제어 가능한 주변 기기(100)에 대한 상태 정보를 수신한 디스플레이 장치(300)로부터 제어 명령이 수신되면, 단말 장치(200)는 수신된 제어 명령에 대응되는 주변 기기(100)로 수신된 제어 명령을 전송한다. 이에 따라, 주변 기기(100)는 수신한 제어 명령에 기초하여 동작을 수행할 수 있다.

한편, 디스플레이 장치(300)로부터 전송된 상태 정보 요청 메시지가 중계 서버(400)를 통해 수신되면, 단말 장치(200)는 기저장된 적어도 하나의 주변 기기(100)에 대한 상태 정보에 기초하여 모니터링 가능한 주변 기기(100)에 대한 상태 정보를 중계 서버(400)를 통해 디스플레이 장치(300)로 전송한다(S1750).

이후, 단말 장치(200)는 중계 서버(400)를 통해 모니터링 수행 명령이 수신되면, 수신된 모니터링 수행 명령에 대응하는 주변 기기(100)로 모니터링 수행 명령을 전송한다. 모니터링 수행 명령을 수신한 주변 기기(100)는 수신한 모니터링 수행 명령에 따라 주변 공간을 촬영하고, 촬영된 영상 정보를 단말 장치(200)로 전송한다. 이 같은 영상 정보가 수신되면, 단말 장치(200)는 중계 서버(400)를 통해 디스플레이 장치(300)로 주변 기기(100)로부터 촬영된 영상에 대한 영상 정보를 전송할 수 있다.

이에 따라, 사용자는 디스플레이 장치(300)의 화면상에 디스플레이된 보안 UI를 통해 자신이 선택한 주변 기기(100)로부터 촬영된 영상을 모니터링하여, 댁 내에 위험 요소가 발견되는지 여부를 실시간으로 체크할 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 주변 기기 200 : 단말 장치
210,310 : 통신부 220,340 : 저장부
230,320 : 제어부 300 : 디스플레이 장치
330 : 디스플레이부 350 : 입력부
400 : 중계 서버

Claims

적어도 하나의 주변 기기와 주기적으로 통신을 수행하는 통신부;
상기 적어도 하나의 주변 기기의 상태 정보를 저장하는 저장부; 및
디스플레이 장치로부터 주변 기기에 대한 상태 정보 요청 메시지가 수신되면, 상기 상태 정보 요청 메시지로부터 상기 디스플레이 장치가 동일한 네트워크 상에 직접적으로 연결되었는지 또는 상이한 네트워크 상에서 중계 서버를 통해 연결되었는지 여부를 판단하고,
상기 디스플레이 장치와 동일한 네트워크 상에서 직접적으로 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 제어 가능한 주변 기기의 상태 정보를 상기 디스플레이 장치에 전송하도록 상기 통신부를 제어하고,
상기 디스플레이 장치와 상이한 네트워크 상에 상기 중계 서버를 통해 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치에 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 단말 장치.
제1항에 있어서,
상기 주변 기기의 상태 정보는 상기 주변 기기의 온/오프 정보, 감지 정보 및 설정 정보 중 적어도 하나를 포함하는 활성화 정보 및 상기 주변 기기와 상기 단말 장치 간의 통신 상태 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 단말 장치.
제1항에 있어서,
상기 제어부는,
상기 디스플레이 장치와 동일한 네트워크 상에서 직접적으로 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 제어 가능한 주변 기기의 상태 정보를 상기 디스플레이 장치에 전송하도록 상기 통신부를 제어하고,
상기 디스플레이 장치로부터 제어 명령이 수신되면, 상기 수신된 제어 명령에 대응되는 주변 기기로 상기 제어 명령을 전송하도록 상기 통신부를 제어하는 단말 장치.
제1항에 있어서,
상기 제어부는,
상기 디스플레이 장치와 상이한 네트워크 상에 상기 중계 서버를 통해 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 중계 서버를 통해 상기 디스플레이 장치에 전송하고,
상기 중계 서버를 통해 상기 디스플레이 장치에서 전송한 모니터링 수행 명령이 수신되면, 상기 모니터링 수행 명령에 대응되는 주변 기기로 상기 모니터링 수행 명령을 전송하고, 상기 모니터링 수행 명령에 따라 상기 주변 기기로부터 촬영된 영상 정보를 상기 중계 서버를 통해 상기 디스플레이 장치로 전송하는 단말 장치.
단말 장치의 제어 방법에 있어서,
적어도 하나의 주변 기기와 주기적으로 통신을 수행하여 상기 적어도 하나의 주변 기기의 상태 정보를 수신하는 단계;
상기 수신된 적어도 하나의 주변 기기의 상태 정보를 저장하는 단계;
디스플레이 장치로부터 주변 기기에 대한 상태 정보 요청 메시지를 수신하는 단계;
상기 상태 정보 요청 메시지로부터 상기 디스플레이 장치가 동일한 네트워크 상에 직접적으로 연결되었는지 또는 상이한 네트워크 상에서 중계 서버를 통해 연결되었는지 여부를 판단하는 단계; 및
상기 디스플레이 장치와 동일한 네트워크 상에서 직접적으로 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 제어 가능한 주변 기기의 상태 정보를 상기 디스플레이 장치에 전송하고,
상기 디스플레이 장치와 상이한 네트워크 상에 상기 중계 서버를 통해 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 상기 디스플레이 장치에 전송하는 단계;를 포함하는 제어 방법.
제5항에 있어서,
상기 주변 기기의 상태 정보는 상기 주변 기기의 온/오프 정보, 감지 정보 및 설정 정보 중 적어도 하나를 포함하는 활성화 정보 및 상기 주변 기기와 상기 단말 장치 간의 통신 상태 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
제5항에 있어서,
상기 전송하는 단계는,
상기 디스플레이 장치와 동일한 네트워크 상에서 직접적으로 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 제어 가능한 주변 기기의 상태 정보를 상기 디스플레이 장치에 전송하는 단계; 및
상기 디스플레이 장치로부터 제어 명령이 수신되면, 상기 수신된 제어 명령에 대응되는 주변 기기로 상기 제어 명령을 전송하는 단계;를 포함하는 제어 방법.
제5항에 있어서,
상기 전송하는 단계는,
상기 디스플레이 장치와 상이한 네트워크 상에 상기 중계 서버를 통해 연결되었다고 판단되면, 상기 저장된 상태 정보를 기초하여 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 중계 서버를 통해 상기 디스플레이 장치에 전송하는 단계;
상기 중계 서버를 통해 상기 디스플레이 장치에서 전송한 모니터링 수행 명령이 수신되면, 상기 모니터링 수행 명령에 대응되는 주변 기기로 상기 모니터링 수행 명령을 전송하는 단계; 및
상기 모니터링 수행 명령에 따라 상기 주변 기기로부터 촬영된 영상 정보를 상기 중계 서버를 통해 상기 디스플레이 장치로 전송하는 단계;를 포함하는 제어 방법.
단말 장치로부터 상태 정보 요청을 수신하면, 상기 상태 정보를 상기 단말 장치에 전송하는 적어도 하나의 주변 기기;
디스플레이 장치로부터 상기 적어도 하나의 주변 기기에 대한 상태 정보 요청 메시지가 수신되면, 상기 디스플레이 장치와 동일한 네트워크 상에서 직접적으로 연결되었는지 여부에 따라, 상기 적어도 하나의 주변 기기로부터 수신된 상태 정보에 기초하여 제어 가능한 주변 기기에 대한 상태 정보 또는 모니터링 가능한 주변 기기에 대한 상태 정보를 상기 디스플레이 장치로 전송하는 단말 장치;
상기 단말 장치와 동일한 네트워크 상에서 직접적으로 연결되면, 상기 단말 장치로부터 수신된 상태 정보에 기초하여 상기 적어도 하나의 주변 기기를 제어하기 위한 제어 UI를 디스플레이하고,
상기 단말 장치와 상이한 네트워크 상에서 상기 중계 서버를 통해 연결되면, 상기 수신된 상태 정보 및 기등록된 주변 기기별 설정 정보에 기초하여 상기 적어도 하나의 주변 기기를 통해 주변 공간을 모니터링하기 위한 보안 UI를 디스플레이하는 디스플레이 장치;를 포함하는 홈 네트워크 시스템.