KR101663993B1 - 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체 - Google Patents

홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체 Download PDF

Info

Publication number
KR101663993B1
KR101663993B1 KR1020140182984A KR20140182984A KR101663993B1 KR 101663993 B1 KR101663993 B1 KR 101663993B1 KR 1020140182984 A KR1020140182984 A KR 1020140182984A KR 20140182984 A KR20140182984 A KR 20140182984A KR 101663993 B1 KR101663993 B1 KR 101663993B1
Authority
KR
South Korea
Prior art keywords
control
user
peripheral device
control signal
information
Prior art date
Application number
KR1020140182984A
Other languages
English (en)
Other versions
KR20160074127A (ko
Inventor
황기현
김범준
송준
유우종
황성현
이수원
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020140182984A priority Critical patent/KR101663993B1/ko
Publication of KR20160074127A publication Critical patent/KR20160074127A/ko
Application granted granted Critical
Publication of KR101663993B1 publication Critical patent/KR101663993B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체가 개시된다.
홈 네트워크 시스템은 사용자의 눈동자 움직임을 인식하여 사용자로부터 제어 신호를 입력받아 사용자 주변에 있는 기기를 제어하며, 미리 정해진 이동 단말로 알림 메시지 및 응급 메시지를 전송하여 외부에 있는 보호자에 의해 입력된 알림 메시지 및 응급 메시지에 대응한 제어 신호를 수신하고, 수신한 제어 신호에 따라 주변에 있는 기기를 제어하고, 사용자 및 미리 정해진 이동 단말로부터 수신한 제어 신호를 저장 및 시간대별 또는 외부 환경 정보 별로 분석하여 자동으로 시간대 및 외부 환경에 적합하게 주변에 있는 기기를 제어한다.

Description

홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체{HOME NETWORK SYSTEM AND CONTROL METHOD THEREOF, RECORDING MEDIUM FOR PERFORMING THE METHOD}
본 발명은 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체에 관한 것으로서, 보다 상세하게는 사용자의 눈동자 움직임을 인식하여 사용자 주변에 있는 기기를 제어하는 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체에 관한 것이다.
종래의 전신마비 환자를 위한 홈 네트워크 시스템은 전신마비 환자의 뇌파를 측정하여 환자가 주변에 있는 기계 또는 전자기기를 제어하였다.
이때, 전신마비 환자가 주변에 있는 기계 또는 전자기기를 제어할 수 있도록 환자의 뇌파를 측정하는 방법으로는 환자의 뇌 속에 회로를 삽입하여 뇌파를 측정하는 방법, 전극이 붙은 모자를 씌워 두개골의 외측에서 뇌파를 측정하는 방법 및 뉴런에 직접 전극을 잇지 않고 작은 나사를 두개골의 안쪽 2mm까지 묻어 뇌파를 측정하는 방법 등이 있다.
그러나, 뇌파를 측정하여 환자 주변에 있는 기계 또는 전자기기를 제어하는 홈 네트워크 시스템은 측정된 뇌파에 의해 구동될 수 있는 기계 및 전자기기의 범위가 제한적이거나 뇌파 측정 시 환자의 신체에 손상을 초래할 우려가 다분한 문제점이 있다.
또한, 종래의 원격으로 주변에 있는 기계 또는 전자기기를 제어하는 홈 네트워크 시스템은 응급 상황이 발생하였거나 주변에 있는 기계에 이상이 발생하여 환자가 스스로 주변에 있는 기계 또는 전자기기를 제어할 수 없는 경우 보호자에게 현재 상황을 알려 도움을 받을 수 없다는 문제점이 있다.
따라서, 환자의 신체에 손상이 가해지지 않는 방식을 사용하며, 응급 상황이 발생할 시 외부에 떨어져있는 보호자가 원격으로 환자 주변에 있는 기계 또는 전자기기를 제어할 수 있는 홈 네트워크 시스템이 필요한 상황이다.
한국공개특허 제2013-0102918호 한국공개특허 제2014-0115906호
본 발명의 일측면은 사용자로부터 입력받은 제어 신호 정보를 분석하여 시간대별 또는 외부 환경 정보 별로 제어 패턴을 검출하고, 검출한 제어 패턴에 따라 사용자 주변에 있는 주변 기기를 제어하는 홈 네트워크 시스템 및 그 제어방법을 제공한다.
본 발명의 일측면은 사용자로부터 제어 신호를 입력받거나 미리 정해진 이동 단말로부터 제어 신호를 수신하여 상기 사용자의 주변에 있는 주변 기기를 원격으로 제어하는 홈 네트워크 제어 장치 및 상기 홈 네트워크 제어 장치로 상기 주변 기기를 제어하기 위한 제어 신호를 전송하는 이동 단말을 포함하는 홈 네트워크 시스템의 제어방법에 관한 것으로, 상기 홈 네트워크 제어 장치는 상기 사용자의 눈동자 움직임을 인식하여 상기 사용자로부터 상기 주변 기기에 대한 제어 신호를 입력받고, 상기 사용자로부터 입력받은 제어 신호에 따라 상기 주변 기기를 제어하고, 상기 사용자로부터 입력받은 제어 신호에 대한 정보를 저장하고, 저장된 정보를 시간대별 또는 외부 환경 정보 별로 분석하여 자동으로 상기 주변 기기를 제어한다.
상기 저장된 정보를 시간대별 또는 외부 환경 정보 별로 분석하여 자동으로 상기 주변 기기를 제어하는 것은, 상기 사용자로부터 상기 주변 기기에 대한 제어 신호가 입력되면, 상기 제어 신호가 입력된 시간대 및 상기 제어 신호가 입력될 때의 외부 환경 정보를 검색하고, 상기 사용자로부터 입력받은 제어 신호와 상기 검색한 시간대 및 외부 환경 정보를 그룹화하여 저장하고, 상기 저장된 정보를 시간대별 또는 외부 환경 정보 별로 분석하여 자동으로 상기 주변 기기를 제어할 수 있다.
상기 저장된 정보를 시간대별로 분석하여 자동으로 상기 주변 기기를 제어하는 것은, 상기 사용자의 시간대별 생활 패턴에 따라 자동으로 상기 주변 기기를 제어할 수 있도록 상기 저장된 정보를 이용하여 시간대별로 상기 사용자에 의해 상기 주변 기기가 제어되는 제어 패턴을 검출하고, 상기 검출한 제어 패턴에서 현재 시간이 속하는 시간대에 해당하는 시간대의 제어 정보를 검출하고, 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어할 수 있다.
상기 주변 기기가 제어되는 제어 패턴을 검출하는 것은, 미리 정해진 기간 내에서 시간대별로 상기 사용자로부터 미리 정해진 횟수 이상 입력된 제어 신호를 검출하고, 시간대별로 상기 미리 정해진 횟수 이상 입력된 제어 신호 정보를 검출할 수 있다.
상기 저장된 정보를 외부 환경 정보 별로 분석하여 자동으로 상기 주변 기기를 제어하는 것은, 상기 외부 환경 정보를 반영하여 상기 주변 기기를 자동적으로 제어할 수 있도록 상기 저장된 정보를 외부 환경 정보 별로 상기 사용자에 의해 상기 주변 기기가 제어되는 제어 패턴을 검출하고, 상기 검출한 제어 패턴에서 현재 외부 환경 정보가 속하는 외부 환경 정보에 대응하는 제어 정보를 검출하고, 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어할 수 있다.
상기 주변 기기는 시간대 또는 외부 환경 정보 중 우선적으로 제어되는 기준이 지정되어 있어 상기 주변 기기 별로 지정된 우선 제어 기준에 따라 상기 주변 기기를 제어하는 것을 더 포함할 수 있다.
상기 이동 단말 또는 외부의 서버로부터 예측된 미래 외부 환경 정보를 수신하고, 상기 외부 환경 정보에 따라 상기 주변 기기가 제어되는 제어 패턴에서 상기 미래 외부 환경 정보가 속하는 외부 환경 정보에 대응하는 제어 정보를 검출하고, 상기 미래 외부 환경 정보에 따라 예측된 외부 환경이 변화하는 시점에 상기 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어하는 것을 더 포함할 수 있다.
상기 홈 네트워크 제어 장치는 상기 사용자로부터 응급 메시지를 입력받고, 상기 주변 기기로부터 알림 메시지를 수신하고, 상기 알림 메시지 및 응급 메시지가 수신 또는 입력되면 상기 알림 메시지 및 응급 메시지를 상기 이동 단말로 전송하고, 상기 이동 단말로부터 상기 알림 메시지 및 응급 메시지에 대응하여 보호자로부터 입력받은 제어 신호를 수신하고, 상기 알림 메시지 및 응급 메시지에 대응하여 입력받은 제어 신호에 따라 상기 주변 기기를 제어하는 것을 더 포함할 수 있다.
상기 알림 메시지 및 응급 메시지가 수신 또는 입력되면 상기 알림 메시지 및 응급 메시지가 수신 또는 입력된 시간 정보 및 상기 이동 단말로부터 수신한, 상기 알림 메시지 및 응급 메시지에 대응하여 보호자로부터 입력받은 제어 신호 정보를 저장하고, 상기 알림 메시지 및 응급 메시지 중 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지를 검출하고, 상기 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지가 수신 또는 입력된 평균 수신 시간을 산출하고, 상기 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대응하여 입력받은 제어 신호 정보를 검색하여 상기 산출한 평균 수신 시간에 상기 검색된 제어 정보에 따라 상기 주변 기기를 제어하는 것을 더 포함할 수 있다.
홈 네트워크 시스템의 제어방법을 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
본 발명의 다른 측면은 사용자의 주변에 있는 주변 기기를 원격으로 제어하는 홈 네트워크 시스템에 관한 것으로, 상기 사용자의 눈동자의 움직임을 촬영하는 촬영부, 상기 사용자의 시야에 있는 실내 장면과 동일한 장면 및 상기 사용자가 상기 주변 기기를 제어 또는 응급 메시지를 전송할 수 있도록 마련된 클릭 가능한 버튼 이미지를 포함한 화면을 출력하는 디스플레이부, 상기 촬영부에 의해 촬영된 영상에서 상기 사용자 눈동자의 이동 방향 및 눈동자의 위치를 인식하여 인식한 상기 사용자 눈동자의 이동 방향 및 눈동자의 위치에 따라 상기 디스플레이부에 표시되는 커서를 이동시키고, 상기 커서를 이동시켜 상기 사용자로부터 상기 주변 기기에 대한 제어 신호를 입력받고, 입력받은 제어 신호를 입력받은 제어 신호에 해당하는 주변 기기로 전송하도록 제어하는 제어부를 포함하는 홈 네트워크 제어 장치 및 상기 사용자의 주변에 위치하여 상기 홈 네트워크 제어 장치와 유선 또는 무선으로 연결되어 있으며, 상기 홈 네트워크 제어 장치로부터 제어 신호를 수신하고, 수신한 제어 신호에 따라 동작하는 주변 기기를 포함한다.
상술한 본 발명의 일측면에 따르면, 사용자의 눈동자의 움직임을 인식하여 제어 신호를 입력받음으로써 수족을 사용할 수 없는 전신마비 환자가 불편함 없이 주변에 있는 기기를 제어할 수 있으며, 외부에 떨어져있는 보호자의 경우 이동 단말을 통해 상황 정보를 수신하고, 이에 대응하여 사용자 주변에 있는 기기를 원격으로 제어할 수 있다.
또한, 사용자 및 이동 단말로부터 입력 또는 수신한 사용자 주변 기기에 대한 제어 정보를 저장 및 분석하여 시간 및 외부 환경에 따른 제어 패턴을 검출함으로써, 시간 및 외부 환경에 따라 사용자에게 적합하게 사용자 주변에 있는 기기를 자동으로 제어할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 홈 네트워크 시스템을 도시한 도면이다.
도 2 는 도 1 에 도시된 홈 네트워크 시스템이 실제로 적용된 예를 도시한 도면이다.
도 3 은 도 1 에 도시된 홈 네트워크 제어 장치의 블록도이다.
도 4 는 도 3 에 도시된 눈동자 인식부의 동작 방법을 설명하기 위해 도시한 도면이다.
도 5a, 5b 는 도 1 에 도시된 홈 네트워크 제어 장치의 디스플레이에 출력되는 화면의 일예이다.
도 6a, 6b 는 사용자의 시간대별 제어 패턴에 따라 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법을 도시한 순서도이다.
도 7a, 7b 는 외부 환경 정보를 반영하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법을 도시한 순서도이다.
도 8 은 예측된 미리 외부 환경 정보를 반영하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법을 도시한 순서도이다.
도 9 는 알림 메시지 및 응급 메시지를 기반으로 하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법을 도시한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1 은 본 발명의 일 실시예에 따른 홈 네트워크 시스템을 도시한 도면이며, 도 2 는 도 1 에 도시된 홈 네트워크 시스템이 실제로 적용된 예를 도시한 도면이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 홈 네트워크 시스템(1)은 수족 사용이 불가능한 전신마비 환자를 위한 홈 네트워크 시스템(1)으로서, 홈 네트워크 시스템(1)은 홈 네트워크 제어 장치(100), 사용자 주변 또는 자택 내에 있는 주변 기기(200) 및 미리 정해진 이동 단말(300)을 포함할 수 있다. 홈 네트워크 시스템(1)은 홈 네트워크 제어 장치(100)를 통해 사용자로부터 제어 신호를 입력받아 사용자 주변 또는 자택 내에 있는 주변 기기(200)를 제어할 수 있으며, 미리 정해진 이동 단말(300)로 사용자로부터 입력받은 메시지 또는 주변 기기(200)에 대한 상태 정보를 전송하고, 미리 정해진 이동 단말(300)로부터 전송한 정보에 응답한 제어 신호를 수신하여 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
구체적으로, 도 2 와 같이, 홈 네트워크 제어 장치(100)는 홈 네트워크 제어 장치(100) 전방(사용자를 바라보는 방향)에 구비된 카메라(10)를 통해 전신마비 환자인 사용자의 눈 영상을 촬영할 수 있다. 이때, 사용자의 눈 영상을 촬영하는 카메라(10)는 도 2 와 같이, 홈 네트워크 제어 장치(100)에 부착된 형태일 수 있으며, 사용자가 착용하는 안경에 부착된 형태일 수 있다. 홈 네트워크 제어 장치(100)는 카메라(10)를 통해 촬영한 눈 영상에서 사용자의 눈동자 움직임을 인식할 수 있다. 홈 네트워크 제어 장치(100)는 인식한 사용자 눈동자 움직임에 따라 홈 네트워크 제어 장치(100)에 구비된 디스플레이(20)에 표시되는 커서를 이동시킬 수 있다. 홈 네트워크 제어 장치(100)는 커서 이동으로 사용자로부터 제어 신호를 입력받을 수 있으며, 입력받은 제어 신호에 따라 사용자 주변에 위치해 있는 주변 기기(200)를 제어할 수 있다.
또한, 홈 네트워크 제어 장치(100)는 주변 기기(200)로부터 알림 메시지를 수신하거나 사용자에 의한 커서 이동으로 응급 메시지를 입력받는 경우, 외부에 있는 보호자의 도움이 필요한 상황이라는 것을 인지하여 수신 또는 입력받은 알림 메시지 및 응급 메시지를 미리 정해진 이동 단말(300)로 전송할 수 있다. 홈 네트워크 제어 장치(100)는 미리 정해진 이동 단말(300)로부터 이동 단말(300)을 통해 알림 메시지 및 응급 메시지에 응답하여 보호자로부터 입력받은 제어 신호를 수신할 수 있으며, 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
본 발명의 일 실시예에 따른 홈 네트워크 제어 장치(100)는 사용자로부터 주변 기기(200)에 대한 제어 신호가 입력될 때마다 사용자로부터 주변 기기(200)를 제어한 제어 정보를 저장할 수 있으며, 저장된 정보를 분석하여 시간대 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴을 검출할 수 있으며, 검출한 제어 패턴에 이용하여 자동으로 주변 기기(200)를 제어할 수 있다.
또한, 홈 네트워크 제어 장치(100)는 사용자로부터 주변 기기(200)에 대한 제어 신호가 입력될 때마다 제어 신호가 입력될 때의 외부 환경 정보를 검출할 수 있으며, 사용자로부터 입력받은 제어 신호와 검출한 외부 환경 정보를 그룹화하여 저장할 수 있다. 홈 네트워크 제어 장치(100)는 저장된 정보를 분석하여 외부 환경 정보 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴을 검출할 수 있으며, 검출한 제어 패턴을 이용하여 자동으로 주변 기기(200)를 제어할 수 있다. 이때, 외부 환경 정보는 댁 외에 마련된 센서에 의해 측정된 정보 미리 정해진 이동 단말(300) 또는 외부에 있는 서버로부터 무선 통신을 통해 수신한 환경 정보일 수 있으며, 외부 환경 정보는 온도, 습도, 풍량 등을 포함한 기상 정보를 의미할 수 있다. 또한, 본 발명의 일 실시예에 따른 외부 환경 정보는 일정 구간으로 나누어진 온도, 습도, 풍량 범위를 의미할 수 있으며, 한파 주의보, 한파 경고, 황사 주의보, 황사 경고 등과 같이 특정 단계로 나누어진 기상 정보를 의미할 수 있다.
한편, 홈 네트워크 제어 장치(100)는 시간대별, 외부 환경 정보 별로 저장된 정보를 분석하여 자동으로 주변 기기(200)를 제어하는데, 시간대 별로 검출한 제어 패턴에 따른 제어 정보와 검출한 시간대별 제어 패턴과 동일한 시간대에 외부 환경 정보 별로 검출한 제어 패턴에 따른 제어 정보가 상이할 수 있다. 예를 들어, 검출한 시간대별 제어 패턴에 따르면 10~18시에는 전등을 턴 오프 시키는 반면, 검출한 외부 환경 정보 별 제어 패턴에 따르면 비가 오는 날에는 하루 종일 전등을 턴 온 시켜놓으면, 10~18시에 시간대별 제어 패턴과 외부 환경 정보 별 제어 패턴이 서로 상이하여 주변 기기(200) 제어에 혼돈이 발생할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 홈 네트워크 제어 장치(100)는 주변 기기(200)마다 시간대 또는 외부 환경 정보 중 우선적으로 제어되는 기준을 지정해놓을 수 있으며, 지정된 기준에 따라 시간대 또는 외부 환경 정보 중 하나를 선택하여 자동으로 주변 기기(200)를 제어할 수 있다.
또한, 홈 네트워크 제어 장치(100)는 예측된 미래 외부 환경 정보에 따라 외부 환경이 변화하는 시점에 맞춰 예측된 미래 외부 환경 정보에 대응하도록 주변 기기(200)를 제어할 수 있다.
구체적으로, 홈 네트워크 제어 장치(100)는 미리 지정된 이동 단말(300) 또는 외부에 있는 서버로부터 예측된 미래 외부 환경 정보를 수신할 수 있다. 홈 네트워크 제어 장치(100)는 검출한 외부 환경 정보 별로 제어 패턴에서 수신한 미래 외부 환경 정보가 속하는 외부 환경일 때의 제어 정보를 검출할 수 있으며, 수신한 미래 외부 환경 정보에 따라 예측된 외부 환경이 변화하는 시점에 검출한 제어 정보에 따라 주변 기기(200)를 제어할 수 있다. 이때, 미래 외부 환경 정보는 일정 시간 후에 나타날 외부 환경 정보로, 일정 시간 후에 나타날 온도, 습도, 풍량 등을 포함하는 기상 정보를 의미할 수 있다.
또한, 홈 네트워크 제어 장치(100)는 주변 기기(200)로부터 알림 메시지를 수신하거나 사용자로부터 응급 메시지를 입력받을 수 있다. 홈 네트워크 제어 장치(100)는 수신 또는 입력받은 알림 메시지 및 응급 메시지를 미리 정해진 이동 단말(300)로 무선 통신을 통해 전송할 수 있다. 홈 네트워크 제어 장치(100)는 미리 정해진 이동 단말(300)로부터 알림 메시지 및 응급 메시지에 대응하여 미리 정해진 이동 단말(300)을 통해 보호자로부터 입력받은 제어 신호를 수신할 수 있다. 홈 네트워크 제어 장치(100)는 알림 메시지 및 응급 메시지와 알림 메시지 및 응급 메시지에 대하여 수신한 제어 신호를 저장할 수 있다. 홈 네트워크 제어 장치(100)는 저장된 알림 메시지 및 응급 메시지 중 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지를 검출할 수 있다. 이때, 알림 메시지 및 응급 메시지가 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된다는 것은 일상적으로 반복된다는 것을 의미할 수 있으며, 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지를 검출하는 것은 일상적으로 반복 입력되는 메시지를 검출하여 반복적으로 주변 기기(200)를 제어하지 않아도 자동적으로 주변 기기(200)를 제어하기 위함이다. 홈 네트워크 제어 장치(100)는 검출한 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지가 수신 또는 입력된 평균 수신 시간을 산출할 수 있다. 홈 네트워크 제어 장치(100)는 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대응하여 입력된 제어 신호를 검색할 수 있다. 홈 네트워크 제어 장치(100)는 산출한 평균 수신 시간에 검색된 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
주변 기기(200)는 댁 내에서 사용자 주변에 있는 적어도 하나 이상의 기계 또는 전자기기를 의미할 수 있으며, 홈 네트워크 제어 장치(100)로부터 제어 신호를 수신하고, 수신한 제어 신호에 따라 동작할 수 있다. 주변 기기(200)는 사용자 또는 보호자에 의한 제어가 필요한 경우 알림 메시지를 생성하여 홈 네트워크 제어 장치(100)로 전송할 수 있다.
이동 단말(300)은 홈 네트워크 시스템(1) 설치 시 미리 지정된 적어도 하나 이상의 이동 단말일 수 있으며, 홈 네트워크 제어 장치(100)로부터 주변 기기(200)에 대한 알림 메시지 및 사용자로부터 입력받은 응급 메시지를 수신할 수 있다. 이동 단말(300)는 수신한 알림 메시지 및 응급 메시지를 출력하고, 이동 단말(300)를 사용하는 보호자로부터 알림 메시지 및 응급 메시지에 대응하는 제어 신호를 입력받을 수 있으며, 보호자로부터 입력받은 제어 신호를 홈 네트워크 제어 장치(100)로 전송할 수 있다.
도 3 은 도 1 에 도시된 홈 네트워크 제어 장치의 블록도이며, 도 4 는 도 3 에 도시된 눈동자 인식부의 동작 방법을 설명하기 위해 도시한 도면이며, 도 5a, 5b 는 도 1 에 도시된 홈 네트워크 제어 장치에 마련된 디스플레이에 출력되는 화면의 일예이다.
도 3 을 참조하면, 본 발명의 일 실시예에 따른 홈 네트워크 제어 장치(100)는 통신부(110), 촬영부(120), 출력부(130), 제어부(140) 및 메모리부(150)를 포함할 수 있다.
통신부(110)는 홈 네트워크 제어 장치(100)와 사용자 주변에 있는 주변 기기(200)간의 무선 통신 또는 이동 단말(300)와의 무선 통신을 수행하게 하는 하나 이상의 구성요소를 포함할 수 있다.
본 발명의 일 실시예에 따른 통신부(110)는 사용자 주변에 있는 주변 기기(200)로 제어 신호를 전송할 수 있으며, 미리 정해진 이동 단말(300)과 통신하여 이동 단말(300)로 사용자로부터 입력받은 응급 메시지 및 주변 기기(200)로부터 수신한 알림 메시지를 전송할 수 있으며, 이동 단말(300)로부터 이에 응답하여 이동 단말(300)을 통해 입력된 제어 신호를 수신할 수 있다. 통신부(110)는 필요에 따라 외부에 있는 서버 또는 인터넷을 통해 외부 환경 정보 및 미래 외부 환경 정보 등과 같은 소정의 정보를 수신할 수 있다.
촬영부(120)는 홈 네트워크 제어 장치(100)의 전방(사용자를 바라보는 방향)에 마련된 카메라(10)를 이용하여 사용자의 눈 영상을 촬영할 수 있다. 촬영부(120)는 촬영한 눈 영상을 분석하여 사용자의 눈동자 움직임을 인식할 수 있도록 촬영한 눈 영상을 제어부(140)로 전송할 수 있다.
출력부(130)는 오디오 신호 또는 비디오 신호 또는 알람 신호의 출력을 위한 것으로, 이에는 디스플레이부(131) 및 음향 출력부(132)가 포함될 수 있다.
디스플레이부(131)는 사용자가 위치한 실내에서 사용자가 바라보고 있는 방향에 있는 장면, 사용자의 눈동자 움직임이 반영된 커서, 사용자가 제어 신호를 입력할 수 있도록 클릭 가능하게 마련된 버튼 이미지 등을 포함하는 화면을 홈 네트워크 제어 장치(100)에 마련된 디스플레이(20)에 출력할 수 있다. 이때, 사용자가 위치한 실내에서 사용자가 바라보고 있는 방향에 있는 장면은 자택 내에 홈 네트워크 시스템(1)이 설치될 시 홈 네트워크 제어 장치(100)에 입력되거나 홈 네트워크 제어 장치(100)의 후방(사용자를 바라보는 방향의 반대 방향)에 마련된 카메라를 통해 미리 정해진 주기에 따라 또는 홈 네트워크 제어 장치(100)가 가동될 때마다 촬영될 수 있다.
디스플레이부(131)는 도 5a와 같이, 홈 네트워크 제어 장치(100) 전방에 마련된 디스플레이(20) 화면 전체에 사용자가 위치한 실내에서 사용자가 바라보고 있는 방향에 있는 장면을 출력할 수 있으며, 도 5b 와 같이, 디스플레이(20) 화면을 분할하여 한쪽에는 사용자가 위치한 실내에서 사용자가 바라보고 있는 방향에 있는 장면을 출력하고, 한쪽에는 사용자가 제어 신호를 입력할 수 있도록 클릭 가능하게 마련된 버튼 이미지 등을 포함하는 화면을 출력할 수 있다.
음향 출력부(130)는 디스플레이부(131)에 표시되는 커서를 이용하여 사용자로부터 제어 신호를 입력받을 시 입력받은 제어 신호에 대한 설명을 음성으로 출력할 수 있다.
제어부(140)는 촬영부(120)에 의해 촬영된 사용자의 눈 영상을 분석하여 사용자의 눈동자 움직임을 인식할 수 있으며, 인식한 사용자의 눈동자 움직임에 따라 커서를 이동시킬 수 있으며, 커서 이동으로 사용자로부터 제어 신호를 입력받아, 입력받은 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
제어부(140)는 눈동자 인식부(141), 커서 제어부(142), 제어신호 인식부(143), 패턴 검출부(144)를 포함할 수 있다.
눈동자 인식부(141)는 촬영부(120)에 의해 촬영된 사용자의 눈 영상에서 사용자의 눈동자를 검출할 수 있다. 눈동자 인식부(141)는 검출한 눈동자를 추적하여 눈동자가 움직이는 방향, 속도, 눈동자가 머무르는 위치를 인식할 수 있다. 도 4 를 참조하면, 눈동자 인식부(141)는 촬영된 사용자의 눈 영상에서 눈동자를 인식하고, 인식한 눈동자를 중앙으로 두어 왼쪽 상측을 (0, 0)으로, 오른쪽 하측을 (620, 480)으로 좌표를 지정하여 눈동자의 움직임을 인식할 수 있다. 눈동자 인식부(141)는 눈동자가 위치한 곳의 좌표를 산출할 수 있으며, 산출한 좌표 정보에 따라 디스플레이부(131)에 표시되는 커서를 이동시킬 수 있다. 예를 들어, 눈동자가 위치한 곳의 좌표가 (360, 240)으로 산출되면 이 좌표는 화면의 중앙을 나타내므로 디스플레이부(131)에 표시되는 커서를 중앙으로 이동시킬 수 있으며, 눈동자가 위치한 곳의 좌표가 (360, 160)으로 산출되면 이 좌표는 화면 중앙에서 위쪽으로 올라간 것으로 나타내므로 디스플레이부(131)에 표시되는 커서를 중앙을 기준으로 하여 위쪽 방향으로 이동 시킬 수 있으며, 눈동자가 위치한 곳의 좌표가 (360, 320)으로 산출되면 이 좌표는 화면 중앙에서 아래쪽으로 내려간 것을 나타내므로 디스플레이부(131)에 표시되는 커서를 중앙을 기준으로 하여 아래쪽으로 이동시킬 수 있다. 촬영된 눈 영상에서 눈동자를 검출하고, 검출한 눈동자가 움직이는 방향, 속도, 눈동자가 머무르는 위치를 검출하는 방식은 이미 공지된 특허인 “한국공개특허 제2013-0102918호” 및 “한국공개특허 제2014-0104661호”에 개시되어 있으므로 자세한 설명은 생략한다.
커서 제어부(142)는 눈동자 인식부(141)에 의해 인식된 눈동자 움직임을 디스플레이(20)에 표시되는 커서의 움직임에 반영할 수 있다. 커서 제어부(142)는 눈동자 인식부(141)에 의해 인식된 눈동자가 움직이는 방향, 속도, 눈동자가 머무르는 위치에 따라 커서를 이동시킬 수 있다. 본 발명일 일 실시예에 따른 커서 제어부(142)는 눈동자 인식부(141)에서 좌표로 산출된 눈동자 움직임을 그대로 커서에 반영할 수 있다. 인식한 눈동자 움직임을 화면에 표시되는 커서에 반영하는 방식은 이미 공지된 특허인 “한국공개특허 제2013-0102918호” 및 “한국공개특허 제2014-0104661호”에 개시되어 있으므로 자세한 설명은 생략한다. 한편, 촬영부(120)에 의해 촬영된 화면과 디스플레이부(131)의 화면 비율에 대한 차이가 존재하면, 존재하는 화면 비율에 대한 차이만큼 비례적으로 조정하여 커서를 이동시킬 수 있다.
제어신호 인식부(143)는 커서의 이동 및 사용자로부터 사용자의 눈을 이용하여 입력받은 신호를 인식하여 사용자의 제어 신호를 인식할 수 있다.
제어신호 인식부(143)는 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에 사용자의 눈동자가 미리 정해진 시간 이상 머물러 있거나 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에서 미리 정해진 횟수에 따라 사용자가 눈을 깜박인 것으로 인식되면, 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에 대응하는 제어 신호를 입력받은 것으로 인식할 수 있다. 이때, 제어신호 인식부(143)는 디스플레이(20)에 사용자가 위치한 실내에 대해 사용자가 바라보고 있는 방향에 있는 장면이 출력되어 있으면, 상기 장면에서 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에 있는 주변 기기(200)를 인식하고, 인식한 주변 기기(200)에 해당하는 제어 신호를 입력받은 것으로 인식할 수 있다. 예를 들어, 디스플레이(20)에 출력된 화면에서 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에 선풍기가 있다면, 선풍기를 작동시키는 제어신호를 입력받은 것으로 인식할 수 있다. 제어신호 인식부(143)는 인식한 제어 신호에 따라 해당 주변 기기(200)를 제어할 수 있도록 인식한 제어 신호를 해당 주변 기기(200)로 전송할 수 있다.
본 발명의 다른 실시예에 따른 제어부(140)는 사용자의 눈동자 움직임에 따라 커서가 이동하면, 사용자의 눈동자 움직임에 따라 커서가 이동한 위치에 있는 주변 기기(200) 또는 버튼 이미지에 관련된 적어도 하나 이상의 제어 컨텐츠를 커서가 이동한 위치에 있는 주변 기기(200) 또는 버튼 이미지와 함께 출력되도록 제어할 수 있으며, 제어신호 인식부(143)는 출력된 적어도 하나 이상의 제어 컨텐츠 중 커서가 이동한 위치에 있는 제어 컨텐츠에 해당하는 제어 신호를 인식할 수 있다. 예를 들어, 사용자의 눈동자 움직임에 따라 이동한 커서가 선풍기를 가리킨다면, 선풍기 제어와 관련된 제어 컨텐츠인 선풍기 turn on 컨텐츠, 선풍기 turn off 컨텐츠, 바람세기를 높이는 컨텐츠, 바람세기를 낮추는 컨텐츠 등이 출력되도록 제어하고, 사용자의 눈동자 움직임에 따라 이동한 커서가 선풍기 turn off 컨텐츠를 가리키고 있으면 선풍기의 작동이 중지되도록 제어할 수 있다.
본 발명의 일 실시예에 따른 제어신호 인식부(143)는 사용자로부터 응급 메시지를 입력받을 수 있으며, 입력받은 응급 메시지에 대한 제어 신호를 외부에 있는 보호자로부터 입력받을 수 있도록 미리 정해진 이동 단말(300)을 통해 입력받은 응급 메시지를 전송하고, 미리 정해진 이동 단말(300)로부터 제어 신호를 수신하면 전송한 응급 메시지에 대한 제어 신호를 입력받은 것으로 인식하여 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
구체적으로, 제어신호 인식부(143)는 사용자의 눈동자 움직임에 따라 커서 이동시켜 응급 메시지를 입력받을 수 있다. 이때, 사용자의 눈동자 움직임에 따라 커서 이동시켜 응급 메시지를 입력받는 것은, 디스플레이(20)에 표시되는 키보드를 통해 사용자로부터 메시지를 입력받거나 디스플레이(20)에 표시된 응급 메시지 버튼 이미지가 있는 위치에서 사용자의 눈동자가 미리 정해진 시간 이상 머물러 있거나 미리 정해진 횟수만큼 눈을 깜박인 것을 인식함으로써 해당 응급 메시지를 입력받을 수 있다. 제어신호 인식부(143)는 입력받은 응급 메시지를 미리 정해진 이동 단말(300)로 전송할 수 있다. 제어신호 인식부(143)는 이동 단말(300)로부터 전송한 응급 메시지에 응답하여 보호자로부터 입력받은 제어 신호를 수신할 수 있다. 제어신호 인식부(143)는 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있도록 수신한 제어 신호에 해당하는 주변 기기(200)로 수신한 제어 신호를 전송할 수 있다.
또한, 제어신호 인식부(143)는 사용자 주변에 있는 주변 기기(200)로부터 알림 메시지를 수신하고, 수신한 알림 메시지를 이동 단말(300)로 전송할 수 있으며, 이동 단말(300)로부터 알림 메시지에 응답하여 보호자로부터 입력된 제어 신호 수신하여 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있다.
구체적으로, 제어신호 인식부(143)는 사용자 주변에 있는 주변 기기(200)로부터 알림 메시지를 수신하고, 수신한 알림 메시지를 미리 정해진 이동 단말(300)로 전송할 수 있다. 이때, 알림 메시지는 예를 들어, 소변통이 가득 찼다는 것을 알리는 알림 메시지를 의미할 수 있으며, 주변 기기(200)가 제어가 필요할 시 제어 요청 신호를 알리는 메시지를 포함한 메시지를 의미할 수 있다. 제어신호 인식부(143)는 이동 단말(300)로부터 알림 메시지에 응답하여 보호자로부터 입력받은 제어 신호를 수신할 수 있다. 제어신호 인식부(143)는 수신한 제어 신호에 따라 주변 기기(200)를 제어할 수 있도록 수신한 제어 신호에 해당하는 주변 기기(200)로 수신한 제어 신호를 전송할 수 있다.
패턴 검출부(144)는 사용자로부터 입력받은 제어 신호, 주변 기기(200)로부터 수신한 알림 메시지 및 사용자로부터 입력받은 응급 메시지를 분석하여 사용자의 제어 패턴을 검출하고, 검출한 제어 패턴에 따라 자동적으로 주변 기기(200)를 제어할 수 있다.
구체적으로, 패턴 검출부(144)는 제어신호 인식부(143)에 의해 사용자로부터 주변 기기(200)에 대한 제어신호가 입력받은 것으로 인식되면, 사용자로부터 주변 기기(200)에 대한 제어신호가 입력될 때마다 입력된 제어 신호 정보를 저장할 수 있다. 패턴 검출부(144)는 사용자의 시간대별 생활 패턴에 따라 자동적으로 주변 기기(200)를 제어할 수 있도록 저장한 정보를 시간대 별로 분석하여 사용자에 의해 주변 기기(200)가 제어되는 시간대별 제어 패턴을 검출할 수 있다. 이때, 시간대별 제어 패턴을 검출하는 것은, 시간대별로 미리 정해진 기간 내에 사용자로부터 미리 정해진 횟수 이상 입력된 제어 신호를 검출함으로써 시간대별 제어 패턴을 검출할 수 있다. 예를 들어, 08~09시에는 전등은 켜는 제어 신호가 일주일에 5번 이상 입력되며, 14~15시에는 선풍기를 동작시키는 제어 신호가 일주일에 5번 이상 입력되면, 08~09시에는 전등을 켜는 제어 패턴, 14~15시에는 선풍기를 동작시키는 제어 패턴을 검출할 수 있다. 패턴 검출부(144)는 검출한 제어 패턴에 따라 해당 주변 기기(200)를 제어할 수 있도록 검출한 시간대별 제어 패턴에 해당하는 제어 신호를 해당 시간대에 맞춰 해당 주변 기기(200)로 전송할 수 있다.
패턴 검출부(144)는 제어신호 인식부(143)에 의해 사용자로부터 주변 기기(200)에 대한 제어신호가 입력받은 것으로 인식되면, 사용자로부터 주변 기기(200)에 대한 제어 신호가 입력될 때마다 제어 신호가 입력될 때의 외부 환경 정보를 검출할 수 있으며, 검출한 외부 환경 정보 및 입력된 제어 신호 정보를 그룹화하여 저장할 수 있다. 패턴 검출부(144)는 외부 환경 정보를 반영하여 주변 기기(200)를 자동적으로 제어할 수 있도록 저장된 정보를 외부 환경 정보 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴을 검출할 수 있다. 이때, 외부 환경 정보는 외부의 온도, 습도, 풍량 기상 상황에 대한 정보를 의미할 수 있다. 한편, 외부 환경 정보 별로 제어 패턴을 검출하는 것은, 일정 범위로 나누어진 외부 환경 정보(예를 들어, 일정 구간으로 나누어진 온도, 습도, 풍량 범위 또는 한파 주의보, 한파 경보, 황사 주의보, 황사 경보와 같이 일정 단계로 나누어진 기상 정보) 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 정보를 분류하여 저장하고, 저장한 정보에서 외부 환경 정보 별로 미리 정해진 비율 이상 입력된 제어 신호를 검출함으로써 외부 환경 정보 별 제어 패턴을 검출할 수 있다. 예를 들어, 미리 정해진 비율이 70%이고, 비가 10번 왔을 때 사용자에 의해 건조기가 작동된 횟수가 7번이면, 비가 올 때 건조기를 작동하는 것을 외부 환경 정보에 따른 제어 패턴으로 검출할 수 있다. 패턴 검출부(144)는 검출한 제어 패턴에 따라 해당 주변 기기(200)를 제어할 수 있도록 검출한 제어 패턴에 해당하는 제어 신호를 해당 주변 기기(200)로 전송할 수 있다.
한편, 시간대별, 외부 환경 정보 별로 저장된 정보를 분석하여 검출한 제어 패턴에 따라 자동으로 주변 기기(200)를 제어하는데, 시간대 별로 분석한 제어 패턴에 따른 제어 정보와 동일한 시간대에 외부 환경 정보 별로 분석한 제어 패턴에 따른 제어 정보가 상이하여 주변 기기(200)를 제어하는 혼선이 발생할 수 있다. 이에 따라, 본 발명의 일 실시예에 따른 패턴 검출부(144)는 주변 기기(200)마다 시간대 또는 외부 환경 정보 중 우선적으로 제어되는 기준을 지정해놓을 수 있다. 패턴 검출부(144)는 지정된 기준에 따라 시간대 또는 외부 환경 정보 중 하나를 선택하여 자동으로 주변 기기(200)를 제어할 수 있다.
본 발명의 다른 실시예에 따른 패턴 검출부(144)는 미리 정해진 주기에 따라 시간대별, 외부 환경 정보 별 제어 패턴을 검출하여 갱신할 수 있으며, 갱신한 제어 패턴에 따라 주변 기기(200)를 제어할 수 있다.
본 발명의 다른 실시예에 따른 패턴 검출부(144)는 시간대 및 외부 환경 정보가 혼합된 정보를 분석하여 주변 기기(200)를 제어할 수 있다.
구체적으로, 패턴 검출부(144)는 사용자로부터 주변 기기(200)에 대한 제어신호가 입력받으면, 제어신호가 입력될 때마다 제어신호가 입력된 시간대 및 제어신호가 입력될 때의 외부 환경 정보를 검출할 수 있다. 패턴 검출부(144)는 사용자로부터 입력받은 제어신호, 제어신호가 입력된 시간대 정보, 제어신호가 입력될 때의 외부 환경 정보를 그룹화하여 저장할 수 있다. 패턴 검출부(144)는 사용자의 시간대와 외부 환경 정보가 혼합된 정보에 따른 생활 패턴에 따라 자동적으로 주변 기기(200)를 제어할 수 있도록 저장한 정보를 1차적으로 외부 환경 정보에 따라 분류하고, 외부 환경 정보에 따라 분류한 정보를 2차적으로 시간대 별로 분류할 수 있다. 패턴 검출부(144)는 외부 환경 정보 및 시간대 별로 분류한 정보에서 외부 환경 정보 및 시간대 별로 사용자에 의해 미리 정해진 기간 내에 미리 정해진 횟수 이상 입력되는 제어 신호를 검출할 수 있다. 패턴 검출부(144)는 검출된 외부 환경 정보 및 시간대 별로 사용자에 의해 미리 정해진 기간 내에 미리 정해진 횟수 이상 입력되는 제어 신호를 외부 환경 정보 및 시간대 별 제어 패턴으로 검출할 수 있다. 예를 들어, 외부 기온이 0~5℃일 때, 일주일에 5번 이상 08~12시에는 온풍기를 가동시키고, 12~16시에는 온풍기의 가동을 중지시키고, 16~20시에는 온풍기를 가동시키면, 외부 기온이 0~5℃일 때, 08~12시 및 16~20시에는 온풍기를 가동시키는 것을 제어 패턴으로 검출할 수 있으며, 12~16시에는 온풍기의 가동을 중지시키는 것을 제어 패턴으로 검출할 수 있다. 패턴 검출부(144)는 검출한 제어 패턴에 따라 해당 주변 기기(200)를 제어할 수 있도록 검출한 외부 환경 정보 및 시간대별 제어 패턴에 해당하는 제어 신호를 해당 외부 환경 및 시간대에 맞춰 해당 주변 기기(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 패턴 검출부(144)는 미리 정해진 이동 단말(300) 또는 외부에 있는 서버로부터 예측된 미래 외부 환경 정보를 수신할 수 있으며, 예측된 미래 외부 환경에 대비하여 수신한 미래 외부 환경 정보에 따라 자동적으로 주변 기기(200)를 제어할 수 있다.
구체적으로, 패턴 검출부(144)는 미리 정해진 이동 단말(300) 또는 외부에 있는 서버로부터 예측된 미래 외부 환경 정보를 수신할 수 있다. 패턴 검출부(144)는 분석한 외부 환경 정보 별로 제어 패턴에서 수신한 미래 외부 환경 정보가 속하는 외부 환경일 때의 제어 정보를 검출할 수 있다. 패턴 검출부(144)는 수신한 미래 외부 환경 정보에 따라 예측된 외부 환경이 변화하는 시점을 검출할 수 있으며, 검출한 외부 환경이 변화하는 시점에 맞춰 검출한 제어 정보에 따라 주변 기기(200)를 제어할 수 있도록 검출한 외부 환경이 변화하는 시점에 검출한 제어 정보를 해당 주변 기기(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 패턴 검출부(144)는 주변 기기(200)로부터 수신한 알림 메시지 및 사용자로부터 입력받은 응급 메시지와 알림 메시지 및 응급 메시지를 미리 정해진 이동 단말(300)로 전송하여 수신한 제어 정보가 수신될 때마다 저장하고, 저장한 정보를 분석하여 제어 패턴을 검출하고, 검출한 제어 패턴에 따라 주변 기기(200)를 자동적으로 제어할 수 있다.
구체적으로, 패턴 검출부(144)는 주변 기기(200)로부터 알림 메시지가 수신될 때마다 또는 사용자로부터 응급 메시지가 입력될 때마다 알림 메시지 및 응급 메시지가 수신 또는 입력된 수신 시간을 측정할 수 있다. 패턴 검출부(144)는 주변 기기(200)로부터 수신한 알림 메시지 및 사용자로부터 입력받은 응급 메시지를 미리 정해진 이동 단말(300)로 전송하여 알림 메시지 및 응급 메시지에 응답하여 보호자로부터 입력된 제어 신호를 수신할 수 있다. 패턴 검출부(144)는 측정한 알림 메시지 및 응급 메시지의 수신 시간과 이동 단말(300)로부터 수신한 제어 신호를 각각 그룹화하여 저장할 수 있다. 패턴 검출부(144)는 저장한 정보에서 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지를 검출할 수 있다. 패턴 검출부(144)는 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지가 수신 또는 입력된 수신 시간의 평균값을 산출할 수 있다. 패턴 검출부(144)는 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대해 이동 단말(300)로부터 수신한 제어 신호를 검출할 수 있다. 패턴 검출부(144)는 산출한 평균 수신 시간에 검출한 제어 신호에 따라 해당 주변 기기(200)를 제어할 수 있도록 산출한 평균 수신 시간에 검출한 제어 신호를 해당 주변 기기(200)로 전송할 수 있다.
메모리부(150)는 제어부(140)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 입/출력되는 데이트들의 임시 저장을 위한 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 메모리부(150)는 사용자로부터 입력받은 제어 신호 정보, 주변 기기(200)로부터 수신한 알림 메시지 및 사용자로부터 입력받은 응급 메시지를 저장할 수 있으며, 패턴 검출부(144)에 의해 검출된 제어 패턴에 대한 정보를 저장할 수 있다.
이하에서는 도 6a, 6b 를 통하여, 사용자의 시간대별 제어 패턴에 따라 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법에 대해 설명한다.
도 6a 를 참조하면, 홈 네트워크 제어 장치(100)의 전방에 마련된 카메라(10)를 통해 사용자의 눈 영상을 촬영(410)하고, 촬영한 눈 영상에서 사용자의 눈동자 움직임을 인식한다(420).
이때, 촬영된 눈 영상에서 사용자의 눈동자의 움직임을 인식하는 것은, 촬영된 눈 영상에서 사용자의 눈동자를 검출하고, 촬영된 눈 영상에 있는 각각의 픽셀에 대해 좌표값을 매기고, 검출한 사용자의 눈동자가 표시되는 픽셀을 검출하여 검출한 픽셀이 갖는 좌표값을 검출함으로써 사용자의 눈동자 움직임을 인식할 수 있다.
인식한 눈동자의 움직임을 디스플레이부(131)에 표시되는 커서에 반영함으로써, 인식된 눈동자의 움직임에 따라 디스플레이부(131)에 표시되는 커서를 이동시킨다(430).
사용자의 눈동자 움직임에 따라 이동된 커서의 이동에 의해 사용자로부터 제어 신호를 입력받고(440), 사용자로부터 제어 신호를 입력받은 시간대를 검출한다(450).
이때, 커서의 이동에 의해 사용자로부터 제어 신호를 입력받는 것은, 디스플레이부(131)를 통해 출력된 화면에서 사용자의 눈동자 움직임에 따라 이동된 커서가 위치한 곳에 있는 주변 기기(200) 이미지 또는 클릭 가능한 버튼 이미지를 인식하고, 사용자의 눈동자 움직임에 따라 이동된 커서가 위치한 곳에서 사용자의 눈동자가 일정 시간 이상 머무르거나 사용자가 미리 정해진 횟수에 따라 눈을 깜박이면 사용자의 눈동자 움직임에 따라 이동된 커서가 위치한 곳에 있는 주변 기기(200) 이미지 또는 클릭 가능한 버튼 이미지를 클릭한 것으로 인식하여 제어 신호를 입력받을 수 있다.
입력받은 제어 신호에 따라 해당 주변 기기(200)를 제어할 수 있도록 입력받은 제어 신호에 해당하는 주변 기기(200)를 검색(460)하고, 검색된 주변 기기로 제어 신호를 입력받은 제어 신호를 전송한다(470).
또한, 입력받은 제어 신호와 검출한 제어 신호 입력 시간대 정보를 그룹화하여 저장한다(480).
도 6b 를 참조하면, 입력받은 제어 신호와 검출한 제어 신호 입력 시간대 정보를 그룹화하여 저장된 정보에서 시간대 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴을 검출한다(510).
이때, 시간대 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴을 검출하는 것은, 시간대별로 미리 정해진 기간 내에 사용자로부터 미리 정해진 횟수 이상 입력된 제어 신호를 검출함으로써 시간대별 제어 패턴을 검출할 수 있다.
현재 시간을 측정하여 현재 시간이 속하는 시간대를 검출(520)하고, 검출한 제어 패턴에서 현재 시간이 속하는 시간대에 해당하는 시간대의 제어 정보 추출한다(530).
시간대별로 추출한 제어 정보에 따라 주변 기기(200)를 제어할 수 있도록 추출한 제어 정보에 해당하는 주변 기기 검색(540)하고, 검색된 주변 기기(200)로 추출한 제어 정보에 따른 제어 신호 전송한다(550).
이하에서는 도 7a, 7b 를 통하여, 외부 환경 정보를 반영하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법에 대해 설명한다.
도 7a 를 참조하면, 홈 네트워크 제어 장치(100)의 전방에 마련된 카메라(10)를 통해 사용자의 눈 영상을 촬영(610)하고, 촬영한 눈 영상에서 사용자의 눈동자 움직임을 인식한다(620).
인식한 눈동자의 움직임을 디스플레이부(131)에 표시되는 커서에 반영함으로써, 인식된 눈동자의 움직임에 따라 디스플레이부(131)에 표시되는 커서를 이동시킨다(630).
사용자의 눈동자 움직임에 따라 이동된 커서의 이동에 의해 사용자로부터 제어 신호를 입력받고(640), 사용자로부터 제어 신호가 입력되었을 때의 외부 환경 정보를 검출한다(650).
입력받은 제어 신호에 따라 해당 주변 기기(200)를 제어할 수 있도록 입력받은 제어 신호에 해당하는 주변 기기(200)를 검색(660)하고, 검색된 주변 기기로 제어 신호를 입력받은 제어 신호를 전송한다(670).
또한, 입력받은 제어 신호와 검출한 외부 환경 정보를 그룹화하여 저장한다(680).
도 7b 를 참조하면, 입력받은 제어 신호와 검출한 외부 환경 정보를 그룹화하여 저장한 정보에서 외부 환경 정보 별로 사용자에 의해 주변 기기(200)가 제어되는 제어 패턴 검출한다(710).
현재 외부 환경 상태에 대한 정보를 검출하여 현재 외부 환경 상태가 속하는 외부 환경 정보를 검출한다(720).
이때, 현재 외부 환경 상태에 대한 정보를 검출하는 것은, 외부에 구비된 센서를 이용하여 측정하거나 미리 정해진 이동 단말(300) 또는 외부에 있는 서버로부터 외부 환경에 대한 정보를 수신할 수 있다.
검출한 외부 환경 정보에 대한 제어 패턴에서 현재 외부 환경이 속하는 외부 환경 정보에 대응하는 제어 정보 추출(730)하고, 추출한 제어 정보에 따라 주변 기기(200)를 자동적으로 제어할 수 있도록 추출한 제어 정보에 해당하는 주변 기기 검색(740)하고, 검색된 주변 기기로 추출한 제어 정보에 따른 제어 신호 전송한다(750).
이하에서는 도 8 을 통하여, 예측된 미리 외부 환경 정보를 반영하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법에 대해 설명한다.
홈 네트워크 제어 장치(100)의 전방에 마련된 카메라(10)를 통해 사용자의 눈 영상을 촬영(810)하고, 촬영한 눈 영상에서 사용자의 눈동자 움직임을 인식한다(815).
인식한 눈동자의 움직임을 디스플레이부(131)에 표시되는 커서에 반영함으로써, 인식된 눈동자의 움직임에 따라 디스플레이부(131)에 표시되는 커서를 이동시킨다(820).
사용자의 눈동자 움직임에 따라 이동된 커서의 이동에 의해 사용자로부터 제어 신호를 입력받고(825), 사용자로부터 제어 신호가 입력되었을 때의 외부 환경 정보를 검출한다(830).
입력받은 제어 신호에 따라 해당 주변 기기(200)를 제어할 수 있도록 입력받은 제어 신호에 해당하는 주변 기기(200)를 검색(835)하고, 검색된 주변 기기로 제어 신호를 입력받은 제어 신호를 전송한다(840).
또한, 입력받은 제어 신호와 검출한 외부 환경 정보를 그룹화하여 저장한다(845).
입력받은 제어 신호와 검출한 외부 환경 정보를 그룹화하여 저장된 정보에서 외부 환경 정보 별로 사용자에 의해 주변 기기가 제어되는 제어 패턴 검출한다(850).
또한, 미리 정해진 이동 단말(300) 또는 외부에 있는 서버로부터 예측된 미래 외부 환경 정보를 수신(855)하고, 검출한 제어 패턴에서 수신한 미래 외부 환경 정보에 대응하는 제어 정보 검출한다(860).
수신한 미래 외부 환경 정보에 따라 외부 환경이 변화하는 시점에 맞춰 주변 기기(200)를 제어할 수 있도록 수신한 미래 외부 환경 정보에 따라 예측된 외부 환경이 변화하는 시점을 검출(865)하고, 검출된 시점에 검출한 제어 정보를 주변 기기(200)로 전송한다(870).
이하에서는 도 9 를 통하여, 알림 메시지 및 응급 메시지를 기반으로 하여 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법에 대해 설명한다.
먼저, 홈 네트워크 제어 장치(100)는 주변 기기(200)로부터 알림 메시지 수신 및 사용자로부터 응급 메시지 입력받아(910), 알림 메시지 및 응급 메시지가 수신 또는 입력된 시간 검출하고 동시에 이동 단말(300)로 수신 또는 입력받은 알림 메시지 및 응급 메시지 전송한다(915).
이동 단말(300)로부터 알림 메시지 및 응급 메시지에 대응하여 보호자로부터 입력받은 제어 신호 수신(920)하고, 알림 메시지 및 응급 메시지를 전송한 주변 기기(200)로 이동 단말(300)로부터 수신한 제어 신호 전송한다(925).
또한, 검출한 알림 메시지 및 응급 메시지 수신 시간 정보와 수신한 제어 신호 정보를 그룹화하여 저장한다(930).
저장한 알림 메시지 및 응급 메시지 중 미리 정해진 횟수 이상 수신된 알림 메시지 및 응급 메시지 검출(935)하고, 미리 정해진 횟수 이상 수신된 알림 메시지 및 응급 메시지가 수신 또는 입력된 평균 수신 시간 산출한다(940).
미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대응하여 입력된 제어 신호 검색(945)하고, 미리 정해진 횟수 이상 수신된 알림 메시지 및 응급 메시지를 전송한 주변 기기(200)를 검색한다(950).
미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대응하여 입력된 제어 신호에 따라 산출된 평균 수신 시간에 맞춰 주변 기기(200)를 제어할 수 있도록 산출한 평균 수신 시간에 검색된 제어 신호를 검색된 주변 기기(200)로 전송한다(955).
이와 같은, 사용자의 주변에 있는 기기를 원격으로 제어하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 홈 네트워크 시스템
100: 홈 네트워크 제어 장치
200: 주변 기기
300: 이동 단말

Claims (11)

  1. 사용자로부터 제어 신호를 입력받거나 미리 정해진 이동 단말로부터 제어 신호를 수신하여 상기 사용자의 주변에 있는 주변 기기를 원격으로 제어하는 홈 네트워크 제어 장치 및 상기 홈 네트워크 제어 장치로 상기 주변 기기를 제어하기 위한 제어 신호를 전송하는 이동 단말을 포함하는 홈 네트워크 시스템의 제어방법에 있어서,
    상기 홈 네트워크 제어 장치는 상기 사용자가 바라보는 방향에 있는 장면을 출력하고, 상기 사용자의 눈동자 움직임을 인식하여 상기 사용자가 바라보는 방향에 있는 장면에서 상기 사용자의 눈동자 움직임에 따라 이동하는 커서를 출력하며, 상기 커서가 이동한 위치에서 상기 사용자의 눈동자가 미리 정해진 시간 이상 머물러 있거나, 미리 정해진 횟수만큼 상기 사용자가 눈을 깜박이는 것을 인식하면, 상기 사용자가 바라보는 방향에 있는 장면에서 상기 커서가 이동한 위치에 있는 주변 기기를 인식하고, 인식한 주변 기기에 관련된 적어도 하나의 제어 컨텐츠가 출력되도록 제어하고, 적어도 하나의 상기 제어 컨텐츠 중 상기 커서가 이동한 위치에 있는 제어 컨텐츠에 해당하는 제어 신호에 따라 상기 주변 기기를 제어하고,
    상기 사용자로부터 제어 신호를 입력받을 때마다 상기 제어 신호가 입력된 시간대 및 상기 제어 신호가 입력될 때의 외부 환경 정보를 검출하고, 입력된 제어 신호와, 상기 제어 신호가 입력될 때의 시간대 및 상기 제어 신호가 입력될 때의 외부 환경 정보를 그룹화하여 저장하고, 저장된 정보를 1차적으로 외부 환경 정보에 따라 분류하고, 상기 외부 환경 정보에 따라 분류된 정보를 2차적으로 시간대별로 분류한 후, 분류된 정보를 분석하여 자동으로 상기 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 저장된 정보를 시간대별로 분석하여 자동으로 상기 주변 기기를 제어하는 것은,
    상기 사용자의 시간대별 생활 패턴에 따라 자동으로 상기 주변 기기를 제어할 수 있도록 상기 저장된 정보를 이용하여 시간대별로 상기 사용자에 의해 상기 주변 기기가 제어되는 제어 패턴을 검출하고, 상기 검출한 제어 패턴에서 현재 시간이 속하는 시간대에 해당하는 시간대의 제어 정보를 검출하고, 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법.
  4. 제 3 항에 있어서,
    상기 주변 기기가 제어되는 제어 패턴을 검출하는 것은,
    미리 정해진 기간 내에서 시간대별로 상기 사용자로부터 미리 정해진 횟수 이상 입력된 제어 신호를 검출하고, 시간대별로 상기 미리 정해진 횟수 이상 입력된 제어 신호 정보를 검출하는 홈 네트워크 시스템의 제어방법.
  5. 제 1 항에 있어서,
    상기 저장된 정보를 외부 환경 정보 별로 분석하여 자동으로 상기 주변 기기를 제어하는 것은,
    상기 외부 환경 정보를 반영하여 상기 주변 기기를 자동적으로 제어할 수 있도록 상기 저장된 정보를 외부 환경 정보 별로 상기 사용자에 의해 상기 주변 기기가 제어되는 제어 패턴을 검출하고, 상기 검출한 제어 패턴에서 현재 외부 환경 정보가 속하는 외부 환경 정보에 대응하는 제어 정보를 검출하고, 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어하는 홈 네트워크 시스템의 제어방법.
  6. 제 1 항에 있어서,
    상기 주변 기기는 시간대 또는 외부 환경 정보 중 우선적으로 제어되는 기준이 지정되어 있어 상기 주변 기기 별로 지정된 우선 제어 기준에 따라 상기 주변 기기를 제어하는 것을 더 포함하는 홈 네트워크 시스템의 제어방법.
  7. 제 5 항에 있어서,
    상기 이동 단말 또는 외부의 서버로부터 예측된 미래 외부 환경 정보를 수신하고, 상기 외부 환경 정보에 따라 상기 주변 기기가 제어되는 제어 패턴에서 상기 미래 외부 환경 정보가 속하는 외부 환경 정보에 대응하는 제어 정보를 검출하고, 상기 미래 외부 환경 정보에 따라 예측된 외부 환경이 변화하는 시점에 상기 검출한 제어 정보에 따라 자동으로 상기 주변 기기를 제어하는 것을 더 포함하는 홈 네트워크 시스템의 제어방법.
  8. 제 1 항에 있어서,
    상기 홈 네트워크 제어 장치는 상기 사용자로부터 응급 메시지를 입력받고, 상기 주변 기기로부터 알림 메시지를 수신하고, 상기 알림 메시지 및 응급 메시지가 수신 또는 입력되면 상기 알림 메시지 및 응급 메시지를 상기 이동 단말로 전송하고, 상기 이동 단말로부터 상기 알림 메시지 및 응급 메시지에 대응하여 보호자로부터 입력받은 제어 신호를 수신하고, 상기 알림 메시지 및 응급 메시지에 대응하여 입력받은 제어 신호에 따라 상기 주변 기기를 제어하는 것을 더 포함하는 홈 네트워크 시스템의 제어방법.
  9. 제 8 항에 있어서,
    상기 알림 메시지 및 응급 메시지가 수신 또는 입력되면 상기 알림 메시지 및 응급 메시지가 수신 또는 입력된 시간 정보 및 상기 이동 단말로부터 수신한, 상기 알림 메시지 및 응급 메시지에 대응하여 보호자로부터 입력받은 제어 신호 정보를 저장하고, 상기 알림 메시지 및 응급 메시지 중 미리 정해진 기간 내에 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지를 검출하고, 상기 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지가 수신 또는 입력된 평균 수신 시간을 산출하고, 상기 미리 정해진 횟수 이상 수신 또는 입력된 알림 메시지 및 응급 메시지에 대응하여 입력받은 제어 신호 정보를 검색하여 상기 산출한 평균 수신 시간에 상기 검색된 제어 정보에 따라 상기 주변 기기를 제어하는 것을 더 포함하는 홈 네트워크 시스템의 제어방법.
  10. 제 1 항, 제 3 항 내지 제 9 항 중 어느 하나의 항에 따른 홈 네트워크 시스템의 제어방법을 제공하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  11. 사용자로부터 제어 신호를 입력받거나 미리 정해진 이동 단말로부터 제어 신호를 수신하여 상기 사용자의 주변에 있는 주변 기기를 원격으로 제어하는 홈 네트워크 제어 장치 및 상기 홈 네트워크 제어 장치로 상기 주변 기기를 제어하기 위한 제어 신호를 전송하는 이동 단말을 포함하는 홈 네트워크 시스템에 있어서,
    상기 사용자의 눈동자의 움직임을 촬영하는 촬영부, 상기 사용자의 시야에 있는 실내 장면과 동일한 장면 및 상기 사용자가 상기 주변 기기를 제어 또는 응급 메시지를 전송할 수 있도록 마련된 클릭 가능한 버튼 이미지를 포함한 화면 및 상기 사용자의 눈동자 움직임에 따라 이동하는 커서를 출력하는 디스플레이부, 상기 촬영부에 의해 촬영된 영상에서 상기 사용자 눈동자의 이동 방향 및 눈동자의 위치를 인식하여 인식한 상기 사용자 눈동자의 이동 방향 및 눈동자의 위치에 따라 상기 디스플레이부에 표시되는 커서를 이동시키고, 상기 커서가 이동한 위치에서 상기 사용자의 눈동자가 미리 정해진 시간 이상 머물러 있거나, 미리 정해진 횟수만큼 상기 사용자가 눈을 깜박이는 것을 인식하면, 상기 사용자가 바라보는 방향에 있는 장면에서 상기 커서가 이동한 위치에 있는 주변 기기를 인식하고, 인식한 주변 기기에 관련된 적어도 하나의 제어 컨텐츠가 출력되도록 제어하고, 적어도 하나의 상기 제어 컨텐츠 중 상기 커서가 이동한 위치에 있는 제어 컨텐츠에 해당하는 제어 신호를 입력 받고, 제어 신호를 입력받을 때마다 상기 제어 신호가 입력된 시간대 및 상기 제어 신호가 입력될 때의 외부 환경 정보를 검출하고, 입력된 제어 신호와, 상기 제어 신호가 입력될 때의 시간대 및 상기 제어 신호가 입력될 때의 외부 환경 정보를 그룹화하여 저장하고, 저장된 정보를 1차적으로 외부 환경 정보에 따라 분류하고, 2차적으로 시간대별로 분류한 후 분류된 정보를 분석하고, 입력받은 제어 신호를 입력받은 제어 신호에 해당하는 주변 기기로 전송하도록 제어하는 제어부를 포함하는 홈 네트워크 제어 장치; 및
    상기 사용자의 주변에 위치하여 상기 홈 네트워크 제어 장치와 유선 또는 무선으로 연결되어 있으며, 상기 홈 네트워크 제어 장치로부터 제어 신호를 수신하고, 수신한 제어 신호에 따라 동작하는 주변 기기를 포함하는 홈 네트워크 시스템.
KR1020140182984A 2014-12-18 2014-12-18 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체 KR101663993B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140182984A KR101663993B1 (ko) 2014-12-18 2014-12-18 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140182984A KR101663993B1 (ko) 2014-12-18 2014-12-18 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체

Publications (2)

Publication Number Publication Date
KR20160074127A KR20160074127A (ko) 2016-06-28
KR101663993B1 true KR101663993B1 (ko) 2016-10-12

Family

ID=56366120

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140182984A KR101663993B1 (ko) 2014-12-18 2014-12-18 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체

Country Status (1)

Country Link
KR (1) KR101663993B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102020124B1 (ko) * 2017-11-23 2019-11-04 주식회사 엘지유플러스 IoT 가전기기의 제어 방법 및 그 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
KR20140017735A (ko) * 2012-07-31 2014-02-12 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법
KR101526491B1 (ko) * 2012-08-17 2015-06-05 한국전자통신연구원 개인화 된 홈 스크린 제공 장치 및 그 방법
KR102081930B1 (ko) 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법

Also Published As

Publication number Publication date
KR20160074127A (ko) 2016-06-28

Similar Documents

Publication Publication Date Title
US10623622B1 (en) Monitoring system configuration technology
WO2015194098A1 (en) Information processing apparatus, information processing method, and program
US20170199934A1 (en) Method and apparatus for audio summarization
US20180245923A1 (en) Electronic machine equipment
KR101646356B1 (ko) 웨어러블 기기를 이용한 차량 제어장치 및 방법
US11983827B2 (en) Enhancing monitoring system with augmented reality
CN105578058A (zh) 一种面向智能机器人的拍摄控制方法、装置及机器人
US10791420B2 (en) Information processing device and information processing method
EP3319271A1 (en) Method and device for controlling subordinate electronic device or supporting control of subordinate electronic device by learning ir signal
US10447785B2 (en) Digital device and method for controlling same
CN112544122B (zh) 用于在检测到空间中的对象时提供动作的设备
JP2016006612A (ja) 情報処理装置、情報処理方法およびプログラム
US10834363B1 (en) Multi-channel sensing system with embedded processing
US20220277162A1 (en) Optical person recognition techniques for social distancing
KR101663993B1 (ko) 홈 네트워크 시스템 및 그 제어방법, 이를 수행하기 위한 기록매체
JP6719434B2 (ja) 機器制御装置、機器制御方法及び機器制御システム
US20160335916A1 (en) Portable device and control method using plurality of cameras
JP7282186B2 (ja) 状況認識監視
US11115615B1 (en) Augmented reality display of local information
KR20170007223A (ko) 확장 음성 인식 서비스를 제공하는 포터블 디바이스 및 도킹 스테이션
EP3479659B1 (en) System and method for providing a device access to sensor data
KR101714881B1 (ko) 확장 음성 인식 서비스를 제공하는 포터블 디바이스 및 도킹 스테이션
CN111902849B (zh) 在图像上叠加传感器及其检测区域的虚拟表示
US11620997B2 (en) Information processing device and information processing method
US20240144098A1 (en) Artificial intelligence (ai)-channel state information (csi) automated labeling method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4