KR20170108285A - 증강현실 기술을 이용한 실내장치 제어시스템 및 방법 - Google Patents

증강현실 기술을 이용한 실내장치 제어시스템 및 방법 Download PDF

Info

Publication number
KR20170108285A
KR20170108285A KR1020160031934A KR20160031934A KR20170108285A KR 20170108285 A KR20170108285 A KR 20170108285A KR 1020160031934 A KR1020160031934 A KR 1020160031934A KR 20160031934 A KR20160031934 A KR 20160031934A KR 20170108285 A KR20170108285 A KR 20170108285A
Authority
KR
South Korea
Prior art keywords
augmented reality
target device
information
user
terminal
Prior art date
Application number
KR1020160031934A
Other languages
English (en)
Inventor
백선호
Original Assignee
주식회사 이웃
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이웃 filed Critical 주식회사 이웃
Priority to KR1020160031934A priority Critical patent/KR20170108285A/ko
Publication of KR20170108285A publication Critical patent/KR20170108285A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H04L67/22—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 실내장치 제어시스템은 증강현실 컨텐츠를 통해 타겟장치를 제어하는 증강현실 단말, 상기 증강현실 단말의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말에 제공하는 증강현실 서버 및 데이터 수집부에 수집된 데이터를 상기 증강현실 단말 내지 증강현실 서버로 전송하는 웹 서버로 구성되며, 상기 증강현실 단말은 피드백 된 상기 타겟장치의 제어정보 및 상태 정보를 사용자에게 알람하는 것을 특징으로 한다.

Description

증강현실 기술을 이용한 실내장치 제어시스템 및 방법{Control system of interior environment apparatus using augmented reality}
본 발명은 실내장치 제어시스템 및 방법에 관한 것으로서, 보다 상세하게는 증강현실 기술을 이용하여 사용 자의 지시에 따라 실내장치를 제어하고 제어된 실내장치로부터 피드백 된 정보가 사용자에게 제공되는 실내장치 제어시스템에 관한 것이다.
일반적으로 인간이 거주하는 실내 환경을 자율적으로 또는 선택적으로 제어하기 위해 홈 오토메이션, 무인 경비시스템 등과 같은 유비쿼터스 장치의 연구가 진행되고 있다. 또한, 이러한 기술은 실내의 각종 전자 기기를 하나의 제어 장치로부터 효율적으로 제어하는 것을 주 내용으로 하며 이를 위하여 많은 제어 알고리즘과 그에 따른 장치들이 제공되었다.
또한, 종래의 실내장치 제어시스템은 외부 환경에 관한 데이터 또는 기 설정된 목표 값을 참고하여 실내장치를 자동적으로 제어하거나 사용자가 필요에 따라 직접 실내장치를 제어한다. 즉, 실내 외 환경에 관한 설정된 목표 값과 측정 값을 비교하고 독립적인 제어장치에 의해 히터, 가습기 등과 같은 실내장치가 자동적으로 작동함으로써 목표 값에 가까워지는 시스템으로 구현되는 것이다.
최근에는 실내장치를 제어하기 위해 실시간으로 촬영한 영상에 컴퓨터 그래픽, 문자 등의 요소를 합성하여 표시하는 증강현실(Augmented Reality, AR)기술이 대두되고 있다. 증강현실이란 실제 환경에 컴퓨터 그래픽 등의 영상을 삽입하여 실제 영상과 가상의 영상을 혼합한 것을 의미하며, 증강현실 시스템은 실제 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호작용이 이루어지도록 하는 것이다. 이는 가상현실의 변화된 형태로 실제 환경에 가상의 컨텐츠를 첨가하여 보여줌으로써 사용자의 지각 및 현실과 상호작용하기 위한 목적으로 사용된다.
그러나, 이러한 증강현실 기술은 정보 제공자가 사전에 입력한 데이터를 특정신호(예컨대, GPS, 이미지 마커 등)에 따라 노출하는 형태이므로 정보 소비자는 정보 제공자가 제공하는 정보를 일방적으로 받는 형태이므로 정보 소비자는 자신의 의도에 맞는 증강현실 정보를 받을 수 없는 문제점이 있다.
또한, 종래의 증강현실 기술은 단순한 정보만을 사용자에게 제공함으로써 사용자와의 직접적인 인터랙션(interaction, 상호작용)이 부족하고, 사용자가 제어하는 대상의 제어정보 및 데이터 등에 대한 피드백이 이루어지지 않는 문제점이 있다.
특허번호 제10-1281314호(2013.07.03. 공고)
본 발명은 전술한 문제점을 감안하여 안출된 것으로서, 본 발명의 목적은 사용자가 증강현실 기술을 기반으로 실내장치를 제어하되 사용자 요구에 맞는 정보를 제공하고 사용자가 제어한 실내장치의 제어 정보 및 상태에 관한 데이터가 사용자에게 피드백 됨으로써 사용자와 제어대상 장치와의 상호작용(인터랙션)이 우수한 실내장치 제어시스템 및 방법을 제공하는 것이다.
본 발명에 따른 실내장치 제어시스템은 증강현실 기술을 이용한 실내장치 제어시스템으로서, 증강현실 컨텐츠를 통해 타겟장치를 제어하는 증강현실 단말, 상기 증강현실 단말의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말에 제공하는 증강현실 서버 및 데이터 수집부에 수집된 데이터를 상기 증강현실 단말 내지 증강현실 서버로 전송하는 웹 서버로 구성되며, 상기 증강현실 단말은 피드백 된 상기 타겟장치의 제어정보 및 상태 정보를 사용자에게 알람해 주는 것을 특징으로 한다.
또한, 상기 증강현실 단말은 타겟장치를 촬영하고 영상을 저장하는 영상 촬영부, 상기 증강현실 서버 내지 웹 서버로부터 받은 컨텐츠를 표시하는 표시부, 상기 타겟장치의 제어신호를 송신하는 인터랙션부를 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 서버는, 상기 증강현실 단말에서 수신한 영상을 인식하여 객체를 판독하는 객체 판독부, 증강현실 컨텐츠를 이용하여 상기 타겟장치에 대한 정보를 포함하는 객체 데이터베이스, 판독된 객체에 대응되는 증강현실 컨텐츠를 획득하는 객체정보 획득부 및 상기 타겟 장치의 제어정보 내지 상태정보를 획득하는 제어정보 획득부를 포함한다.
또한, 상기 증강현실 단말은, 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신하는 것을 특징으로 한다.
또한, 상기 증강현실 단말은, 사용자의 제스처를 통해 상기 타겟장치를 제어하도록 사용자의 제스처를 검출하는 센서, 상기 검출된 제스처를 식별하고 제어명령을 결정하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 단말은, 안경 형태로 마련되며 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 머리를 흔들거나 눈을 깜박이는 상태를 센싱하여 상기 타겟장치를 제어하는 것을 특징으로 한다.
또한, 상기 증강현실 단말은, 장갑 형태의 단말을 더 포함하며, 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 손을 흔들거나 주먹을 쥐는 상태를 센싱하여 상기 타겟장치를 제어하는 것을 특징으로 한다.
또한, 상기 증강현실 단말은, 사용자에게 상기 타겟장치의 제어정보 및 상태정보를 피드백하되 사용자의 최초 명령과 타켓장치의 제어정보 및 상태정보를 비교하여 사용자에게 알람하고, 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내하는 것을 특징으로 한다.
본 발명에 따른 실내장치 제어방법은 증강현실 기술을 이용한 실내장치 제어방법으로서 증강현실 단말이 증강현실 컨텐츠를 통해 타겟장치를 제어하는 단계, 증강현실 서버가 상기 증강현실 단말의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말에 제공하는 단계 및 웹 서버에서 데이터 수집부에 수집된 데이터를 상기 증강현실 단말 내지 증강현실 서버로 전송하는 단계를 포함하며, 상기 증강현실 단말은 피드백 된 상기 타겟장치의 제어정보 및 상태 정보를 사용자에게 알려주는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 단말이 상기 타겟장치를 제어하는 단계는, 타겟장치를 촬영하고 영상을 저장하는 단계, 상기 증강현실 서버 내지 웹 서버로부터 받은 컨텐츠를 표시하는 단계, 상기 타겟장치의 제어신호를 송신하는 단계를 포함한다.
또한, 상기 증강현실 서버가 증강현실 컨텐츠를 제공하는 단계는, 상기 증강현실 단말에서 수신한 영상을 인식하여 객체를 판독하는 단계, 증강현실 컨텐츠를 이용하여 상기 타겟장치에 대한 정보를 포함하는 단계, 판독된 객체에 대응되는 증강현실 컨텐츠를 획득하는 단계 및 상기 타겟 장치의 제어정보 내지 상태정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 증강현실 단말은 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신하는 것을 특징으로 한다.
또한, 사용자에게 상기 타겟장치의 제어정보 및 상태정보를 피드백하는 단계, 사용자의 최초 명령과 타켓장치의 제어정보 및 상태정보를 비교하고 알람하는 단계 및 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 실내장치 제어시스템 및 방법은 사용자의 지시에 따라 실내장치를 제어하고 제어된 실내장치의 상태정보가 피드백 됨으로써 사용자가 용이하고 효과적으로 제어할 수 있는 것이다.
도 1은 본 발명에 따른 실내장치 제어시스템의 구성도,
도 2는 본 발명에 따른 실내장치 제어시스템 및 방법의 절차흐름도,
도 3은 본 발명에 따른 실내장치 제어시스템 및 방법의 순서도,
도 4는 본 발명에 따른 증강현실 서버의 구성도,
도 5는 본 발명에 따른 증강현실 단말의 구성도,
도 6 및 도 7은 본 발명에 따른 사용자 제스처의 예를 보여주는 설명도,
도 8 및 도 9는 본 발명에 따른 사용 예를 보여주는 설명도,
도 10은 본 발명에 따른 제어시스템의 데이터 경로를 보여주는 설명도이다.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 증강현실 기술을 이용한 실내장치 제어시스템 및 방법에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시 할 수 있도록 상세히 설명하기로 한다. 본 발명은 여기에서 설명하는 실시예들에 한정되지 않으며, 여러 가지 상이한 형태로 구현될 수 있다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
본 발명에 따른 실내장치 제어시스템은,
증강현실 컨텐츠를 통해 타겟장치(600)를 제어하는 증강현실 단말(300), 상기 증강현실 단말(300)의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말(300)에 제공하는 증강현실 서버(400) 및 데이터 수집부(100)에 수집된 데이터를 상기 증강현실 단말(300) 내지 증강현실 서버(400)로 전송하는 웹 서버(200)로 구성되며, 상기 증강현실 단말(300)은 피드백 된 상기 타겟장치(600)의 제어정보 및 상태 정보를 사용자에게 알려준다.
도 1에 도시된 바와 같이 본 발명에 따른 실내장치 제어시스템은 증강현실 기술을 이용하여 타겟장치(600) 예컨대, 에어컨(A), 히터(B), 가습기(C) 등을 제어한다. 상기 타겟장치(600)는 제어 대상이 되는 장치를 의미하며 네트워크 통신이 가능한 전자기기로써 근거리 통신이나 유무선 네트워크 통신이 가능한 장치를 말한다.
또한, 상기 타겟장치(600)의 제어수단으로써 증강현실 단말(300) 예컨대, 글래스(310), 휴대용단말(330), 팔찌형 스마트워치(350) 내지 장갑(370) 중 어느 하나 이상의 단말이 사용될 수 있다.
상기 증강현실 단말(300)과 타겟장치(600) 사이의 제어 및 통신시스템(10)은 외부에서 제공되는 데이터(100) 및 웹 서버(200)를 더 포함할 수 있으며, 상기 증강현실 단말(300)과 타겟장치(600)를 중계하는 증강현실 서버(400)가 추가로 마련될 수 있다.
상기 타겟장치(600)에 대한 정보로는 제품의 정보, 매뉴얼 데이터 등과 같이 타겟장치(600)에 관하여 디스플레이 되는 정보가 있으며, 타겟장치(600)에 대한 정보 즉, 사용자의 제어 및 지시에 따른 제어상태와 증강현실 컨텐츠 정보와 매핑되는 타겟장치의 작동 상태 등에 관한 정보를 포함한다.
도 2는 본 발명에 따른 실내장치 제어시스템 및 방법에 관한 절차흐름도이며 상기 제어 및 통신시스템(10)은 앞서 설명한 바와 같이 상기 증강현실 단말(300)과 타겟장치(600) 사이에 별도의 증강현실 서버(400)가 마련될 수 있다.
상기 증강현실 서버(400)는 증강현실 단말(300)에서 촬영한 영상을 통해 증강현실 컨텐츠를 제공하거나 제어한다. 이를 위해, 상기 증강현실 서버(400)는 상기 타겟장치(600)를 인식 또는 판독이 가능하도록 구현되어야 하며 상기 타겟장치(600)에 대한 정보를 저장하고 있을 수 있다. 또한, 상기 증강현실 서버(400)는 유무선 네트워크 또는 이동 통신망과 통신이 가능하다.
상기 증강현실 단말(300)은 촬영 및 영상정보를 획득하는 단계(s311), 타겟장치를 제어하는 단계(S313) 및 제어정보를 알람하는 단계(S315)에 따라 작동된다. 상기 증강현실 서버(400)는 객체를 판독하는 단계(S411), 객체정보를 획득하는 단계(S412) 및 제어정보를 획득하는 단계(S414)에 따라 작동된다.
상기 촬영 및 영상획득단계(S311)를 통해 수집된 영상 데이터는 상기 증강현실 서버(400)로 전송(S312)되고 이에 대한 객체정보가 다시 상기 증강현실 단말(300)에 전송(S413)된다.
상기 타겟장치 제어단계(S313)은 근거리 통신으로 수행될 수 있으며, 제어신호를 상기 증강현실 서버(400)로 전송(S314) 또는 상기 타겟장치(600)로 전송(S314)할 수 있다.
이에 따라, 상기 타겟장치(600)가 제어되고 제어된 상기 타겟장치(600)의 제어정보를 상기 증강현실 서버(400)를 통해 상기 증강현실 단말(300)로 전송(S415)하거나 경우에 따라서 상기 증강현실 단말(300)로 직접 전송(S611)할 수 있다. 이를 통해 상기 타겟장치(600)의 제어정보 내지 상태정보를 수신한 상기 증강현실 단말(300)은 사용자에게 수신된 상기 타겟장치(600)의 제어정보를 알람(S315)하는 것이다.
도 3은 증강현실 기술을 이용하는 실내장치 제어시스템 및 방법의 흐름을 보여주는 순서도이다. 도 2에 도시된 바와 같이 증강현실 단말(300)의 타겟장치 제어단계(S313)는 다양한 수단을 통해 진행될 수 있으며, 본 발명의 일 례에 따르면 사용자의 제스처 예컨대 사용자의 움직임, 수신호 등을 기준으로 제어될 수 있다.
본 발명에 따른 실내장치 제어방법은 사용자의 제스처 유무를 판단하는 단계(S710), 사용자의 제스처를 식별하는 단계(S730), 상기 제스처가 유효한지를 판단하는 단계(S740), 타겟장치를 제어하는 단계(S750) 및 제어된 상기 타겟장치의 제어정보를 전송하는 단계(S760)을 포함한다.
도 4는 상기 증강현실 서버(400)의 구성도이다. 도시된 바와 같이 상기 증강현실 서버(400)는 객체 판독부(410), 객체정보 획득부(430) 및 제어정보 획득부(450)를 포함한다. 상기 객체 판독부(410)는 상기 증강현실 단말(300)에서 촬영된 영상정보를 수신하여 객체(타겟장치)를 판독하며, 별도의 객체 데이터베이스는 상기 객체 판독부(410) 내지 객체정보 획득부(430)에 송신된다. 또한, 상기 제어정보 획득부(450)는 제어된 객체(타겟장치)의 제어상태 정보를 수신하고 상기 증강현실 단말(300)에 정보를 송신할 수 있도록 한다.
도 5는 상기 증강현실 단말(300)의 구성도이다. 도시된 바와 같이 상기 증강현실 단말(300)은 영상 촬영부(301), 표시부(303) 및 인터랙션부(305)를 포함한다. 또한, 상기 증강현실 단말(300) 증강현실 서버(400) 및 객체(타겟장치, 600)와 통신함으로써 정보 및 제어신호를 송신, 수신한다.
상기 영상 촬영부(301)는 타겟장치(600)를 촬영하고 촬영된 영상정보를 상기 증강현실 서버(400)에 송신하며, 상기 표시부(303)는 상기 증강현실 서버(400)로부터 객체(타겟장치) 정보를 수신하여 사용자에게 표시한다.
상기 인터랙션부(305)는 사용자의 의사에 따라 상기 타겟장치(600)를 제어하기 위한 수단으로써, 제어신호를 상기 증강현실 서버(400) 내지 타겟장치(600)에 송신하고 제어된 타겟장치(600)의 제어정보를 다시 상기 표시부(303)를 통해 사용자에게 알람 함으로써 사용자와 타겟장치(600)와의 상호 작용을 보완하는 것이다.
도 6내지 도 7은 사용자의 제스처에 따라 제어신호를 발생하는 예를 보여주는 것으로서, 사용자는 글래스 형태의 증강현실 단말(310)를 착용하고 손에 스마트 장갑(370)을 착용할 수 있다. 이때, 사용자가 증강현실 단말(310)을 통해 타겟장치(600)의 객체정보를 습득하고 스마트 장갑(370)을 상하방향 내지 수평방향으로 흔들거나 주먹을 쥐거나 손가락을 펴는 제스처를 단독 내지 복합적으로 수행하면서 타겟장치(600)를 제어할 수 있다. 이와 같이 사용자의 제스처를 센싱하기 위해서는 다양한 센서가 사용됨을 앞서 설명한 바와 같다.
경우에 따라서는 도 7에 도시된 바와 같이 글래스 형태의 증강현실 단말(310)을 단독으로 사용하여 타겟장치(600)를 제어할 수 있다. 즉, 사용자가 눈을 감거나 뜨는 상태 내지 사용자가 머리를 상하방향, 수평방향 이동하는 것을 단독 내지 복합적으로 센싱 및 판독하여 타겟장치(600)를 제어할 수 있다.
상술한 바와 같이 본 발명에 따른 실내장치 제어시스템 및 방법은 증강현실 기술을 이용하는 것으로서, 사용자가 객체(타겟장치, 600)를 인식하면 이에 대한 정보를 제공받고 다시 사용자의 의사에 따른 제어를 통해 상기 타겟장치(600)가 제어되고, 제어된 상기 타겟장치(600)의 제어정보 내지 상태정보가 다시 사용자에게 알람 되는 것이다.
사용자가 타겟장치(600)를 인식하고 제어하기 위한 수단으로써 다양한 증강현실 단말(300)이 이용되는데, 바람직하게는 웨어러블 기기가 사용될 수 있다. 즉, 사용자가 착용하거나 휴대 가능한 기기를 이용하여 타겟장치(600)의 정보를 수신하고 제어하는 것이다.
예컨대, 사용자의 손 동작을 센싱하기 위해 디자인된 웨어러블 기기로는 스마트 팔찌(350) 손목에 착용하는 시계(350), 손가락을 위한 스마트 링(미도시), 손에 착용하는 장갑(370) 등이 있다. 상기 스마트 팔찌 및 시계는 블루투스를 통해 다른 장치와 무선 통신을 하고 터치 스크린을 가진 소형 컴퓨터처럼 사용될 수 있다. 또한, 상기 스마트 팔찌 및 시계는 GPS 및 모션 감지기 예컨대, 가속도계, 자이로스코프 및 자력계 등을 포함할 수 있다.
또한, 웨어러블 기기의 방향에 관계없이 송신된 타겟장치(600)의 정보가 항상 사용자 중심으로 나타나기 위해서는 타겟장치(600)의 정보를 재 위치 시키는 플렉서블 스크린(미도시) 및 관성 센서가 사용될 수도 있다.
상기 팔찌는 사용자 손목의 움직임을 인식하기 위해 손목의 회전 및 축 방향 손의 움직임을 센싱하고, 측정된 값과 기 설정된 명령 데이터를 비교한다. 또한, 상기 스마트 링은 사용자의 손가락을 포인터의 역할로 이용하며 경우에 따라서 광 센서를 추가로 포함할 수도 있다.
상기 증강현실 단말(300), 타겟장치(600) 내지 증강현실 서버(400)는 유무선 통신으로 제어신호 및 정보를 송수신 하며, 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신할 수도 있다.
상기 증강현실 단말(300)은 사용자의 제스처를 통해 상기 타겟장치(600)를 제어하도록 사용자의 제스처를 검출하는 센서(미도시), 상기 검출된 제스처를 식별하고 제어명령을 결정하는 제어부(미도시)를 더 포함할 수 있다.
도시된 바와 같이 상기 증강현실 단말(300)은 바람직하게는 안경(글래스) 형태(310)로 마련되며 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 머리를 흔들거나 눈을 깜박이는 상태를 센싱하여 상기 타겟장치(600)를 제어할 수 있다. 또한, 상기 증강현실 단말(300)은 장갑 형태의 단말(370)을 더 포함하며, 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 손을 흔들거나 주먹을 쥐는 상태를 센싱하여 상기 타겟장치(600)를 제어할 수 있다.
상기 증강현실 단말(300)은 사용자에게 상기 타겟장치(600)의 제어정보 및 상태정보를 피드백 하되 사용자의 최초 명령과 타켓장치(600)의 제어정보 및 상태정보를 비교하여 사용자에게 알람하고, 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내할 수 있다.
따라서, 본 발명에 따른 실내장치 제어시스템 및 방법은 제어된 타겟장치(600)의 제어정보를 사용자에게 다시 알람 하는 것 이외에도, 기 설정되거나 지령한 명령과의 비교를 통해 사용자에게 바람직한 제어신호 및 명령을 안내할 수도 있다.
도 8 및 도 9는 본 발명에 따른 실내장치 제어시스템의 사용 예를 보여준다. 도시된 바와 같이 사용자가 상기 증강현실 단말(300)을 이용하여 타겟장치(600)를 관찰하게 되면 현재상태, 제어상태, 디스플레이상태 등 상기 타겟장치(600)의 다양한 정보를 보여준다. 물론, 상기 증강현실 단말(300)을 통해 사용자에게 제공되는 정보는 이외에도 상기 타겟장치(600)의 종래 작동상황, 주변온도, 환경에 대한 정보 및 히스토리 등 다양한 정보고 제공될 수 있다.
도 9에 도시된 바와 같이 해당 타겟장치(600)을 상기 증강현실 단말(300)을 통해 관찰하면 명령에 대한 제어신호 예컨대, 전원끄기 내지 전원켜기 등과 같은 명령 정보가 디스플레이 되며 사용자는 다양한 신호를 이용하여 상기 타겟장치(600)를 제어할 수 있는 것이다. 예컨대, 앞서 설명한 바와 같이 사용자의 제스처를 이용하여 상기 타겟장치(600)를 제어할 수 있다.
도 10은 본 발명에 따른 실내장치 제어시스템의 데이터 동기화 과정을 보여주는 설명도이다. 가전제품 즉, 타겟장치(600)와 사용자 사이의 데이터 흐름과정은 도시된 바와 같이 path1 과 path2 두 가지로 가능하다. 따라서 사용자는 상기 콘트롤러에서 구글 글래스로 가는 하나의 경로를 선택하거나, 상기 콘트롤러에서 서버를 거쳐 구글 글래스로 가는 또 하나의 경로를 선택할 수 있는 것이다.
본 발명에 따른 실내장치 제어방법은 증강현실 단말(300)이 증강현실 컨텐츠를 통해 타겟장치(600)를 제어하는 단계(S313), 증강현실 서버(400)가 상기 증강현실 단말(300)의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말(300)에 제공하는 단계(S413) 및 웹 서버(200)에서 수집된 데이터(100)를 상기 증강현실 단말(300) 내지 증강현실 서버(400)로 전송하는 단계를 포함하며, 상기 증강현실 단말(300)은 피드백 된 상기 타겟장치(600)의 제어정보 및 상태 정보를 사용자에게 알려주는 단계(S315)를 더 포함한다.
상기 증강현실 단말(300)이 상기 타겟장치(600)를 제어하는 단계는,
상기 타겟장치(600)를 촬영하고 영상을 저장하는 단계(S311), 상기 증강현실 서버(400) 내지 웹 서버(200)로부터 받은 컨텐츠를 표시하는 단계, 상기 타겟장치(600)로 제어신호를 송신하는 단계(S314)를 더 포함할 수 있다.
상기 증강현실 서버(400)가 증강현실 컨텐츠를 제공하는 단계는,
상기 증강현실 단말(300)로부터 수신한 영상을 인식하여 객체를 판독하는 단계(S411), 증강현실 컨텐츠를 이용하여 상기 타겟장치(700)에 대한 정보를 획득하는 단계(S412), 판독된 객체에 대응되는 증강현실 컨텐츠를 획득하는 단계 및 상기 타겟장치(600)의 제어정보 내지 상태정보를 획득하는 단계(S414)를 더 포함할 수 있다.
상기 증강현실 단말(300), 증강현실 서버(400), 타겟장치(600) 및 웹 서버(200)는 유무선 통신으로 정보 및 제어신호를 송수신할 수 있으며, 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신할 수도 있다.
또한, 본 발명에 따른 실내장치 제어방법은 사용자에게 상기 타겟장치(600)의 제어정보 및 상태정보를 피드백하는 단계, 사용자의 최초 명령과 타켓장치의 제어정보 및 상태정보를 비교하고 알람하는 단계 및 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내하는 단계를 더 포함할 수 있다.
본 발명에 따른 실내장치 제어시스템 및 방법은 웹 서버(200) 및 수신된 데이터(100)를 활용하며 상기 데이터(100)는 기상청에서 제공하는 기상정보 이외에도 실외의 기온, 습도, 미세먼지 및 조도와 같이 사용자 주변의 환경에 대한 정보를 측정하고 기 측정된 값을 제공하는 다양한 데이터가 이용될 수 있다. 경우에 따라서, 상기 데이터(100)는 빅 데이터의 활용으로 연계될 수 있으며, 수년간 축적된 환경 정보 예컨대, 기온, 습도, 태양의 고도 등과 같은 다양한 요소들을 포함한다.
또한, 상기 데이터(100)는 실외의 환경에 대한 데이터 이외에도 실내의 환경에 대한 정보를 수집할 수도 있으며, 이에 따라 실내와 실외의 환경 정보 및 데이터를 모두 포함하여 제공할 수 있다. 상기 데이터(100)는 상기 웹 서버(200)로 전송되는데 상기 웹 서버(200)는 독립된 별개의 서버 클라우드가 이용될 수 있으며, 사용자의 접근이 용이하도록 하되 요구 사용자의 접근성 보안을 위해 별도의 코드가 설정되거나 로그인 단계를 거치도록 설정할 수 있다.
본 발명에 따른 실내장치 제어시스템은 근 거리 통신방법을 이용할 수 있으며, 경우에 따라서 실내공간 크기가 상대적으로 커지는 경우에는 상기 증강현실 단말(400) 등과 같은 제어장치의 통신방법을 기존의 통신방법으로 대체하여 이용할 수도 있다. 이때, 사용자가 주로 생활하는 공간과 간헐적 내지 거의 사용하지 않는 공간을 분리하여 구획할 수 있으며, 분리된 공간에 따라 통신방법을 구별하여 사용할 수도 있을 것이다.
상기 웹 서버(200)는 제공받은 데이터를 온도, 습도 내지 조도와 같이 어느 하나를 기준으로 정렬하고 정렬된 상기 데이터를 상기 증강현실 단말(300) 내지 증강현실 서버(400)로 전송할 수 있다. 따라서, 실내 외 환경에 관한 다양한 요소들을 성격에 따라 구분하고 그룹화 함으로써 정보의 수집과 분석을 용이하게 할 수 있으며, 이에 따라 그룹화된 데이터는 다시 사용자 또는 증강현실 서버(400)에서 요구하는 제어대상에 맞게 구분하여 제어할 수 있다.
또한, 상기 증강현실 단말(300)은 별도의 애플리케이션을 설치하고 사용자가 상기 애플리케이션을 이용하여 상기 웹 서버(200) 내지 증강현실 서버(400)와 정보를 송, 수신하거나 상기 타겟장치(600)를 제어할 수도 있으며, 이를 통해 사용자가 실내뿐만 아니라 실외에 있는 경우에도 상기 증강현실 단말(300)을 이용하여 상기 타겟장치(600)를 제어할 수 있다.
사용자는 상기 증강현실 단말(300)을 이용하여 직접 상기 타겟장치(600)를 제어하거나, 경우에 따라서 상기 증강현실 서버(400)가 기 설정된 값과 상기 웹 서버(200) 내지 상기 증강현실 단말(300)로부터 제공받은 데이터 또는 측정 한 값을 비교하여 직접 상기 타겟장치(600)를 제어할 수도 있다.
상기 웹 서버(200)에 수집된 기상정보, 환경정보, 실내정보 등이 상기 증강현실 단말(300)에 송신되고 상기 웹 서버(200) 내지 증강현실 서버(400)는 수신된 정보를 분석하여 사용자에게 지령을 할 수 있다. 예컨대, 실내 공기정화 장치의 필터를 교환해야 한다거나 실외 공기의 실내 유입을 방지, 외출 시 마스크를 착용해야 하는 정보를 알람 할 수 있다.
이와 같은 알람 정보는 사용자가 휴대하는 증강현실 단말(300)을 통해 확인할 수 있으며, 화면, 소리 내지 진동을 통해 사용자가 정보를 확인 할 수 있다. 또한, 상기 알람 정보는 사용자에게 도착하고 사용자가 다시 증강현실 단말(300)을 통해 필요에 따라 타겟장치(600)를 제어하거나 상기 증강현실 단말(300)의 설정을 통해 자동적으로 상기 타겟장치(600)로 제어신호를 송신할 수도 있다.
본 발명에 따른 상기 웹 서버(200) 내지 증강현실 서버(400)는 누적된 데이터를 분석 및 필터링하여 상기 타겟장치(600)의 제어를 위한 판단근거를 제시하고 상기 증강현실 단말(300)에 제어신호를 보낼 수 있다.
또한, 본 발명에 따른 증강현실 단말(300)은 사용자의 현재 상황 예컨대, 증강현실 단말기를 충전 중인지, 회의 중인지, 이동 중인지, 수면 중인지 등을 체크하고, 상기 웹 서버(200) 내지 증강현실 서버(400)에 사용자 내지 증강현실 단말(300)의 상황 정보를 송신하여 상황에 맞는 최적화 알람 할 수 있도록 한다. 즉, 사용자가 증강현실 단말(300)을 확인할 수 있는지 또는 확인할 수 있더라도 별도의 제어가 힘든지를 판단하여 자체적으로 제어신호를 발생하거나 또는 사용자의 상황에 맞게 확인 가능한 알람 방법을 선택할 수 있는 것이다.
상술한 바와 같이 본 발명에 따른 실내장치 제어시스템 및 방법은 증강현실 단말(300), 타겟장치(600) 등이 각각 정보를 송신 및 수신할 수 있도록 IoT 기반으로 운영될 수 있으며 경우에 따라서 사용자의 생활습관, 식습관, 운동습관, 행동패턴 내지 SNS정보 중 어느 하나 이상을 기반으로 분석하여 제어할 수도 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되지 않으며, 본 발명의 기술적 사상 내에서의 단순 치환, 변형 및 변경은 당 분야에서의 통상의 지식을 가진 자에게 명백한 것이다.
본 발명에 따른 실내장치 제어시스템 및 방법은 증강현실 기술을 기반으로 사용자가 타겟장치의 객체정보를 이용하여 제어하고 제어된 타겟장치의 제어정보를 피드백함으로써 효과적이고 용이하게 실내장치를 제어하는 시스템 및 방법에 이용될 수 있다.
100: 데이터 200: 웹 서버
300: 증강현실 단말 310: 글래스
301: 영상 촬영부 303: 표시부
305: 인터랙션부
330: 휴대용 스마트기기 350: 팔찌형 스마트기기
370: 스마트 장갑 400: 증강현실 서버
410: 객체판독부 430: 객체정보 획득부
450: 제어정보 획득부
600: 타겟장치(실내장치)

Claims (13)

  1. 증강현실 기술을 이용한 실내장치 제어시스템에 있어서,
    증강현실 컨텐츠를 통해 타겟장치를 제어하는 증강현실 단말;
    상기 증강현실 단말의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말에 제공하는 증강현실 서버; 및
    데이터 수집부에 수집된 데이터를 상기 증강현실 단말 내지 증강현실 서버로 전송하는 웹 서버; 로 구성되며,
    상기 증강현실 단말은 피드백 된 상기 타겟장치의 제어정보 및 상태 정보를 사용자에게 알람하는 것을 특징으로 하는 실내장치 제어시스템.
  2. 제1항에 있어서,
    상기 증강현실 단말은 타겟장치를 촬영하고 영상을 저장하는 영상 촬영부, 상기 증강현실 서버 내지 웹 서버로부터 받은 컨텐츠를 표시하는 표시부, 상기 타겟장치의 제어신호를 송신하는 인터랙션부를 포함하는 것을 특징으로 하는 실내장치 제어시스템.
  3. 제 1항에 있어서,
    상기 증강현실 서버는,
    상기 증강현실 단말에서 수신한 영상을 인식하여 객체를 판독하는 객체 판독부, 증강현실 컨텐츠를 이용하여 상기 타겟장치에 대한 정보를 포함하는 객체 데이터베이스, 판독된 객체에 대응되는 증강현실 컨텐츠를 획득하는 객체정보 획득부 및 상기 타겟 장치의 제어정보 내지 상태정보를 획득하는 제어정보 획득부를 포함하는 것을 특징으로 하는 실내장치 제어시스템.
  4. 제 1항에 있어서,
    상기 증강현실 단말은 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신하는 것을 특징으로 하는 실내장치 제어시스템.
  5. 제 1항에 있어서,
    상기 증강현실 단말은,
    사용자의 제스처를 통해 상기 타겟장치를 제어하도록 사용자의 제스처를 검출하는 센서, 상기 검출된 제스처를 식별하고 제어명령을 결정하는 제어부를 포함하는 것을 특징으로 하는 실내장치 제어시스템.
  6. 제 5항에 있어서,
    상기 증강현실 단말은,
    안경 형태로 마련되며 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 머리를 흔들거나 눈을 깜박이는 상태를 센싱하여 상기 타겟장치를 제어하는 것을 특징으로 하는 실내장치 제어시스템.
  7. 제 6항에 있어서,
    상기 증강현실 단말은,
    장갑 형태의 단말을 더 포함하며, 제공되는 영상정보 및 증강현실 컨텐츠를 이용하여 사용자가 손을 흔들거나 주먹을 쥐는 상태를 센싱하여 상기 타겟장치를 제어하는 것을 특징으로 하는 실내장치 제어시스템.
  8. 제1항에 있어서,
    상기 증강현실 단말은,
    사용자에게 상기 타겟장치의 제어정보 및 상태정보를 피드백하되 사용자의 최초 명령과 타켓장치의 제어정보 및 상태정보를 비교하여 사용자에게 알람하고, 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내하는 것을 특징으로 하는 실내장치 제어시스템.
  9. 증강현실 기술을 이용한 실내장치 제어방법에 있어서,
    증강현실 단말이 증강현실 컨텐츠를 통해 타겟장치를 제어하는 단계;
    증강현실 서버가 상기 증강현실 단말의 영상을 판독하고 증강현실 컨텐츠를 상기 증강현실 단말에 제공하는 단계; 및
    웹 서버에서 데이터 수집부에 수집된 데이터를 상기 증강현실 단말 내지 증강현실 서버로 전송하는 단계를 포함하며,
    상기 증강현실 단말은 피드백 된 상기 타겟장치의 제어정보 및 상태 정보를 사용자에게 알려주는 단계를 더 포함하는 것을 특징으로 하는 실내장치 제어방법.
  10. 제 9항에 있어서,
    상기 증강현실 단말이 상기 타겟장치를 제어하는 단계는,
    타겟장치를 촬영하고 영상을 저장하는 단계, 상기 증강현실 서버 내지 웹 서버로부터 받은 컨텐츠를 표시하는 단계, 상기 타겟장치의 제어신호를 송신하는 단계를 포함하는 것을 특징으로 하는 실내장지 제어방법.
  11. 제 9항에 있어서,
    상기 증강현실 서버가 증강현실 컨텐츠를 제공하는 단계는,
    상기 증강현실 단말에서 수신한 영상을 인식하여 객체를 판독하는 단계, 증강현실 컨텐츠를 이용하여 상기 타겟장치에 대한 정보를 포함하는 단계, 판독된 객체에 대응되는 증강현실 컨텐츠를 획득하는 단계 및 상기 타겟 장치의 제어정보 내지 상태정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 실내장치 제어방법.
  12. 제 9항에 있어서,
    상기 증강현실 단말은 비콘(beacon), 와이파이(wi-fi), POP(post office protocol) 내지 SIP(session initiation) 중 어느 하나 이상의 방법으로 통신하는 것을 특징으로 하는 실내장치 제어방법.
  13. 제 9항에 있어서,
    사용자에게 상기 타겟장치의 제어정보 및 상태정보를 피드백하는 단계, 사용자의 최초 명령과 타켓장치의 제어정보 및 상태정보를 비교하고 알람하는 단계 및 사용자의 요구조건에 일치하지 않는 경우 새로운 명령을 안내하는 단계를 더 포함하는 것을 특징으로 하는 실내장치 제어방법.
KR1020160031934A 2016-03-17 2016-03-17 증강현실 기술을 이용한 실내장치 제어시스템 및 방법 KR20170108285A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160031934A KR20170108285A (ko) 2016-03-17 2016-03-17 증강현실 기술을 이용한 실내장치 제어시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160031934A KR20170108285A (ko) 2016-03-17 2016-03-17 증강현실 기술을 이용한 실내장치 제어시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20170108285A true KR20170108285A (ko) 2017-09-27

Family

ID=60036027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160031934A KR20170108285A (ko) 2016-03-17 2016-03-17 증강현실 기술을 이용한 실내장치 제어시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20170108285A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190106854A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20190119206A (ko) * 2018-03-30 2019-10-22 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
US11262903B2 (en) 2018-03-30 2022-03-01 Data Alliance Co., Ltd. IoT device control system and method using virtual reality and augmented reality
CN114528061A (zh) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 一种基于ar的设备使用方法、设备及智能终端系统
KR102574269B1 (ko) * 2022-06-21 2023-09-01 함영두 사물인식을 이용한 증강현실 시스템
KR20230134868A (ko) * 2022-03-15 2023-09-22 한밭대학교 산학협력단 증강현실을 위한 실내공간 3d 맵핑 지원 시스템
WO2023224239A1 (ko) * 2022-05-20 2023-11-23 주식회사 피앤씨솔루션 증강현실 글래스 장치를 이용한 데이터 라벨링 방법 및 시스템
WO2024049592A1 (en) * 2022-09-01 2024-03-07 Snap Inc. Virtual ar interfaces for controlling iot devices using mobile device orientation sensors

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119206A (ko) * 2018-03-30 2019-10-22 데이터얼라이언스 주식회사 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
US11262903B2 (en) 2018-03-30 2022-03-01 Data Alliance Co., Ltd. IoT device control system and method using virtual reality and augmented reality
KR20190106854A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
CN114528061A (zh) * 2022-02-18 2022-05-24 中国工商银行股份有限公司 一种基于ar的设备使用方法、设备及智能终端系统
KR20230134868A (ko) * 2022-03-15 2023-09-22 한밭대학교 산학협력단 증강현실을 위한 실내공간 3d 맵핑 지원 시스템
WO2023224239A1 (ko) * 2022-05-20 2023-11-23 주식회사 피앤씨솔루션 증강현실 글래스 장치를 이용한 데이터 라벨링 방법 및 시스템
KR102574269B1 (ko) * 2022-06-21 2023-09-01 함영두 사물인식을 이용한 증강현실 시스템
WO2024049592A1 (en) * 2022-09-01 2024-03-07 Snap Inc. Virtual ar interfaces for controlling iot devices using mobile device orientation sensors

Similar Documents

Publication Publication Date Title
KR20170108285A (ko) 증강현실 기술을 이용한 실내장치 제어시스템 및 방법
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
EP3345379B1 (en) Method for electronic device to control object and electronic device
US10686972B2 (en) Gaze assisted field of view control
US20190335158A1 (en) Augmented Reality With Motion Sensing
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
JP6184615B2 (ja) 対話検出ウェアラブル制御デバイス
EP2876907A1 (en) Device control using a wearable device
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
KR20160000741A (ko) 글래스 타입 단말기 및 이의 제어방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
KR20150129621A (ko) 원격 상호 작용을 위한 햅틱 피드백을 제공하는 시스템 및 방법
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
EP3486746B1 (en) Apparatus control system
CN108027654A (zh) 输入设备、输入方法和程序
CN108476258B (zh) 用于电子设备控制对象的方法以及电子设备
CN111988729B (zh) 远程设备的发现和连接
KR20170066054A (ko) 오디오 제공 방법 및 그 장치
EP3905016A1 (en) Electronic device for performing various functions in augmented reality environment, and operation method for same
US20180095532A1 (en) Virtual Reality Head-Mounted Device
KR20220127568A (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
WO2019102680A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN103713387A (zh) 电子设备和采集方法
CN113413585B (zh) 头戴显示设备的交互方法、装置和电子设备
US20230245456A1 (en) Information processing terminal and remote control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application