KR102076647B1 - 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 - Google Patents

가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102076647B1
KR102076647B1 KR1020180037200A KR20180037200A KR102076647B1 KR 102076647 B1 KR102076647 B1 KR 102076647B1 KR 1020180037200 A KR1020180037200 A KR 1020180037200A KR 20180037200 A KR20180037200 A KR 20180037200A KR 102076647 B1 KR102076647 B1 KR 102076647B1
Authority
KR
South Korea
Prior art keywords
iot device
user terminal
posture
user
location
Prior art date
Application number
KR1020180037200A
Other languages
English (en)
Other versions
KR20190119206A (ko
Inventor
이광범
Original Assignee
데이터얼라이언스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 데이터얼라이언스 주식회사 filed Critical 데이터얼라이언스 주식회사
Priority to KR1020180037200A priority Critical patent/KR102076647B1/ko
Publication of KR20190119206A publication Critical patent/KR20190119206A/ko
Application granted granted Critical
Publication of KR102076647B1 publication Critical patent/KR102076647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/36—
    • H04L67/38—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 IoT 디바이스 제어 시스템 및 방법에 관한 것으로, 본 발명에 따른 방법은 사용자 단말이 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계, 영상을 촬영할 때 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 단계, 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 사용자 단말이 만족하면, 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고 제어 화면을 통한 사용자 입력에 따라 선택된 IoT 디바이스를 제어하는 단계를 포함한다. 본 발명에 의하면 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있다.

Description

가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법{IoT Device Control System And Method Using Virtual reality And Augmented Reality}
본 발명은 IoT 디바이스 제어 시스템 및 방법에 관한 것으로, 보다 자세하게는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템 및 방법에 대한 것이다.
사물 인터넷(IoT : Internet of Things)이라는 용어는 1998년 매사추세츠공과대학(MIT)의 Auto-ID 랩에서 처음으로 등장했다. 이후 2005년 ITU-T에서 'The Internet of Things'라는 연차 보고서가 발표되면서 사물 인터넷은 미래정보기술(IT) 산업 혁명의 모든 구조를 담는 가장 기본틀이 될 것임을 예고한 바 있다. 보고서는 사물 인터넷을 "세상에서 존재하는 모든 사물(things)을 네트워크로 연결해 인간과 사물, 사물과 사물 간에 언제 어디서나 서로 소통할 수 있도록 하는 새로운 정보통신 기반"이라고 정의했다. 즉, 사물 인터넷은 명실상부한 유비쿼터스 공간을 구현하기 위한 인프라로 볼 수 있다. 이러한 유비쿼터스 공간은 특정 기능이 내재된 컴퓨팅 기기들이 환경과 사물에 심어져 환경이나 사물 그 자체가 지능화되는 것부터 시작된다.
통상적으로 구축되는 사물 인터넷 기기는 소형화 및 저전력화를 기반으로 구축되기 때문에, 단지 소수의 버튼(전원 버튼 등)만을 구비할 뿐, 고사양의 UI(User Interface)를 위한 수단, 예를 들어, 터치 스크린이나 LCD와 같은 입출력 수단이 구비되지 않는 경우가 많다. 이러한 문제를 해결하기 위해 스마트폰 및 PC에 해당 사물 인터넷 기기를 제어하기 위한 애플리케이션을 설치하고, 애플리케이션을 이용하여 제어를 하게 된다. 예컨대 디스플레이부를 구비하지 않은 스마트 조명의 현재 조도 및 수명을 확인하거나 조정하기 위해서는 해당 스마트 조명에 스마트폰이나 PC 등의 기기에 설치된 전용 애플리케이션을 구동하여 해당 스마트 조명이 가지고 있는 정보를 확인하고 제어할 수 있다. 물론 스마트 TV 등과 같이 별도의 입력부 및 출력부를 가지는 경우도, 스마트폰이나 PC 등에 설치된 전용 애플리케이션을 구동하여 해당 기기의 정보를 확인하고 제어할 수 있다.
그런데 종래에는 사용자가 제어 가능한 디바이스 목록을 제공하여 사용자로부터 제어대상을 선택받았다. 그런데 하나의 공간에 동일한 종류의 사물 인터넷 기기가 다수 설치된 경우, 디바이스 목록에서 사용자가 제어대상 기기를 선택하는데 불편함이 있었다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있는 시스템 및 방법을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법은 사용자 단말이 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계, 상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 단계, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고 상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계를 포함한다.
상기 조건은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족될 수 있다.
상기 조건은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족될 수 있다.
상기 방법은 상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하는 단계, 그리고 상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계를 더 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템은, 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 사용자 단말, 그리고 상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 서버를 포함한다.
상기 사용자 단말은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시할 수 있다.
상기 서버는 상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달할 수 있다.
상기 서버는 상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하며, 상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달할 수 있다.
본 발명에 의하면 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 표시된 IoT 디바이스 목록을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말에서 IoT 디바이스를 촬영한 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 화면을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 IoT 디바이스 등록 과정을 설명하기 위해 제공되는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 구성을 나타낸 블록도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템은 복수의 IoT 디바이스(100a, 100b, 100c), 액세스포인트(110), 실내 측위 시스템(120), 사용자 단말(200) 및 서비스 서버(300)를 포함할 수 있다.
복수의 IoT 디바이스(100a, 100b, 100c), 액세스포인트(110), 실내 측위 시스템(120), 사용자 단말(200) 및 서비스 서버(300)는 통신망(400)을 통해 서로 정보 및 데이터를 교환할 수 있다.
통신망(400)은 구내 정보 통신망(local area network, LAN), 도시권 통신망(metropolitan area network, MAN), 광역 통신망(wide area network, WAN), 인터넷, 2G, 3G, 4G, LTE 이동 통신망, 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 위성 통신망, LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크 등을 포함할 수 있으며, 통신 방식도 유선, 무선을 가리지 않으며 어떠한 통신 방식이라도 상관없다.
도 1에서는 설명의 편의를 위해 3개의 IoT 디바이스(100a, 100b, 100c)와 1개의 액세스포인트(110)를 도시하였으나, 사물 인터넷 디바이스 서비스가 제공되는 공간 환경에 따라 그 개수는 증감될 수 있다.
IoT 디바이스(100a, 100b, 100c)는 각종 센서, 정보 제공장치, 편의 시설, 게임기, 보안 장치, 가전 기기 등 모든 디바이스가 대상이 되며, 그 종류에 대한 제한은 없다. 예컨대 IoT 디바이스는 통신이 가능한 냉장고, 오븐, 세탁기, 청소기, 프린터, 팩스, 복합기, 웹캠, 텔레비전, 비디오, 디브이디 플레이어, 오디오, 전축, 인터폰, 에어컨, 히터, 제습기 등 모든 가전기기를 포함할 수 있다. 또한 IoT 디바이스는 온도 센서, 습도 센서, 열 센서, 가스 센서, 조도 센서, 초음파 센서, 원격 감지 센서, SAR(Synthetic Aperture Radar), 레이더, 위치 센서, 모션 센서, 영상 센서 등 유형 사물과 주위 환경으로부터 정보를 얻을 수 있는 각종 센서를 포함할 수 있다.
IoT 디바이스(100a, 100b, 100c)는 블루투스, 와이파이(Wi-Fi) 및/또는 LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크를 통한 무선 통신을 지원하는 디바이스로 구현될 수 있다.
액세스포인트(110)는 IoT 디바이스(100a, 100b, 100c)가 설치된 공간에서 IoT 디바이스(100a, 100b, 100c)가 통신망(400)을 통해 서비스 서버(300) 등에 접속하는 것을 지원할 수 있다. 예를 들어 액세스포인트(110)는 컴퓨터 네트워크에서 와이파이(Wi-Fi)를 이용한 관련 표준을 이용하여 무선 장치들을 유선 장치에 연결할 수 있게 하는 장치로 구현될 수 있다. 물론 와이파이(Wi-Fi)가 아닌 다른 근거리 무선 통신 방식을 통해 다수의 디바이스를 통신망(400)을 통해 서비스 서버(300)에 연결할 수 있는 장치로 액세스포인트(110)를 구현할 수도 있다.
실내 측위 시스템(120)은 실내에서 미리 정해진 기준점을 기준으로 사용자 단말(200)의 위치를 측위할 수 있다. 와이파이, 블루투스, 가시광 통신 등의 다양한 실내 측위 방식이 알려져 있으며, 본 발명에 따른 실내 측위 시스템(120)은 IoT 디바이스(100a, 100b, 100c)가 설치된 실제 공간에서 사용자 단말(200)의 위치를 측위할 수 있으면 어떠한 실내 측위 방식을 이용하여 구현되어도 무방하다.
도 1에서는 실내 측위 시스템(120)이 액세스포인트(110)를 통해 사용자 단말(200)과 연결된 것으로 표시하였으나, 실내 측위 시스템(120)이 액세스포인트(110)를 거치지 않고 사용자 단말(200)과 연동하여 실내 측위를 수행하여도 무방하다.
사용자 단말(200)은 스마트폰(Smart Phone), 태블릿(Tablet) PC, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA)나 웹 패드(Web Pad) 등과 같이 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 단말기로 이루어질 수 있으며, 다양한 어플리케이션이 설치되어 사용자에게 다양한 서비스를 제공할 수 있다.
사용자 단말(200)은 자신의 움직임이나 자세를 측정할 수 있는 하나 이상의 센서를 구비할 수 있다. 예컨대 사용자 단말(200)은 지자기 센서, 가속도 센서, 자이로스코프 센서 및 모션 센서 중 적어도 하나를 포함할 수 있다. 지자기 센서, 가속도 센서, 자이로스코프 센서 및 모션 센서 등을 이용하여 사용자 단말(200)의 움직임아나 자세를 측정하는 방법에 대해서는 이미 주지된 기술이므로 여기서 자세한 설명은 생략한다.
사용자 단말(200)은 IoT 디바이스(100a, 100b, 100c)에 대한 정보를 확인하고, 사용자가 IoT 디바이스(100a, 100b, 100c)를 제어할 수 있도록 지원하는 서비스 어플리케이션(이하 '서비스 어플')이 설치될 수 있다.
서비스 어플이 설치된 사용자 단말(200)을 통해, 사용자가 IoT 디바이스(100a, 100b, 100c)를 제어하는 내용에 대해서는 아래에서 자세히 설명한다.
서비스 서버(300)는 IoT 디바이스(100a, 100b, 100c)를 등록받을 수 있다. 그리고 서비스 서버(300)는 등록된 IoT 디바이스(100a, 100b, 100c)에 대해 권한이 있는 사용자 단말(200)로 IoT 디바이스 정보를 제공하여 서비스 어플을 통해 화면에 표시되게 할 수 있다. 또한 서비스 서버(300)는 서비스 어플을 통해 사용자 단말(200)의 화면에 표시되는 IoT 디바이스 제어 화면을 통해서, 사용자로부터 입력되는 IoT 디바이스 제어 명령을 IoT 디바이스(100a, 100b, 100c)로 전달하여 제어 명령에 따른 동작을 하게 할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 동작을 설명하기 위한 흐름도이다.
도 1 및 도 2를 참고하면, 사용자 단말(200)은 사용자의 요청에 따라 서비스 서버(300)로부터 등록된 IoT 디바이스 목록을 전달받아 서비스 어플을 통해 사용자에게 제공할 수 있다(S210).
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 표시된 IoT 디바이스 목록을 예시한 도면이다.
단계(S210)에서 서비스 어플은 도 3에 예시한 것과 같은 IoT 디바이스 목록(11)을 사용자 단말(200)의 화면에 표시할 수 있다. 도 3은 '조명4'에 해당하는 IoT 디바이스가 새롭게 등록된 것을 나타내고 있다. 물론 등록된 IoT 디바이스 목록을 표시하는 방법은 도 3에서 예시한 것 외에 다른 방식이 적용될 수도 있다.
다음으로 사용자 단말(200)은 IoT 디바이스 목록에서 '조명4'에 해당하는 IoT 디바이스를 선택받을 수 있다(S220). 그러면 사용자 단말(200)은 카메라 기능을 활성화할 수 있다.
이후 사용자는 사용자 단말(200)을 들고 '조명4'에 해당하는 IoT 디바이스 근처로 이동하여, 해당 IoT 디바이스를 포함하는 공간을 촬영할 수 있다(S230).
도 4는 본 발명의 일 실시예에 따른 사용자 단말에서 IoT 디바이스를 촬영한 예를 나타낸 도면이다.
IoT 디바이스(100a)가 '조명4'에 해당하는 IoT 디바이스라고 가정하면, 사용자는 IoT 디바이스(100a, 100b, 100c)가 위치한 실제 공간에서, 사용자 단말(200)을 들고 IoT 디바이스(100a) 근처로 이동할 수 있다. 그리고 사용자는 사용자 단말(200)을 이용하여 IoT 디바이스(100a)를 포함하는 공간을 촬영할 수 있다. 단계(S230)에서 실시예에 따라 사용자 단말(200)의 카메라 촬영 화면에 촬영 가이드(10)를 표시하여, IoT 디바이스(100a)가 촬영 가이드(10) 안에 들어온 상태에서 촬영이 이루어지도록 할 수 있다. 물론 촬영 가이드(10)에 대한 표시 없이 IoT 디바이스(100a)를 촬영하도록 구현하는 것도 가능하다.
단계(S230)에서 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때, 사용자 단말(200)은 실내 측위 시스템(120)과 연동하여 자신의 위치를 확인할 수 있다. 그리고 실시예에 따라 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때, 사용자 단말(200)에 구비된 관성 센서를 이용하여 자신의 자세 정보도 확인할 수 있다.
한편 실시예에 따라서 IoT 디바이스(100a)를 포함하는 공간을 촬영하는 단계(S230)를 먼저 수행한 다음, IoT 디바이스 목록 표시 단계(S210)와 IoT 디바이스 선택 단계(S220)를 수행하도록 구현하는 것도 가능하다.
다음으로 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때 사용자 단말(200)의 위치 및 자세 정보를 서비스 서버(300)에 전달하여, IoT 디바이스(100a)에 매칭하여 등록되게 할 수 있다(S240). 단계(S240)에서 사용자 단말(200)은 IoT 디바이스(100a)의 식별 정보(예컨대 디바이스 ID)를 사용자 단말(200)의 위치 및 자세 정보와 함께 서비스 서버(300)에 전달할 수 있다. 실시예에 따라 사용자 단말(200)의 위치 정보만 IoT 디바이스(100a)에 매칭 등록되게 하는 것도 가능하다.
이후 사용자 단말(200)의 위치 및/또는 자세가 IoT 디바이스(100a)에 대해 매칭 등록된 위치 및/또는 자세를 기준으로 정해지는 조건을 만족하면(S250-Y), 사용자 단말(200)은 도 5에 예시한 것과 같이 해당 IoT 디바이스(100a)에 대한 제어 화면을 표시할 수 있다(S260).
단계(S250)에서 IoT 디바이스 제어 화면 출력 조건은 IoT 디바이스(100a)에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 사용자 단말(200)이 위치하면 만족되는 것으로 정해질 수 있다. 또는 앞서 설명한 사용자 단말(200)의 위치 조건을 만족하면서, 동시에 IoT 디바이스(100a)에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 사용자 단말(200)의 자세가 있어야 만족되는 것으로 정해질 수도 있다.
도 5는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 화면을 예시한 도면이다.
단계(S260)에서 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영한 영상 위에 IoT 디바이스(100a)에 대한 제어 화면(20)을 출력할 수 있다. 제어 화면(20)은 공간 상에서 IoT 디바이스(100a)의 위치를 나타내는 정보(22)를 포함할 수 있다. 정보(22)에 표시되는 IoT 디바이스(100a)의 위치는 단계(S230)에서 획득된 사용자 단말(200)의 위치가 이용될 수 있다. 그리고 제어 화면(20)은 IoT 디바이스(100a)를 제어할 수 있는 사용자 인터페이스(21)를 포함할 수 있다. 도 5에서는 조명인 IoT 디바이스(100a)에 대해서, 조명의 밝기 레벨과 조명 지속 시간을 조정할 수 있는 예를 나타내었다.
이후 제어 화면(20)을 통한 사용자 입력에 따라 IoT 디바이스(100a)를 제어할 수 있다(S270). 사용자 단말(200)은 제어 화면(20)에서의 사용자 입력에 대응하는 제어 명령을 서비스 서버(300)로 전달할 수 있다. 그러면 서비스 서버(300)는 이를 다시 IoT 디바이스(100a)에 전달하여 제어 명령에 따른 동작을 하게 할 수 있다.
한편 실시예에 따라서 단계(S210) 내지 단계(S230)를 통해 IoT 디바이스(100a)에 매칭하여 사용자 단말의 위치 및/또는 자세 정보가 등록된 상태에서, 실제 공간과 떨어진 원격지에서 가상 현실 기반으로 IoT 디바이스(100a)에 대해 제어할 수도 있다.
서비스 서버(300)는 IoT 디바이스(100a)가 위치한 실제 공간에 대응하는 가상 공간을 생성하여, 사용자 단말(200) 또는 HMD(Head Mounted Display) 단말과 같은 가상 현실 지원 단말(도시하지 않음)을 통해 제공할 수 있다.
가상 공간에서 IoT 디바이스(100a)는 실제 공간에서의 위치에 대응하여 배치될 수 있다. 앞서 설명한 IoT 디바이스(100a)에 대해 매칭 등록된 사용자 단말의 위치 정보를 이용하여 가상 공간에서 IoT 디바이스(100a)의 위치를 정할 수도 있다.
사용자가 실제 공간에서 떨어진 원격지에서 사용자 단말(200) 또는 가상 현실 지원 단말을 이용하여 가상 공간에 접속하면, 서비스 서버(300)는 가상 공간 상에서 미리 정해진 위치 및 시점을 기준으로 사용자에게 가상 공간 화면을 제공할 수 있다.
그리고 사용자가 사용자 단말(200) 또는 가상 현실 지원 단말을 이용하여 가상 공간 상에서 사용자의 위치 및 시점을 변경하면, 서비스 서버(300)는 그에 대응하는 가상 공간 화면을 제공할 수 있다. 그리고 가상 공간 상에서 사용자의 위치 및 시점이 미리 정해진 조건을 만족하면, 서비스 서버(300)는 IoT 디바이스(100a)에 대한 제어 화면을 가상 공간에 표시할 수 있다.
다음으로 서비스 서버(300)는 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 IoT 디바이스(100a)를 제어하는 제어 명령을 전달할 수 있다.
지금까지는 IoT 디바이스가 이미 등록된 경우에 대해 설명하였다. 실시예에 따라서는 IoT 디바이스를 등록하는 과정에서 사용자 단말의 위치 및/또는 자세를 매칭 등록하고, 이를 통해 IoT 디바이스를 제어하는 것도 가능하다.
도 6은 본 발명의 일 실시예에 따른 IoT 디바이스 등록 과정을 설명하기 위해 제공되는 도면이다.
도 6을 참고하면, IoT 디바이스(100a)를 와이파이(Wi-Fi) 액세스포인트로 모드(AP 모드)로 동작시킬 수 있다(S610). 그러면 IoT 디바이스(100a)는 자신의 SSID 등을 포함하는 IoT AP 접속 정보를 브로드캐스팅할 수 있다(S620).
이후 사용자 단말(200)은 IoT AP 접속 정보를 이용하여 IoT 디바이스(100a)를 액세스포인트로 하여 접속할 수 있다(S630).
그리고 사용자 단말(200)은 Home AP 정보, 서비스 서버 정보, 사용자 단말 위치 및/또는 자세 정보를 IoT 디바이스(100a)에 전달할 수 있다(S640). 단계(S640)에서 사용자 단말 위치 및/또는 자세 정보는 IoT 디바이스(100a)를 포함한 공간을 사용자 단말(200)이 촬영할 때에 획득될 수 있다.
Home AP 정보는 액세스포인트(110)의 SSID, 비밀번호 등을 포함할 수 있다. 서비스 서버 정보는 IoT 디바이스(100a)가 서비스 서버(300)에 접속하여 자신을 등록하는데 필요한 정보를 포함할 수 있다.
IoT 디바이스(100a)는 단계(S540)에서 전달된 정보를 이용하여 액세스포인트(110)에 접속하고(S650), AP 모드를 종료할 수 있다(S660).
다음으로 IoT 디바이스(100a)는 액세스포인트(110)를 통해 서비스 서버(300)에 접속할 수 있다(S670).
이후 IoT 디바이스(100a)는 네트워크 관련 정보, IoT 디바이스 속성 관련 정보 및 사용자 단말 위치 및/또는 자세 정보를 서비스 서버(300)에 전달하여(S680), IoT 디바이스 등록을 수행할 수 있다(S690). 단계(S690)에서 IoT 디바이스(100a)에 사용자 단말 위치 및/또는 자세 정보를 매칭 등록할 수 있다.
이후 앞서 설명한 것과 같이 사용자 단말(200)의 위치 및/또는 자세가 미리 정해진 조건을 만족하면 IoT 디바이스(100a)에 대한 제어 화면을 자동으로 사용자 단말(200)의 화면에 출력되게 할 수 있다. 물론 가상 공간에 접속한 경우, 사용자 단말(200) 또는 가상 현실 지원 단말을 통해 표시되는 가상 공간 상에 IoT 디바이스(100a)에 대한 제어 화면이 표시되게 할 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 서버에 등록된 하나 이상의 IoT 디바이스를 포함하는 IoT 디바이스 목록을 사용자 단말의 화면에 표시하는 단계,
    상기 IoT 디바이스 목록에서 IoT 디바이스를 선택받는 단계,
    상기 사용자 단말이 상기 선택된 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계,
    상기 선택된 IoT 디바이스를 포함하는 실제 공간을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 상기 선택된 IoT 디바이스에 매칭하여 등록하는 단계,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고
    상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계
    를 포함하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  2. 제 1 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  3. 제 1 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  4. 제 1 항에서,
    상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하는 단계, 그리고
    상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계
    를 더 포함하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  5. 서버에 등록된 하나 이상의 IoT 디바이스를 포함하는 IoT 디바이스 목록을 화면에 표시하고, 상기 IoT 디바이스 목록에서 선택된 IoT 디바이스를 포함하는 실제 공간을 촬영하는 사용자 단말, 그리고
    상기 선택된 IoT 디바이스를 포함하는 실제 공간을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 상기 선택된 IoT 디바이스에 매칭하여 등록하는 서버
    를 포함하고,
    상기 사용자 단말은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하며,
    상기 서버는,
    상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  6. 제 5 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  7. 제 5 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  8. 제 5 항에서,
    상기 서버는,
    상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하며,
    상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
KR1020180037200A 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 KR102076647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180037200A KR102076647B1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180037200A KR102076647B1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190119206A KR20190119206A (ko) 2019-10-22
KR102076647B1 true KR102076647B1 (ko) 2020-02-12

Family

ID=68419994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180037200A KR102076647B1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102076647B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023027459A1 (ko) * 2021-08-23 2023-03-02 삼성전자 주식회사 증강현실 객체를 표시하는 웨어러블 전자 장치와 이의 동작 방법
EP4343516A4 (en) 2021-08-23 2024-04-24 Samsung Electronics Co Ltd PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
KR20240021536A (ko) * 2022-08-10 2024-02-19 삼성전자주식회사 피제어 장치를 관리하는 전자 장치 및 그 동작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160143450A (ko) * 2015-06-05 2016-12-14 (주)제로디 가상현실의 현실공간화 시스템
CN110275619A (zh) * 2015-08-31 2019-09-24 北京三星通信技术研究有限公司 在头戴式显示器中显示真实物体的方法及其头戴式显示器
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
KR20170108285A (ko) * 2016-03-17 2017-09-27 주식회사 이웃 증강현실 기술을 이용한 실내장치 제어시스템 및 방법

Also Published As

Publication number Publication date
KR20190119206A (ko) 2019-10-22

Similar Documents

Publication Publication Date Title
US11262903B2 (en) IoT device control system and method using virtual reality and augmented reality
US11064158B2 (en) Home monitoring method and apparatus
KR102076647B1 (ko) 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
US20170075328A1 (en) Method for controlling device
JP2012142907A (ja) ユーザインターフェースを変更する携帯端末、方法及びプログラム
US10771445B2 (en) Electronic device, server, electronic device controlling method, information processing method and recording medium
WO2017217713A1 (en) Method and apparatus for providing augmented reality services
TW201327467A (zh) 用於限制擴增覆蓋之方法、裝置、與電腦程式產品
WO2015075849A1 (ja) 通信方法
US20210058668A1 (en) Information processing terminal and system
CN113973195A (zh) 一种投影设备及其校正方法
JP2014230199A (ja) 制御装置及びプログラム
KR101726578B1 (ko) 모바일 원격 제어 장치
WO2023071655A1 (zh) 投屏处理方法、装置、设备和存储介质
CN115243084B (zh) 显示设备及设备互联方法
US10643304B2 (en) Image providing apparatus and method
KR101083292B1 (ko) 유비쿼터스 영상확인 가전제어 시스템 및 방법
WO2020244577A1 (zh) 一种基于位置的交互方法和交互系统
KR102343069B1 (ko) 3차원 기반의 실내위치 추정 장치 및 시스템
JP7292593B2 (ja) 管理サーバ、情報処理方法およびプログラム
KR101964661B1 (ko) 트래픽 감소를 위한 ｖｒ 영상의 공유 시스템
KR102557735B1 (ko) 전자 장치 및 그 동작 방법
JP2006222613A (ja) 遠隔制御装置及び被制御装置並びに制御システム
KR20190117843A (ko) ＩｏＴ 디바이스 측위 방법 및 시스템
JP7307392B1 (ja) 情報処理システム及びその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant