KR20220009244A - 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법 - Google Patents

가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법 Download PDF

Info

Publication number
KR20220009244A
KR20220009244A KR1020200087716A KR20200087716A KR20220009244A KR 20220009244 A KR20220009244 A KR 20220009244A KR 1020200087716 A KR1020200087716 A KR 1020200087716A KR 20200087716 A KR20200087716 A KR 20200087716A KR 20220009244 A KR20220009244 A KR 20220009244A
Authority
KR
South Korea
Prior art keywords
control
iot
iot device
virtual environment
interaction
Prior art date
Application number
KR1020200087716A
Other languages
English (en)
Inventor
정남준
채창훈
강동훈
박명혜
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020200087716A priority Critical patent/KR20220009244A/ko
Publication of KR20220009244A publication Critical patent/KR20220009244A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/38—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 VR 장치 및 IoT 기기를 연동하고, VR 장치를 이용 중에 사용자의 손동작에 따라 IoT 기기를 제어할 수 있는 인터랙션을 제공하고, 사용자의 설정에 따라 IoT 기기를 제어하는 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법에 관한 것이다.
본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치는 IoT 기기들과 하나의 네트워크를 통해 연결되어 상기 IoT 기기들을 제어하는 IoT 기기 제어 장치와, 가상환경 상에서 사용자의 손동작에 따라 IoT 기기를 제어하기 위한 인터랙션을 제공하고, 인터랙션에 의해 사용자가 변경한 설정을 기초로 IoT 기기가 제어되도록 하는 제어신호를 전송하는 VR 환경 제어 장치와, 상기 IoT 기기 제어 장치 및 상기 VR 환경 제어 장치를 연동하는 연동 장치를 포함한다.

Description

가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법{Control device and control method for controlling a real IoT device in a virtual environment}
본 발명은 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법에 관한 것으로, 보다 자세하게는 VR 장치 및 IoT 기기를 연동하고, VR 장치를 이용 중에 사용자의 손동작에 따라 IoT 기기를 제어할 수 있는 인터랙션을 제공하고, 사용자의 설정에 따라 IoT 기기를 제어하는 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법에 관한 것이다.
최근 VR(Virtual Reality) 기술의 발전으로 인해 각종 VR장치들이 등장하고 있으며, 이러한 VR 장치들은 주로 사용자의 머리에 착용되는 HMD(Head Mounted Display)로 구현될 수 있다.
사용자는 HMD를 착용하고 HMD를 통해 표시되는 VR 컨텐츠를 감상할 수 있다. HMD를 통해 표시되는 VR 컨텐츠는 사용자의 시야 전체에 표시되므로, 사용자는 보다 현장감 있는 VR 컨텐츠를 감상할 수 있다.
이러한, VR 컨텐츠는 단순히 영상을 보여주는 것에서 벗어나, 실제 현실에서의 기기들과의 연계를 활용한 컨텐츠 관련 기술들이 개발되고 있다. 예컨대, 적외선 리플랙터, 광 다이오드와 같은 센서들과 연계하여 사용자가 실제 현실에서 전진, 후진, 점프, 걷기 등의 모션을 수행하는 경우, 이를 감지하여 가상환경에서 그대로 구현이 가능할 수 있다.
그러나, 사용자가 HMD를 착용하여 실제 현실과 차단된 상황에서, 실제 현실 내의 기기들을 가동시키려는 경우, 사용자는 VR 컨텐츠를 종료하고, HMD를 벗은 후, 가동시키려는 기기들을 조작해야만 한다. 이로 인해, VR 컨텐츠를 이용하는 데 몰입감이 감소되는 문제가 있다.
특허 제10-2016-0166753호(현실과 사이버 세상을 연계한 IoT 기반 O2O 도망자 추적 게임 시스템 및 방법)는 HTTP/CoAP 프로토콜을 이용하는 각 클라이언트는 추적자와 도망자 중 하나를 선택하고, 각 클라이언트 상호 간에 자신의 위치 정보를 GPS를 이용하여 계산하여 게임을 진행하는 도망자 추적 시스템에 관한 것이다. 그러나, 이 특허는 단지 GPS 정보를 대상으로 취득하여 그 정보를 게임에 활용하는 수준이며, 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션(Leapmotion) 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 특허 제10-2009-0080941(가상 공간과 현실 공간을 연계한 로봇 게임 시스템)은 일정한 공간이 허락된 스테이지에서 로봇들이 제어되고 움직이는 동작을 스테이지를 촬영하는 가시광선 카메라 및 적외선 카메라 촬영 정보를 게임에 반영하여 로봇의 움직임을 사이버 공간에서 추적하는 게임 시스템에 관한 것이다. 이 특허는 가시광선 카메라 및 적외선 카메라 정보만을 대상으로 취득하여 그 정보를 게임에 이용하는 특징으로, 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 제10-2017-0132230호(CPS 기술을 활용한 공장 간 가상화 연동 서비스 방법)은 CPS(Cyber Physical System) 기술을 활용하여 유사한 공장의 공장 간 가상화 연동 서비스 방법에 관한 것이다. 이 특허는 공장운영시스템 및 IoT시스템으로부터 정보를 수집하여 가상화하고 분석하는 것으로, 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 제10-2016-0163168호(만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법)은 생활 밀착형 가상현실 비즈니스 플랫폼을 사용하고 체험하기 위한 정보수단인 스마트폰, IoE디바이스, PC/테블릿 PC, 스마트TV, 3D/4D디바이스, 모바일기기 등이 포함된 사용자 단말기를 가상현실과 현실세계에서 연동하기 위한 플랫폼 모델에 관한 것이다. 이 특허는 특수 목적으로 사용하는 가상현실 콘텐츠의 대중화 소외 부분을 생활과 밀접한 주변 기기들의 정보를 가상현실에 연계하는 플랫폼의 개념적 비즈니스 모델을 목표로 하는 것으로, 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 제10-2016-0182887(로봇을 이용하여 사용자에게 피드백을 제공하는 VR-로봇 연동 시스템 및 방법)은 VR 컨텐츠의 좌표계를 활용하여 오브젝트의 데이터를 획득하고, 트래킹 센서를 활용하여 현실에 참여하는 사용자의 신체 움직임 좌표 데이터를 획득하여 VR 콘텐츠상에 로봇 데이터를 생성하는 것이다. 이 특허는 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 제10-2016-0177446호(차량과 연계된 3D 콘텐츠 제공 장치 및 그 방법)은 카메라로부터 촬영 영상을 수신하고, 장착된 센서 정보와 진단 모듈로부터 주행속도, 스티어링 휠 정보, 고도 정보 등을 촬영 영상에 증강하야 가시화하는 특징을 갖는 시스템 및 방법에 관한 것이다. 이 특허는 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 제10-2012-0115042호(음성엔진과 인터렉티브 3차원 어플리케이션을 실시간으로 연동시키는 3차원 가상현실 컨트롤 미들웨어를 이용하는 3차원 가상현실 컨텐츠의 실시간 제어방법)은 사용자의 음성을 인식하는 음성엔진과 인터렉티브 3D 어플리케이션을 실시간 연동시키는 3D 가상현실 컨트롤 미들웨어 시스템을 특징으로 하며, 음성엔진은 음성을 인식하여 저장하였다가 음성신호에 대응하는 문자열을 검색하여 3D 오브젝트의 행동을 제어하는 것이다. 이 특허는 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
또한, 특허 제10-2018-0107097호(인터넷 서비스의 OCF 리소스 변환 및 연동 방법, 및 이를 수행하는 장치)는 IoT 표준의 하나인 Open Connectivity Foundation(OCF) 기반으로 홈 네트웍의 표준 또는 비표준 기기들간의 연동을 위한 플랫폼 모델을 제안하는 내용으로 OCF 표준 문서를 기반으로 인터넷 서비스 연동을 위한 방법을 제안하는 것이다. 이 특허는 현실 세계와 완전히 단절되도록 HMD를 착용한 상태에서 댁내의 홈 디바이스와 OCF 표준으로 연계하여, 각 디바이스를 제어할 수 있는 것이 아니다. 또한, HMD에 부착된 립모션 센서 정보를 활용하여 특정 콘트롤러 없이 손동작만으로 현실 세계의 기기와 인터페이스 할 수 있는 인터렉티브 연계 그리고 해당 기기를 직접 제어할 수 있는 것이 아니다.
본 발명은 앞에서 설명한 문제점을 해결하기 위한 것으로, VR 장치 및 IoT 기기를 연동하고, VR 장치를 이용 중에 사용자의 손동작에 따라 IoT 기기를 제어할 수 있는 인터랙션을 제공하고, 사용자의 설정에 따라 IoT 기기를 제어하는 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법을 제공하는 것을 목적으로 한다.
위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치는 IoT 기기들과 하나의 네트워크를 통해 연결되어 IoT 기기들을 제어하는 IoT 기기 제어 장치와, 가상환경 상에서 사용자의 손동작에 따라 IoT 기기를 제어하기 위한 인터랙션을 제공하고, 인터랙션에 의해 사용자가 변경한 설정을 기초로 IoT 기기가 제어되도록 하는 제어신호를 전송하는 VR 환경 제어 장치와, IoT 기기 제어 장치 및 VR 장치를 연동하는 연동 장치를 포함할 수 있다.
또한, IoT 기기 제어 장치는 OCF(Open Connectivity Foundation)를 기반으로 IoT 기기들과 연결되는 가상환경에서 IoT 기기를 제어할 수 있다.
또한, VR 환경 제어 장치는, 가상환경 상에서 사용자의 손동작을 인식하는 손동작 인식 모듈과, 손동작 인식 모듈에서 인식된 손동작에 따라 IoT 기기를 제어하기 위한 인터랙션을 제공하는 인터랙션 모듈과, 인터랙션 모듈에서 제공되는 인터랙션을 가상환경 상에 표시하는 표시 모듈과, 무선 네트워크를 통해 IoT 기기의 기기정보를 수신하고, 가상환경 상에서 변경된 IoT 기기의 설정을 기초로 실제 IoT 기기의 설정을 변경하기 위한 제어신호를 전송하는 통신 모듈을 포함할 수 있다.
또한, 인터랙션 모듈은, 손동작 인식 모듈에서 인식한 손동작이 손가락을 모두 편 손동작인 경우 제어할 IoT 기기를 선택하기 위한 인터랙션을 제공할 수 있다.
또한, 손동작 인식 모듈은 사용자의 양 손의 손동작을 각각 인식할 수 있고, 인터랙션 모듈은 IoT 기기를 선택하기 위한 인터랙션이 제공된 상태에서 손동작 인식 모듈이 다른 손의 검지 손가락만 펴진 손동작을 인식한 경우, 검지 손가락에 의해 선택되는 IoT 기기의 설정을 변경하기 위한 인터랙션을 제공할 수 있다.
또한, 통신 모듈은 IoT 기기가 제어신호에 의해 제어된 제어결과를 연동 장치로부터 수신하고, 표시 장치는 제어결과를 가상환경 상에 표시할 수 있다.
또한, 연동 장치는, OCF 자원 모델과 상기 VR 환경 제어 장치에서 요구되는 IoT 기기의 3D 모델에 관한 정보를 저장하는 저장 모듈과, OCF 기반의 프로토콜을 VR 장치에서 활용 가능한 프로토콜의 형태로 변환하는 변환 모듈과, VR 환경 제어 장치 및 IoT 기기 제어 장치간의 정보를 송수신하는 통신 모듈을 포함할 수 있다.
앞에서 설명한 목적을 달성하기 위한 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법은 가상환경 상에서 사용자의 손동작을 인식하는 단계와, 사용자의 손동작에 따라 IoT 기기들의 기기정보를 요청하는 단계와, 수신한 IoT 기기들의 기기정보를 기초로 IoT 기기를 제어하기 위한 인터랙션을 제공하고, 인터랙션에 의해 사용자가 변경한 설정을 기초로 IoT 기기가 제어되도록 하는 제어신호를 전송하는 단계와, IoT 기기가 제어신호에 의해 제어된 제어결과를 가상환경 상에 표시할 수 있다.
또한, IoT 기기들은 OCF(Open Connectivity Foundation)를 기반으로 무선 네트워크에 연결될 수 있다.
또한, 사용자의 손동작을 인식하는 단계는, 사용자의 양 손의 손동작을 각각 인식할 수 있다.
또한, 제어신호를 전송하는 단계는, 인식한 사용자의 손동작이 손가락을 모두 편 손동작인 경우 제어할 IoT 기기를 선택하기 위한 인터랙션을 제공할 수 있다.
또한, 제어신호를 전송하는 단계는, IoT 기기를 선택하기 위한 인터랙션이 제공된 상태에서 손동작 인식 모듈이 다른 손의 검지 손가락만 펴진 손동작을 인식한 경우, 검지 손가락에 의해 선택되는 IoT 기기의 설정을 변경하기 위한 인터랙션을 제공할 수 있다.
본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법은 VR 장치 및 IoT 기기를 연동하고, VR 장치를 이용 중에 사용자의 손동작에 따라 IoT 기기를 제어할 수 있는 인터랙션을 제공하고, 사용자의 설정에 따라 IoT 기기를 제어할 수 있다.
또한, VR 장치를 이용 중에 HMD를 벗지 않더라도 실제 현실에서의 IoT 기기들을 제어할 수 있어 VR 컨텐츠를 이용 시 몰입감의 감소를 방지할 수 있다.
또한, 가상환경에서 손동작을 통해 IoT 기기의 설정을 변경함으로써 별도의 컨트롤러 없이 IoT 기기를 제어할 수 있다.
이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.
도 1은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시 예에 따른 VR 환경 제어 장치의 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 IoT 기기 제어 장치의 구성을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 연동 장치의 구성을 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치의 구성을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 7은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 8은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 9는 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치의 제어 흐름을 나타내는 도면이다.
도 10은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법을 나타내는 도면이다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 시스템(10)은 제어장치(1000), VR 장치(300) 및 IoT 기기(300)를 포함할 수 있고, 제어장치(1000)는 VR 환경 제어 장치(100), IoT 기기 제어 장치(200) 및 연동 장치(400)를 포함할 수 있다.
VR 장치(500)는 가상현실을 구현해주는 장치로써, 예컨대, HMD(Head Mounted Display)를 포함할 수 있다. 사용자가 HMD를 착용하면, HMD를 통해 VR 컨텐츠를 구현할 수 있다. 예컨대, VR 컨텐츠는 게임, 교육, 홍보 등 다양한 분야를 포함할 수 있고, 사용자는 원하는 VR 컨텐츠를 HMD를 통해 이용할 수 있다.
또한, VR 장치(500)는 적외선 리플렉터, 광다이오드 등의 센서와의 연계를 통해 체감형 VR 컨텐츠를 구현할 수 있다. 예컨대, 사용자가 VR 컨텐츠를 이용하면서 실제로 전진, 후진, 걷기, 점프 등의 모션을 수행하는 경우, VR 장치(500)는 사용자의 모션을 감지하여 VR 컨텐츠 상에서 구현할 수 있다.
VR 환경 제어 장치(100)는 VR 장치(500)를 제어할 수 있다. VR 환경 제어 장치(100)는 VR 장치(500)로 제어신호를 전송할 수 있고, VR 장치(500)는 제어신호를 기초로 제어될 수 있다. 예컨대, VR 환경 제어 장치(100)는 프로세서일 수 있다.
IoT 기기 제어 장치(200)는 다수의 IoT 기기들(300)과 하나의 네트워크로 연결되어 다수의 IoT 기기들(300)을 제어할 수 있다. 여기서, IoT 기기(300)는 사물 인터넷(IoT: Internet of Things)이 가능한 기기일 수 있고, 사물 인터넷은 사물에 센서 및 통신 기능을 내장하여 인터넷에 연결하는 것으로, 무선 통신을 통해 여러 사물을 연결할 수 있다.
연동 장치(400)는 VR 환경 제어 장치(100) 및 IoT 기기 제어 장치(200)를 연동할 수 있다. 연동 장치(400)는 VR 환경 제어 장치(100) 및 IoT 기기 제어 장치(200)가 연동될 수 있도록 표준화되지 않은 정보들을 연계하여 통신이 가능하도록 지원할 수 있다. 예컨대, 연동 장치(400)는 OCF(Open Connectivity Foundation)를 기반으로 VR장치(100) 및 IoT 기기 제어 장치(200)를 연동할 수 있다.
본 발명의 실시 예에 따른 가상환경에서 IoT 기기(300)를 제어하기 위한 시스템(10)은 사용자가 VR 장치(500)를 이용하는 중에 IoT 기기(300)를 제어하려는 경우, VR 컨텐츠 내에 IoT 기기(300)를 제어하기 위한 인터랙션을 제공할 수 있다. 연동 장치(400)에 의해 VR 환경 제어 장치(100) 및 IoT 기기 제어 장치(200)가 연동될 수 있으므로, VR 환경 제어 장치(100)에 의해 VR 컨텐츠 내에는 IoT 기기(300)의 현재 상태 및 변경할 수 있는 설정이 표시될 수 있고, 사용자가 VR 컨텐츠 내에서 IoT 기기(300)의 설정을 변경하는 경우, 실제 IoT 기기(300)의 설정의 변경이 가능할 수 있다.
일 실시 예에 따라, VR 환경 제어 장치(100)는 사용자의 손동작을 인식하고, 인식된 손동작에 따른 인터랙션을 제공하고, 제공된 인터랙션을 통해 사용자가 IoT 기기(300)의 설정을 변경하면, 해당 IoT 기기(300)는 변경된 설정에 따라 제어될 수 있다.
한편, 본 발명의 실시 예에 따르면 VR 환경 제어 장치(100), 연동 장치(400) 및 IoT 기기 제어 장치(200)를 별도의 구성으로 설명하였으나, 일 실시 예에 따라, 연동 장치(400)는 VR 환경 제어 장치(100)에 포함되는 일 구성일 수 있고, 다른 일 실시 예에 따라 IoT 기기 제어 장치(300)에 포함되는 일 구성일 수도 있다.
도 2는 본 발명의 실시 예에 따른 VR 환경 제어 장치의 구성을 나타내는 도면이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 VR 환경 제어 장치(100)는 손동작 인식 모듈(110), 인터랙션 모듈(120), 표시 모듈(130) 및 통신 모듈(140)을 포함할 수 있다.
손동작 인식 모듈(110)은 사용자의 손동작을 인식할 수 있다. 손동작 인식 모듈(110)은 립모션 센서를 포함할 수 있고, 립모션 센서를 통해 사용자의 손동작을 인식할 수 있다. 본 발명의 실시 예에 따르면 손동작 인식 모듈(110)은 사용자가 HMD를 착용하고 VR 컨텐츠를 이용하는 중일 때 사용자의 손동작을 인식하는 것일 수 있다. 예컨대, 손동작 인식 모듈(110)은 가상환경 상에서 사용자가 취하는 손동작을 인식할 수 있다.
손동작 인식 모듈(110)은 인식되는 손의 방향이 손등을 향하는 방향인지 손바닥을 향하는 방향인지 인식할 수 있고, 손가락 중 펼쳐지거나 접힌 손가락의 개수 또는 위치(몇 번째 손가락인지)를 인식할 수 있다. 손동작 인식 모듈(110)이 인식하는 손동작을 상기와 같이 기재하였으나, 이에 한정되지 않고 물건을 잡는 모션, 주먹을 쥐는 모션, 손가락을 하나씩 펼치거나 접는 모션 등 사용자가 취할 수 있는 손동작에 대해 모두 인식이 가능할 수 있다.
인터랙션 모듈(120)은 손동작 인식 모듈(110)에서 인식한 손동작에 따라 IoT 기기(300)를 제어하기 위한 인터랙션을 제공할 수 있다. 예컨대, 손동작 인식 모듈(110)에서 손가락이 모두 펴진 손동작을 인식한 경우, 인터랙션 모듈(120)은 복수의 IoT 기기(300) 중 설정을 변경할 IoT 기기(300)를 선택할 수 있도록 인터랙션을 제공할 수 있다. 이때, 제공되는 인터랙션은 표시 모듈(130)을 통해 표시될 수 있다.
또한, 손동작 인식 모듈(110)에서 검지 손가락만 펴진 손동작을 인식한 경우, 인터랙션 모듈(120)은 선택된 IoT 기기(300)의 설정을 변경할 수 있도록 인터랙션을 제공할 수 있다. 예컨대, 사용자가 선택한 IoT 기기(300)가 에어컨인 경우, 인터랙션 모듈(120)은 전원, 온도 조절, 모드 조절 등의 에어컨의 설정을 변경하기 위한 인터랙션을 제공할 수 있다. 이때, 제공되는 인터랙션은 표시 모듈(130)을 통해 표시될 수 있다.
표시 모듈(130)은 손동작 인식 모듈(110)에서 인식한 손동작에 따라 인터랙션 모듈(120)에서 제공하는 인터랙션을 표시할 수 있다. 일 실시 예에 따라, 표시 모듈(120)은 인터랙션 모듈(120)에서 제공하는 인터랙션에 따라, 연동 장치(400)를 통해 수신된 IoT 기기(300)의 상태를 HMD를 통해 표시할 수 있다. IoT 기기(300)의 상태가 HMD를 통해 표시되는 것은 VR 컨텐츠 상에서 표시되는 것으로서, HMD를 착용하고 있는 사용자는 가상 환경 상에서 이를 확인할 수 있다.
또한, 표시 모듈(130)은 인터랙션 모듈(120)에서 제공하는 인터랙션에 따라, 선택된 IoT 기기(300)의 변경 가능한 설정을 HMD를 통해 표시할 수 있다. IoT 기기(300)의 변경 가능한 설정이 HMD를 통해 표시되는 것은 VR 컨텐츠 상에서 표시되는 것으로서, HMD를 착용하고 있는 사용자는 가상 환경 상에서 이를 확인할 수 있다.
또한, 표시 모듈(130)은 IoT 기기(300)의 상태가 VR 환경 제어 장치(100)의 제어신호에 의해 변경된 후, 연동 장치(400)를 통해 수신되는 IoT 기기(300)의 상태를 HMD를 통해 표시할 수 있다. IoT 기기(300)의 상태가 HMD를 통해 표시되는 것은 VR 컨텐츠 상에서 표시되는 것으로서, HMD를 착용하고 있는 사용자는 가상 환경 상에서 이를 확인할 수 있다. 이에 따라, 사용자는 IoT 기기(300)가 원하는 설정으로 정상적으로 제어되었음을 확인할 수 있다.
통신 모듈(140)은 무선 네트워크를 통해 연동 장치(400)와 통신할 수 있다. 통신 모듈(140)은 연동 장치(400)로부터 IoT 기기(300)의 정보를 수신할 수 있다. 예컨대, 통신 모듈(140)은 IoT 기기(300)의 설정을 변경하기 위해 IoT 기기(300)의 현재 상태에 대한 정보를 연동 장치(400)로부터 수신할 수 있고, IoT 기기(300)의 설정을 변경한 후, IoT 기기(300)의 설정이 정상적으로 변경되었는지 확인하기 위해 IoT 기기(300)의 변경된 상태에 대한 정보를 연동 장치(400)로부터 수신할 수 있다. 여기서, 통신 모듈(140)은 연동 장치(400)로 IoT 기기(300)의 현재 상태에 대한 정보를 요청하는 신호를 전송할 수 있다.
또한, 통신 모듈(140)은 사용자가 IoT 기기(300)의 설정을 변경하는 경우, IoT 기기(300)의 설정을 변경하기 위한 제어신호를 연동 장치(400)로 전송할 수 있다. 이에 연동 장치(400)는 수신한 제어신호를 IoT 기기 제어 장치(200)로 전송하여 IoT 기기(300)가 사용자의 제어에 따라 설정을 변경하도록 할 수 있다.
도 3은 본 발명의 실시 예에 따른 IoT 기기 제어 장치의 구성을 나타내는 도면이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 IoT 기기 제어 장치(200)는 기기 정보 관리 모듈(210), 제어정보 관리 모듈(220) 및 기기 제어 모듈(230)을 포함할 수 있다.
기기 정보 관리 모듈(210)은 스마트 홈 네트워크로 관리되는 IoT 기기(300)들의 기본 정보를 관리하고, IoT 기기(300)의 현재 상태에 관한 정보를 신규 정보로 유지할 수 있다. 여기서, IoT 기기(300)들의 기본 정보는 기기 종류, IP, On/Off 상태 등을 포함할 수 있다.
또한, 기기 정보 관리 모듈(210)은 연동 장치(400)로 IoT 기기(300)의 상태 정보를 제공할 수 있다. 연동 장치(400)는 기기 정보 관리 모듈(210)에서 제공된 IoT 기기(300)의 상태 정보를 저장하고 있다가 VR 환경 제어 장치(100)에서 IoT 기기(200)의 상태 정보를 요청하는 경우 VR 환경 제어 장치(100)로 저장되어 있는 IoT 기기(300)의 상태 정보를 제공할 수 있다.
제어정보 관리 모듈(220)은 VR 환경 제어 장치(100)에서 요청된 IoT 기기(300)의 제어 명령을 로그 단위로 관리하고, 제어 결과를 관리할 수 있다. 즉, VR 환경 제어 장치(100)에서 IoT 기기(300)의 설정을 변경하기 위한 제어를 수행하는 경우, 연동 장치(400)는 VR 환경 제어 장치(100)로부터 설정 변경을 위한 제어신호를 수신하고, 수신된 제어신호를 IoT 기기 제어 장치(200)로 전송할 수 있다. 제어정보 관리 모듈(220)은 수신된 제어신호를 관리하고, 수신된 제어신호에 의해 IoT 기기(300)가 제어된 결과를 관리할 수 있다.
기기 제어 모듈(230)은 연동 장치(400)를 통해 VR 환경 제어 장치(100)로부터 수신되는 IoT 기기(300)를 제어하기 위한 제어신호를 기초로 해당 IoT 기기(300)를 제어할 수 있다.
도 4는 본 발명의 실시 예에 따른 연동 장치의 구성을 나타내는 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 연동 장치(400)는 저장 모듈(410), 변환 모듈(420) 및 통신 모듈(430)을 포함할 수 있다.
연동 장치(400)는 VR 환경 제어 장치(100)와 IoT 기기 제어 장치(200)를 네트워크를 통해 연결할 수 있다. 본 발명의 실시 예에 따르면 IoT 기기 제어 장치(200)는 홈 네트워크 기반의 IoT 국제 표준인 OCF(Open Connectivity Foundation)를 기반으로 IoT 기기(300)들과 연결되어 있을 수 있다. 연동 장치(400)는 OCF 표준을 갖는 IoT 기기 제어 장치(200)와 VR 컨텐츠의 표준화되지 않은 정보들을 상호 연동하여 통신이 가능하도록 지원할 수 있다. 예컨대, 연동 장치(400)는 OCF 정보 모델을 참고하여 OCF 기반 제어 정보를 일반 VR 컨텐츠에서 활용 가능한 상태의 명령으로 변환하여 송수신할 수 있다.
구체적으로, 저장 모듈(410)은 OCF 자원(resource) 모델과 VR 컨텐츠에서 요구되는 IoT 기기(300)의 3D 모델과 일치하는 정보 모델을 저장하고 관리할 수 있다. 저장 모듈(410)은 OCF 기기와 비OCF 기기의 호환을 지원할 수 있다.
변환 모듈(420)은 OCF에서 사용하는 CRUDN(Create, Retrieve, Update, Delete, Notify) 동작 기반의 일반적인 Restful 메시징 프로토콜과 일반 컨텐츠를 연결하는 Http Request/Response 기반의 명령과 프로토콜 형태를 정의 및 관리하고 변환하여 처리할 수 있다.
또한, 변환 모듈(420)은 IoT 기기 제어 장치(200)로부터 전송된 데이터를 저장 모듈(410)에 파싱하고, VR 컨텐츠의 클래스로 인스턴스화 할 수 있다. 이때, 각 IoT 기기들(300)의 특성과 값에 따라 생성되는 클래스가 달라지고 액션에 대한 정의도 달라질 수 있다.
통신 모듈(430)은 VR 환경 제어 장치(100) 및 IoT 기기 제어 장치(200) 사이에서 정보를 송수신할 수 있다. 예컨대, 통신 모듈(530)은 OCF 표준에 따라 JSON 형태의 데이터를 Restful API를 통해 주고받을 수 있다.
도 5는 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치의 구성을 나타내는 도면이다.
도 5를 참조하면, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치(1000)는 프로세서(600), 통신장치(700) 및 메모리(800)를 포함할 수 있다.
프로세서(600)는 사용자가 VR 장치(500)를 이용하는 중에 IoT 기기(300)를 제어하려는 경우, VR 컨텐츠 내에서 사용자의 손동작을 인식하고, 인식된 손동작을 기초로 IoT 기기(300)를 제어하기 위한 인터랙션을 제공할 수 있다. 또한, VR 컨텐츠 내에서 실제 IoT 기기(300)를 제어하기 위해 VR 컨텐츠 또는 IoT 기기(300)로 정보를 전송 시, 해당 기기의 프로토콜로 정보를 변환할 수 있다.
통신장치(700)는 사용자에 의해 변경되는 IoT 기기(300)의 설정에 대한 제어신호를 IoT 기기(300)로 전송하고, 제어신호에 의해 변경이 완료된 IoT 기기(300)의 상태를 VR 장치(500)로 전송할 수 있다.
또한, 메모리(800)는 IoT 기기(300)들의 기기 정보 및 상태 정보를 저장할 수 있다. 프로세서(600)에서 IoT 기기(300)를 제어하기 위해 IoT 기기(300)들의 기기 정보 및 상태 정보를 요청하는 경우, 저장되어 있는 IoT 기기(300)들의 기기 정보 및 상태 정보를 제공할 수 있다.
도 6은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 6을 참조하면, 사용자가 VR 장치(500)를 이용하고 있는 중에 IoT 기기(300)를 제어하고자 할 때, VR 장치(500)를 통해 표시되는 화면을 나타낼 수 있다. 사용자가 HMD를 착용하고 VR 컨텐츠를 이용하는 중에 IoT 기기를 제어하려고 하는 경우, 특정 손동작을 할 수 있고, VR 환경 제어 장치(100)는 사용자의 손동작을 인식할 수 있다. 여기서, 사용자는 HMD를 착용하여 출력되는 가상환경 상에 자신의 손이 보이도록 모션을 취할 수 있다. 여기서, HMD에는 립모션 센서가 부착되어 있을 수 있으며, 립모션 센서는 사용자의 손동작을 인식할 수 있다.
VR 환경 제어 장치(100)는 립모션 센서에서 인식한 사용자의 손동작에 따라 IoT 기기(300)를 제어하기 위한 인터랙션을 표시할 수 있다. 예컨대, 립모션 센서에서 인식한 사용자의 손동작이 오른손의 손가락을 모두 편 손동작인 경우 VR 환경 제어 장치(100)는 제어 가능한 IoT 기기(300)의 목록을 가상환경 상에 표시할 수 있다. 여기서, VR 환경 제어 장치(100)는 연동 장치(400)로부터 IoT 기기(300)의 기기정보를 수신하여 가상환경 상에 표시하는 것일 수 있다.
제어 가능한 IoT 기기(300)는 현관문, TV, 에어컨 등일 수 있고, VR 환경 제어 장치(100)는 각각의 IoT 기기(300)를 가상 환경 상에 표시할 수 있다. 이때, VR 환경 제어 장치(100)는 제어가능한 각각의 IoT 기기들(300)의 종류만을 표시할 수 있고, 각 IoT 기기들(300)의 현재 상태를 같이 표시할 수도 있다. 도 5에 도시된 일 실시 예에 따르면, VR 환경 제어 장치(100)는 현관문의 경우 현재 상태가 Lock인지 또는 Open인지를 표시할 수 있다. 일 실시 예에 따라 표시되는 현관문의 상태는 현재 현관문의 상태와 반대되는 상태일 수 있다. 또한, VR 환경 제어 장치(100)는 TV의 현재 상태가 On인지 또는 Off인지를 표시할 수 있다. 일 실시 예에 따라, 표시되는 TV의 상태는 현재 TV의 상태와 반대되는 상태일 수 있다. 또한, VR 환경 제어 장치(100)는 에어컨의 경우 온도 조절을 표시할 수 있고, 현재 에어컨의 온도를 같이 표시할 수 있다.
또한, 립모션 센서에서 인식한 사용자의 손동작이 검지 손가락만 편 손동작인 경우, 검지 손가락이 가리키는 IoT 기기(300)를 인식할 수 있다. 여기서, 사용자는 오른손의 손가락을 펼쳐 제어가능한 IoT 기기(300)의 목록이 표시된 상태일 수 있으며, 왼손을 이용하여 표시된 IoT 기기(300) 중 하나를 선택할 수 있다. 즉, 립모션 센서는 양 손에 대해 각각의 모션을 감지할 수 있다. 립모션 센서는 검지 손가락의 끝이 최종적으로 멈추는 지점 또는 터치되는 지점을 감지할 수 있고, VR 환경 제어 장치(100)는 해당 지점에 표시된 IoT 기기(300)를 제어하기 위한 인터랙션을 표시할 수 있다.
도 7은 본 발명의 실시 예에 따른 가상환경 상에서 실제 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 7을 참조하면, 사용자가 제어가능한 IoT 기기들(300) 중 에어컨을 선택한 경우에 에어컨의 온도를 조절하기 위한 인터랙션을 나타낼 수 있다. 여기서, 에어컨의 온도의 경우, 여러 단계로 구분되어 원하는 온도로 조절을 해야한다. 이런 설정의 변경의 경우 VR 환경 제어 장치(100)는 원하는 온도로 조절이 가능하도록 드래그할 수 있는 인터랙션을 제공할 수 있다. 이때, 사용자는 왼손의 검지 손가락을 이용하여 제어창을 드래그할 수 있으며, 제어창을 드래그하면서 원하는 온도로 설정할 수 있다. 이때, 립모션 센서를 통해 사용자가 제어창을 드래그하고 있음을 감지할 수 있으며, VR 환경 제어 장치(100)는 사용자의 손가락을 따라 드래그 되는 제어창을 HMD를 통해 표시할 수 있다. 또한, VR 환경 제어 장치(100)는 사용자의 손가락에 따라 드래그 시 변화될 온도를 HMD를 통해 표시할 수 있고, 이를 통해 사용자는 원하는 온도로 제어가 가능할 수 있다.
한편, 도 7에서는 에어컨의 온도를 설정하기 위해 제어창을 드래그하는 것으로 나타내었으나, 이에 한정되지 않고, VR 컨텐츠 상에 표시되는 온도 중 원하는 온도를 선택하거나, VR 컨텐츠 상에 표시되는 숫자판을 이용하여 온도를 직접 설정할 수도 있다. 또한, VR 컨텐츠 상에는 온도를 올리기 위한 화살표 및 온도를 내리기 위한 화살표가 표시될 수 있고, 화살표를 터치함으로써 원하는 온도로 제어할 수도 있다.
이때, IoT 기기(300)의 설정이 상호보완적인 설정(예컨대, On 또는 Off)인 경우, VR 환경 제어 장치(100)는 사용자에 의해 선택되는 IoT 기기(300)의 설정을 다른 설정으로 바로 변경할 수 있다. 예컨대, 꺼져있는 TV를 켜려는 경우, VR 환경 제어 장치(100)는 TV를 온(On)할 수 있는 인터랙션을 제공할 수 있고, 사용자가 TV를 선택하는 경우, VR 환경 제어 장치(100)는 별도의 설정을 변경하기 위한 인터랙션을 표시하지 않고 곧바로 TV를 온할 수 있는 제어신호를 전송할 수 있다. 이때, VR 환경 제어 장치(100)는 TV와 함께 On을 표시할 수 있고, 사용자가 TV를 선택함에 따라 TV를 온할 수 있는 제어신호를 전송할 수 있다.
도 8은 본 발명의 실시 예에 따른 VR 장치를 통해 IoT 기기를 제어하기 위한 예시를 나타내는 도면이다.
도 8을 참조하면, VR 환경 제어 장치(100)는 사용자의 제어에 따라 IoT 기기(300)의 설정이 변경된 결과를 가상환경 상에 표시할 수 있다. 예컨대, 사용자가 현관문의 unlock을 선택한 경우 VR 환경 제어 장치(100)는 현관문을 여는 신호를 연동 장치(400)로 전송할 수 있고, 연동 장치(400)는 현관문을 여는 신호를 IoT 기기 제어 장치(200)로 전송할 수 있다. IoT 기기 제어 장치(200)는 수신된 현관문을 여는 신호를 기초로 현관문이 오픈되도록 현관문을 제어할 수 있다.
또한, IoT 기기 제어 장치(200)는 제어신호에 의한 제어 결과, 현관문이 정상적으로 열렸음을 알리는 신호를 연동 장치(400)로 전송할 수 있고, 연동 장치(400)는 현관문이 열렸음을 알리는 신호를 VR 환경 제어 장치(100)로 전송할 수 있다. VR 환경 제어 장치(100)는 연동 장치(400)로부터 수신한 제어 결과를 HMD를 통해 가상환경 상에 표시해줌으로써 IoT 기기(300)가 정상적으로 제어되었음을 사용자가 확인할 수 있도록 할 수 잇다.
도 9는 본 발명의 실시 예에 따른 가상환경에서 IoT 기기를 제어하기 위한 시스템의 제어 방법을 나타내는 도면이다.
도 9를 참조하면, IoT 기기 제어 장치(200)는 IoT 기기들(300)의 기기 정보를 연동 장치(400)로 제공할 수 있다(S10). 여기서, IoT 기기(300)들의 기기 정보는 기기 종류, IP, On/Off 상태 등을 포함할 수 있다. IoT 기기 제어 장치(200)는 홈 네트워크 기반의 IoT 국제 표준인 OCF(Open Connectivity Foundation)를 기반으로 IoT 기기(300)들과 연결되어 있을 수 있다.
연동 장치(400)는 IoT 기기 제어 장치(200)로부터 수신한 기기 정보를 저장 및 관리할 수 있다(S11). 연동 장치(400)는 IoT 기기 제어 장치(200)와 무선 네트워크를 통해 연결될 수 있고, 연동 장치(400)는 OCF 표준을 갖는 IoT 기기 제어 장치(200)와 VR 컨텐츠의 표준화되지 않은 정보들을 상호 연동하여 통신이 가능하도록 지원할 수 있다.
VR 환경 제어 장치(100)는 HMD를 착용한 상태에서 구현되는 가상 환경 내에서 사용자의 손동작을 인식할 수 있다(S12). 여기서, VR 환경 제어 장치(100)는 립모션 센서를 포함할 수 있고, 립모션 센서가 특정 손동작을 인식할 경우, IoT 장치(100)를 제어하려는 것으로 판단할 수 있다.
VR 환경 제어 장치(100)는 연동 장치(400)로 기기 정보를 요청할 수 있다(S13). VR 환경 제어 장치(100)는 IoT 기기(300)를 제어하기 위해 제어가능한 IoT 기기(300)의 목록, IoT 기기(300)들의 현재 상태 등을 요청할 수 있다.
연동 장치(400)는 VR 환경 제어 장치(100)로 기기 정보를 제공할 수 있다(S14). 연동 장치(400)는 IoT 기기 제어 장치(200)로부터 수신하여 저장하고 있는 IoT 기기(300)들의 기기 정보를 VR 환경 제어 장치(100)로 제공하는 것일 수 있다.
여기서, 연동 장치(400)는 OCF에서 사용하는 CRUDN(Create, Retrieve, Update, Delete, Notify) 동작 기반의 일반적인 Restful 메시징 프로토콜과 일반 컨텐츠를 연결하는 Http Request/Response 기반의 명령과 프로토콜 형태를 정의 및 관리하고 변환하여 처리할 수 있다.
VR 환경 제어 장치(100)는 IoT 기기들(300)의 제어를 위한 인터랙션을 제공할 수 있다(S15). 즉, VR 환경 제어 장치(100)는 연동 장치(400)로부터 수신한 기기 정보를 표시하고, 제어가능한 IoT 기기들(300)을 선택할 수 있는 인터랙션을 제공할 수 있다. 또한, VR 환경 제어 장치(100)는 선택된 IoT 기기(300)의 설정을 변경할 수 있는 인터랙션을 제공할 수 있다.
이에 따라, VR 환경 제어 장치(100)는 IoT 기기(300)의 설정의 변경이 입력될 수 있다(S16). 즉, 사용자는 HMD를 통해 표시되는 인터랙션을 통해 IoT 기기(300)의 설정을 변경할 수 있고, VR 환경 제어 장치(100)는 사용자에 의해 변경되는 설정을 입력받을 수 있다.
VR 환경 제어 장치(100)는 사용자의 제어에 의해 IoT 기기(300)의 설정을 변경하기 위한 제어신호를 연동 장치(400)로 제공할 수 있다(S17).
연동 장치(400)는 VR 환경 제어 장치(100)로부터 수신한 제어신호를 IoT 기기 제어 장치(200)로 제공할 수 있다(S18).
IoT 기기 제어 장치(200)는 연동 장치(400)로부터 수신한 제어신호를 기초로 IoT 기기(300)를 제어할 수 있다(S19). 예컨대, 사용자가 VR 환경 제어 장치(100)를 통해 TV가 켜지도록 설정한 경우, IoT 기기 제어 장치(200)는 연동 장치(400)로부터 수신한 제어신호를 기초로 TV가 켜지도록 제어할 수 있다.
IoT 기기 제어 장치(200)는 연동 장치(400)로 제어결과를 제공할 수 있다(S20). IoT 기기 제어 장치(200)는 제어신호에 의해 IoT 기기(300)를 제어하고, IoT 기기(300)가 제어된 제어결과를 연동 장치(400)로 제공할 수 있다. 예컨대, IoT 기기 제어 장치(200)는 TV를 켜라는 제어신호를 기초로 TV가 켜지도록 제어하고, 제어된 결과를 연동 장치(400)로 제공할 수 있다.
연동 장치(400)는 IoT 기기 제어 장치(200)로부터 수신한 제어결과를 VR 환경 제어 장치(100)로 제공할 수 있다(S21).
VR 환경 제어 장치(100)는 연동 장치(400)로부터 제공된 제어결과를 VR 컨텐츠 상에 표시할 수 있다(S22). 이에 따라, VR 컨텐츠를 이용중인 사용자가 IoT 기기(300)가 정상적으로 제어되었는지 확인할 수 있도록 할 수 있다.
도 10은 본 발명의 실시 예에 따른 가상환경에서 IoT 기기를 제어하기 위한 방법을 나타내는 도면이다.
도 10을 참조하면, VR 환경 제어 장치(100)는 사용자의 손동작을 인식할 수 있다(S100). 여기서, 사용자는 HMD를 착용하고 VR 컨텐츠를 이용하는 중일 수 있고, 사용자가 실제로 취하는 손동작은 VR 컨텐츠 내에서 구현될 수 있다. 립모션 센서는 사용자가 실제로 취하는 송동작을 감지할 수 있고, 감지된 손동작은 가상환경 상에 표시될 수 있다.
VR 환경 제어 장치(100)는 특정 손동작이 인식되는 경우 IoT 기기들(300)의 기기정보를 수신할 수 있다(S110). VR 환경 제어 장치(100)는 특정 손동작이 인식되는 경우 사용자가 IoT 기기(300)를 제어하기를 원하는 것으로 판단할 수 있고, 제어가능한 IoT 기기들(300)의 기기정보를 연동 장치(400)로 요청할 수 있다. VR 환경 제어 장치(100)는 연동 장치(400)로부터 제어가능한 IoT 기기들(300)의 기기정보를 수신할 수 있다.
VR 환경 제어 장치(100)는 가상환경 상에 IoT 기기들(300)의 목록을 표시할 수 있다(S120). VR 환경 제어 장치(100)는 수신한 기기정보를 기초로 IoT 기기들(300)의 목록을 표시하여 사용자가 제어를 원하는 IoT 기기(300)를 선택할 수 있도록 할 수 있다.
VR 환경 제어 장치(100)는 선택된 IoT 기기(300)이 설정 변경을 위한 인터랙션을 제공할 수 있다(S130). 여기서, 사용자에 의해 선택된 IoT 기기(300)에 따라 제공되는 인터랙션은 상이할 수 있다.
VR 환경 제어 장치(100)는 입력되는 설정에 따라 IoT 기기(300)의 제어를 위한 제어신호를 전송할 수 있다(S140). VR 환경 제어 장치(100)는 사용자가 IoT 기기(300)의 설정을 변경하며, 변경된 설정으로 IoT 기기(300)가 제어되도록 제어신호를 연동 장치(400)로 전송할 수 있다.
연동 장치(400)는 VR 환경 제어 장치(100)로부터 수신한 제어신호를 IoT 기기 제어 장치(200)로 제공하고, IoT 기기 제어 장치(200)는 수신한 제어신호를 기초로 IoT 기기(300)를 제어할 수 있다. IoT 기기 제어 장치(200)는 제어신호에 의해 제어된 IoT 기기(300)의 제어결과를 연동 장치(400)로 제공할 수 있고, 연동 장치(400)는 수신한 제어결과를 VR 환경 제어 장치(100)로 제공할 수 있다.
VR 환경 제어 장치(100)는 IoT 기기(300)의 제어결과를 수신하여 표시할 수 있다(S150). VR 환경 제어 장치(100)는 VR 컨텐츠 상에 IoT 기기(300)의 제어결과를 표시할 수 있고, 이를 통해 VR 컨텐츠를 이용 중인 사용자가 IoT 기기(300)가 정상적으로 제어되었음을 확인할 수 있도록 할 수 있다.
전술한 바와 같이, 본 발명의 실시 예에 따르면 VR 장치 및 IoT 기기를 연동하고, VR 장치를 이용 중에 IoT 기기를 제어할 수 있는 인터랙션을 제공하고, 사용자의 손동작에 따라 IoT 기기를 제어하는 가상환경에서 IoT 기기를 제어하기 위한 제어장치 및 제어방법을 제공할 수 있다.
본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: VR 환경 제어 장치 110: 손동작 인식 모듈
120: 인터랙션 모듈 130: 표시 모듈
140: 통신 모듈 200: IoT 기기 제어 장치
210: 기기 정보 관리 모듈 220: 제어정보 관리 모듈
230: 기기 제어 모듈 300: IoT 기기
400: 연동 장치 410: 저장 모듈
420: 변환 모듈 430: 통신 모듈
500: VR 장치 600: 프로세서
700: 통신장치 800: 메모리

Claims (12)

  1. IoT 기기들과 하나의 네트워크를 통해 연결되어 상기 IoT 기기들을 제어하는 IoT 기기 제어 장치;
    가상환경 상에서 사용자의 손동작에 따라 IoT 기기를 제어하기 위한 인터랙션을 제공하고, 인터랙션에 의해 사용자가 변경한 설정을 기초로 IoT 기기가 제어되도록 하는 제어신호를 전송하는 VR 환경 제어 장치; 및
    상기 IoT 기기 제어 장치 및 상기 VR 환경 제어 장치를 연동하는 연동 장치를 포함하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  2. 제1항에 있어서,
    상기 IoT 기기 제어 장치는 OCF(Open Connectivity Foundation)를 기반으로 IoT 기기들과 연결되는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  3. 상기 VR 환경 제어 장치는,
    가상환경 상에서 사용자의 손동작을 인식하는 손동작 인식 모듈;
    상기 손동작 인식 모듈에서 인식된 손동작에 따라 IoT 기기를 제어하기 위한 인터랙션을 제공하는 인터랙션 모듈;
    상기 인터랙션 모듈에서 제공되는 인터랙션을 상기 가상환경 상에 표시하는 표시 모듈; 및
    무선 네트워크를 통해 상기 IoT 기기의 기기정보를 수신하고, 가상환경 상에서 변경된 IoT 기기의 설정을 기초로 실제 IoT 기기의 설정을 변경하기 위한 제어신호를 전송하는 통신 모듈을 포함하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  4. 제3항에 있어서,
    상기 인터랙션 모듈은, 상기 손동작 인식 모듈에서 인식한 손동작이 손가락을 모두 편 손동작인 경우 제어할 IoT 기기를 선택하기 위한 인터랙션을 제공하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  5. 제4항에 있어서,
    손동작 인식 모듈은 사용자의 양 손의 손동작을 각각 인식할 수 있고,
    상기 인터랙션 모듈은 상기 IoT 기기를 선택하기 위한 인터랙션이 제공된 상태에서 상기 손동작 인식 모듈이 다른 손의 검지 손가락만 펴진 손동작을 인식한 경우, 상기 검지 손가락에 의해 선택되는 IoT 기기의 설정을 변경하기 위한 인터랙션을 제공하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  6. 제2항에 있어서,
    상기 통신 모듈은 상기 IoT 기기가 제어신호에 의해 제어된 제어결과를 상기 연동 장치로부터 수신하고,
    상기 표시 장치는 상기 제어결과를 가상환경 상에 표시하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  7. 제1항에 있어서,
    상기 연동 장치는,
    OCF 자원 모델과 상기 VR 장치에서 요구되는 IoT 기기의 3D 모델에 관한 정보를 저장하는 저장 모듈;
    OCF 기반의 프로토콜을 상기 VR 환경 제어 장치에서 활용 가능한 프로토콜의 형태로 변환하는 변환 모듈;
    상기 VR 환경 제어 장치 및 상기 IoT 기기 제어 장치간의 정보를 송수신하는 통신 모듈을 포함하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치.
  8. 가상환경 상에서 사용자의 손동작을 인식하는 단계;
    상기 사용자의 손동작에 따라 IoT 기기들의 기기정보를 요청하는 단계;
    수신한 IoT 기기들의 기기정보를 기초로 IoT 기기를 제어하기 위한 인터랙션을 가상환경 상에서 제공하고, 인터랙션에 의해 사용자가 변경한 설정을 기초로 IoT 기기가 제어되도록 하는 제어신호를 전송하는 단계; 및
    상기 IoT 기기가 제어신호에 의해 제어된 제어결과를 가상환경 상에 표시하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법.
  9. 제8항에 있어서,
    상기 IoT 기기들은 OCF(Open Connectivity Foundation)를 기반으로 무선 네트워크에 연결되는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법.
  10. 제8항에 있어서,
    상기 사용자의 손동작을 인식하는 단계는,
    사용자의 양 손의 손동작을 각각 인식할 수 있는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법.
  11. 제10항에 있어서,
    상기 제어신호를 전송하는 단계는,
    인식한 사용자의 손동작이 손가락을 모두 편 손동작인 경우 제어할 IoT 기기를 선택하기 위한 인터랙션을 제공하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법.
  12. 제11항에 있어서,
    상기 제어신호를 전송하는 단계는,
    상기 IoT 기기를 선택하기 위한 인터랙션이 제공된 상태에서 상기 손동작 인식 모듈이 다른 손의 검지 손가락만 펴진 손동작을 인식한 경우, 상기 검지 손가락에 의해 선택되는 IoT 기기의 설정을 변경하기 위한 인터랙션을 제공하는, 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어방법.
KR1020200087716A 2020-07-15 2020-07-15 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법 KR20220009244A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200087716A KR20220009244A (ko) 2020-07-15 2020-07-15 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200087716A KR20220009244A (ko) 2020-07-15 2020-07-15 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법

Publications (1)

Publication Number Publication Date
KR20220009244A true KR20220009244A (ko) 2022-01-24

Family

ID=80049961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200087716A KR20220009244A (ko) 2020-07-15 2020-07-15 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법

Country Status (1)

Country Link
KR (1) KR20220009244A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010198A1 (ko) * 2022-07-08 2024-01-11 삼성전자 주식회사 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법
WO2024048986A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024010198A1 (ko) * 2022-07-08 2024-01-11 삼성전자 주식회사 분류에 기반하는 객체의 선택 및 제어를 위한 전자 장치 및 그 방법
WO2024048986A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 사용자 의도를 고려해서 주변 기기를 제어하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
CN106489080B (zh) 基于雷达的手势感测和数据传输
EP3616040B1 (en) Augmented reality system comprising light-emitting user input device
US9400548B2 (en) Gesture personalization and profile roaming
US9079313B2 (en) Natural human to robot remote control
WO2016189372A2 (en) Methods and apparatus for human centric "hyper ui for devices"architecture that could serve as an integration point with multiple target/endpoints (devices) and related methods/system with dynamic context aware gesture input towards a "modular" universal controller platform and input device virtualization
EP3657312A1 (en) Contextual user interface
JP5488011B2 (ja) 通信制御装置、通信制御方法及びプログラム
CN109088803A (zh) 一种ar遥控装置、智能家居遥控系统及方法
CN108885521A (zh) 跨环境共享
CN108465238A (zh) 游戏中的信息处理方法、电子设备及存储介质
US9804864B1 (en) Method of mapping inputs and system thereof
CN111367488B (zh) 语音设备及语音设备的交互方法、设备、存储介质
KR20220009244A (ko) 가상환경 상에서 실제 IoT 기기를 제어하기 위한 제어장치 및 제어방법
WO2015024252A1 (zh) 一种遥控器、信息处理方法及系统
US20020022507A1 (en) Toy driving system and method using game program
CN106896920B (zh) 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN110502287A (zh) 一种应用程序控制方法及终端
CN107168076A (zh) 一种基于ar或vr的眼控智能家居系统及方法
CN1993671A (zh) 用于控制设备的方法
Zhao et al. Web-based interactive drone control using hand gesture
CN208723929U (zh) 一种ar遥控器
CN114281190A (zh) 一种信息控制方法、装置、系统、设备和存储介质
US7836461B2 (en) Computer interface system using multiple independent hardware and virtual human-computer input devices and related enabling subroutines
KR20210056019A (ko) 인공 지능 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal