WO2019189965A1 - 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 - Google Patents

가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 Download PDF

Info

Publication number
WO2019189965A1
WO2019189965A1 PCT/KR2018/003755 KR2018003755W WO2019189965A1 WO 2019189965 A1 WO2019189965 A1 WO 2019189965A1 KR 2018003755 W KR2018003755 W KR 2018003755W WO 2019189965 A1 WO2019189965 A1 WO 2019189965A1
Authority
WO
WIPO (PCT)
Prior art keywords
iot device
user terminal
posture
user
location
Prior art date
Application number
PCT/KR2018/003755
Other languages
English (en)
French (fr)
Inventor
이광범
Original Assignee
데이터얼라이언스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 데이터얼라이언스 주식회사 filed Critical 데이터얼라이언스 주식회사
Priority to US17/042,748 priority Critical patent/US11262903B2/en
Priority to PCT/KR2018/003755 priority patent/WO2019189965A1/ko
Publication of WO2019189965A1 publication Critical patent/WO2019189965A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/30—Control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • the present invention relates to an IoT device control system and method, and more particularly, to an IoT device control system and method using virtual reality and augmented reality.
  • the term Internet of Things first appeared in the 1998 Auto-ID Lab at the Massachusetts Institute of Technology (MIT). Later, in 2005, the ITU-T published the annual report, 'The Internet of Things,' which predicted that the Internet of Things would be the most basic framework for all the structures of the future information technology (IT) industrial revolution.
  • the report defines the Internet of Things as "a new ICT foundation that connects all things in the world to networks, enabling humans and things to communicate with each other anytime, anywhere.”
  • the Internet of Things can be seen as an infrastructure for implementing a ubiquitous space. This ubiquitous space begins with the incorporation of computing devices with specific functions into the environment and things, and the environment or things themselves become intelligent.
  • an application for controlling the IoT apparatus is installed in a smartphone and a PC, and the application is controlled using the application.
  • a dedicated application installed in a device such as a smart phone or a PC may be driven to check and control information of the smart light.
  • a dedicated application installed in a device such as a smart phone or a PC may be driven to check and control information of the smart light.
  • a control target has been selected by the user by providing a list of devices that the user can control.
  • a control target device it is inconvenient for a user to select a control target device from a device list.
  • the technical problem to be solved by the present invention is to provide a system and method that allows a user to conveniently identify and control the IoT device to be controlled using virtual reality and augmented reality.
  • a method for controlling an IoT device using virtual reality and augmented reality wherein the user terminal photographs a real space including one or more IoT devices, when the image is captured. Registering and registering at least one of a location and a posture with an IoT device selected from a user, and if the user terminal satisfies a condition determined using at least one of a location and a posture of a registered user terminal matching the selected IoT device Displaying a control screen for the selected IoT device, and controlling the selected IoT device according to a user input through the control screen.
  • the condition may be satisfied if the user terminal is located within a location range determined based on the location of the registered user terminal matching the selected IoT device.
  • the condition is a posture determined based on a posture of a user terminal located within a location range determined based on a location of a registered user terminal matching the selected IoT device and based on a posture of a registered user terminal matching the selected IoT device. If the posture of the user terminal within the range can be satisfied.
  • the method may include displaying a control screen for the selected IoT device in the virtual space when a location and a viewpoint of the user satisfy the condition in a virtual space where the one or more IoT terminals are disposed corresponding to the real space; and The method may further include controlling the selected IoT device according to a user input through a control screen displayed in the virtual space.
  • the IoT device control system using a virtual reality and augmented reality for solving the above technical problem, a user terminal for photographing a real space including one or more IoT devices, and when taking the image of the user terminal And a server that registers at least one of the position and the posture by matching the IoT device selected from the user.
  • the user terminal may display a control screen for the selected IoT device when the user terminal satisfies a condition determined by using at least one of a position and a posture of a registered user terminal matching the selected IoT device. .
  • the server may transmit a control command for controlling the selected IoT device to the selected IoT device according to a user input through the control screen.
  • the server may display a control screen for the selected IoT device in the virtual space when the location and viewpoint of the user satisfy the condition in the virtual space where the one or more IoT terminals are disposed corresponding to the real space. According to a user input through a control screen displayed in a space, a control command for controlling the selected IoT device may be transmitted to the selected IoT device.
  • the user can conveniently identify and control the controlled IoT device by using virtual reality and augmented reality.
  • FIG. 1 is a block diagram showing the configuration of an IoT device control system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an operation of an IoT device control system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an IoT device list displayed on a user terminal according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of photographing an IoT device in a user terminal according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an IoT device control screen according to an embodiment of the present invention.
  • FIG. 6 is a view provided to explain an IoT device registration process according to an embodiment of the present invention.
  • FIG. 1 is a block diagram showing the configuration of an IoT device control system according to an embodiment of the present invention.
  • an IoT device control system may include a plurality of IoT devices 100a, 100b, and 100c, an access point 110, an indoor positioning system 120, a user terminal 200, and the like. It may include a service server 300.
  • the plurality of IoT devices 100a, 100b, 100c, the access point 110, the indoor positioning system 120, the user terminal 200, and the service server 300 may exchange information and data with each other through the communication network 400. Can be.
  • the communication network 400 includes a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), the Internet, 2G, 3G, 4G, LTE mobile communication network, Bluetooth, It may include Wi-Fi, Wibro, satellite communication networks, and Low Power Wide Area (LPWA) networks such as LoRa and Sigfox, and the communication method may be wired or wireless and may be any communication method. .
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • LTE mobile communication network 2G, 3G, 4G, LTE mobile communication network
  • Bluetooth Low Power Wide Area
  • FIG. 1 three IoT devices 100a, 100b, and 100c and one access point 110 are illustrated for convenience of description, but the number may increase or decrease according to a spatial environment in which an IoT device service is provided.
  • the IoT devices 100a, 100b, and 100c are all devices such as various sensors, information providing apparatuses, convenience facilities, game machines, security apparatuses, and home appliances, and there is no limitation on the types thereof.
  • the IoT device may include all household appliances such as a refrigerator, an oven, a washing machine, a cleaner, a printer, a fax, a multifunction printer, a webcam, a television, a video, a DVD player, an audio, an electric recorder, an interphone, an air conditioner, a heater, a dehumidifier and the like that can communicate with each other. .
  • IoT devices can be used to protect the environment from tangible objects and surrounding environments, including temperature sensors, humidity sensors, thermal sensors, gas sensors, illuminance sensors, ultrasonic sensors, remote sensing sensors, Synthetic Aperture Radar (SAR), radar, position sensors, motion sensors, and image sensors. It may include various sensors from which information can be obtained.
  • SAR Synthetic Aperture Radar
  • the IoT devices 100a, 100b, and 100c may be implemented as devices that support wireless communication through Bluetooth, Wi-Fi, and / or low power wide area (LPWA) networks such as LoRa and Sigfox.
  • LPWA low power wide area
  • the access point 110 may support the IoT device 100a, 100b, 100c accessing the service server 300 through the communication network 400 in a space where the IoT devices 100a, 100b, 100c are installed.
  • the access point 110 may be implemented as a device that enables wireless devices to be connected to a wired device using a related standard using Wi-Fi in a computer network.
  • the access point 110 may be implemented as a device capable of connecting a plurality of devices to the service server 300 through a short-range wireless communication method other than Wi-Fi.
  • the indoor positioning system 120 may position the position of the user terminal 200 based on a predetermined reference point indoors.
  • Various indoor positioning methods such as Wi-Fi, Bluetooth, and visible light communication are known, and the indoor positioning system 120 according to the present invention positions the position of the user terminal 200 in a real space where IoT devices 100a, 100b, and 100c are installed. If possible, it can be implemented by any indoor positioning method.
  • the indoor positioning system 120 is connected to the user terminal 200 through the access point 110, but the indoor positioning system 120 interworks with the user terminal 200 without passing through the access point 110. Indoor positioning may be performed.
  • the user terminal 200 includes a memory means such as a smart phone, a tablet PC, a personal digital assistant (PDA) or a web pad, and includes a microprocessor to operate. It can be made of a terminal with the capability, and various applications can be installed to provide various services to the user.
  • a memory means such as a smart phone, a tablet PC, a personal digital assistant (PDA) or a web pad
  • PDA personal digital assistant
  • web pad includes a microprocessor to operate. It can be made of a terminal with the capability, and various applications can be installed to provide various services to the user.
  • the user terminal 200 may include one or more sensors capable of measuring its own movement or posture.
  • the user terminal 200 may include at least one of a geomagnetic sensor, an acceleration sensor, a gyroscope sensor, and a motion sensor. Since a method of measuring a movement ana posture of the user terminal 200 using a geomagnetic sensor, an acceleration sensor, a gyroscope sensor, a motion sensor, and the like is already known, a detailed description thereof will be omitted.
  • the user terminal 200 checks information on the IoT devices 100a, 100b, and 100c, and a service application (hereinafter referred to as a “service application”) that allows a user to control the IoT devices 100a, 100b and 100c. Can be installed.
  • a service application hereinafter referred to as a “service application”
  • the service server 300 may register the IoT devices 100a, 100b, and 100c.
  • the service server 300 may provide IoT device information to the user terminal 200 authorized for the registered IoT devices 100a, 100b, and 100c to be displayed on the screen through the service application.
  • the service server 300 transmits the IoT device control command input from the user to the IoT devices 100a, 100b, and 100c through the IoT device control screen displayed on the screen of the user terminal 200 through the service application. It can also be used to operate according to the command.
  • FIG. 2 is a flowchart illustrating an operation of an IoT device control system according to an embodiment of the present invention.
  • the user terminal 200 may receive a list of registered IoT devices from the service server 300 according to a user's request and provide the user with a service application through the service application (S210).
  • FIG. 3 is a diagram illustrating an IoT device list displayed on a user terminal according to an embodiment of the present invention.
  • the service application may display the IoT device list 11 as illustrated in FIG. 3 on the screen of the user terminal 200.
  • 3 shows that an IoT device corresponding to 'lighting 4' is newly registered.
  • a method of displaying the registered IoT device list may be applied in addition to the example illustrated in FIG. 3.
  • the user terminal 200 may receive an IoT device corresponding to 'lighting 4' from the IoT device list (S220). The user terminal 200 may then activate the camera function.
  • the user may move near the IoT device corresponding to the lighting 4 with the user terminal 200 to photograph a space including the corresponding IoT device (S230).
  • FIG. 4 is a diagram illustrating an example of photographing an IoT device in a user terminal according to an embodiment of the present invention.
  • the user picks up the user terminal 200 in the real space where the IoT devices 100a, 100b, and 100c are located, and moves near the IoT device 100a. I can move it.
  • the user may photograph a space including the IoT device 100a using the user terminal 200.
  • the photographing guide 10 may be displayed on the camera photographing screen of the user terminal 200 so that photographing may be performed while the IoT device 100a enters the photographing guide 10. .
  • the user terminal 200 may check its location in cooperation with the indoor positioning system 120.
  • the user terminal 200 may also check his posture information by using an inertial sensor provided in the user terminal 200.
  • the step S230 of capturing the space including the IoT device 100a may be performed first, and then the IoT device list display step S210 and the IoT device selection step S220 may be implemented. Do.
  • the user terminal 200 transmits the position and posture information of the user terminal 200 to the service server 300 to be registered by matching the IoT device 100a.
  • the user terminal 200 may transmit identification information (eg, device ID) of the IoT device 100a to the service server 300 along with the location and attitude information of the user terminal 200.
  • identification information eg, device ID
  • only location information of the user terminal 200 may be registered to be matched with the IoT device 100a.
  • a control screen for the corresponding IoT device 100a may be displayed (S260).
  • the IoT device control screen output condition may be determined to be satisfied when the user terminal 200 is located within a location range determined based on the location of the registered user terminal matching the IoT device 100a.
  • the attitude of the user terminal 200 within the posture range determined based on the attitude of the registered user terminal matching the IoT device 100a is satisfied. It may be decided.
  • FIG. 5 is a diagram illustrating an IoT device control screen according to an embodiment of the present invention.
  • the user terminal 200 may output a control screen 20 for the IoT device 100a on an image photographing a space including the IoT device 100a.
  • the control screen 20 may include information 22 indicating the location of the IoT device 100a in space.
  • the location of the IoT device 100a displayed in the information 22 may be the location of the user terminal 200 obtained in step S230.
  • the control screen 20 may include a user interface 21 for controlling the IoT device 100a.
  • FIG. 5 illustrates an example in which the brightness level and the illumination duration of the illumination can be adjusted for the IoT device 100a which is the illumination.
  • the IoT device 100a may be controlled according to a user input through the control screen 20 (S270).
  • the user terminal 200 may transmit a control command corresponding to the user input on the control screen 20 to the service server 300.
  • the service server 300 may transmit the result back to the IoT device 100a to operate according to the control command.
  • the IoT apparatus 100a is matched with the IoT device 100a through steps S210 to S230, and the location and / or posture information of the user terminal is registered. Control may also be made for device 100a.
  • the service server 300 creates a virtual space corresponding to the real space where the IoT device 100a is located and through a virtual reality support terminal (not shown) such as a user terminal 200 or a head mounted display (HMD) terminal. Can provide.
  • a virtual reality support terminal not shown
  • HMD head mounted display
  • the IoT device 100a may be disposed corresponding to the location in the real space.
  • the location of the IoT device 100a may be determined in the virtual space by using the location information of the user terminal that is registered with respect to the IoT device 100a described above.
  • the service server 300 displays the virtual space screen to the user based on a predetermined position and a time point in the virtual space. Can provide.
  • the service server 300 may provide a virtual space screen corresponding thereto. If the user's location and viewpoint satisfy the predetermined condition in the virtual space, the service server 300 may display a control screen for the IoT device 100a in the virtual space.
  • the service server 300 may transmit a control command for controlling the IoT device 100a according to a user input through a control screen displayed in the virtual space.
  • FIG. 6 is a view provided to explain an IoT device registration process according to an embodiment of the present invention.
  • the IoT device 100a may operate in a mode (AP mode) as a Wi-Fi access point (S610). Then, the IoT device 100a may broadcast IoT AP access information including its SSID and the like (S620).
  • AP mode a mode
  • S610 Wi-Fi access point
  • S620 IoT AP access information including its SSID and the like
  • the user terminal 200 may access the IoT device 100a as an access point using IoT AP access information (S630).
  • the user terminal 200 may transmit home AP information, service server information, user terminal location and / or posture information to the IoT device 100a (S640).
  • the user terminal location and / or attitude information may be obtained when the user terminal 200 photographs a space including the IoT device 100a.
  • Home AP information may include the SSID, password and the like of the access point (110).
  • the service server information may include information necessary for the IoT device 100a to access the service server 300 and register itself.
  • the IoT device 100a may access the access point 110 using the information transmitted in step S540 (S650) and terminate the AP mode (S660).
  • the IoT device 100a may access the service server 300 through the access point 110 (S670).
  • the IoT device 100a may transmit the network related information, the IoT device attribute related information, and the user terminal location and / or posture information to the service server 300 (S680), and perform IoT device registration (S690).
  • the user terminal location and / or posture information may be matched with the IoT device 100a.
  • the control screen for the IoT device 100a may be automatically output on the screen of the user terminal 200.
  • the control screen for the IoT device 100a may be displayed on the virtual space displayed through the user terminal 200 or the virtual reality support terminal.
  • Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations.
  • This medium records a program for executing the method described so far.
  • the media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like.
  • Hardware devices configured to store and perform such operations.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 IoT 디바이스 제어 시스템 및 방법에 관한 것으로, 본 발명에 따른 방법은 사용자 단말이 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계, 영상을 촬영할 때 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 단계, 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 사용자 단말이 만족하면, 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고 제어 화면을 통한 사용자 입력에 따라 선택된 IoT 디바이스를 제어하는 단계를 포함한다. 본 발명에 의하면 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있다.

Description

가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
본 발명은 IoT 디바이스 제어 시스템 및 방법에 관한 것으로, 보다 자세하게는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템 및 방법에 대한 것이다.
사물 인터넷(IoT : Internet of Things)이라는 용어는 1998년 매사추세츠공과대학(MIT)의 Auto-ID 랩에서 처음으로 등장했다. 이후 2005년 ITU-T에서 'The Internet of Things'라는 연차 보고서가 발표되면서 사물 인터넷은 미래정보기술(IT) 산업 혁명의 모든 구조를 담는 가장 기본틀이 될 것임을 예고한 바 있다. 보고서는 사물 인터넷을 "세상에서 존재하는 모든 사물(things)을 네트워크로 연결해 인간과 사물, 사물과 사물 간에 언제 어디서나 서로 소통할 수 있도록 하는 새로운 정보통신 기반"이라고 정의했다. 즉, 사물 인터넷은 명실상부한 유비쿼터스 공간을 구현하기 위한 인프라로 볼 수 있다. 이러한 유비쿼터스 공간은 특정 기능이 내재된 컴퓨팅 기기들이 환경과 사물에 심어져 환경이나 사물 그 자체가 지능화되는 것부터 시작된다.
통상적으로 구축되는 사물 인터넷 기기는 소형화 및 저전력화를 기반으로 구축되기 때문에, 단지 소수의 버튼(전원 버튼 등)만을 구비할 뿐, 고사양의 UI(User Interface)를 위한 수단, 예를 들어, 터치 스크린이나 LCD와 같은 입출력 수단이 구비되지 않는 경우가 많다. 이러한 문제를 해결하기 위해 스마트폰 및 PC에 해당 사물 인터넷 기기를 제어하기 위한 애플리케이션을 설치하고, 애플리케이션을 이용하여 제어를 하게 된다. 예컨대 디스플레이부를 구비하지 않은 스마트 조명의 현재 조도 및 수명을 확인하거나 조정하기 위해서는 해당 스마트 조명에 스마트폰이나 PC 등의 기기에 설치된 전용 애플리케이션을 구동하여 해당 스마트 조명이 가지고 있는 정보를 확인하고 제어할 수 있다. 물론 스마트 TV 등과 같이 별도의 입력부 및 출력부를 가지는 경우도, 스마트폰이나 PC 등에 설치된 전용 애플리케이션을 구동하여 해당 기기의 정보를 확인하고 제어할 수 있다.
그런데 종래에는 사용자가 제어 가능한 디바이스 목록을 제공하여 사용자로부터 제어대상을 선택받았다. 그런데 하나의 공간에 동일한 종류의 사물 인터넷 기기가 다수 설치된 경우, 디바이스 목록에서 사용자가 제어대상 기기를 선택하는데 불편함이 있었다.
따라서 본 발명이 해결하고자 하는 기술적 과제는 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있는 시스템 및 방법을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법은 사용자 단말이 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계, 상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 단계, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고 상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계를 포함한다.
상기 조건은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족될 수 있다.
상기 조건은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족될 수 있다.
상기 방법은 상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하는 단계, 그리고 상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계를 더 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템은, 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 사용자 단말, 그리고 상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 서버를 포함한다.
상기 사용자 단말은, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시할 수 있다.
상기 서버는 상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달할 수 있다.
상기 서버는 상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하며, 상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달할 수 있다.
본 발명에 의하면 가상 현실과 증강 현실을 이용하여 사용자가 편리하게 제어대상 IoT 디바이스를 확인하고 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 동작을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 표시된 IoT 디바이스 목록을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말에서 IoT 디바이스를 촬영한 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 화면을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 IoT 디바이스 등록 과정을 설명하기 위해 제공되는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 구성을 나타낸 블록도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템은 복수의 IoT 디바이스(100a, 100b, 100c), 액세스포인트(110), 실내 측위 시스템(120), 사용자 단말(200) 및 서비스 서버(300)를 포함할 수 있다.
복수의 IoT 디바이스(100a, 100b, 100c), 액세스포인트(110), 실내 측위 시스템(120), 사용자 단말(200) 및 서비스 서버(300)는 통신망(400)을 통해 서로 정보 및 데이터를 교환할 수 있다.
통신망(400)은 구내 정보 통신망(local area network, LAN), 도시권 통신망(metropolitan area network, MAN), 광역 통신망(wide area network, WAN), 인터넷, 2G, 3G, 4G, LTE 이동 통신망, 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 위성 통신망, LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크 등을 포함할 수 있으며, 통신 방식도 유선, 무선을 가리지 않으며 어떠한 통신 방식이라도 상관없다.
도 1에서는 설명의 편의를 위해 3개의 IoT 디바이스(100a, 100b, 100c)와 1개의 액세스포인트(110)를 도시하였으나, 사물 인터넷 디바이스 서비스가 제공되는 공간 환경에 따라 그 개수는 증감될 수 있다.
IoT 디바이스(100a, 100b, 100c)는 각종 센서, 정보 제공장치, 편의 시설, 게임기, 보안 장치, 가전 기기 등 모든 디바이스가 대상이 되며, 그 종류에 대한 제한은 없다. 예컨대 IoT 디바이스는 통신이 가능한 냉장고, 오븐, 세탁기, 청소기, 프린터, 팩스, 복합기, 웹캠, 텔레비전, 비디오, 디브이디 플레이어, 오디오, 전축, 인터폰, 에어컨, 히터, 제습기 등 모든 가전기기를 포함할 수 있다. 또한 IoT 디바이스는 온도 센서, 습도 센서, 열 센서, 가스 센서, 조도 센서, 초음파 센서, 원격 감지 센서, SAR(Synthetic Aperture Radar), 레이더, 위치 센서, 모션 센서, 영상 센서 등 유형 사물과 주위 환경으로부터 정보를 얻을 수 있는 각종 센서를 포함할 수 있다.
IoT 디바이스(100a, 100b, 100c)는 블루투스, 와이파이(Wi-Fi) 및/또는 LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크를 통한 무선 통신을 지원하는 디바이스로 구현될 수 있다.
액세스포인트(110)는 IoT 디바이스(100a, 100b, 100c)가 설치된 공간에서 IoT 디바이스(100a, 100b, 100c)가 통신망(400)을 통해 서비스 서버(300) 등에 접속하는 것을 지원할 수 있다. 예를 들어 액세스포인트(110)는 컴퓨터 네트워크에서 와이파이(Wi-Fi)를 이용한 관련 표준을 이용하여 무선 장치들을 유선 장치에 연결할 수 있게 하는 장치로 구현될 수 있다. 물론 와이파이(Wi-Fi)가 아닌 다른 근거리 무선 통신 방식을 통해 다수의 디바이스를 통신망(400)을 통해 서비스 서버(300)에 연결할 수 있는 장치로 액세스포인트(110)를 구현할 수도 있다.
실내 측위 시스템(120)은 실내에서 미리 정해진 기준점을 기준으로 사용자 단말(200)의 위치를 측위할 수 있다. 와이파이, 블루투스, 가시광 통신 등의 다양한 실내 측위 방식이 알려져 있으며, 본 발명에 따른 실내 측위 시스템(120)은 IoT 디바이스(100a, 100b, 100c)가 설치된 실제 공간에서 사용자 단말(200)의 위치를 측위할 수 있으면 어떠한 실내 측위 방식을 이용하여 구현되어도 무방하다.
도 1에서는 실내 측위 시스템(120)이 액세스포인트(110)를 통해 사용자 단말(200)과 연결된 것으로 표시하였으나, 실내 측위 시스템(120)이 액세스포인트(110)를 거치지 않고 사용자 단말(200)과 연동하여 실내 측위를 수행하여도 무방하다.
사용자 단말(200)은 스마트폰(Smart Phone), 태블릿(Tablet) PC, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA)나 웹 패드(Web Pad) 등과 같이 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 단말기로 이루어질 수 있으며, 다양한 어플리케이션이 설치되어 사용자에게 다양한 서비스를 제공할 수 있다.
사용자 단말(200)은 자신의 움직임이나 자세를 측정할 수 있는 하나 이상의 센서를 구비할 수 있다. 예컨대 사용자 단말(200)은 지자기 센서, 가속도 센서, 자이로스코프 센서 및 모션 센서 중 적어도 하나를 포함할 수 있다. 지자기 센서, 가속도 센서, 자이로스코프 센서 및 모션 센서 등을 이용하여 사용자 단말(200)의 움직임아나 자세를 측정하는 방법에 대해서는 이미 주지된 기술이므로 여기서 자세한 설명은 생략한다.
사용자 단말(200)은 IoT 디바이스(100a, 100b, 100c)에 대한 정보를 확인하고, 사용자가 IoT 디바이스(100a, 100b, 100c)를 제어할 수 있도록 지원하는 서비스 어플리케이션(이하 '서비스 어플')이 설치될 수 있다.
서비스 어플이 설치된 사용자 단말(200)을 통해, 사용자가 IoT 디바이스(100a, 100b, 100c)를 제어하는 내용에 대해서는 아래에서 자세히 설명한다.
서비스 서버(300)는 IoT 디바이스(100a, 100b, 100c)를 등록받을 수 있다. 그리고 서비스 서버(300)는 등록된 IoT 디바이스(100a, 100b, 100c)에 대해 권한이 있는 사용자 단말(200)로 IoT 디바이스 정보를 제공하여 서비스 어플을 통해 화면에 표시되게 할 수 있다. 또한 서비스 서버(300)는 서비스 어플을 통해 사용자 단말(200)의 화면에 표시되는 IoT 디바이스 제어 화면을 통해서, 사용자로부터 입력되는 IoT 디바이스 제어 명령을 IoT 디바이스(100a, 100b, 100c)로 전달하여 제어 명령에 따른 동작을 하게 할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 시스템의 동작을 설명하기 위한 흐름도이다.
도 1 및 도 2를 참고하면, 사용자 단말(200)은 사용자의 요청에 따라 서비스 서버(300)로부터 등록된 IoT 디바이스 목록을 전달받아 서비스 어플을 통해 사용자에게 제공할 수 있다(S210).
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 표시된 IoT 디바이스 목록을 예시한 도면이다.
단계(S210)에서 서비스 어플은 도 3에 예시한 것과 같은 IoT 디바이스 목록(11)을 사용자 단말(200)의 화면에 표시할 수 있다. 도 3은 '조명4'에 해당하는 IoT 디바이스가 새롭게 등록된 것을 나타내고 있다. 물론 등록된 IoT 디바이스 목록을 표시하는 방법은 도 3에서 예시한 것 외에 다른 방식이 적용될 수도 있다.
다음으로 사용자 단말(200)은 IoT 디바이스 목록에서 '조명4'에 해당하는 IoT 디바이스를 선택받을 수 있다(S220). 그러면 사용자 단말(200)은 카메라 기능을 활성화할 수 있다.
이후 사용자는 사용자 단말(200)을 들고 '조명4'에 해당하는 IoT 디바이스 근처로 이동하여, 해당 IoT 디바이스를 포함하는 공간을 촬영할 수 있다(S230).
도 4는 본 발명의 일 실시예에 따른 사용자 단말에서 IoT 디바이스를 촬영한 예를 나타낸 도면이다.
IoT 디바이스(100a)가 '조명4'에 해당하는 IoT 디바이스라고 가정하면, 사용자는 IoT 디바이스(100a, 100b, 100c)가 위치한 실제 공간에서, 사용자 단말(200)을 들고 IoT 디바이스(100a) 근처로 이동할 수 있다. 그리고 사용자는 사용자 단말(200)을 이용하여 IoT 디바이스(100a)를 포함하는 공간을 촬영할 수 있다. 단계(S230)에서 실시예에 따라 사용자 단말(200)의 카메라 촬영 화면에 촬영 가이드(10)를 표시하여, IoT 디바이스(100a)가 촬영 가이드(10) 안에 들어온 상태에서 촬영이 이루어지도록 할 수 있다. 물론 촬영 가이드(10)에 대한 표시 없이 IoT 디바이스(100a)를 촬영하도록 구현하는 것도 가능하다.
단계(S230)에서 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때, 사용자 단말(200)은 실내 측위 시스템(120)과 연동하여 자신의 위치를 확인할 수 있다. 그리고 실시예에 따라 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때, 사용자 단말(200)에 구비된 관성 센서를 이용하여 자신의 자세 정보도 확인할 수 있다.
한편 실시예에 따라서 IoT 디바이스(100a)를 포함하는 공간을 촬영하는 단계(S230)를 먼저 수행한 다음, IoT 디바이스 목록 표시 단계(S210)와 IoT 디바이스 선택 단계(S220)를 수행하도록 구현하는 것도 가능하다.
다음으로 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영할 때 사용자 단말(200)의 위치 및 자세 정보를 서비스 서버(300)에 전달하여, IoT 디바이스(100a)에 매칭하여 등록되게 할 수 있다(S240). 단계(S240)에서 사용자 단말(200)은 IoT 디바이스(100a)의 식별 정보(예컨대 디바이스 ID)를 사용자 단말(200)의 위치 및 자세 정보와 함께 서비스 서버(300)에 전달할 수 있다. 실시예에 따라 사용자 단말(200)의 위치 정보만 IoT 디바이스(100a)에 매칭 등록되게 하는 것도 가능하다.
이후 사용자 단말(200)의 위치 및/또는 자세가 IoT 디바이스(100a)에 대해 매칭 등록된 위치 및/또는 자세를 기준으로 정해지는 조건을 만족하면(S250-Y), 사용자 단말(200)은 도 5에 예시한 것과 같이 해당 IoT 디바이스(100a)에 대한 제어 화면을 표시할 수 있다(S260).
단계(S250)에서 IoT 디바이스 제어 화면 출력 조건은 IoT 디바이스(100a)에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 사용자 단말(200)이 위치하면 만족되는 것으로 정해질 수 있다. 또는 앞서 설명한 사용자 단말(200)의 위치 조건을 만족하면서, 동시에 IoT 디바이스(100a)에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 사용자 단말(200)의 자세가 있어야 만족되는 것으로 정해질 수도 있다.
도 5는 본 발명의 일 실시예에 따른 IoT 디바이스 제어 화면을 예시한 도면이다.
단계(S260)에서 사용자 단말(200)은 IoT 디바이스(100a)를 포함하는 공간을 촬영한 영상 위에 IoT 디바이스(100a)에 대한 제어 화면(20)을 출력할 수 있다. 제어 화면(20)은 공간 상에서 IoT 디바이스(100a)의 위치를 나타내는 정보(22)를 포함할 수 있다. 정보(22)에 표시되는 IoT 디바이스(100a)의 위치는 단계(S230)에서 획득된 사용자 단말(200)의 위치가 이용될 수 있다. 그리고 제어 화면(20)은 IoT 디바이스(100a)를 제어할 수 있는 사용자 인터페이스(21)를 포함할 수 있다. 도 5에서는 조명인 IoT 디바이스(100a)에 대해서, 조명의 밝기 레벨과 조명 지속 시간을 조정할 수 있는 예를 나타내었다.
이후 제어 화면(20)을 통한 사용자 입력에 따라 IoT 디바이스(100a)를 제어할 수 있다(S270). 사용자 단말(200)은 제어 화면(20)에서의 사용자 입력에 대응하는 제어 명령을 서비스 서버(300)로 전달할 수 있다. 그러면 서비스 서버(300)는 이를 다시 IoT 디바이스(100a)에 전달하여 제어 명령에 따른 동작을 하게 할 수 있다.
한편 실시예에 따라서 단계(S210) 내지 단계(S230)를 통해 IoT 디바이스(100a)에 매칭하여 사용자 단말의 위치 및/또는 자세 정보가 등록된 상태에서, 실제 공간과 떨어진 원격지에서 가상 현실 기반으로 IoT 디바이스(100a)에 대해 제어할 수도 있다.
서비스 서버(300)는 IoT 디바이스(100a)가 위치한 실제 공간에 대응하는 가상 공간을 생성하여, 사용자 단말(200) 또는 HMD(Head Mounted Display) 단말과 같은 가상 현실 지원 단말(도시하지 않음)을 통해 제공할 수 있다.
가상 공간에서 IoT 디바이스(100a)는 실제 공간에서의 위치에 대응하여 배치될 수 있다. 앞서 설명한 IoT 디바이스(100a)에 대해 매칭 등록된 사용자 단말의 위치 정보를 이용하여 가상 공간에서 IoT 디바이스(100a)의 위치를 정할 수도 있다.
사용자가 실제 공간에서 떨어진 원격지에서 사용자 단말(200) 또는 가상 현실 지원 단말을 이용하여 가상 공간에 접속하면, 서비스 서버(300)는 가상 공간 상에서 미리 정해진 위치 및 시점을 기준으로 사용자에게 가상 공간 화면을 제공할 수 있다.
그리고 사용자가 사용자 단말(200) 또는 가상 현실 지원 단말을 이용하여 가상 공간 상에서 사용자의 위치 및 시점을 변경하면, 서비스 서버(300)는 그에 대응하는 가상 공간 화면을 제공할 수 있다. 그리고 가상 공간 상에서 사용자의 위치 및 시점이 미리 정해진 조건을 만족하면, 서비스 서버(300)는 IoT 디바이스(100a)에 대한 제어 화면을 가상 공간에 표시할 수 있다.
다음으로 서비스 서버(300)는 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 IoT 디바이스(100a)를 제어하는 제어 명령을 전달할 수 있다.
지금까지는 IoT 디바이스가 이미 등록된 경우에 대해 설명하였다. 실시예에 따라서는 IoT 디바이스를 등록하는 과정에서 사용자 단말의 위치 및/또는 자세를 매칭 등록하고, 이를 통해 IoT 디바이스를 제어하는 것도 가능하다.
도 6은 본 발명의 일 실시예에 따른 IoT 디바이스 등록 과정을 설명하기 위해 제공되는 도면이다.
도 6을 참고하면, IoT 디바이스(100a)를 와이파이(Wi-Fi) 액세스포인트로 모드(AP 모드)로 동작시킬 수 있다(S610). 그러면 IoT 디바이스(100a)는 자신의 SSID 등을 포함하는 IoT AP 접속 정보를 브로드캐스팅할 수 있다(S620).
이후 사용자 단말(200)은 IoT AP 접속 정보를 이용하여 IoT 디바이스(100a)를 액세스포인트로 하여 접속할 수 있다(S630).
그리고 사용자 단말(200)은 Home AP 정보, 서비스 서버 정보, 사용자 단말 위치 및/또는 자세 정보를 IoT 디바이스(100a)에 전달할 수 있다(S640). 단계(S640)에서 사용자 단말 위치 및/또는 자세 정보는 IoT 디바이스(100a)를 포함한 공간을 사용자 단말(200)이 촬영할 때에 획득될 수 있다.
Home AP 정보는 액세스포인트(110)의 SSID, 비밀번호 등을 포함할 수 있다. 서비스 서버 정보는 IoT 디바이스(100a)가 서비스 서버(300)에 접속하여 자신을 등록하는데 필요한 정보를 포함할 수 있다.
IoT 디바이스(100a)는 단계(S540)에서 전달된 정보를 이용하여 액세스포인트(110)에 접속하고(S650), AP 모드를 종료할 수 있다(S660).
다음으로 IoT 디바이스(100a)는 액세스포인트(110)를 통해 서비스 서버(300)에 접속할 수 있다(S670).
이후 IoT 디바이스(100a)는 네트워크 관련 정보, IoT 디바이스 속성 관련 정보 및 사용자 단말 위치 및/또는 자세 정보를 서비스 서버(300)에 전달하여(S680), IoT 디바이스 등록을 수행할 수 있다(S690). 단계(S690)에서 IoT 디바이스(100a)에 사용자 단말 위치 및/또는 자세 정보를 매칭 등록할 수 있다.
이후 앞서 설명한 것과 같이 사용자 단말(200)의 위치 및/또는 자세가 미리 정해진 조건을 만족하면 IoT 디바이스(100a)에 대한 제어 화면을 자동으로 사용자 단말(200)의 화면에 출력되게 할 수 있다. 물론 가상 공간에 접속한 경우, 사용자 단말(200) 또는 가상 현실 지원 단말을 통해 표시되는 가상 공간 상에 IoT 디바이스(100a)에 대한 제어 화면이 표시되게 할 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 사용자 단말이 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 단계,
    상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 단계,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하는 단계, 그리고
    상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계
    를 포함하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  2. 제 1 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  3. 제 1 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  4. 제 1 항에서,
    상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하는 단계, 그리고
    상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 단계
    를 더 포함하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 방법.
  5. 하나 이상의 IoT 디바이스를 포함하는 실제 공간을 촬영하는 사용자 단말, 그리고
    상기 영상을 촬영할 때 상기 사용자 단말의 위치 및 자세 중 적어도 하나를 사용자로부터 선택된 IoT 디바이스에 매칭하여 등록하는 서버
    를 포함하고,
    상기 사용자 단말은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치 및 자세 중 적어도 하나를 이용하여 정해지는 조건을 상기 사용자 단말이 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 표시하며,
    상기 서버는,
    상기 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  6. 제 5 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  7. 제 5 항에서,
    상기 조건은,
    상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 위치를 기준으로 정해지는 위치 범위 내에 상기 사용자 단말이 위치하고, 상기 선택된 IoT 디바이스에 매칭하여 등록된 사용자 단말의 자세를 기준으로 정해지는 자세 범위 내에 상기 사용자 단말의 자세가 있으면 만족되는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
  8. 제 5 항에서,
    상기 서버는,
    상기 실제 공간에 대응하여 상기 하나 이상의 IoT 단말이 배치되는 가상 공간 상에서 사용자의 위치 및 시점이 상기 조건을 만족하면, 상기 선택된 IoT 디바이스에 대한 제어 화면을 상기 가상 공간에 표시하며,
    상기 가상 공간에 표시된 제어 화면을 통한 사용자 입력에 따라 상기 선택된 IoT 디바이스를 제어하는 제어 명령을 상기 선택된 IoT 디바이스로 전달하는 가상 현실과 증강 현실을 이용한 IoT 디바이스 제어 시스템.
PCT/KR2018/003755 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법 WO2019189965A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/042,748 US11262903B2 (en) 2018-03-30 2018-03-30 IoT device control system and method using virtual reality and augmented reality
PCT/KR2018/003755 WO2019189965A1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/003755 WO2019189965A1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2019189965A1 true WO2019189965A1 (ko) 2019-10-03

Family

ID=68059098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003755 WO2019189965A1 (ko) 2018-03-30 2018-03-30 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법

Country Status (2)

Country Link
US (1) US11262903B2 (ko)
WO (1) WO2019189965A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170540B1 (en) * 2021-03-15 2021-11-09 International Business Machines Corporation Directional based commands
US11924209B2 (en) * 2021-04-28 2024-03-05 International Business Machines Corporation Augmented reality-based access control for network devices
US11941231B2 (en) 2021-08-29 2024-03-26 Snap Inc. Camera interfaces to interact with IoT devices
US11954774B2 (en) 2021-08-29 2024-04-09 Snap Inc. Building augmented reality experiences with IoT devices
US20230063944A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Two-way control of iot devices using ar camera
US20230063194A1 (en) * 2021-08-29 2023-03-02 Yu Jiang Tham Controlling iot devices through ar object interaction
US11809680B2 (en) 2021-12-30 2023-11-07 Snap Inc. Interface for engaging IoT devices with AR camera
WO2023244490A1 (en) * 2022-06-15 2023-12-21 Snap Inc. Standardized ar interfaces for iot devices
US20230410437A1 (en) * 2022-06-15 2023-12-21 Sven Kratz Ar system for providing interactive experiences in smart spaces
CN114926614B (zh) * 2022-07-14 2022-10-25 北京奇岱松科技有限公司 一种基于虚拟世界和现实世界的信息交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140347A (ko) * 2015-05-27 2016-12-07 (주)원퍼스트 사물인터넷 기반 제어 서비스 제공 방법 및 스마트 제어 장치
KR101709715B1 (ko) * 2015-11-16 2017-02-24 (주)아이오텍 카메라를 이용한 사물인터넷 기반의 제어 및 감시장치
US20170180489A1 (en) * 2015-12-22 2017-06-22 Samsung Electronics Co., Ltd. Electronic device and server for providing service related to internet of things device
KR101773768B1 (ko) * 2017-04-24 2017-09-13 (주)지란지교시큐리티 사물인터넷 기기 모니터링 시스템 및 방법
KR20180012038A (ko) * 2016-07-26 2018-02-05 코나에스 주식회사 사물인터넷 서비스를 이용한 전자기기 관리 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
TWI423112B (zh) * 2009-12-09 2014-01-11 Ind Tech Res Inst 可攜式虛擬輸入操作裝置與其操作方法
US10395018B2 (en) * 2010-11-29 2019-08-27 Biocatch Ltd. System, method, and device of detecting identity of a user and authenticating a user
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8965049B2 (en) * 2011-02-01 2015-02-24 Panasonic Intellectual Property Corporation Of America Function extension device, function extension method, computer-readable recording medium, and integrated circuit
EP2751742A1 (en) * 2011-08-31 2014-07-09 metaio GmbH Method of matching image features with reference features
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130314443A1 (en) * 2012-05-28 2013-11-28 Clayton Grassick Methods, mobile device and server for support of augmented reality on the mobile device
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
JP5900393B2 (ja) * 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
US9728009B2 (en) * 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
KR101679504B1 (ko) * 2015-02-26 2016-12-06 인제대학교 산학협력단 링거 거치대
US20170061696A1 (en) * 2015-08-31 2017-03-02 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
KR20170108285A (ko) 2016-03-17 2017-09-27 주식회사 이웃 증강현실 기술을 이용한 실내장치 제어시스템 및 방법
US10754416B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
KR102313981B1 (ko) * 2017-06-20 2021-10-18 삼성전자주식회사 지문 인증 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160140347A (ko) * 2015-05-27 2016-12-07 (주)원퍼스트 사물인터넷 기반 제어 서비스 제공 방법 및 스마트 제어 장치
KR101709715B1 (ko) * 2015-11-16 2017-02-24 (주)아이오텍 카메라를 이용한 사물인터넷 기반의 제어 및 감시장치
US20170180489A1 (en) * 2015-12-22 2017-06-22 Samsung Electronics Co., Ltd. Electronic device and server for providing service related to internet of things device
KR20180012038A (ko) * 2016-07-26 2018-02-05 코나에스 주식회사 사물인터넷 서비스를 이용한 전자기기 관리 방법 및 장치
KR101773768B1 (ko) * 2017-04-24 2017-09-13 (주)지란지교시큐리티 사물인터넷 기기 모니터링 시스템 및 방법

Also Published As

Publication number Publication date
US20210149551A1 (en) 2021-05-20
US11262903B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
WO2019189965A1 (ko) 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
WO2015167080A1 (en) Unmanned aerial vehicle control apparatus and method
WO2013133486A1 (en) Device, method and timeline user interface for controlling home devices
WO2015174729A1 (ko) 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
WO2012118299A2 (en) Method and apparatus for sharing media based on social network in communication system
KR102076647B1 (ko) 가상 현실과 증강 현실을 이용한 ＩｏＴ 디바이스 제어 시스템 및 방법
WO2012124860A1 (ko) Nfc 기반의 기기제어 방법 및 이를 이용한 기기제어 시스템
WO2017065569A1 (en) Method for locking and unlocking touchscreen-equipped mobile device and mobile device
WO2018070768A1 (ko) 모니터링 시스템 제어 방법 및 이를 지원하는 전자 장치
WO2021002687A1 (ko) 사용자 간의 경험 공유를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2017217713A1 (en) Method and apparatus for providing augmented reality services
WO2017119800A1 (ko) 센서 관리 방법 및 장치
WO2014189186A1 (ko) 무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법
WO2017111332A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2013042815A1 (ko) 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어방법, 그리고 스마트 단말을 이용한 안드로이드 플랫폼 기반의 애플리케이션 실행 단말 제어 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
WO2015102467A1 (ko) 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
WO2015093893A1 (ko) 홈 네트워크 시스템에서 이벤트 통지 방법 및 장치
WO2017200153A1 (ko) ３６０도 영상 재생 시 사용자 단말 기울기 정보를 이용하여 재생 영역을 보정하는 방법 및 시스템
WO2019198868A1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
WO2014065495A1 (en) Method for providing contents and a digital device for the same
WO2021045430A1 (ko) 댁내 중계 장치 및 그와 연결되는 전자 장치
WO2014010785A1 (ko) 관광 관련 ＩｏＴ 서비스 방법
WO2015102476A1 (ko) 이동형 3d 멀티디스플레이 기반의 실감형 교육 서비스 제공 차량
JP2009230193A (ja) ポインティング装置としての機能を実現する撮影装置、表示装置、および情報システム
WO2019135543A1 (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18911483

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18911483

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.04.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18911483

Country of ref document: EP

Kind code of ref document: A1