KR20160111880A - A method for interlocking wearable 3d input devices with external devices - Google Patents

A method for interlocking wearable 3d input devices with external devices Download PDF

Info

Publication number
KR20160111880A
KR20160111880A KR1020160032313A KR20160032313A KR20160111880A KR 20160111880 A KR20160111880 A KR 20160111880A KR 1020160032313 A KR1020160032313 A KR 1020160032313A KR 20160032313 A KR20160032313 A KR 20160032313A KR 20160111880 A KR20160111880 A KR 20160111880A
Authority
KR
South Korea
Prior art keywords
wearable
input device
dimensional
dimensional input
input devices
Prior art date
Application number
KR1020160032313A
Other languages
Korean (ko)
Inventor
이현수
Original Assignee
코오롱인더스트리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코오롱인더스트리 주식회사 filed Critical 코오롱인더스트리 주식회사
Publication of KR20160111880A publication Critical patent/KR20160111880A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06K9/00335—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

One embodiment of the present invention relates to a method for interlocking wearable three-dimensional (3D) input devices with external devices, and more specifically, to a method for interlocking wearable 3D input devices including a plurality of sensors, a relative coordinate generating unit for generating 3D relative coordinates by using 3D location information obtained from the sensors, and a communication unit for communicating with the outside, with external devices capable of measuring a location of the wearable 3D input devices. The method for interlocking the wearable 3D input devices with the external devices includes the steps of: transmitting 3D relative coordinates, which are generated by the wearable 3D input devices, of the wearable 3D input devices to the external devices; storing the 3D relative coordinates, which are transmitted to the external devices, of the 3D input devices; updating the 3D relative coordinates of the wearable 3D input devices by periodically performing the step of transmitting the 3D relative coordinates of the wearable 3D input devices to the external devices, and the step of storing the 3D relative coordinates of the wearable 3D input devices; obtaining location information of the wearable 3D input devices; recognizing a user action based on the updated 3D relative coordinates of the wearable 3D input devices and the obtained location information of the wearable 3D input devices; and performing predetermined operation when the recognized user action matches a predetermined action.

Description

착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법{A METHOD FOR INTERLOCKING WEARABLE 3D INPUT DEVICES WITH EXTERNAL DEVICES}TECHNICAL FIELD [0001] The present invention relates to a method for interlocking a wearable three-dimensional input device with an external device,

본 발명은 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법에 관한 것으로, 보다 상세하게는 착용가능한 3차원 입력 장치에 의해 사용자의 동작을 인식하여 이를 외부 기기의 입력으로서 기능하도록 착용가능한 3차원 입력 장치와 외부 기기를 연동하는 방법에 관한 것이다.The present invention relates to a method of interlocking a wearable three-dimensional input device with an external device, and more particularly, to a method of interlocking a wearable three-dimensional input device with an external device, And a method of linking an input device and an external device.

최근 스마트 기기의 급속한 보급과 더불어 사람의 신체에 착용가능한 장치들(wearable devices)의 개발이 활발하고 또한 구글 글라스와 같은 투명 디스플레이를 이용한 증강현실기기와 오큘러스 리프트와 같이 헤드 마운티드 디스플레이를 이용한 가상현실기기가 등장하게 되었다. 그리고, 최근 이슈화되고 있는 사물인터넷(IoT)의 보급이 확산됨에 따라 스마트 홈 등의 서비스가 시작되기에 이르렀다.Recently, the development of wearable devices has been actively developed along with the rapid spread of smart devices. In addition, a virtual reality device using a head-mounted display such as an augmented reality device and an oculus lift using a transparent display such as a Google Glass The device came to appear. And, as the dissemination of IoT (Internet of Things), which has recently become an issue, spreads, services such as smart home have started.

이러한 증강현실기기, 가상현실기기, 그리고 스마트홈 서비스와 같은 사물인터넷은 사용자의 현실감을 극대화하고 보다 편리한 생활 환경을 제공하고자 하는 등을 목적으로 하게 됨에 따라, 그 시각 효과나 제어 기능을 제공하는 방법에서는 혁신을 이루어왔다. 다만, 이들은 단순히 시각적인 효과를 제공할 뿐이거나 여전히 터치 패널 중심의 사용자 인터페이스를 제공함에 따라, 보다 직관적이고 편리한 입력 수단에 의한 사용자 인터페이스를 제공하는 것이 중요한 문제가 되었다.Since the object Internet such as the ARU, the virtual reality device, and the smart home service is intended to maximize the reality of the user and to provide a more convenient living environment, a method of providing the visual effect or the control function Innovation has been achieved. However, since they merely provide a visual effect or still provide a user interface centered on the touch panel, it has become an important issue to provide a user interface by a more intuitive and convenient input means.

전술한 문제점을 해결하기 위한 본 발명은, 사용자가 착용가능한 3차원 입력 장치를 증강현실기기, 가상현실기기, 그리고 사물인터넷 활용 서비스 기기 등의 외부 기기와 연동하도록 하여, 사용자로 하여금 보다 직관적이고 편리한 입력 수단에 의하여 이들 외부 기기를 이용할 수 있도록 하기 위한 사용자 인터페이스를 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION The present invention for solving the above-mentioned problems is to enable a user to wear a three-dimensional input device with an external device such as an augmented reality device, a virtual reality device, and a stuff Internet service device to provide a user with a more intuitive and convenient And an object of the present invention is to provide a user interface for allowing the external device to be used by the input means.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법은, 복수의 센서, 상기 복수의 센서로부터 획득된 3차원 위치 정보를 이용하여 3차원 상대 좌표를 생성하는 상대 좌표 생성부, 및 외부와 통신하기 위한 통신부를 포함하는 착용가능한 3차원 입력 장치와 상기 착용가능한 3차원 입력 장치의 측위가 가능한 외부 기기의 연동 방법으로서, 상기 착용가능한 3차원 입력 장치에 의해 생성되는 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 상기 외부 기기로 전송하는 단계; 상기 외부 기기로 전송된 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계; 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 상기 외부 기기로 전송하는 단계 및 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계를 주기적으로 수행하여 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 업데이트하는 단계; 상기 착용가능한 3차원 입력 장치의 위치 정보를 획득하는 단계; 상기 업데이트된 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표 및 상기 획득된 상기 착용가능한 3차원 입력 장치의 위치 정보에 기초하여 사용자의 동작을 인식하는 단계; 상기 인식된 사용자의 동작이 기 설정된 동작과 일치하는 경우, 기 설정된 작업을 수행하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of interlocking a wearable three-dimensional input device with an external device, the method comprising: a plurality of sensors; A coordinate method for interlocking a wearable three-dimensional input device including a relative coordinate generator for generating relative coordinates and a communication unit for communicating with the outside and an external device capable of positioning the wearable three-dimensional input device, Transmitting the three-dimensional relative coordinate of the wearable three-dimensional input device generated by the input device to the external device; Storing three-dimensional relative coordinates of the wearable three-dimensional input device transmitted to the external device; Dimensional input device is transmitted to the external device and the three-dimensional relative coordinate of the wearable three-dimensional input device is periodically performed to thereby transmit the three-dimensional relative coordinate of the wearable three-dimensional input device to the wearable three- Updating three-dimensional relative coordinates; Acquiring position information of the wearable three-dimensional input device; Recognizing an operation of a user based on the updated three-dimensional relative coordinates of the wearable three-dimensional input device and the obtained position information of the wearable three-dimensional input device; And performing a preset operation when the recognized user's operation coincides with the predetermined operation.

본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법에서, 상기 외부 기기는 가상현실기기, 증강현실기기, 또는 사물인터넷(IoT) 허브(Hub)일 수 있다.In the interworking method of a wearable 3D input device and an external device according to an embodiment of the present invention, the external device may be a virtual reality device, an augmented reality device, or an Internet (IoT) hub.

본 발명에서 개시된 기술은 다음과 같은 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The technique disclosed in the present invention can have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

본 발명에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법은 사용자가 착용가능한 3차원 입력 장치를 증강현실기기, 가상현실기기, 그리고 사물인터넷 활용 서비스 기기 등의 외부 기기와 연동하도록 하여, 사용자로 하여금 보다 직관적이고 편리한 입력 수단에 의하여 이들 외부 기기를 이용할 수 있도록 하기 위한 사용자 인터페이스를 제공할 수 있는 효과가 있다.A method for interlocking a wearable three-dimensional input device with an external device according to the present invention is a method for interlocking a wearable three-dimensional input device with an external device such as an augmented reality device, a virtual reality device, It is possible to provide a user interface for allowing the user to use the external device by a more intuitive and convenient input means.

도1은 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법의 흐름도이다.
도2는 착용가능한 3차원 입력 장치와 증강현실기기 또는 가상현실기기를 연동하는 경우의 실시예를 도시한 것이다.
도3은 착용가능한 3차원 입력 장치와 스마트홈 허브를 연동하여 가옥 내 기기들을 제어할 수 있는 경우의 실시예를 도시한 것이다.
도4 및 도5는 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치를 도시한 도면으로, 도4는 구성도를, 도5는 외관도이다.
도6 내지 8은 본 발명의 일 실시예에 따른 방법에 의하여, 헤드업마운트디스플레이(HMD)와 연동된 3차원 입력장치의 동작방법을 설명하는 도면이다.
도9 및 10은 본 발명의 일 실시예에 따른 3차원 입력장치에 구비된 액추에이터의 구동원리를 설명하는 도면이다.1 is a flowchart of a method of interlocking a wearable three-dimensional input device with an external device according to an embodiment of the present invention.
FIG. 2 shows an embodiment in which a wearable three-dimensional input device and an augmented reality device or a virtual reality device are interlocked.
FIG. 3 shows an embodiment in which devices in a house can be controlled by interlocking a wearable three-dimensional input device and a smart home hub.
FIGS. 4 and 5 are views showing a wearable three-dimensional input device according to an embodiment of the present invention, FIG. 4 is a structural view, and FIG. 5 is an external view.
6 to 8 are diagrams illustrating a method of operating a three-dimensional input device interlocked with a head-up mounted display (HMD) according to a method according to an embodiment of the present invention.
9 and 10 are views illustrating a driving principle of an actuator included in a three-dimensional input device according to an embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.For the embodiments of the invention disclosed herein, specific structural and functional descriptions are set forth for the purpose of describing an embodiment of the invention only, and it is to be understood that the embodiments of the invention may be practiced in various forms, The present invention should not be construed as limited to the embodiments described in Figs.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprise", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법의 흐름도를 나타낸 것이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법은, 복수의 센서, 복수의 센서로부터 획득된 3차원 위치 정보를 이용하여 3차원 상대 좌표를 생성하는 상대 좌표 생성부, 및 외부와 통신하기 위한 통신부를 포함하는 착용가능한 3차원 입력 장치와 착용가능한 3차원 입력 장치의 측위가 가능한 외부 기기의 연동 방법으로서, 착용가능한 3차원 입력 장치에 의해 생성되는 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 외부 기기로 전송하는 단계(S100), 외부 기기로 전송된 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계(S200), 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 외부 기기로 전송하는 단계 및 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계를 주기적으로 수행하여 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 업데이트하는 단계(S300), 착용가능한 3차원 입력 장치의 위치 정보를 획득하는 단계(S400), 업데이트된 착용가능한 3차원 입력 장치의 3차원 상대 좌표 및 획득된 착용가능한 3차원 입력 장치의 위치 정보에 기초하여 사용자의 동작을 인식하는 단계(S500), 인식된 사용자의 동작이 기 설정된 동작과 일치하는 경우, 기 설정된 작업을 수행하는 단계(S600)를 포함할 수 있다.1 is a flowchart of a method of interlocking a wearable three-dimensional input device with an external device according to an embodiment of the present invention. Referring to FIG. 1, a method of interlocking a wearable three-dimensional input device with an external device according to an embodiment of the present invention includes three-dimensional positional information obtained from a plurality of sensors and a plurality of sensors, Dimensional input device including a wearable three-dimensional input device and an external device capable of positioning a wearable three-dimensional input device, the wearable three-dimensional input device comprising: Dimensional relative coordinates of the wearable three-dimensional input device to the external device (S100), storing the three-dimensional relative coordinates of the wearable three-dimensional input device transferred to the external device (S200) Transmitting the three-dimensional relative coordinates of the three-dimensional input device to an external device and storing the three-dimensional relative coordinates of the wearable three-dimensional input device periodically Dimensional input device (S300), acquiring position information of the wearable three-dimensional input device (S400), updating the three-dimensional relative position of the wearable three-dimensional input device (S500) of recognizing the operation of the user based on the coordinates and the positional information of the obtained wearable three-dimensional input device, performing a preset operation (S600 ).

본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법은 복수의 센서, 복수의 센서로부터 획득된 3차원 위치 정보를 이용하여 3차원 상대 좌표를 생성하는 상대 좌표 생성부, 및 외부와 통신하기 위한 통신부를 포함하는 착용가능한 3차원 입력 장치와 착용가능한 3차원 입력 장치의 측위가 가능한 외부 기기의 연동 방법이다. 여기서, 착용가능한 3차원 입력 장치는, 예를 들어, 장갑이나 상의 또는 하의 등 의복류 또는 장신구가 될 수도 있으며, 사용자의 동작을 인식하기에 용이하도록 사용자가 착용할 수 있는 물건인 경우, 이러한 입력 장치로서 바람직할 것이다.A method of interlocking a wearable three-dimensional input device and an external device according to an embodiment of the present invention includes a plurality of sensors, a relative coordinate generating unit for generating three-dimensional relative coordinates using three-dimensional position information obtained from a plurality of sensors, And a communication unit for communicating with the outside, and an external device capable of positioning the wearable three-dimensional input device. Here, the wearable three-dimensional input device may be, for example, a glove, a jacket or an undergarment or an accessory, and if the user can wear the jacket to easily recognize the operation of the user, .

착용가능한 3차원 입력 장치는 복수의 센서, 복수의 센서로부터 획득된 3차원 위치 정보를 이용하여 3차원 상대 좌표를 생성하는 상대 좌표 생성부, 및 외부와 통신하기 위한 통신부를 포함할 수 있는데, 이러한 복수의 센서와 상대 좌표 생성부에 의해 이 3차원 입력 장치의 3차원 위치 정보를 3차원 상대 좌표로서 생성할 수 있고, 이러한 3차원 상대 좌표를 통신부를 통해 외부 기기로 전송할 수 있다.The wearable three-dimensional input device may include a plurality of sensors, a relative coordinate generator for generating three-dimensional relative coordinates using three-dimensional position information obtained from the plurality of sensors, and a communication unit for communicating with the outside. The three-dimensional position information of the three-dimensional input device can be generated as three-dimensional relative coordinates by the plurality of sensors and the relative coordinate generating unit, and the three-dimensional relative coordinate can be transmitted to the external device through the communication unit.

외부 기기는 증강현실기기, 가상현실기기, 또는 사물인터넷 허브 등이 될 수 있으며, 이는 전술한 착용가능한 3차원 입력 장치로부터 그 3차원 위치 정보를 3차원 상대 좌표로 수신하며, 착용가능한 3차원 입력 장치의 측위가 가능하다. 이러한 착용가능한 3차원 입력 장치의 3차원 상대 좌표와 측위 결과를 통해 사용자의 동작에 의한 입력 신호를 인식할 수 있게 된다.The external device may be an augmented reality device, a virtual reality device, or an object Internet hub, which receives the three-dimensional position information from the wearable three-dimensional input device in three-dimensional relative coordinates, Positioning of the device is possible. The input signal by the user's operation can be recognized through the 3D relative coordinate of the wearable three-dimensional input device and the positioning result.

착용가능한 3차원 입력 장치에 의해 생성되는 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 외부 기기로 전송하면(S100), 외부 기기에서는 3차원 입력 장치로부터 전송된 3차원 상대 좌표를 저장하고(S200), 이러한 전송 및 저장을 주기적으로 수행하여 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 업데이트하게 된다(300). 이에 따라, 사용자가 어떤 동작, 제스처를 취하였는지 인식할 수 있게 된다.When the three-dimensional relative coordinates of the wearable three-dimensional input device generated by the wearable three-dimensional input device are transmitted to the external device (S100), the external device stores the three-dimensional relative coordinates transmitted from the three- ), And such transmission and storage are periodically performed to update the three-dimensional relative coordinates of the wearable three-dimensional input device (300). Thus, it becomes possible to recognize what operation the user has taken the gesture.

그리고, 외부 기기에서는 착용가능한 3차원 입력 장치의 위치 정보를 획득하고(S400), 업데이트된 착용가능한 3차원 입력 장치의 3차원 상대 좌표 및 획득된 착용가능한 3차원 입력 장치의 위치 정보를 이용하여 사용자가 어느 위치에서 어떤 동작을 취하였는지 인식하게 된다(S500).Then, the position information of the wearable three-dimensional input device is acquired (S400), and the positional information of the wearable three-dimensional input device is obtained from the three-dimensional relative coordinates of the updated wearable three- (S500). In this case, it is determined which operation is performed at which position.

이와 같이 인식된 사용자의 동작이 기 설정된 동작, 예를 들어, 특정 위치에서 특정 방향으로 손가락질하는 동작 등과 일치하는 경우, 그 동작에 따라 이미 설정된 작업, 예를 들어, 그 물건에 대한 가상의 표지를 선택하는 등의 작업을 수행하게 된다(S600). If the recognized user's operation is consistent with a predetermined operation, for example, a finger pointing operation in a specific direction at a specific position, etc., the user can select a job already set according to the operation, for example, (S600).

이로써, 사용자는 보다 직관적인 방법에 의해 편리하게 외부 기기를 제어할 수 있게 된다.This allows the user to conveniently control the external device by a more intuitive method.

이하 도 2와 도 3의 구체적인 시나리오를 예로 들어 설명한다. 여기서, 도 2는 착용가능한 3차원 입력 장치와 증강현실기기 또는 가상현실기기를 연동하는 경우의 실시예를 도시한 것이고, 도 3은 착용가능한 3차원 입력 장치와 스마트홈 허브를 연동하여 가옥 내 기기들을 제어할 수 있는 경우의 실시예를 도시한 것이다.Hereinafter, the specific scenarios of FIGS. 2 and 3 will be described as an example. FIG. 2 shows an embodiment in which a wearable three-dimensional input device and an augmented reality device or a virtual reality device are interlocked with each other. FIG. 3 shows an example in which a wearable three- In the case where it is possible to control the operation of the display device.

도 2와 같이 착용가능한 3차원 입력 장치와 증강현실기기 또는 가상현실기기를 연동하는 경우로서, 3차원 입력 장치로서 장갑을 사용하여 투명 디스플레이 또는 카메라 등을 통해 증강현실(Augmented Reality; AR)을 제공하는 외부 기기와 연동하는 경우를 예로 들 수 있다. 2, an augmented reality (AR) device is provided through a transparent display or a camera using a glove as a three-dimensional input device, For example, in conjunction with an external device.

이 경우, 증강현실기기는 사용자에게 실제 사물에 부가 정보를 표시하여 사용자에게 보여 주고, 장갑을 낀 사용자가 특정한 손 동작, 예를 들어, 특정 정보가 표시된 부분을 잡아서 끄는 동작을 취하게 되면 장갑에 의해 인식된 사용자의 동작과 손의 위치를 이용하여 사용자가 원하는 상세 정보를 표시할 수 있도록 한다.In this case, the augmented reality device displays the additional information on the real object to the user and shows it to the user. When the user wearing the glove takes a specific hand action, for example, So that the user can display detailed information desired by the user using the recognized operation of the user and the position of the hand.

또한, 가상현실(Virtual Reality)을 제공하는, 대표적으로 헤드마운티드디스플레이(Head Mounted Display)를 이용하는 가상현실기기를 외부 기기로서 사용하는 경우, 가상현실기기에 표시된 가상의 공간, 예를 들어, 격투 게임의 경우, 사용자는 가상의 공간에 표시된 게임 화면을 보고, 3차원 입력 장치인 장갑을 이용하여 상대에게 주먹을 날리는 동작을 취하게 되면 장갑에 의해 인식된 사용자의 동작이 게임에 반영되어 가상의 공간에서 상대방에게 주먹을 날리는 효과를 내도록 할 수 있다.In addition, when a virtual reality apparatus using a head mounted display, which typically provides virtual reality, is used as an external apparatus, a virtual space displayed on the virtual reality apparatus, for example, a fighting game When a user views a game screen displayed in a virtual space and takes an action of blowing a fist to the opponent using the glove as a three-dimensional input device, the motion of the user recognized by the glove is reflected in the game, It is possible to make the effect of blowing a fist to the opponent.

이러한 예시적인 시나리오와 같이 사용자는 실제 공간에서와 같이 행동하는 것만으로, 즉, 직관적인 방법으로 외부 기기를 편리하게 이용할 수 있다.As with this exemplary scenario, a user can conveniently use an external device in an intuitive manner, just by acting like in real space.

한편, 도 3에 도시한 바와 같이 스마트홈 허브를 연동하여 가옥 내 기기들을 제어할 수 있는 시나리오를 예시할 수 있다. 최근 사물인터넷(IoT) 기술의 보급이 확산되는 추세인데, 이를 활용한 대표적인 서비스가 스마트홈이다. 이는 스마트홈 허브를 통해 연결된 가옥 내 기기들을 통합 제어하는 것을 기본적인 서비스로서 제공한다. Meanwhile, as shown in FIG. 3, it is possible to exemplify a scenario in which devices in a house can be controlled by interlocking with a smart home hub. Recently, the diffusion of internet (IoT) technology is spreading, and smart home is a representative service utilizing this. This provides a basic service to integrate and control devices within a house connected through a smart home hub.

예를 들면, 가옥 내의 스마트홈 허브와 사용자가 착용할 수 있는 3차원 입력 장치로서의 장갑을 이용하는 경우가 이에 해당된다. 사용자가 자신의 집에 들어와서 전등을 켜고자 하는 경우, 장갑을 낀 사용자는 전등을 향해 손가락질하고 손가락을 위로 올리는 동작을 취한다. 이 때 사용자가 낀 장갑에 부착된 센서의 상대 좌표가 스마트홈 허브로 전송되어 저장되는 동작이 반복되어 장갑에 의해 사용자의 손가락질과 손가락을 위로 올리는 동작이 인식되며, 스마트홈 허브에서는 사용자가 낀 장갑의 위치를 측위하여, 이미 저장되어 있는 가옥의 도면 상의 위치와 매칭함으로써 사용자가 손가락질에 의해 가리키고 있는 것이 전등임을 인식하고, 사용자의 손가락을 위로 올리는 동작이 손가락이 가리킨 전등을 켜는 동작으로 이미 설정되어 있으므로 그에 따라 손가락이 가리킨 전등을 켜게 된다.This is the case, for example, when a smart home hub in a house and a glove as a three-dimensional input device that can be worn by a user are used. When a user enters his or her home and wants to turn on the light, the user wearing the glove takes the action of pointing the light toward the light and raising the finger. At this time, the relative coordinates of the sensor attached to the user's glove is transmitted to the smart home hub and stored, and the operation of raising the user's finger and finger up by the glove is recognized. In the smart home hub, It is recognized that the user is pointing to the light by pointing the user by matching with the position on the drawing of the house which is already stored and the operation of raising the user's finger is already set by the operation of turning on the light pointed by the finger So you turn on the light pointed by your finger.

따라서, 사용자는 전등을 켜기 위해 스위치를 켜지 않을 뿐 아니라 스마트홈 허브 또는 제어 장치를 건드리지 않고도 단지 전등을 가리키고 손가락을 올리는 동작을 취하는 것과 같은 직관적이고 편리한 방법에 의해 전등을 켤 수 있다. 이와 마찬가지로 가옥 내의 다른 기기들도 직관적이고 편리한 방법으로 제어할 수 있게 된다.Thus, the user can turn on the light by an intuitive and convenient method, such as not only turning on the switch to turn on the light, but also pointing to the light and raising the finger without touching the smart home hub or control device. Likewise, other devices in the house can be controlled in an intuitive and convenient way.

도4 및 도5는 본 발명의 일 실시예에 따른 착용가능한 3차원 입력 장치를 도시한 도면으로, 도4는 구성도를, 도5는 외관도이다. FIGS. 4 and 5 are views showing a wearable three-dimensional input device according to an embodiment of the present invention, FIG. 4 is a structural view, and FIG. 5 is an external view.

도4를 참고하면, 본 발명의 착용가능한 3차원 입력 장치는 장갑 형태로 구현될 수 있으며, 센싱 수행부(10), 센싱 신호 처리부(20), 외부 기기 연동부(30), 통신부(40), 사용자 인터페이스부(50) 및 전원 공급부(60), 그리고 장갑과 같이 사용자에 착용 가능한 형상으로 구현되며 센싱 수행부(10), 센싱 신호 처리부(20), 외부 기기 연동부(30), 통신부(40), 사용자 인터페이스부(50) 및 전원 공급부(60)이 부착되는 몸체(70) 등을 포함하여 구성될 수 있다. 4, the wearable three-dimensional input device of the present invention can be implemented in a glove shape and includes a sensing performing unit 10, a sensing signal processing unit 20, an external device interlocking unit 30, a communication unit 40, A user interface unit 50 and a power supply unit 60 and a glove and includes a sensing performing unit 10, a sensing signal processing unit 20, an external device interlocking unit 30, a communication unit 40, a user interface unit 50, and a body 70 to which a power supply unit 60 is attached.

센싱 수행부(10)는 도5에 도시된 바와 같이 몸체(70)의 다수개 손가락 부위와 손바닥 부위 중 적어도 하나에 배치되는 적어도 하나의 움직임 센서(SEN1)을 구비하고, 움직임 센서(SEN1)을 통해 사용자가 다양한 패턴으로 변화시키는 손 움직임에 따라 변화되는 손 위치값(즉, 손가락 부위 각각의 위치값 및/또는 손바닥 부위의 위치값)을 센싱하도록 한다. 여기서 움직임 센서(SEN1)는 3차원 상에서의 움직임 방향과 거리를 센싱할 수 있는 가속도 센서(Accelerometer), 3차원 상에서의 회전을 센싱할 수 있는 자이로 센서(Gyro sensor), 지표면에 대해 기울어진 정도를 센싱할 수 있는 자력 센서(Magnetometer) 중 적어도 하나로 구현될 수 있다5, the sensing unit 10 includes at least one motion sensor SEN1 disposed on at least one of a plurality of fingers and a palm area of the body 70, and includes a motion sensor SEN1, (I.e., a position value of each finger region and / or a position value of the palm region) that changes according to a hand movement that the user changes to various patterns. Here, the motion sensor SEN1 includes an acceleration sensor capable of sensing a direction and a distance in three-dimensional motion, a gyro sensor capable of sensing rotation on a three-dimensional plane, a degree of tilt with respect to the ground surface And a magnetometer capable of sensing the magnetic field

또한 센싱 수행부(10)는 몸체(70)의 다수개 손가락 부위와 손바닥 부위 중 적어도 하나에 배치되는 적어도 하나의 휨 센서(SEN2)를 더 구비하고, 이를 통해 손 모양(즉, 손가락 부위 각각의 구부림 정도 및/또는 손바닥 부위의 구부림 정도)을 추가 센싱할 수 있도록 한다. The sensing unit 10 may further include at least one flexure sensor SEN2 disposed on at least one of a plurality of fingers and a palm area of the body 70, The degree of bending and / or the degree of bending of the palm area).

센싱 신호 처리부(20)는 손 제스처 각각에 대응되는 손 위치값 변화 패턴과 손 모양 변화 패턴을 정의하고, 이에 대한 정보를 저장한다. 그리고 센싱 수행부(10)의 센싱 결과를 수집 및 분석하여 손 위치값 변화 패턴과 손 모양 변화 패턴을 파악한 후 이를 손 제스처 판단 정보와 비교하여, 사용자 현재 취하는 손 제스처를 식별하고 외부 기기 연동부(30)에 통보하도록 한다. The sensing signal processor 20 defines a hand position variation pattern and a hand shape variation pattern corresponding to each hand gesture, and stores information about the hand position variation pattern. Then, the sensing result of the sensing performance unit 10 is collected and analyzed to determine a hand position value change pattern and a hand shape change pattern, and the detected hand position change pattern is compared with the hand gesture judgment information to identify the hand gesture currently taken by the user, 30).

외부 기기 연동부(30)는 통신부(40)을 통해 사용자 근거리에 위치한 외부 기기를 자동 인식하고, 자동 인식된 외부 기기에 센싱 신호 처리부(20)를 통해 인식된 손 제스처를 전송하도록 한다. The external device interlocking unit 30 automatically recognizes an external device located near the user through the communication unit 40 and transmits the recognized hand gesture to the automatically recognized external device through the sensing signal processing unit 20. [

통신부(40)는 블루투스, 와이파이 등과 같은 근거리 무선 통신 모듈을 구비하고, 이를 통해 3차원 입력 장치의 근거리에 위치한 외부 기기와의 근거리 무선 통신을 지원한다. The communication unit 40 includes a short-range wireless communication module such as Bluetooth, Wi-Fi, and the like, and supports short-range wireless communication with an external device located near the three-dimensional input device.

또한, 경우에 따라 본 발명의 착용가능한 3차원 입력 장치는 터치 스크린, 버튼, 스피커 등을 구비하는 사용자 인터페이스(40)를 추가 구비하고, 이를 통해 사용자가 입력하는 각종 제어값을 획득하거나, 착용가능한 3차원 입력 장치의 현재 동작 상태를 시청각적으로 알려줄 수도 있도록 한다. In addition, in some cases, the wearable three-dimensional input device of the present invention further includes a user interface 40 having a touch screen, a button, a speaker, etc., thereby acquiring various control values inputted by the user, So that the current operation state of the three-dimensional input device can be informed audibly.

뿐 만 아니라 본 발명의 착용가능한 3차원 입력 장치는 배터리, 건전지 등을 통해 동작 전원을 생성 및 공급하는 전원 공급부(50)를 추가 구비하고, 이를 통해 착용가능한 3차원 입력 장치의 구동에 필요한 각종 전원을 자체 공급할 수도 있도록 한다. In addition, the wearable three-dimensional input device of the present invention further includes a power supply unit 50 for generating and supplying operating power through a battery, a battery, etc., To be supplied by itself.

이와 같이, 본 발명에 따른 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법을 이용하면, 착용가능한 3차원 입력 장치를 증강현실기기, 가상현실기기, 그리고 사물인터넷 활용 서비스 기기 등의 외부 기기와 연동하도록 하여, 사용자는 보다 직관적이고 편리한 입력 수단에 의하여 이들 외부 기기를 이용할 수 있게 되는 효과가 있다.As described above, by using the interlocking method of the wearable three-dimensional input device and the external device according to the present invention, the wearable three-dimensional input device can be connected to an external device such as an augmented reality device, a virtual reality device, So that the user can use these external devices by means of more intuitive and convenient input means.

도 6 내지 8은 본 발명의 일 실시예에 따른 방법에 의하여, 헤드업마운트디스플레이(HMD)와 연동된 3차원 입력장치의 동작방법을 설명하는 도면이다.6 to 8 are diagrams illustrating a method of operating a three-dimensional input device interlocked with a head-up mounted display (HMD) according to a method according to an embodiment of the present invention.

도 6을 참조하면, 머리에 부착되는 디바이스인 헤드업마운트디스플레이(100)와, 본 발명의 일 실시예에 따른 착용가능한 3차원 입력장치(110)가 개시된다. 상기 헤드업마운트디스플레이(100)와 3차원 입력장치(110)는 상호 연동되도록 통신한다.Referring to Fig. 6, a head-up mount display 100 that is a device attached to the head and a wearable three-dimensional input device 110 according to an embodiment of the present invention are disclosed. The head-up mount display 100 and the three-dimensional input device 110 communicate with each other to interoperate.

도 7을 참조하면, 3차원 입력장치(110)를 a 위치에서 b위치로 실제 이동시키며, 이에 따른 3차원 좌표값 변화가 판단된다. Referring to FIG. 7, the three-dimensional input device 110 is actually moved from the position a to the position b, and the change of the three-dimensional coordinate value is determined accordingly.

도 8을 참조하면, 상기 헤드업마운트디스플레이(100)에 표시되는 캐릭터의 손 또한 이에 대응되도록 이동한다. 따라서, 본 발명에 따른 3차원 입력장치를 이용하여 보다 직관적이고 효과적인 가상현실의 캐릭터 조작과 제어가 가능하다.Referring to FIG. 8, the hand of the character displayed on the head-up mount display 100 is moved so as to correspond to the hand. Therefore, it is possible to manipulate and control characters of virtual reality more intuitively and effectively by using the three-dimensional input device according to the present invention.

본 발명은 더 나아가 사용자의 동작에 따른 3차원 입력장치(110)를 통하여 촉각자극을 주는 구성을 제공한다. The present invention further provides a configuration for giving a tactile stimulus through a three-dimensional input device 110 according to a user's operation.

즉, 헤드마운트디스플레이를 통하여 가상현실을 경험하는 도중, 눈에 보이는 가상물체의 형상을 상기 3차원 입력장치를 통하여 제어되는 가상현실의 사용자 캐릭터가 만지는 경우, 상기 3차원 입력장치는 실제 물체가 만져지는 느낌이 드는 듯한 촉감정보를 제공할 수 있다. That is, when a user character of a virtual reality controlled through the three-dimensional input device touches the shape of a virtual virtual object while experiencing a virtual reality through the head mount display, the three-dimensional input device touches an actual object It is possible to provide tactile information as if feeling losing.

상기 촉감정보는 장갑과 같은 신체부착형 3차원 입력장치에 구비된 다수의 액추에이터를 통하여 생성될 수 있는데, 도 9 및 10은 본 발명의 일 실시예에 따른 3차원 입력장치에 구비된 액추에이터의 구동원리를 설명하는 도면이다.The tactile information may be generated through a plurality of actuators provided in a body-attachable three-dimensional input device such as a glove. FIGS. 9 and 10 illustrate an exemplary embodiment of the present invention, Fig.

도 9 및 10을 참조하면, 촉감정보를 생성하는 액츄 에이터(230)는 물체 접촉시에 발생하는 압력 변화 패턴, 또는 진동 발생 패턴을 센싱 및 출력하거나, 소정의 압력 변화 패턴 또는 진동 발생 패턴을 발생하여 물체에 인가하는 방식으로, 물체 접촉에 따른 촉감을 센싱 또는 재현할 수 있도록 한다.9 and 10, the actuator 230 for generating tactile information may sense and output a pressure change pattern or a vibration generation pattern generated when an object contacts, or generate a predetermined pressure change pattern or vibration generation pattern So that it is possible to sense or reproduce the tactile sensation due to the contact of the object.

더 나아가 본 발명의 일 실시예에 따른 액추에이터(230)에 부착된 온도 센서를 통해 물체 접촉에 따른 온도 변화를 센싱 및 출력하고, 액추에이터(230)에 부착된 발열 센서를 통해 물체 접촉에 따른 온도 변화를 재현할 수 있도록 함으로써, 물체 접촉에 따른 촉감이 압력 또는 진동 뿐 만 아니라 온도 형태로도 구현될 수 있도록 해준다. 이때, 온도 센서(241)와 발열 장치(242)는 도10에 도시된 바와 같이 물체와의 접촉 가능성이 최대화될 수 있도록 액추에이터 상부면에 위치되는 것이 가장 바람직하나, 그 위치는 물체의 온도를 센싱하고 물체에 열을 인가할 수 있는 범위 내에서 자유롭게 조정 가능할 것이다. Further, the sensor 230 senses and changes the temperature change due to the contact of the object through the temperature sensor attached to the actuator 230, and detects the temperature change due to the object contact through the exothermic sensor attached to the actuator 230 So that the touch due to object contact can be realized not only by pressure or vibration but also by temperature. 10, it is most preferable that the temperature sensor 241 and the heat generator 242 are located on the upper surface of the actuator so as to maximize the possibility of contact with the object, And it is freely adjustable within a range where heat can be applied to the object.

또한, 도10에 도시된 바와 같이 액추에이터(230) 각각에 부착되어 물체 접촉에 따른 소리를 센싱하는 오디오 장치(251), 액추에이터(230) 각각에 부착되어(특히, 상부면에 부착되어) 액추에이터(230) 각각의 쿠션감(또는, 딱딱함 정도)을 다양하게 조정할 수 있는 다수의 쿠션 조정 장치(252)을 더 포함할 수 있다. 10, an audio device 251 attached to each of the actuators 230 to sense a sound according to an object contact, and an actuator 230 attached to each of the actuators 230 (in particular, attached to the upper surface) The cushion adjusting device 252 may adjust the cushioning feeling (or the degree of hardness) of the cushioning device 230 to various degrees.

이러한 경우, 촉감 정보 생성부는 소리특성과 물체재질간 상관관계에 대한 제1 정보를 구비하고, 이를 참고하여 오디오 장치(251)를 통해 획득된 소리의 특성(즉, 소리 세기, 주파수 특성, 소리 유지 기간 등)에 상응하는 물체 재질을 파악하는 기능을, 촉감 재현부는 물체 재질과 쿠션감간 상관관계에 대한 제2 정보를 구비하고, 이를 참고하여 쿠션 조정 장치(252)를 동작 제어하는 기능을 더 포함할 수 있을 것이다. In this case, the tactile information generating unit includes first information on the correlation between the sound characteristics and the material of the object, and refers to the first information on the characteristics of sound acquired through the audio device 251 (i.e., sound intensity, frequency characteristics, The cushion adjusting device 252 includes a function of grasping an object material corresponding to the cushion adjusting device 252 and a function of grasping the material of the object corresponding to the cushion adjusting device 252, You can do it.

참고로, 물체 접촉시에는 소정의 소리가 발생하는 데, 이때의 소리 특성(소리 세기, 주파수 특성, 소리 유지 기간 등)은 물체의 종류에 따라 달라지는 특징이 있다. 이에 본 발명에서는 오디오 장치(251)를 통해 물체 접촉 시 발생하는 소리를 센싱하여 출력하고, 이를 기반으로 쿠션감을 조정함으로써, 최종적으로 물체의 재질까지도 재현할 수 있도록 해준다. For reference, a predetermined sound is generated when an object is contacted. The sound characteristics (sound intensity, frequency characteristics, sound holding period, etc.) at this time vary depending on the type of object. Accordingly, in the present invention, the sound generated when an object contacts with the audio device 251 is sensed and output, and the cushion feeling is adjusted based on the sensed sound, so that the material of the object can be finally reproduced.

전술한 3원 입력 장치와 외부 기기와의 연동 방법은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다. A computer-readable recording medium on which the program commands are recorded may be a ROM, a RAM, a CD-ROM, a CD-ROM, , Magnetic tapes, floppy disks, optical media storage devices, and the like.

또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.The computer-readable recording medium on which the above-described program is recorded may be distributed to a computer apparatus connected via a network so that computer-readable codes can be stored and executed in a distributed manner. In this case, one or more of the plurality of distributed computers may execute some of the functions presented above and send the results of the execution to one or more of the other distributed computers, The computer may also perform some of the functions described above and provide the results to other distributed computers as well.

본 발명의 각 실시예에 따른 장치 및 방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다. A computer capable of reading a recording medium on which an application as a program for driving the apparatus and method according to each embodiment of the present invention is read can be used not only in a general PC such as a general desktop or a notebook computer but also in a smart phone, Personal digital assistants (PDAs), mobile communication terminals, and the like, and it should be interpreted as all devices capable of computing.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체 (Computer Readable Storage Medium)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program is stored in a computer readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. As a storage medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (4)

복수의 센서, 상기 복수의 센서로부터 획득된 3차원 위치 정보를 이용하여 3차원 상대 좌표를 생성하는 상대 좌표 생성부, 및 외부와 통신하기 위한 통신부를 포함하는 착용가능한 3차원 입력 장치와 상기 착용가능한 3차원 입력 장치의 측위가 가능한 외부 기기의 연동 방법으로서,
상기 착용가능한 3차원 입력 장치에 의해 생성되는 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 상기 외부 기기로 전송하는 단계;
상기 외부 기기로 전송된 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계;
상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 상기 외부 기기로 전송하는 단계 및 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 저장하는 단계를 주기적으로 수행하여 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표를 업데이트하는 단계;
상기 착용가능한 3차원 입력 장치의 위치 정보를 획득하는 단계;
상기 업데이트된 상기 착용가능한 3차원 입력 장치의 3차원 상대 좌표 및 상기 획득된 상기 착용가능한 3차원 입력 장치의 위치 정보에 기초하여 사용자의 동작을 인식하는 단계;
상기 인식된 사용자의 동작이 기 설정된 동작과 일치하는 경우, 기 설정된 작업을 수행하는 단계를 포함하는, 착용가능한 3차원 입력 장치와 외부 기기의 연동 방법.A wearable three-dimensional input device including a plurality of sensors, a relative coordinate generator for generating three-dimensional relative coordinates using three-dimensional position information obtained from the plurality of sensors, and a communication unit for communicating with the outside, A method of interlocking an external device capable of positioning a three-dimensional input device,
Transmitting three-dimensional relative coordinates of the wearable three-dimensional input device generated by the wearable three-dimensional input device to the external device;
Storing three-dimensional relative coordinates of the wearable three-dimensional input device transmitted to the external device;
Dimensional input device is transmitted to the external device and the three-dimensional relative coordinate of the wearable three-dimensional input device is periodically performed to thereby transmit the three-dimensional relative coordinate of the wearable three-dimensional input device to the wearable three- Updating three-dimensional relative coordinates;
Acquiring position information of the wearable three-dimensional input device;
Recognizing an operation of a user based on the updated three-dimensional relative coordinates of the wearable three-dimensional input device and the obtained position information of the wearable three-dimensional input device;
And performing a preset operation when the recognized operation of the user matches the predetermined operation. 제 1 항에 있어서,
상기 외부기기는 가상현실기기, 증강현실기기, 또는 사물인터넷(IoT) 허브인, 착용가능한 3차원 입력 장치와 외부 기기의 연동 방법.The method according to claim 1,
Wherein the external device is a virtual reality device, an augmented reality device, or a matter Internet (IoT) hub. 제 2항에 있어서,
상기 외부기기는 착용가능한 가상현실기기이며, 상기 인식된 사용자의 동작에 따라 상기 착용가능한 가상현실기기의 캐릭터 동작이 제어되는, 착용가능한 3차원 입력 장치와 외부 기기의 연동 방법.3. The method of claim 2,
Wherein the external device is a wearable virtual reality device and a character operation of the wearable virtual reality device is controlled according to an operation of the recognized user. 제 3항에 있어서,
상기 3차원 입력장치는 상기 사용자에게 햅틱 자극을 주기 위한 햅틱 장치를 더 포함하는, 착용가능한 3차원 입력 장치와 외부 기기의 연동 방법.The method of claim 3,
Wherein the 3D input device further comprises a haptic device for giving a haptic stimulus to the user.
KR1020160032313A 2015-03-17 2016-03-17 A method for interlocking wearable 3d input devices with external devices KR20160111880A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150036573 2015-03-17
KR20150036573 2015-03-17

Publications (1)

Publication Number Publication Date
KR20160111880A true KR20160111880A (en) 2016-09-27

Family

ID=57101019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160032313A KR20160111880A (en) 2015-03-17 2016-03-17 A method for interlocking wearable 3d input devices with external devices

Country Status (1)

Country Link
KR (1) KR20160111880A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005399A (en) * 2017-07-06 2019-01-16 김호빈 Method for generating electrical muscle stimulation signal and apparatus thereof
WO2020027559A1 (en) * 2018-08-02 2020-02-06 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005399A (en) * 2017-07-06 2019-01-16 김호빈 Method for generating electrical muscle stimulation signal and apparatus thereof
WO2020027559A1 (en) * 2018-08-02 2020-02-06 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11417338B2 (en) 2018-08-02 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and control method for controlling a device in an Internet of Things

Similar Documents

Publication Publication Date Title
CN210573659U (en) Computer system, head-mounted device, finger device, and electronic device
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
US11221730B2 (en) Input device for VR/AR applications
US11093053B2 (en) Input device
US10974138B2 (en) Haptic surround functionality
US11144121B2 (en) Wearable interactive user interface
US20200167022A1 (en) Systems and methods for distributing haptic effects to users interacting with user interfaces
US7337410B2 (en) Virtual workstation
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
JP2019050003A (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
WO2016097841A2 (en) Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
CN105242772A (en) Systems and methods for surface elements that provide electrostatic haptic effects
US20100020036A1 (en) Portable electronic device and method of controlling same
EP3549127B1 (en) A system for importing user interface devices into virtual/augmented reality
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
KR20160008890A (en) Apparatus and method for providing touch inputs by using human body
KR20110137587A (en) Apparatus and method of contact-free space input/output interfacing
KR20160111880A (en) A method for interlocking wearable 3d input devices with external devices
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
Bowers et al. Making it simple: expanding access and lowering barriers to novel interaction devices for virtual and augmented reality
US20200192477A1 (en) Modular hand-mounted input device
KR102322968B1 (en) a short key instruction device using finger gestures and the short key instruction method using thereof
JP2021077097A (en) Information processing device, information processing method, and program
Kubo et al. SynCro: context-aware user interface system for smartphone-smartwatch cross-device interaction
Sagia et al. Design and Prototyping of a Wearable Kinesthetic Haptic Feedback System to Support Mid-Air Interactions in Virtual Environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application