KR102422834B1 - Gesture recognition device using 3D virtual space and wrist band and recognition method using the same - Google Patents
Gesture recognition device using 3D virtual space and wrist band and recognition method using the same Download PDFInfo
- Publication number
- KR102422834B1 KR102422834B1 KR1020200166212A KR20200166212A KR102422834B1 KR 102422834 B1 KR102422834 B1 KR 102422834B1 KR 1020200166212 A KR1020200166212 A KR 1020200166212A KR 20200166212 A KR20200166212 A KR 20200166212A KR 102422834 B1 KR102422834 B1 KR 102422834B1
- Authority
- KR
- South Korea
- Prior art keywords
- wristband
- gesture recognition
- smart glasses
- wireless
- wired communication
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 210000000707 wrist Anatomy 0.000 title claims abstract description 10
- 239000004984 smart glass Substances 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 19
- 238000013461 design Methods 0.000 claims abstract description 7
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 abstract description 11
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
본 발명은 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치 및 방법에 관한 것으로, 손목에 착용하는 손목밴드형 본체와, 손목밴드형 본체에 무선 또는 유선통신방식으로 연결되며, 안면에 착용하는 스마트 글래스와, 상기 스마트 글래스에 장착된 카메라로 구성되는 유저인터페이스부; 상기 유저인터페이스부와 연동되는 앱; 상기 앱이 설치되며 무선 또는 유선통신방식으로 연결되며 원격지에 구비되고 설계 모델링 프로그램이 탑재된 하드웨어부;를 포함하여 구성된다.
이에 따르면, 안경형태로 착용한 스마트글라스에서 대용량 3차원 설계 모델을 시현하여 실시간으로 필요한 부분에 대한 형상을 직접 확인해볼 수 있고, 이러한 CAD도면이나 모델링 파일의 조작을 손목에 착용한 스마트밴드를 이용하는 제스처 인식으로 가상화면을 조작할 수 있어 작업효율이 월등히 향상될 수 있는 효과가 있다.The present invention relates to a gesture recognition apparatus and method using a three-dimensional virtual space and a wristband, and is connected to a wristband-type body worn on the wrist and the wristband-type body by a wireless or wired communication method, and is worn on the face. a user interface unit comprising smart glasses and a camera mounted on the smart glasses; an app that is interlocked with the user interface unit; The app is installed, connected by a wireless or wired communication method, is provided at a remote location, and a hardware unit equipped with a design modeling program; and is configured to include.
According to this, it is possible to directly check the shape of the necessary part in real time by realizing a large-capacity three-dimensional design model in smart glasses worn in the form of glasses, and to manipulate these CAD drawings or modeling files using a smart band worn on the wrist. The virtual screen can be manipulated by gesture recognition, which has the effect of significantly improving work efficiency.
Description
본 발명은 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치 및 이를 이용한 인식방법에 관한 것이다.The present invention relates to a gesture recognition apparatus using a three-dimensional virtual space and a wristband, and a recognition method using the same.
근래들어 IT 기술의 발달로 인해 안경형태로 제공되어 얼굴에 착용하면, 현실세계 및 필요한 정보를 적재적소에 디스플레이 하여 주는 증강현실글래스가 의료, 국방, 산업 등 많은 부분에서 사용될 수 있도록 연구 및 개발이 빠른 속도로 진행되고 있다.Recently, due to the development of IT technology, research and development has been conducted so that augmented reality glasses, which are provided in the form of glasses and worn on the face, display the real world and necessary information in the right place, can be used in many areas such as medical care, national defense, and industry. It is progressing at a fast pace.
이러한 증강현실글래스는 실제의 물체를 인식하여 인식된 물체에 관련되는 정보를 주거나 실제로는 없는 물체를 가상의 이미지로 만들어 인식된 물체에 매칭시켜 보여주기도 한다.These augmented reality glasses recognize real objects and give information related to the recognized objects, or create virtual images of objects that do not actually exist and match them to the recognized objects and show them.
일 예로서, 등록특허 제10-1647467호에 의하면, 증강현실안경을 이용한 외과수술용 3D안경이 기재되어 있다.As an example, according to Patent Registration No. 10-1647467, 3D glasses for surgery using augmented reality glasses are described.
이러한 3D 영상용 안경은 인체 내부 또는 피부 겉표면에 장착된 세 개 이상의 센서에서 위치정보를 수신하고, 신체 내부에 대한 3D 모델링에 설정된 세 개 이상의 기준점 각각을 센서의 각 위치에 일치시킴으로써 신체 내부에 대한 3D모델링을 안경을 통해 투영되는 인체의 실제 영상에 일치시켜 표시하여 준다.These glasses for 3D images receive position information from three or more sensors mounted inside the human body or on the outer surface of the skin, and match each of the three or more reference points set in 3D modeling for the inside of the body to the respective positions of the sensors, so that they are inside the body. The 3D modeling of the human body is displayed by matching it with the actual image of the human body projected through the glasses.
한편 조선소 현장에서 도면을 휴대하고, 이를 상시 열어서 확인하는 과정이 번거롭고 공간의 제약이 있으며, 휴대가 불편한 단점이 있었다.On the other hand, the process of carrying a drawing at the shipyard site and checking it by opening it at all times was cumbersome, there was a limitation of space, and it was inconvenient to carry it.
본 발명은 종래 기술의 문제점을 해소하기 위해 안출된 것으로, 안경형태로 착용한 스마트글라스에서 대용량 3차원 설계 모델을 시현하여 실시간으로 필요한 부분에 대한 형상을 직접 확인해볼 수 있고, 이러한 모델링 파일의 조작을 손목에 착용한 스마트밴드를 이용하는 제스처 인식으로 가상화면을 조작할 수 있어 작업효율이 월등히 향상될 수 있도록 한 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치 및 이를 이용한 인식방법을 제공하는데 그 목적이 있다.The present invention has been devised to solve the problems of the prior art, and it is possible to directly check the shape of a necessary part in real time by realizing a large-capacity three-dimensional design model in smart glasses worn in the form of glasses, and manipulation of such a modeling file To provide a gesture recognition device and a recognition method using a three-dimensional virtual space and wristband that can operate a virtual screen with gesture recognition using a smart band worn on the wrist, so that work efficiency can be significantly improved. There is a purpose.
상기한 본 발명의 목적은, 손목에 착용하는 손목밴드형 본체와, 상기 손목밴드형 본체에 무선 또는 유선통신방식으로 연결되며, 안면에 착용하는 스마트 글래스와 상기 스마트 글래스에 장착된 카메라로 구성되는 유저인터페이스부; 상기 유저인터페이스부와 연동되는 앱; 상기 앱이 설치되며 무선 또는 유선통신방식으로 연결되며 원격지에 구비되고 설계 모델링 프로그램이 탑재된 하드웨어부;를 포함하는 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치에 의해 달성될 수 있다.The above-described object of the present invention is composed of a wristband-type body worn on the wrist, a smart glass connected to the wristband-type body through wireless or wired communication , and a smart glass worn on the face and a camera mounted on the smart glass. a user interface unit; an app that is interlocked with the user interface unit; This can be achieved by a gesture recognition device using a wrist band and a three-dimensional virtual space including; a hardware unit in which the app is installed, connected by a wireless or wired communication method, provided at a remote location, and loaded with a design modeling program.
상기 유저인터페이스부는 손목밴드형 본체의 움직임에 의해 연동되는 가속도 센서와 자이로센서를 포함하고, 가속도 센서는 선형 모션 데이터와 위치 데이터를 생성하고, 상기 자이로센서는 각도 모션 데이터와 모션 헤드 데이터를 생성하는 것을 특징으로 한다.The user interface unit includes an acceleration sensor and a gyro sensor that are linked by the movement of a wristband-type body, the acceleration sensor generates linear motion data and position data, and the gyro sensor generates angular motion data and motion head data. characterized in that
상기 카메라와 연결되는 핸드 제스처 인식부를 포함하는 것을 특징으로 한다.and a hand gesture recognition unit connected to the camera.
한편 상기한 본 발명의 다른 목적은, 전술한 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치를 이용하는 구동 방법에 있어서, 손목밴드형 본체를 착용하고 안면에 스마트 글래스를 착용하는 1단계; 앱을 구동하는 2단계; 상기 앱을 구동한 후 무선 또는 유선통신을 온(on) 시켜 연동되도록 하는 3단계; 상기 무선 또는 유선통신이 온 상태가 된 후 스마트 글래스와 손목밴드형 본체가 무선 또는 유선통신에 의해 연동되도록 하고, 하드웨어부의 프로그램과 연결되는 4단계; 상기 스마트 글래스를 온 시켜 디스플레이에 가상화면이 시현되도록 한 후 가상화면을 터치하여 조작하는 5단계; 상기 5단계에서 입력된 명령정보에 의해 프로그램의 작동이 수행되는 6단계; 를 포함하는 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 방법에 의해 달성될 수 있다.Meanwhile, another object of the present invention is to provide a driving method using the above-described three-dimensional virtual space and a gesture recognition device using a wristband, comprising: a first step of wearing a wristband type body and wearing smart glasses on a face; Step 2 to run the app; After driving the app, a third step of turning on wireless or wired communication to interlock; After the wireless or wired communication is turned on, the smart glasses and the wristband-type body are interlocked by wireless or wired communication, and a fourth step of connecting the program with the hardware unit; a fifth step of turning on the smart glasses so that a virtual screen is displayed on the display, and then touching and manipulating the virtual screen; Step 6 in which the operation of the program is performed according to the command information input in Step 5; It can be achieved by a gesture recognition method using a three-dimensional virtual space including a wristband.
상기 4단계는 제스처인식을 위한 환경설정단계를 포함하고, 상기 환경설정단계는 프로그램과 스마트 글래스가 연동되도록 설정하고, 디스플레이의 배경색 및 레퍼런스를 인식하는 것을 특징으로 한다.
상기 5단계는 설정된 환경설정 값과 스마트 글래스 정보를 이용하여 명령정보를 분석하는 단계를 포함하는 것을 특징으로 한다.Step 5 is characterized in that it comprises the step of analyzing the command information using the set environment setting value and smart glasses information.
상기 5단계는 카메라 및 스마트 밴드 센서 데이터를 입력하고, 입력된 데이터를 분석하는 과정을 포함하는 것을 특징으로 한다.Step 5 is characterized in that it includes the process of inputting camera and smart band sensor data, and analyzing the input data.
본 발명에 따르면, 안경형태로 착용한 스마트글라스에서 대용량 3차원 설계 모델을 시현하여 실시간으로 필요한 부분에 대한 형상을 직접 확인해볼 수 있고, 이러한 CAD도면이나 모델링 파일의 조작을 손목에 착용한 스마트밴드를 이용하는 제스처 인식으로 가상화면을 조작할 수 있어 작업효율이 월등히 향상될 수 있는 효과가 있다.According to the present invention, it is possible to directly check the shape of a necessary part in real time by realizing a large-capacity three-dimensional design model in smart glasses worn in the form of glasses, and a smart band worn on the wrist by manipulating these CAD drawings or modeling files. The virtual screen can be manipulated by gesture recognition using
도 1은 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치에 대한 구성도,
도 2는 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치의 유저인터페이스부에 대한 구성을 보여주는 도면,
도 3은 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 방법에 대한 순서도.1 is a block diagram of a gesture recognition device using a three-dimensional virtual space and a wristband according to the present invention;
2 is a diagram showing the configuration of a user interface unit of a gesture recognition device using a three-dimensional virtual space and wristband according to the present invention;
3 is a flowchart of a gesture recognition method using a three-dimensional virtual space and a wristband according to the present invention.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the patent application is not limited or limited by these embodiments. It should be understood that all modifications, equivalents and substitutes for the embodiments are included in the scope of the rights.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the embodiments are not limited to a specific disclosure form, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical spirit.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the examples are used for the purpose of description only, and should not be construed as limiting. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and the overlapping description thereof will be omitted. In the description of the embodiment, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the embodiment, the detailed description thereof will be omitted.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. have meaning Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in an embodiment of the present invention, an ideal or excessively formal meaning is not interpreted as
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 ‘포함한다’, ‘갖는다’, ‘이루어진다’ 등이 사용되는 경우 ‘~만’이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are illustrative and the present invention is not limited to the illustrated matters. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When 'include', 'having', 'consisting', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. When a component is expressed in the singular, the case in which the plural is included is included unless specifically stated otherwise.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, it is interpreted as including an error range even if there is no separate explicit description.
위치 관계에 대한 설명일 경우, 예를 들어, ‘~상에’, ‘~상부에’, ‘~하부에’, ‘~옆에’ 등으로 두 부분의 위치 관계가 설명되는 경우, ‘바로’ 또는 ‘직접’이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.In the case of a description of the positional relationship, for example, when the positional relationship of two parts is described as 'on', 'on', 'on', 'beside', etc., 'right' Alternatively, one or more other parts may be positioned between two parts unless 'directly' is used.
소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Reference to an element or layer “on” another element or layer includes any intervening layer or other element directly on or in the middle of another element. Like reference numerals refer to like elements throughout.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.The size and thickness of each component shown in the drawings are illustrated for convenience of description, and the present invention is not necessarily limited to the size and thickness of the illustrated component.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, and as those skilled in the art will fully understand, technically various interlocking and driving are possible, and each embodiment may be independently implemented with respect to each other, It may be possible to implement together in a related relationship.
첨부된 도면 중에서, 도 1은 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치에 대한 구성도, 도 2는 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치의 유저인터페이스부에 대한 구성을 보여주는 도면, 도 3은 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 방법에 대한 순서도이다.Among the accompanying drawings, FIG. 1 is a configuration diagram of a gesture recognition apparatus using a three-dimensional virtual space and a wristband according to the present invention, and FIG. 2 is a gesture recognition apparatus using a three-dimensional virtual space and a wristband according to the present invention. 3 is a flowchart of a gesture recognition method using a three-dimensional virtual space and a wristband according to the present invention.
도 1 및 도 2에 나타낸 바와 같이, 본 발명에 따른 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치는, 손목에 착용하는 손목밴드형 본체(120)와, 손목밴드형 본체(120)에 무선 또는 유선통신방식으로 연결되며 안면에 착용하는 스마트 글래스(160)와, 스마트 글래스(160)에 장착된 카메라(180)로 구성되는 유저인터페이스부(100); 상기 유저인터페이스부(100)와 연동되는 앱(200); 상기 앱(200)이 설치되며 무선 또는 유선통신방식으로 연결되며 원격지에 구비되고 설계 모델링 프로그램이 탑재된 하드웨어부(300);를 포함하여 구성된다. 1 and 2, the gesture recognition device using a three-dimensional virtual space and a wristband according to the present invention includes a wristband-
손목밴드형 본체(120)는 손목에 착용하는 스마트워치 형태가 바람직하다. 무선 통신은 근거리 무선통신인 블루투스, 지그비 등이 적용될 수 있을 것이다.The wristband-
스마트 글래스(160)는 안경 형상이며, 프리즘 광학소자를 사용하여 위쪽에서 아래쪽으로 OLED 등의 디스플레이소자가 영상을 주입하고 안경알의 중간 부분에서 반사체에 의해 빛이 굴절되어 상이 맺혀 보이는 반사방식과, 홀로그래픽 소자를 사용하여 안경알 양 끝단에 OLED 등의 디스플레이소자로 영상을 주입하고 안경알을 통하여 도파관 형태로 전반사를 이용하여 빛이 진행하여 안구가 있는 지점에서 다시 홀로그래픽 소자에 의해 빛이 굴절되어 사람의 눈으로 입사되는 홀로그래픽 방식이 있다.The
카메라(180)는 전방의 영상을 촬영하며, 한 쌍의 안경알 위에 각각 구비되어 좌우측 눈에 대응되는 촬영을 할 수 있게 구비된다.The
또한 상기 유저인터페이스부(100)는, 손의 움직임에 의해 연동되는 가속도 센서(142)와, 자이로센서(144)를 포함하고, 상기 가속도 센서(142)는 선형 모션 데이터(145)와 위치 데이터(146)를 생성하고, 상기 자이로센서(144)는 각도 모션 데이터(147)와 모션 헤드 데이터(148)를 생성한다. In addition, the
따라서 손의 움직임을 가속도 센서(142)와 자이로센서(144)가 정밀 감지하여 동작 데이터값을 하드웨어부에 전송하고, 하드웨어부(300)는 전송된 데이터값을 시현중인 앱에 반영하여 터치 위치 및 동작명령을 상시 체크하게 된다.Therefore, the
이러한 터치 작동은 카메라(180)와 연결되는 핸드 제스처 인식부(149)에 의해 수행된다.Such a touch operation is performed by the hand
전술한 바와 같이 구성되는 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치를 이용하는 구동 방법에 있어서,In the driving method using the gesture recognition device using the three-dimensional virtual space and wristband configured as described above,
손목밴드형 본체(120)를 착용하고 안면에 스마트 글래스(160)를 착용하는 1단계(S1);
앱(200)을 구동하는 2단계(S2);
상기 앱(200)을 구동한 후 무선 또는 유선통신을 온 시켜 연동되도록 하는 3단계(S3);
상기 무선 또는 유선통신이 온(ON) 상태가 된 후 스마트 글래스(160)와 손목밴드형 본체(120)가 무선 또는 유선통신에 의해 연동되도록 하고, 하드웨어부(300)의 프로그램과 연결되는 4단계(S4);
상기 스마트 글래스(160)를 온(ON) 시켜 디스플레이에 가상화면이 시현되도록 하는 5단계(S5);
입력된 명령정보에 의해 프로그램의 작동이 수행되는 6단계(S6);를 포함하여 구성된다.Step 1 (S1) of wearing the wristband-
Step 2 (S2) of driving the app (200);
Step 3 (S3) of turning on the wireless or wired communication after driving the
After the wireless or wired communication is turned on, the
Step 5 (S5) of turning on the
It is configured to include; step 6 (S6) in which the operation of the program is performed according to the input command information.
4단계(S4)는 제스처인식을 위한 환경설정단계를 포함하고, 상기 환경설정단계는 프로그램과 스마트 글래스(160)가 연동되도록 설정하고, 디스플레이의 배경색 및 레퍼런스를 인식하는 것이다.Step 4 (S4) includes an environment setting step for gesture recognition, wherein the environment setting step is to set the program and the
5단계(S5)는 설정된 환경설정 값과 스마트 글래스 정보를 이용하여 명령정보를 분석하는 단계(S5-2)를 포함한다.Step 5 (S5) includes a step (S5-2) of analyzing the command information using the set environment setting value and smart glasses information.
또한 상기 5단계(S5)는 카메라 및 스마트 밴드 센서 데이터를 입력하고, 입력된 데이터를 분석하는 과정(S5-3)을 포함한다.In addition, step 5 (S5) includes a process of inputting camera and smart band sensor data and analyzing the input data (S5-3).
예를들어 가상화면에 시현된 CAD 도면 또는 모델링 화면을 터치하면 커서가 활성화되면서 위치를 설정할 수 있다.For example, if you touch the CAD drawing or modeling screen displayed on the virtual screen, the cursor is activated and the position can be set.
사용자는 커서를 이동시켜 원하는 메뉴를 선택하게 된다. 즉 화면의 줌 인, 줌 아웃, 이동, 회전, 특정 객체를 선택 하는 등의 명령을 선택할 수 있도록 화면의 일측에 명령어 창이 열리도록 구현된다.The user moves the cursor to select a desired menu. That is, the command window is opened on one side of the screen so that commands such as zoom in, zoom out, move, rotate, and select a specific object of the screen can be selected.
줌 인, 줌 아웃은 '핀치 투 줌' 방식이 적용됨이 바람직하다.It is preferable that a 'pinch-to-zoom' method is applied to zoom in and zoom out.
또한 상위 메뉴로부터 하위 메뉴로 선택할 수 있도록 하여 현장에서 작업자가 즉각적으로 공정 진행률과 시공 대상에 대한 확인 등이 실시간으로 이루어질 수 있도록 하여 작업의 정확성과 효율이 향상될 수 있다.In addition, by allowing the selection from the upper menu to the lower menu, the operator can immediately check the process progress rate and construction target in real time at the site, thereby improving the accuracy and efficiency of work.
아울러 작업공정에 대한 진행상황이 카메라로 촬영되어 영상으로 전송되어 서버에 보관될 수있고, 작업자가 각 단계별로 공정이 종료될때 공정진행상황을 업데이트 함으로써 현장상황에 대한 데이터를 상시 업로드 할 수 있다.In addition, the progress of the work process can be captured by a camera, transmitted as an image, and stored on the server, and data on the field situation can be uploaded at all times by updating the process progress when the process is completed by the operator at each stage.
본 발명은 상술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 안에서 예시되지 않은 여러 가지 변형과 응용이 가능함은 물론 구성요소의 치환 및 균등한 타실시 예로 변경할 수 있으므로 본 발명의 특징에 대한 변형과 응용에 관계된 내용은 본 발명의 범위 내에 포함되는 것으로 해석되어야 할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings, and various modifications and applications not illustrated are possible without departing from the technical spirit of the present invention, as well as substitution of components and other equivalent embodiments. Since it can be changed, it should be construed as being included within the scope of the present invention for modification and application of the features of the present invention.
100 : 유저인터페이스부 120 : 손목밴드형 본체
142 : 가속도 센서 144 : 자이로센서
145 : 선형 모션 데이터 146 : 위치 데이터
147 : 각도 모션 데이터 148 : 모션 헤드 데이터
160 : 스마트 글래스 180 : 카메라
200 : 앱 300 : 하드웨어부100: user interface unit 120: wristband type body
142: acceleration sensor 144: gyro sensor
145: linear motion data 146: position data
147: angle motion data 148: motion head data
160: smart glasses 180: camera
200: app 300: hardware part
Claims (7)
상기 유저인터페이스부와 연동되는 앱;
상기 앱이 설치되며 무선 또는 유선통신방식으로 연결되며 원격지에 구비되고 설계 모델링 프로그램이 탑재된 하드웨어부;를 포함하고,
상기 유저인터페이스부는
손목밴드형 본체의 움직임에 의해 연동되는 가속도 센서와, 자이로센서를 포함하고,
상기 가속도 센서는 선형 모션 데이터와 위치 데이터를 생성하고,
상기 자이로센서는 각도 모션 데이터와 모션 헤드 데이터를 생성하는 것이며,
상기 카메라와 연결되는 핸드 제스처 인식부를 포함하는 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 장치를 이용하는 제스처 인식 방법에 있어서,
손목밴드형 본체를 착용하고 안면에 스마트 글래스를 착용하는 1단계;
앱을 구동하는 2단계;
상기 앱을 구동한 후 무선 또는 유선통신을 온 시켜 연동되도록 하는 3단계;
상기 무선 또는 유선통신이 온 상태가 된 후 스마트 글래스와 손목밴드형 본체가 무선 또는 유선통신에 의해 연동되도록 하고, 하드웨어부의 프로그램과 연결되는 4단계;
상기 스마트 글래스를 온 시켜 디스플레이에 가상화면이 시현되도록 하는 5단계;
입력된 명령정보에 의해 프로그램의 작동이 수행되는 6단계;를 포함하는 것으로,
상기 4단계는 제스처인식을 위한 환경설정단계를 포함하고,
상기 환경설정단계는
프로그램과 스마트 글래스가 연동되도록 설정하고,
디스플레이의 배경색 및 레퍼런스를 인식하는 것이며,
상기 5단계는
설정된 환경설정 값과 스마트 글래스 정보를 이용하여 명령정보를 분석하는 단계를 포함하는 것이고,
상기 5단계는
카메라 및 스마트 밴드 센서 데이터를 입력하고, 입력된 데이터를 분석하는 과정을 포함하는 것으로,
가상화면에 시현된 도면 또는 모델링 화면을 터치하면 커서가 활성화되면서 위치를 설정할 수 있고,
사용자는 커서를 이동시켜 원하는 메뉴를 선택하며, 화면의 줌 인, 줌 아웃, 이동, 회전, 특정 객체를 선택 하는 명령을 선택할 수 있도록 화면의 일측에 명령어 창이 열리도록 구현되며,
상위 메뉴로부터 하위 메뉴로 선택할 수 있도록 하여 현장에서 작업자가 즉각적으로 공정 진행률과 시공 대상에 대해 확인할 수 있는 것을 특징으로 하는 3차원 가상공간과 손목형 밴드를 이용한 제스처 인식 방법.a wristband-type body worn on the wrist and a user interface unit connected to the wristband-type body by a wireless or wired communication method, and comprising smart glasses worn on the face and a camera mounted on the smart glasses;
an app that is interlocked with the user interface unit;
A hardware unit in which the app is installed, connected by a wireless or wired communication method, provided in a remote location, and loaded with a design modeling program;
The user interface unit
It includes an acceleration sensor linked by the movement of the wristband-type body and a gyro sensor,
The acceleration sensor generates linear motion data and position data,
The gyro sensor is to generate angular motion data and motion head data,
A gesture recognition method using a three-dimensional virtual space including a hand gesture recognition unit connected to the camera and a gesture recognition device using a wristband,
Step 1 of wearing a wristband type body and wearing smart glasses on the face;
Step 2 to run the app;
After driving the app, a third step of turning on wireless or wired communication to interwork;
After the wireless or wired communication is turned on, the smart glasses and the wristband-type body are interlocked by wireless or wired communication, and a fourth step of connecting to the program of the hardware unit;
a fifth step of turning on the smart glasses to display a virtual screen on the display;
Step 6 in which the operation of the program is performed according to the input command information;
Step 4 includes an environment setting step for gesture recognition,
The setting step is
Set the program to work with smart glasses,
Recognizing the background color and reference of the display,
Step 5 is
It will include the step of analyzing the command information using the set environment setting value and smart glasses information,
Step 5 is
To include the process of inputting camera and smart band sensor data, and analyzing the input data,
If you touch the drawing or modeling screen displayed on the virtual screen, the cursor is activated and the position can be set.
The user selects a desired menu by moving the cursor, and a command window is opened on one side of the screen so that the user can select commands to zoom in, zoom out, move, rotate, and select a specific object on the screen.
A gesture recognition method using a three-dimensional virtual space and wristband, characterized in that the operator can immediately check the process progress and construction target on site by selecting from the upper menu to the lower menu.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166212A KR102422834B1 (en) | 2020-12-02 | 2020-12-02 | Gesture recognition device using 3D virtual space and wrist band and recognition method using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200166212A KR102422834B1 (en) | 2020-12-02 | 2020-12-02 | Gesture recognition device using 3D virtual space and wrist band and recognition method using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220077361A KR20220077361A (en) | 2022-06-09 |
| KR102422834B1 true KR102422834B1 (en) | 2022-07-19 |
Family
ID=81986150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200166212A KR102422834B1 (en) | 2020-12-02 | 2020-12-02 | Gesture recognition device using 3D virtual space and wrist band and recognition method using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102422834B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016189122A (en) | 2015-03-30 | 2016-11-04 | 日本電気株式会社 | Wiring and piping design device and method |
| US20190179510A1 (en) | 2016-06-22 | 2019-06-13 | Siemens Aktiengesellschaft | Display of three-dimensional model information in virtual reality |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101196761B1 (en) * | 2010-03-08 | 2012-11-05 | 에스케이플래닛 주식회사 | Method for transmitting contents using gesture recognition and terminal thereof |
| KR20160137253A (en) * | 2015-05-22 | 2016-11-30 | 한국전자통신연구원 | Augmented Reality Device, User Interaction Apparatus and Method for the Augmented Reality Device |
| KR102026857B1 (en) * | 2017-12-20 | 2019-09-30 | 주식회사 이모션 | 3D printing system using 3D modeling authoring tool based on VR technology |
-
2020
- 2020-12-02 KR KR1020200166212A patent/KR102422834B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016189122A (en) | 2015-03-30 | 2016-11-04 | 日本電気株式会社 | Wiring and piping design device and method |
| US20190179510A1 (en) | 2016-06-22 | 2019-06-13 | Siemens Aktiengesellschaft | Display of three-dimensional model information in virtual reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220077361A (en) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220206588A1 (en) | Micro hand gestures for controlling virtual and graphical elements | |
| US11531402B1 (en) | Bimanual gestures for controlling virtual and graphical elements | |
| US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| EP3469457B1 (en) | Modular extension of inertial controller for six dof mixed reality input | |
| CN108780360B (en) | Virtual reality navigation | |
| WO2022216784A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
| US20170357332A1 (en) | Six dof mixed reality input by fusing inertial handheld controller with hand tracking | |
| KR102338836B1 (en) | Tracking the position and orientation of a virtual controller in a virtual reality system | |
| CN105393192A (en) | Web-like hierarchical menu display configuration for a near-eye display | |
| US10192360B2 (en) | Information processing apparatus and information processing method | |
| CN105683868B (en) | Feature tracking for the additional mode in spatial interaction | |
| KR20230025909A (en) | Augmented Reality Eyewear 3D Painting | |
| KR20230113374A (en) | head-related transfer function | |
| Fang et al. | Head-mounted display augmented reality in manufacturing: A systematic review | |
| KR102422834B1 (en) | Gesture recognition device using 3D virtual space and wrist band and recognition method using the same | |
| JP2021193613A (en) | Animation creation method | |
| US20220036616A1 (en) | Animation production system | |
| US20240069643A1 (en) | Physical gesture interaction with objects based on intuitive design | |
| US20240070301A1 (en) | Timelapse of generating a collaborative object | |
| US20240070299A1 (en) | Revealing collaborative object using countdown timer | |
| US20240070302A1 (en) | Collaborative object associated with a geographical location | |
| US20240071020A1 (en) | Real-world responsiveness of a collaborative object | |
| US20220351451A1 (en) | Animation production system | |
| Tang | Simulating transparency and cutaway to visualize 3D internal information for tangible Uls | |
| JP2022025476A (en) | Animation production system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |