KR102170638B1 - Method for controlling interaction in virtual reality by tracking fingertips and VR system using it - Google Patents
Method for controlling interaction in virtual reality by tracking fingertips and VR system using it Download PDFInfo
- Publication number
- KR102170638B1 KR102170638B1 KR1020180134883A KR20180134883A KR102170638B1 KR 102170638 B1 KR102170638 B1 KR 102170638B1 KR 1020180134883 A KR1020180134883 A KR 1020180134883A KR 20180134883 A KR20180134883 A KR 20180134883A KR 102170638 B1 KR102170638 B1 KR 102170638B1
- Authority
- KR
- South Korea
- Prior art keywords
- interaction
- virtual reality
- product vector
- fingers
- dot product
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Abstract
본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 본 발명에 따르면, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 오브젝트와의 상호작용을 구현시 치명적인 문제점이 발생하는 한계가 있었던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되어 물리엔진만으로 오브젝트와의 상호작용을 구현시 발생하는 문제점을 개선하는 동시에, 6축센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공된다. The present invention relates to a virtual reality (VR) system, and according to the present invention, when using a VR globe controller, only a function that matches a hand is provided, and an algorithm capable of interacting with an object such as grabbing an object is proposed. In order to solve the problem of prior art VR globe controllers, which had a limit in which a fatal problem occurred when realizing interaction with an object with only a physical engine, it was possible to implement it more naturally when interacting with an object in a VR environment. It is configured to improve the problems that occur when the interaction with the object is implemented with only the physical engine, and at the same time, it provides 3 position vectors (x, y, z) and 3 direction vectors (x, y, z) based on the 6-axis sensor. Eggplant is configured to be easily applied to already commercialized VR globe controllers by making full use of the functions provided by the 6 Degrees Of Freedom (6DOF) VR globe controller, so it can track finger joints with high expandability and flexibility. A method for controlling interaction in virtual reality and a VR system using the same are provided.
Description
본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 더 상세하게는, 종래, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 오브젝트와의 상호작용을 구현시 치명적인 문제점이 발생하는 문제가 있었던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다. The present invention relates to a virtual reality (VR) system, and more particularly, in the related art, when using a VR globe controller, only a function that matches the hand is provided, and an algorithm capable of interacting with an object such as grabbing an object In order to solve the problem of prior art VR globe controllers, which had a fatal problem when implementing interactions with objects with only a physical engine because of this failure, it is possible to implement them more naturally when interacting with hands and objects in a VR environment. The present invention relates to a method for controlling interaction in virtual reality through the tracking of a finger joint configured to be able to be configured and a VR system using the same.
또한, 본 발명은, 상기한 바와 같이 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다. In addition, the present invention, as described above, can improve the problem that occurs when realizing the interaction with only the physical engine, and at the same time, 3 position vectors (x, y, z) and 3 direction vectors ( 6 Degrees Of Freedom (6DOF) with x, y, z), by making the most of the functions provided by VR globe controllers, and being configured to be easily applied to already commercialized VR globe controllers, it is highly scalable and flexible. It relates to a method for controlling interaction in virtual reality through tracking of a finger joint having a and a VR system using the same.
최근, 가상현실 기술이 발전함에 따라 사용자에게 직접 가상현실 환경을 제공하는 VR 기기의 보급이 증가하고 있다. Recently, with the development of virtual reality technology, the spread of VR devices that directly provide a virtual reality environment to users is increasing.
이러한 VR 기기들은, 일반적으로, 사용자의 머리 부분에 착용하여 눈을 통해 시각적인 정보를 전달하는 헤드 마운트 디스플레이(Head Mount Disply ; HMD) 형태의 디스플레이 장비와, 사용자가 손에 들고 버튼 클릭 등을 통해 각종 명령을 입력하기 위한 컨트롤러를 포함하여 이루어진다. In general, these VR devices are worn on the user's head to deliver visual information through the eyes of a head mounted display (HMD) type display device, and through a button click held by the user in the hand, etc. It includes a controller for inputting various commands.
또한, 최근에는, 손의 움직임을 보다 정밀하게 모사하기 위해 손에 끼는 장갑과 같은 형태로 이루어지는 VR 글로브 컨트롤러를 이용한 VR 시스템이 제시되어 게임부터 재활치료에 이르기까지 다양한 분야에 활용되고 있다. In addition, in recent years, a VR system using a VR glove controller in the form of a glove worn on a hand has been proposed in order to more accurately simulate the movement of the hand, and is used in various fields ranging from games to rehabilitation treatment.
여기서, 상기한 바와 같은 VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1738870호에 따르면, 가상의 타겟에 대한 정보를 출력하는 HMD; 위치정보를 생성하고 출력된 가상의 타겟을 향하여 움직이면 위치정보를 갱신하는 VR 글로브; 및 위치정보를 기반으로 가상의 타겟에 대한 이벤트 정보를 생성하는 게임용 단말을 포함하여, HMD(Head mounted display)를 이용한 VR 기기와 장갑 형태의 VR 글로브를 착용하여 권투게임 등의 진행이 가능하고, 사용자에게 타격감 등의 피드백을 제공함으로써 현실감을 높이며, 복수의 사용자가 참여하여 대전할 수 있도록 구성되는 VR 글로브 기반 게임 시스템 및 이를 이용한 게임 진행방법이 제시된 바 있다. Here, examples of the prior art related to the VR system using the VR globe controller as described above include, for example, according to Korean Patent Publication No. 10-1738870, an HMD that outputs information on a virtual target; A VR globe that generates location information and updates location information when it moves toward the output virtual target; Including a game terminal that generates event information for a virtual target based on location information, a VR device using a head mounted display (HMD) and a VR glove in the form of a glove can be used to progress boxing games, etc. A VR globe-based game system configured to increase the sense of reality by providing feedback such as a feeling of hitting to the user, and to participate and compete against a plurality of users, and a game progress method using the same have been proposed.
또한, 상기한 바와 같은 VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1267118호에 따르면, 이동 가능한 프레임의 하부에 설치된 컴퓨터 본체; 컴퓨터 본체 위의 프레임에 설치된 카메라(PC CAM); 카메라의 상측 프레임에 설치되어 카메라를 통해 촬상되는 모션을 캡쳐하여 프로그램상의 가상공간에서 주어지는 다양한 콘텐츠인 운동조절, 상황인식, 실행기능, 인지훈련을 디스플레이하는 프로그램 디스플레이부; 카메라로 촬영될 수 있는 위치에 서있는 사용자의 손에 끼워져 촉각과 고유수용성 감각을 사용자가 느낄 수 있도록 모션을 인식하는 글로브센서를 포함하여, 뇌졸중, 치매, 노인의 특정 신체 일부 또는 전체가 카메라를 통해 모션인식으로 캡쳐되어 TV나 컴퓨터 모니터에 이미지로 나타나게 하고, 모니터 외부에 있는 환자의 움직임을 가상공간 안에서 동일하게 구현하여, 가상공간에서 주어지는 다양한 콘텐츠(운동조절, 상황인식, 실행기능, 인지훈련)를 수행하며 안전하고 창의적인 재활훈련을 할 수 있도록 구성되는 글로브 센서를 이용한 모션인식 가상현실 재활훈련 장치가 제시된 바 있다. In addition, another example of the prior art for a VR system using a VR globe controller as described above includes, for example, a computer body installed under a movable frame according to Korean Patent Publication No. 10-1267118; A camera (PC CAM) installed in a frame on the computer body; A program display unit installed on an upper frame of the camera to capture motion captured through the camera and display various contents such as exercise control, situation recognition, execution function, and cognitive training provided in a virtual space on the program; Including a glove sensor that recognizes motion so that the user can feel the sense of touch and proprioception by being inserted into the user's hand standing in a position that can be photographed with a camera, stroke, dementia, a specific body part or the whole of the elderly can be detected through the camera. It is captured by motion recognition and displayed as an image on a TV or computer monitor, and the movement of the patient outside the monitor is identically implemented in the virtual space, and various contents given in the virtual space (motor control, situation recognition, execution function, cognitive training) A motion-recognition virtual reality rehabilitation training device using a globe sensor, which is configured to perform safe and creative rehabilitation training while carrying out the rehabilitation training, has been proposed.
상기한 바와 같이, 종래, VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 여러 가지 기술내용이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다. As described above, in the related art, various technical contents related to a VR system using a VR globe controller have been presented, but the contents of the prior art as described above have the following problems.
더 상세하게는, 종래의 VR 글로브 컨트롤러들은, 일반적으로, VR 글로브 컨트롤러 사용시 국내 및 해외에 제공되는 소프트웨어 개발키트(Software Development Kit ; SDK)에 VR 내의 손과 매칭시켜주는 기능만 제공되는 한계가 있다. More specifically, conventional VR globe controllers generally have a limitation in that only a function that matches hands in VR is provided in a software development kit (SDK) provided in Korea and abroad when using a VR globe controller. .
즉, VR 오브젝트는 실제로 존재하지 않기 때문에 매칭시켜주는 것이 불가능하며, 그로 인해, 예를 들면, 가상공간 내에서 손으로 물체를 잡는 것과 같이, VR속 오브젝트와 VR 글로브 컨트롤러의 상호작용시 문제점이 발생하게 된다. In other words, since the VR object does not actually exist, it is impossible to match it, and thus, problems occur when the object in VR and the VR globe controller interact, such as holding an object with a hand in a virtual space. Is done.
더 상세하게는, VR 오브젝트와 VR 손이 상호작용을 할 때 공간이 겹치는 경우 손가락 움직임에 무한대의 힘이 발생하여 VR 오브젝트가 튕겨나가거나 잡히지 않는 형태의 오류가 발생하게 되며, VR 오브젝트를 잡도록 구현을 하더라도 손가락 끝에 붙는 형태의 부자연스러운 형태로만 구현되는 한계가 있다. In more detail, when spaces overlap when a VR object and a VR hand interact, infinite force is generated in the movement of the finger, causing an error in the form of the VR object bounced off or not caught, and implemented to grab the VR object. Even if it is done, there is a limit that it can only be implemented in an unnatural form attached to the tip of a finger.
이에, 상기한 바와 같은 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위하여는, VR속 오브젝트와 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 새로운 구성의 가상현실 내 상호작용 제어방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다. Accordingly, in order to solve the problems of the prior art VR globe controllers as described above, it is desirable to provide a method for controlling interactions in virtual reality with a new configuration configured to more naturally implement them when interacting with objects in VR. However, a device or method that satisfies all such demands has not yet been proposed.
[선행기술문헌] [Prior technical literature]
1. 한국 등록특허공보 제10-1738870호 (2017.05.17.) 1. Korean Patent Publication No. 10-1738870 (2017.05.17.)
2. 한국 등록특허공보 제10-1267118호 (2013.05.16.) 2. Korean Patent Publication No. 10-1267118 (2013.05.16.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다. The present invention is to solve the problems of the prior art as described above, therefore, an object of the present invention is to provide only a function of matching with a hand when using a VR glove controller, and capable of interacting with an object such as grabbing an object. In order to solve the problem of prior art VR globe controllers for which the algorithm was not presented, interaction control method in virtual reality through tracking of finger joints, which is configured to more naturally implement the interaction between hand and object in VR environment And a VR system using the same.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써, 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다. In addition, another object of the present invention is to improve the problem that occurs when the interaction is implemented only with a physical engine, as an algorithm capable of interacting with an object such as grabbing an object cannot be presented as described above. 6 Degrees Of Freedom (6DOF) with 3 position vectors (x, y, z) and 3 direction vectors (x, y, z) based on the axis sensor, making the most of the functions provided by the VR globe controller. Thus, by being configured to be easily applicable to the already commercialized VR glove controller, it is intended to provide a method for controlling interaction in virtual reality through tracking of a finger joint having high expandability and flexibility, and a VR system using the same.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 가상현실 환경에서 손과 오브젝트의 상호작용을 구현하기 위한 처리를 전용의 하드웨어나 VR 글로브를 포함하는 VR 시스템에 실행시키도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에 있어서, 상기 처리는, 가상현실 환경에서 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계; 상기 주변환경 탐지단계에서 손이 오브젝트와 충돌한 것이 탐지되면, 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계; 상기 상호작용 인지단계에서 충돌한 것으로 인식된 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산단계; 상기 내적벡터 계산단계에서 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고, 내적벡터 값의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계; 및 상호작용 판단단계에서 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하는 것으로 판단되면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계를 포함하여 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법이 제공된다. In order to achieve the above object, according to the present invention, a finger joint configured to execute a process for realizing the interaction between a hand and an object in a virtual reality environment in a VR system including dedicated hardware or a VR globe. In the virtual reality interaction control method through the tracking of, the processing comprises: a surrounding environment detection step of detecting whether a hand collides with an object in a virtual reality environment; An interaction recognition step of detecting the number of collision fingers and an object data value when it is detected that the hand collides with the object in the detection of the surrounding environment; A dot product vector calculation step of calculating and storing the dot product vector values for fingers recognized as colliding in the interaction recognition step; An interaction determination step of obtaining a sum of values of each dot product vector obtained for the fingers colliding in the dot product vector calculation step, and determining whether the sum of the dot product vector values satisfies a preset interaction execution condition; And an object grabbing execution step of executing an object grabbing when it is determined that the sum of the inner product vector values satisfies the interaction execution condition in the interaction determination step. My interaction control method is provided.
여기서, 상기 오브젝트 데이터는, 각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 설정하여 미리 저장된 데이터인 것을 특징으로 한다. Here, the object data may be data stored in advance by setting a minimum number of fingers required to hold each object.
또한, 상기 주변환경 탐지단계는, 각각의 손가락에 대하여 오브젝트와 충돌했는지의 여부를 탐지하고, 충돌발생시 엄지손가락이 충돌했는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the detection of the surrounding environment is configured to detect whether each finger collides with an object, and to determine whether a thumb has collided when a collision occurs.
아울러, 상기 상호작용 인지단계는, 상기 주변환경 탐지단계에서 엄지손가락이 오브젝트와 충돌한 것으로 탐지되면 충돌한 손가락의 개수를 판단하고, 상기 오브젝트 데이터에 근거하여 충돌한 손가락의 개수가 오브젝트를 잡기 위해 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, in the interaction recognition step, when it is detected that the thumb collides with the object in the surrounding environment detection step, the number of colliding fingers is determined, and the number of colliding fingers is determined based on the object data. It is characterized in that it is configured to perform a process of determining whether there is more than a required number.
더욱이, 상기 내적벡터 계산단계는, 엄지손가락과 다른 하나의 손가락에 대한 내적벡터 값을 구하는 과정을 충돌이 발생한 각 손가락마다 반복하여, 충돌이 발생한 각 손가락에 대한 내적벡터 값을 각각 계산하고 저장하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, in the step of calculating the dot product vector, the process of obtaining the dot product vector value for the thumb and the other finger is repeated for each finger where the collision occurs, and calculates and stores the dot product vector value for each finger where the collision occurs. It is characterized in that the processing is configured to be performed.
또한, 상기 상호작용 판단단계는, 상기 내적벡터 계산단계에서 충돌한 손가락의 개수만큼 구해진 각각의 내적벡터 값을 모두 합산하고, 상기 내적벡터 값의 총합이 이하의 상호작용 실행조건을 만족하는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the interaction determination step includes summing each dot product vector value obtained by the number of fingers colliding in the dot product vector calculation step, and determining whether the sum of the dot product vector values satisfies the following interaction execution conditions. It is characterized in that the processing is configured to be performed.
[내적벡터 값의 총합 < 180×(충돌한 손가락 개수 - 1)] [Total sum of dot product vector values <180 × (number of fingers hit-1)]
아울러, 본 발명에 따르면, 상기에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 VR 시스템 제어장치에 있어서, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부; VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부; 충돌한 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산부; 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부; 및 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치가 제공된다. In addition, according to the present invention, in a VR system control device configured to perform a process for realizing the interaction between a VR hand and an object by using the interaction control method in virtual reality through the tracking of the finger joint described above, VR A surrounding environment detection unit that detects whether a hand collides with an object; An interaction recognition unit configured to detect the number of fingers and object data values when it is detected that the VR hand collides with the object; A dot product vector calculation unit that calculates and stores the dot product vector values for the collided fingers, respectively; An interaction determination unit that calculates the sum of the inner product vector values obtained for the colliding fingers and determines whether a preset interaction execution condition is satisfied; And an object grabbing execution unit that grabs an object when the sum of the inner product vector values satisfies the interaction execution condition.
더욱이, 본 발명에 따르면, VR 시스템에 있어서, 가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부; 사용자의 양손에 각각 장착되는 VR 글로브부; 및 상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고, 상기 제어부는, 상기에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템이 제공된다. Moreover, according to the present invention, in a VR system, a head mount disply (HMD) unit for providing a virtual reality environment; VR glove units mounted on both hands of the user; And a control unit for controlling the overall operation of the VR system, wherein the control unit implements the interaction between the VR hand and the object using the interaction control method in virtual reality through the tracking of the finger joint described above. A VR system is provided, characterized in that it is configured to perform processing.
상기한 바와 같이, 본 발명에 따르면, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결할 수 있다. As described above, according to the present invention, an interaction control method in virtual reality through tracking of a finger joint, which is configured to more naturally implement the interaction between a hand and an object in a VR environment, and a VR system using the same, are provided, When using a VR globe controller, it is possible to solve the problems of the prior art VR globe controllers in which only a function matching with a hand is provided and an algorithm capable of interacting with an object such as grabbing an object is not presented.
또한, 본 발명에 따르면, 상기한 바와 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여 높은 확장성 및 유연성을 가지도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하여 오브젝트와의 상호작용이 개선된 VR 시스템을 용이하게 구현할 수 있다. In addition, according to the present invention, an algorithm capable of interacting with an object as described above could not be presented, so it is possible to improve the problem that occurs when the interaction is implemented with only a physical engine, and at the same time, three positions based on a six-axis sensor 6 Degrees Of Freedom (6DOF) with vectors (x, y, z) and 3 direction vectors (x, y, z) maximizes the functionality provided by VR globe controllers for high scalability and flexibility. By providing an interaction control method in virtual reality through tracking of a finger joint configured to have and a VR system using the same, it can be easily applied to already commercialized VR globe controllers, making it easy to use a VR system with improved interaction with objects. Can be implemented.
도 1은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 구체적인 처리과정을 개략적으로 나타내는 플로차트이다.
도 3은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 검지손가락에 대한 내적벡터를 계산하는 과정을 설명하기 위하여 가상현실 3D 공간의 좌표를 개략적으로 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 나머지 손가락들에 대한 내적벡터를 각각 개략적으로 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치의 전체적인 구성을 개략적으로 나타내는 도면이다. 1 is a diagram schematically showing the overall configuration of a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention.
FIG. 2 is a flowchart schematically showing a specific processing process of a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention.
3 is a schematic diagram of coordinates in a virtual reality 3D space in order to explain the process of calculating the dot product vector for a thumb and an index finger in a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention. It is a conceptual diagram shown.
4 is a conceptual diagram schematically showing dot product vectors for a thumb and other fingers in a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention.
5 is a diagram schematically showing the overall configuration of a VR system control apparatus using a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 구체적인 실시예에 대하여 설명한다. Hereinafter, with reference to the accompanying drawings, a specific embodiment of a method for controlling interaction in virtual reality through tracking a finger joint according to the present invention and a VR system using the same will be described.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다. Here, it should be noted that the contents described below are only one embodiment for carrying out the present invention, and the present invention is not limited only to the contents of the embodiments described below.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In addition, in the following description of the embodiments of the present invention, for portions that are the same as or similar to the content of the prior art, or that are judged to be easily understood and implemented at the level of those skilled in the art, the detailed description thereof is provided to simplify the description. It should be noted that is omitted.
즉, 본 발명은, 후술하는 바와 같이, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다. That is, as described later, the present invention provides only a function of matching with a hand when using a VR glove controller, and an algorithm capable of interacting with an object such as grabbing an object is not presented. In order to solve the problem, the present invention relates to a method for controlling interaction in virtual reality through tracking of a finger joint that is configured to more naturally implement the interaction between a hand and an object in a VR environment, and a VR system using the same.
아울러, 본 발명은, 후술하는 바와 같이, 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써, 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다. In addition, the present invention, as described later, can not present an algorithm capable of interacting with an object, such as grabbing an object, so that the problem that occurs when the interaction is implemented with only a physical engine can be improved, and at the same time, a 6-axis sensor Based on the 3 position vectors (x, y, z) and 3 direction vectors (x, y, z), 6 Degrees Of Freedom (6DOF) VR globe controller provides the most. The present invention relates to a method for controlling interaction in virtual reality through tracking of a finger joint having high scalability and flexibility, and a VR system using the same, by being configured to be easily applicable to an already commercialized VR globe controller.
계속해서, 도면을 참조하여, 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 구체적인 내용에 대하여 설명한다. Subsequently, with reference to the drawings, a method for controlling interaction in virtual reality through tracking of a finger joint according to the present invention and specific contents of a VR system using the same will be described.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 전체적인 구성을 개략적으로 나타내는 도면이다. First, referring to FIG. 1, FIG. 1 is a diagram schematically showing the overall configuration of a method for controlling interaction in virtual reality through tracking of a finger joint according to an embodiment of the present invention.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법은, 크게 나누어, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계(S10)와, VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계(S20)와, 충돌한 손가락들에 대한 내적/외적벡터(각도) 값을 각각 계산하고 저장하는 내적벡터(각도) 값 계산단계(S30)와, 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계(S40) 및 내적벡터 값의 총합이 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계(S50)를 포함하여 구성될 수 있다. As shown in FIG. 1, a method for controlling interaction in virtual reality through tracking of a finger joint according to an embodiment of the present invention is broadly divided into a surrounding environment detection step (S10) of detecting whether a VR hand collides with an object, and , When it is detected that the VR hand collides with the object, the interaction recognition step (S20) of detecting the number of collided fingers and the object data value, and the inner and outer vector (angle) values of the collided fingers are calculated and stored respectively. The inner product vector (angle) value calculation step (S30), and the interaction determination step (S40) and inner product of obtaining the sum of the respective inner product vector values obtained for the colliding fingers and determining whether a preset interaction execution condition is satisfied. If the sum of the vector values satisfies the interaction execution condition, it may be configured to include an object grabbing execution step (S50) of executing object grabbing.
여기서, 본 발명에 있어서, 상기한 오브젝트 데이터는, 각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 의미하고, VR 글로브에 설치된 각각의 손가락 센서에 대한 위치정보는 핑거 데이터라 하며, 이러한 오브젝트 데이터 및 핑거 데이터는 미리 설정 및 저장하여 두고 알고리즘 실행시 필요한 정보를 제공하도록 구성될 수 있다. Here, in the present invention, the object data refers to the minimum number of fingers required to hold each object, and the location information for each finger sensor installed in the VR globe is referred to as finger data, and such object data and Finger data may be set and stored in advance, and may be configured to provide necessary information when an algorithm is executed.
즉, 상기한 주변환경 탐지단계(S10)와 상호작용 인지단계(S20)는 이러한 오브젝트 데이터 및 핑거 데이터를 이용하여 손가락이 오브젝트와 충돌하였는지의 여부와 어느 손가락이 충돌하였는지 및 충돌한 손가락의 개수가 오브젝트를 잡기 위한 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성될 수 있다. That is, in the detection of the surrounding environment (S10) and the interaction recognition step (S20), whether a finger collides with an object, which finger collides, and the number of collided fingers using such object data and finger data. It may be configured to perform a process of determining whether there is more than a necessary number for grabbing the object.
더 상세하게는, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 구체적인 처리과정을 개략적으로 나타내는 플로차트이다. In more detail, referring to FIG. 2, FIG. 2 is a flowchart schematically showing a specific processing procedure of a method for controlling interaction in virtual reality through tracking a finger joint according to an embodiment of the present invention.
도 2에 나타낸 바와 같이, 상기한 주변환경 탐지단계(S10)는, 손가락이 오브젝트와 충돌했는지의 여부 및 충돌시 엄지손가락이 충돌했지를 탐지하고, 상호작용 인지단계(S20)는, 충돌한 손가락의 개수 및 충돌한 손가락의 개수가 오브젝트를 잡기에 필요한 개수보다 많은지를 각각 판단한다. As shown in FIG. 2, in the detection of the surrounding environment (S10), whether the finger collides with the object and whether the thumb collides during the collision, and the interaction recognition step (S20) is performed on the collided finger. It is determined whether the number of and the number of colliding fingers are greater than the number necessary to grab the object.
또한, 내적벡터(각도)값 계산단계(S30)는, 후술하는 바와 같이 하여 엄지손가락과 다른 손가락에 대한 내적/외적벡터(각도) 값을 각각 계산하고, 상호작용 판단단계(S40)는, 충돌한 손가락이 더 이상 없는 경우 계산된 내적벡터 값을 모두 더하고 내적벡터의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단한다. In addition, the dot product vector (angle) value calculation step (S30), as described later, calculates the dot product/external product vector (angle) values for the thumb and other fingers, respectively, and the interaction determination step (S40) includes collision When there is no more one finger, the calculated dot product vector values are added together, and it is determined whether the sum of the dot product vectors satisfies a preset interaction execution condition.
여기서, 상기한 상호작용 실행조건은, 도 2에 나타낸 바와 같이, 충돌한 손가락이 2개일 경우는 180도 미만, 3개일 경우는 360도 미만, 4개일 경우는 540도 미만, 5개일 경우는 720도 미만으로 설정될 수 있다. Here, as shown in FIG. 2, the above-described interaction execution condition is less than 180 degrees for two collided fingers, less than 360 degrees for three, 540 degrees for four, and 720 for five fingers. It can be set to less than degrees.
아울러, 상기한 오브젝트 잡기 실행단계(S50)는, 상호작용 판단단계(S40)에서 내적백터값의 총합이 상기한 상호작용 실행조건을 만족하는 경우 오브젝트 잡기를 실행하는 처리가 수행되도록 구성될 수 있다. In addition, the object grabbing execution step S50 may be configured to perform a process of grabbing the object when the sum of the inner product vector values satisfies the above-described interaction execution condition in the interaction determination step S40. .
계속해서, 도 3 및 도 4를 참조하여, 각 손가락에 대한 내적/외적벡터를 계산하는 과정에 대하여 설명한다. Subsequently, with reference to FIGS. 3 and 4, a process of calculating an inner/outer product vector for each finger will be described.
즉, 도 3 및 도 4를 참조하면, 먼저, 도 3은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 검지손가락에 대한 내적벡터를 계산하는 과정을 설명하기 위하여 가상현실 3D 공간의 좌표를 개략적으로 나타낸 개념도이고, 도 4는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 나머지 손가락들에 대한 내적벡터를 각각 개략적으로 나타낸 개념도이다. That is, referring to FIGS. 3 and 4, first, FIG. 3 is a process of calculating the dot product vector for the thumb and the index finger in the interaction control method in virtual reality through tracking of a finger joint according to an embodiment of the present invention. It is a conceptual diagram schematically showing the coordinates of a virtual reality 3D space in order to explain, and FIG. 4 is a dot product of the thumb and the remaining fingers in the interaction control method in virtual reality through tracking of a finger joint according to an embodiment of the present invention. It is a conceptual diagram schematically showing each vector.
도 3 및 도 4에 있어서, 로컬축 y값은 엄지손가락 말단(T4)과 검지손가락 말단(F2-4)의 각각의 위치정보에서 90도가 되는 y축 방향을 의미하고[T4y, F2-4y], 로컬축 y값인 [T4y, F2-4y]를 월드축을 기준으로 변환하여 구해진 값을 월드벡터 변환값이라 한다[WT4, WF2-4]. In Figures 3 and 4, the local axis y value means the y-axis direction of 90 degrees in the position information of each of the thumb end (T4) and the index finger end (F2-4) [T4y, F2-4y] , The value obtained by transforming the local axis y value [T4y, F2-4y] based on the world axis is called the world vector transform value [WT4, WF2-4].
또한, 월드벡터 변환값인 [WT4, WF2-4]에 삼각함수, 역학함수 등의 공식을 적용하면 끼인각(내적벡터)를 구할 수 있으나, 이와 같이 하여 구해지는 끼인각(내적벡터)은 방향을 알 수 없기 때문에 오브젝트를 잡은 것인지 판단할 수 없으므로 외적벡터를 구하여 방향을 판단한다. In addition, the included angle (dot product vector) can be obtained by applying formulas such as trigonometric functions and dynamic functions to the world vector transform values [WT4, WF2-4], but the included angle (dot product vector) obtained in this way knows the direction. Since it is impossible, it cannot be determined whether or not the object is caught, so the direction is determined by obtaining an external product vector.
더 상세하게는, 월드벡터 A(WT4)와 B(WF2-4)가 만나는 지점에 90도가 되도록 생성되고, 월드벡터의 y축을 기준으로 변환하여 외적벡터 값을 구한다[A(YWT4), B(YWF2-4)]. More specifically, it is created to be 90 degrees at the point where world vectors A (WT4) and B (WF2-4) meet, and is converted based on the y-axis of the world vector to obtain the cross product vector [A(YWT4), B( YWF2-4)].
상기한 바와 같이 하여 변환된 값인 A(YWT4), B(YWF2-4)에 삼각함수, 역학함수 등의 공식을 적용하여 최종 내적벡터 값을 구한다. The final dot product vector value is obtained by applying formulas such as trigonometric functions and dynamic functions to A(YWT4) and B(YWF2-4), which are converted values as described above.
즉, 상기한 내적벡터(각도)값 계산단계(S30)는, 도 4에 나타낸 바와 같이, 상기한 바와 같은 과정을 각 손가락마다 반복하여 충돌이 발생한 각 손가락에 대한 최종 내적벡터 값을 계산하고 저장하는 처리가 수행되도록 구성될 수 있다. That is, in the step of calculating the dot product vector (angle) value (S30), as shown in FIG. 4, the process as described above is repeated for each finger to calculate and store the final dot product vector value for each finger in which a collision occurs. It can be configured such that the processing to be performed.
여기서, 상기한 바와 같이 삼각함수, 역학함수 등의 공식을 적용하여 내적/외적벡터 값을 구하는 구체적인 내용에 대하여는 종래기술의 문헌 등으로부터 당업자에게 자명한 내용이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다. Here, as described above, the detailed contents of obtaining the inner/external vector values by applying formulas such as trigonometric functions and dynamic functions are apparent to those skilled in the art from the literature of the prior art. Therefore, in the present invention, the description is briefly described. In order to do so, it should be noted that detailed descriptions thereof have been omitted for contents that can be easily understood and implemented by those skilled in the art with reference to the literature of the prior art.
또한, 상기한 상호작용 판단단계(S40)는, 내적벡터(각도)값 계산단계(S30)에서 상기한 바와 같이 하여 충돌한 손가락의 개수만큼 구해진 각각의 끼인각(최종 내적벡터 값)을 모두 합산하고, 총합이 미리 설정된 상호작용 실행조건을 만족하는지 판단한다. In addition, the above-described interaction determination step (S40) is performed as described above in the dot product vector (angle) value calculation step (S30) and sums all of the included angles (final dot product vector values) obtained by the number of colliding fingers. , It is determined whether the sum total satisfies the preset interaction execution condition.
더 상세하게는, 끼인각(최종 내적벡터 값) 총합에 대한 상호작용 실행조건은 이하에 나타낸 바와 같다. In more detail, the interaction execution conditions for the sum of the included angles (final dot product vector values) are as shown below.
[끼인각 총합 < 180×(충돌한 손가락 개수 - 1)] [Total snatch angle <180×(Number of fingers hit-1)]
즉, 충돌한 손가락이 2개일 경우는 끼인각(최종 내적벡터 값)의 총합이 180도 미만, 충돌한 손가락이 3개일 경우는 360도 미만, 충돌한 손가락이 4개일 경우는 540도 미만, 충돌한 손가락이 5개일 경우는 720도 미만이면 상호작용 실행조건을 만족하게 된다. In other words, if there are two collided fingers, the sum of the angles (final dot product vector value) is less than 180 degrees, if there are three collided fingers, less than 360 degrees, if there are four collided fingers, it is less than 540 degrees. In the case of 5 fingers, if it is less than 720 degrees, the interaction execution condition is satisfied.
여기서, 상호작용 실행조건에서 180도가 기준인 이유는, 오브젝트를 잡으려면 무조건 엄지손가락이 충돌해야 하므로(엄지손가락이 없이 오브젝트를 잡을 수 없음), 엄지와 다른 손가락과의 끼인각이 180도 이상이 되면 물건을 잡을 수 없는 상태가 되기 때문에 끼인각은 항상 180도 미만이어야 한다. Here, the reason why 180 degrees is the standard in the interaction execution condition is that the thumb must collide unconditionally to hold the object (cannot hold the object without the thumb), so if the angle between the thumb and other fingers is more than 180 degrees The angle of inclusion should always be less than 180 degrees, as it becomes impossible to hold the object.
아울러, 도 4에 나타낸 예에 있어서, 5개 손가락 모두 충돌했을 경우 끼인각의 총합은 150 + 160 + 140 + 120 = 470도이며, 이 경우 끼인각 총합이 720도 미만이므로 오브젝트 잡기 실행단계(S50)로 진행하여 오브젝트 잡기를 실행한다. In addition, in the example shown in FIG. 4, when all five fingers collide, the sum of the included angles is 150 + 160 + 140 + 120 = 470 degrees, and in this case, the sum of the included angles is less than 720 degrees, so the object grabbing execution step (S50) Go ahead and execute object grabbing.
이상, 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 구현할 수 있으며, 그것에 의해, VR 손과 오브젝트의 보다 자연스러운 상호작용을 구현할 수 있다. As described above, it is possible to implement an interaction control method in virtual reality through tracking of a finger joint according to the present invention, and thereby, a more natural interaction between a VR hand and an object can be implemented.
또한, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 VR 시스템에 수행시키도록 구성되는 제어프로그램을 용이하게 구현할 수 있으며, 그것에 의해, 기존의 상용화된 VR 기기에도 용이하게 적용할 수 있다. In addition, according to the present invention, it is possible to easily implement a control program configured to perform the interaction control method in virtual reality through the tracking of the finger joint configured as described above to the VR system, whereby the existing It can be easily applied to commercialized VR devices.
아울러, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 수행하도록 VR 시스템의 제어부를 구성함으로써, VR 손과 오브젝트의 보다 자연스러운 상호작용을 구현할 수 있도록 구성되는 VR 시스템을 용이하게 구현할 수 있다. In addition, according to the present invention, by configuring the controller of the VR system to perform the interaction control method in the virtual reality through the tracking of the finger joint configured as described above, it is possible to implement a more natural interaction between the VR hand and the object. A VR system configured to be configured can be easily implemented.
더 상세하게는, 도 5를 참조하면, 도 5는 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치(50)의 전체적인 구성을 개략적으로 나타내는 도면이다. More specifically, referring to FIG. 5, FIG. 5 is a VR
도 5에 나타낸 바와 같이, 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치(50)는, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부(51)와, VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부(52)와, 충돌한 손가락들에 대한 내적/외적벡터(각도) 값을 각각 계산하고 저장하는 내적벡터(각도)값 계산부(53)와, 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부(54) 및 내적벡터 값의 총합이 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부(55)를 포함하여 구성될 수 있다. As shown in FIG. 5, the VR
여기서, 상기한 각 부의 구체적인 동작은 도 1 내지 도 4를 참조하여 상기에 설명한 바와 같이 하여 수행될 수 있다. Here, the specific operations of each of the above-described units may be performed as described above with reference to FIGS. 1 to 4.
따라서 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 구현할 수 있다. Accordingly, as described above, a method for controlling interaction in virtual reality through tracking a finger joint according to the present invention and a VR system using the same can be implemented.
또한, 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 구현하는 것에 의해, 본 발명에 따르면, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결할 수 있다. In addition, by implementing a virtual reality interaction control method and a VR system using the same through the tracking of a finger joint according to the present invention as described above, according to the present invention, when a hand and an object interact in a VR environment In order to realize this more naturally, an interaction control method in virtual reality through the tracking of a finger joint and a VR system using the same are provided. When using a VR globe controller, only the function to match the hand is provided, and objects and objects such as grabbing objects are provided. It is possible to solve the problem of VR globe controllers of the prior art, in which an algorithm capable of interaction has not been presented.
아울러, 본 발명에 따르면, 상기한 바와 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여 높은 확장성 및 유연성을 가지도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하여 오브젝트와의 상호작용이 개선된 VR 시스템을 용이하게 구현할 수 있다. In addition, according to the present invention, an algorithm capable of interacting with an object as described above could not be presented, so that problems that occur when an interaction is implemented with only a physical engine can be improved, and at the same time, three positions based on a six-axis sensor 6 Degrees Of Freedom (6DOF) with vectors (x, y, z) and 3 direction vectors (x, y, z) maximizes the functionality provided by VR globe controllers for high scalability and flexibility. By providing an interaction control method in virtual reality through tracking of a finger joint configured to have and a VR system using the same, it can be easily applied to already commercialized VR globe controllers, making it easy to use a VR system with improved interaction with objects. Can be implemented.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다. In the above, the detailed contents of the interaction control method in virtual reality through the tracking of the finger joint according to the present invention and the VR system using the same have been described through the embodiment of the present invention as described above. Therefore, the present invention is not limited to the contents described in the present invention, and various modifications, changes, combinations, and substitutions, etc., according to design needs and other various factors by those of ordinary skill in the art to which the present invention pertains. It is natural that it is possible.
50. VR 시스템 제어장치
51. 주변환경 탐지부
52. 상호작용 인지부
53. 내적벡터(각도)값 계산부
54. 상호작용 판단부
55. 오브젝트 잡기 실행부 50. VR system control device
51. Surrounding environment detection unit
52. Interaction awareness
53. Dot product vector (angle) value calculation unit
54. Interaction judgment unit
55. Object grabbing execution unit
Claims (8)
상기 처리는,
가상현실 환경에서 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계;
상기 주변환경 탐지단계에서 손이 오브젝트와 충돌한 것이 탐지되면, 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계;
상기 상호작용 인지단계에서 충돌한 것으로 인식된 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산단계;
상기 내적벡터 계산단계에서 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고, 내적벡터 값의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계; 및
상호작용 판단단계에서 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하는 것으로 판단되면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계를 포함하며,
상기 상호작용 판단단계는,
상기 내적벡터 계산단계에서 충돌한 손가락의 개수만큼 구해진 각각의 내적벡터 값을 모두 합산하고,
상기 내적벡터 값의 총합이 이하의 상호작용 실행조건을 만족하는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
[내적벡터 값의 총합 < 180×(충돌한 손가락 개수 - 1)]
In a method for controlling interaction in virtual reality through tracking of a finger joint configured to execute a process for realizing the interaction between a hand and an object in a virtual reality environment in a VR system including a dedicated hardware or a VR globe,
The above treatment,
A surrounding environment detection step of detecting whether a hand collides with an object in a virtual reality environment;
An interaction recognition step of detecting the number of collision fingers and an object data value when it is detected that the hand collides with the object in the detection of the surrounding environment;
A dot product vector calculation step of calculating and storing the dot product vector values for fingers recognized as colliding in the interaction recognition step;
An interaction determination step of obtaining a sum of values of each dot product vector obtained for the fingers colliding in the dot product vector calculation step, and determining whether the sum of the dot product vector values satisfies a preset interaction execution condition; And
In the interaction determination step, when it is determined that the sum of the inner product vector values satisfies the interaction execution condition, an object grabbing execution step of executing an object grabbing,
The interaction determination step,
In the dot product vector calculation step, all values of each dot product vector obtained by the number of collision fingers are summed,
A method for controlling interaction in virtual reality through tracking of a finger joint, characterized in that processing for determining whether the sum of the inner product vector values satisfies the following interaction execution conditions is performed.
[Total sum of dot product vector values <180 × (number of fingers hit-1)]
상기 오브젝트 데이터는,
각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 설정하여 미리 저장된 데이터인 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
The method of claim 1,
The object data,
A method of controlling interaction in virtual reality through tracking of a finger joint, characterized in that data stored in advance by setting the minimum number of fingers required to hold each object.
상기 주변환경 탐지단계는,
각각의 손가락에 대하여 오브젝트와 충돌했는지의 여부를 탐지하고,
충돌발생시 엄지손가락이 충돌했는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
The method of claim 1,
The surrounding environment detection step,
For each finger, whether or not it collides with the object,
Interaction control method in virtual reality through tracking of a finger joint, characterized in that configured to perform a process of determining whether a thumb has collided when a collision occurs.
상기 상호작용 인지단계는,
상기 주변환경 탐지단계에서 엄지손가락이 오브젝트와 충돌한 것으로 탐지되면 충돌한 손가락의 개수를 판단하고,
상기 오브젝트 데이터에 근거하여 충돌한 손가락의 개수가 오브젝트를 잡기 위해 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
The method of claim 1,
The interaction recognition step,
If the thumb is detected to collide with the object in the surrounding environment detection step, the number of colliding fingers is determined,
A method for controlling interaction in virtual reality through tracking of a finger joint, characterized in that processing for determining whether the number of colliding fingers is greater than the number necessary to hold the object is performed based on the object data.
상기 내적벡터 계산단계는,
엄지손가락과 다른 하나의 손가락에 대한 내적벡터 값을 구하는 과정을 충돌이 발생한 각 손가락마다 반복하여, 충돌이 발생한 각 손가락에 대한 내적벡터 값을 각각 계산하고 저장하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
The method of claim 1,
In the step of calculating the dot product vector,
It is characterized in that the process of obtaining the dot product vector value for the thumb and the other finger is repeated for each finger in which a collision occurs, and processing of calculating and storing the dot product vector value for each finger in which the collision occurs is performed. Interaction control method in virtual reality through the tracking of the finger joints.
VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부;
VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부;
충돌한 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산부;
충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부; 및
상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치.
In a VR system control device configured to perform a process for realizing the interaction between a VR hand and an object by using the interaction control method in virtual reality through the tracking of the finger joint according to any one of claims 1 to 5 In,
A surrounding environment detection unit that detects whether the VR hand collides with the object;
An interaction recognition unit configured to detect the number of fingers and object data values when it is detected that the VR hand collides with the object;
A dot product vector calculation unit that calculates and stores the dot product vector values for the collided fingers, respectively;
An interaction determination unit that calculates the sum of the inner product vector values obtained for the colliding fingers and determines whether a preset interaction execution condition is satisfied; And
And an object grabbing execution unit that grabs an object when the sum of the inner product vector values satisfies the interaction execution condition.
가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부;
사용자의 양손에 각각 장착되는 VR 글로브부; 및
상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고,
상기 제어부는,
청구항 1항 내지 청구항 5항 중 어느 한 항에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템.
In the VR system,
Head Mount Disply (HMD) unit for providing a virtual reality environment;
VR glove units mounted on both hands of the user; And
It is configured to include a control unit for controlling the overall operation of the VR system,
The control unit,
A VR, characterized in that it is configured to perform a process of realizing the interaction between a VR hand and an object by using the interaction control method in virtual reality through the tracking of the finger joint according to any one of claims 1 to 5 system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180134883A KR102170638B1 (en) | 2018-11-06 | 2018-11-06 | Method for controlling interaction in virtual reality by tracking fingertips and VR system using it |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180134883A KR102170638B1 (en) | 2018-11-06 | 2018-11-06 | Method for controlling interaction in virtual reality by tracking fingertips and VR system using it |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200051938A KR20200051938A (en) | 2020-05-14 |
| KR102170638B1 true KR102170638B1 (en) | 2020-10-27 |
Family
ID=70737081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180134883A KR102170638B1 (en) | 2018-11-06 | 2018-11-06 | Method for controlling interaction in virtual reality by tracking fingertips and VR system using it |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102170638B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102456872B1 (en) | 2021-12-30 | 2022-10-21 | 서울대학교산학협력단 | System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306234B (en) * | 2020-09-25 | 2023-10-31 | 中国电力科学研究院有限公司 | Hand operation identification method and system based on data glove |
| KR102586144B1 (en) | 2021-09-23 | 2023-10-10 | 주식회사 딥비전 | Method and apparatus for hand movement tracking using deep learning |
| CN117130489A (en) * | 2023-10-25 | 2023-11-28 | 苏州阿基米德网络科技有限公司 | VR-based medical equipment training method, electronic equipment and storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824532B1 (en) * | 2016-09-20 | 2018-02-02 | 한국과학기술연구원 | System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model |
-
2018
- 2018-11-06 KR KR1020180134883A patent/KR102170638B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101824532B1 (en) * | 2016-09-20 | 2018-02-02 | 한국과학기술연구원 | System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102456872B1 (en) | 2021-12-30 | 2022-10-21 | 서울대학교산학협력단 | System and method for tracking hand motion using strong coupling fusion of image sensor and inertial sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200051938A (en) | 2020-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170638B1 (en) | Method for controlling interaction in virtual reality by tracking fingertips and VR system using it | |
| JP5969626B2 (en) | System and method for enhanced gesture-based dialogue | |
| JP6314134B2 (en) | User interface for robot training | |
| KR101785360B1 (en) | Method and system for hand presence detection in a minimally invasive surgical system | |
| CN106943743B (en) | Man-machine interaction control method | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| KR20120115487A (en) | Method and system for hand control of a teleoperated minimally invasive slave surgical instrument | |
| KR20130027006A (en) | Method and apparatus for hand gesture control in a minimally invasive surgical system | |
| KR20120102647A (en) | A master finger tracking device and method of use in a minimally invasive surgical system | |
| KR101318244B1 (en) | System and Method for Implemeting 3-Dimensional User Interface | |
| US11169605B2 (en) | Operating method for wearable device interacting with operated device in virtual reality and operating device thereof | |
| KR102239469B1 (en) | Method and apparatus for controlling object | |
| Vogel et al. | Flexible, semi-autonomous grasping for assistive robotics | |
| CN113467625A (en) | Virtual reality control device, helmet and interaction method | |
| Du et al. | An offline-merge-online robot teaching method based on natural human-robot interaction and visual-aid algorithm | |
| KR101900922B1 (en) | Method and system for hand presence detection in a minimally invasive surgical system | |
| JP2017134802A (en) | User interface program | |
| JP7481783B1 (en) | Position detection device and information processing system | |
| JP2018181185A (en) | Force sense presentation unit and virtual force sense presentation device | |
| CN117251058B (en) | Control method of multi-information somatosensory interaction system | |
| WO2023176034A1 (en) | Control device and control method | |
| Worrallo | A multiple optical tracking based approach for enhancing hand-based interaction in virtual reality simulations | |
| Oshita et al. | Character motion control by hands and principal component analysis | |
| EP3374847B1 (en) | Controlling operation of a 3d tracking device | |
| Park et al. | 3D Gesture-based view manipulator for large scale entity model review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |