KR101824532B1 - System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model - Google Patents

System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model Download PDF

Info

Publication number
KR101824532B1
KR101824532B1 KR1020160120271A KR20160120271A KR101824532B1 KR 101824532 B1 KR101824532 B1 KR 101824532B1 KR 1020160120271 A KR1020160120271 A KR 1020160120271A KR 20160120271 A KR20160120271 A KR 20160120271A KR 101824532 B1 KR101824532 B1 KR 101824532B1
Authority
KR
South Korea
Prior art keywords
virtual
model
hand
ray
object model
Prior art date
Application number
KR1020160120271A
Other languages
Korean (ko)
Inventor
박정민
김유식
유범재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020160120271A priority Critical patent/KR101824532B1/en
Application granted granted Critical
Publication of KR101824532B1 publication Critical patent/KR101824532B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

A method for controlling a virtual model in a virtual space includes: a step of generating a virtual hand model and a virtual object model; a step of forming a virtual ray extended from a first node of each of two or more fingers of the virtual hand model; a step of checking whether or not a grip condition, where a distance between each virtual ray at an intersection point closest to each virtual ray is smaller than or equal to a preset grip distance, and the intersection point is positioned inside the virtual object model, is established. When the grip condition is established, the gripping operation of the virtual object model by the virtual hand model is performed. It is possible to determine whether or not the virtual object model is gripped.

Description

가상 손 모델에 의한 파지 및 해제를 위한 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체{SYSTEM, METHOD AND READABLE RECORDING MEDIUM OF CONTROLLING VIRTUAL MODEL FOR GRASP AND RELEASE BY VIRTUAL HAND MODEL}TECHNICAL FIELD [0001] The present invention relates to a virtual model control system, a method, and a computer readable recording medium for holding and releasing a virtual hand model,

본 발명은 가상 모델의 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는 가상 공간 내에 형성된 가상 객체 모델을 가상 손 모델에 의해 파지하거나 해제하는 동작을 제어하기 위한 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.Field of the Invention [0002] The present invention relates to a virtual model control system, method and computer-readable recording medium, and more particularly to a system, method, and program for controlling an operation of gripping or releasing a virtual object model formed in a virtual space by a virtual hand model And a computer readable recording medium.

최근 가상 현실 또는 증강 현실과 관련된 다양한 전자기기와 소프트웨어가 활발하게 개발되고 있다. 이러한 가상 현실 또는 증강 현실에서는 사용자와 가상 모델, 또는 가상 모델 간의 상호 작용에 의해 사용자는 마치 가상 공간에 있는 것처럼 느낄 수 있다.Recently, various electronic devices and software related to virtual reality or augmented reality have been actively developed. In this virtual reality or augmented reality, the user can feel as if he or she is in the virtual space by the interaction between the user and the virtual model or the virtual model.

가상 공간 내에서 가상 손 모델에 의해 가상 객체 모델을 조작하는 동작이 구현될 수 있다. 가상 공간 내의 가상 객체 모델을 조작하는 방식으로는 제스쳐 기반 조작 방식과 직접 조작 방식이 있다. 제스쳐 기반 조작 방식의 경우, 미리 설정된 제스쳐의 입력 시 설정된 조작 동작을 수행하는 방식이다. 이러한 방식에 의하면, 조작 구현을 단순화할 수 있으나 구체적인 동작을 구현하는데 한계가 있다.An operation of manipulating the virtual object model by the virtual hand model within the virtual space can be implemented. There are gesture-based manipulation methods and direct manipulation methods for manipulating virtual object models in virtual space. In the case of the gesture-based manipulation method, a manipulation operation set at the time of inputting a preset gesture is performed. According to this method, it is possible to simplify the operation implementation, but there are limitations in implementing concrete operation.

직접 조작 방식의 경우 실제 공간에서의 동작 정보를 기초로 가상 공간에서의 조작 동작을 구현하여 가상 공간 내의 물체와의 상호 작용을 직접적으로 구현한다.In the case of the direct manipulation method, the manipulation operation in the virtual space is implemented based on the motion information in the real space, and the interaction with the object in the virtual space is directly implemented.

이때, 실제 공간에서의 동작 정보를 입력 받기 위해 모션 트래커(motion tracker) 등과 같은 장비를 이용하고 있다. 예를 들면, 손의 움직임을 기초로 가상 공간 내의 가상 손 모델의 동작을 구현하여 가상 손 모델과 가상 객체 모델 간의 상호 작용에 따른 조작 동작을 수행할 수 있다.At this time, a device such as a motion tracker is used to receive motion information in a real space. For example, the operation of the virtual hand model in the virtual space can be implemented based on the movement of the hand, so that the manipulation operation according to the interaction between the virtual hand model and the virtual object model can be performed.

그러나, 상술한 장비가 대부분 고가이며 장비를 설치하고 이용함에 따른 접근성이 상대적으로 낮다. 따라서, 사용성 및 접근성이 높은 장비를 이용하여 직접 조작 방식으로도 가상 공간 내에서의 동작을 정확하고 신속하게 구현할 수 있는 가상 모델의 제어 방법이 요구된다.However, the above-mentioned equipment is mostly expensive, and the accessibility by installing and using the equipment is relatively low. Therefore, there is a need for a virtual model control method that can accurately and quickly implement operations in a virtual space even in a direct operation mode using equipment with high usability and accessibility.

미국 특허 공개 공보 제2014-0314320호 (2013. 11. 28)U.S. Patent Application Publication No. 2014-0314320 (Feb. 미국 특허 공개 공보 제2014-0104274호 (2014. 4. 17)U.S. Patent Application Publication No. 2014-0104274 (April 4, 2014)

본 발명은 전술한 종래의 가상 모델 제어 방법의 문제점을 개선하고자 안출된 것으로, 가상 손 모델의 각각의 손가락에 가상 레이를 생성하여 각각의 가상 레이 간의 거리 및 교차 지점을 확인함으로써 가상 객체 모델의 파지 여부를 파악할 수 있는 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공함에 그 목적이 있다.The present invention is conceived to solve the problems of the conventional virtual model control method described above, and it is an object of the present invention to create a virtual ray on each finger of a virtual hand model and confirm the distance between the virtual ray and the intersection point, And to provide a virtual model control system, method, and computer-readable recording medium capable of knowing whether or not a physical model is available.

본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 가상 공간 내 가상 모델의 상호작용을 위하여 전자 장치 내의 프로세서로써 상기 가상 모델의 제어 방법을 수행하게 하기 위한 명령어들을 포함하며, 상기 방법은, 가상 손 모델 및 가상 객체 모델을 생성하는 단계; 상기 가상 손 모델의 둘 이상의 손가락 각각의 첫째 마디로부터 연장되는 가상 레이를 형성하는 단계; 및 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인하는 단계를 포함하며, 상기 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행된다.According to an aspect of the present invention, there is provided a computer-readable medium having instructions for causing a processor in an electronic device to perform a control method of the virtual model for interacting with a virtual model in a virtual space The method comprising: generating a virtual hand model and a virtual object model; Forming a virtual ray extending from a first node of each of two or more fingers of the virtual hand model; And determining whether or not a grasping condition in which the distance between each virtual ray at a crossing point at which each virtual ray is closest to each other is smaller than or equal to a predetermined grasp distance and the intersection point is located within the virtual object model And when the gripping condition is established, the gripping operation of the virtual object model by the virtual hand model is performed.

본 발명의 일 실시예에 따르면, 상기 가상 손 모델과 상기 가상 객체 모델 간의 거리를 측정하여 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 여부를 확인하고 나서, 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 상기 파지 조건의 성립 여부를 확인할 수 있다.According to an embodiment of the present invention, a distance between the virtual hand model and the virtual object model is measured to check whether the virtual hand model is in contact with the virtual object model, Upon contact, it is possible to confirm whether or not the grasping condition is established.

본 발명의 일 실시예에 따르면, 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 상기 가상 객체 모델을 수용하는 최소 크기의 직육면체 형태의 경계 공간을 생성하고, 상기 가상 레이의 길이는 상기 경계 공간 내부를 가로지는 가장 긴 대각선의 절반일 수 있다.According to an embodiment of the present invention, when a virtual hand model and a virtual object model are brought into contact with each other, a boundary space having a rectangular shape of a minimum size that accommodates the virtual object model is generated, It can be half the longest diagonal line across the interior.

본 발명의 일 실시예에 따르면, 상기 가상 손 모델의 엄지 손가락을 포함하는 둘 이상의 손가락에 가상 레이가 형성될 수 있다.According to an embodiment of the present invention, a virtual ray may be formed on two or more fingers including the thumb of the virtual hand model.

본 발명의 일 실시예에 따르면, 상기 가상 레이는 손가락 첫째 마디의 안쪽 면에 대해 수직하게 연장 형성될 수 있다.According to an embodiment of the present invention, the virtual ray may be formed to extend perpendicularly to the inner surface of the first node of the finger.

본 발명의 일 실시예에 따르면, 상기 교차 지점은 각각의 상기 가상 레이 상에서 서로에 대해 가장 근접한 각 지점들의 중점일 수 있다.According to one embodiment of the present invention, the intersection points may be the center of each point closest to each other on each virtual ray.

본 발명의 일 실시예에 따르면, 상기 가상 손 모델은 사용자의 손 형상을 감지하여 얻은 손 형상 정보를 기초로 하여 생성될 수 있다.According to an embodiment of the present invention, the virtual hand model may be generated based on hand shape information obtained by sensing a hand shape of a user.

상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 가상 모델 제어 시스템은, 가상 손 모델 및 가상 객체 모델을 생성하는 가상 모델 생성 모듈; 상기 가상 모델 생성 모듈에 의해 생성된 상기 가상 손 모델과 상기 가상 객체 모델 간의 거리를 측정하여 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 여부를 확인하는 접촉 검사 모듈; 상기 접촉 검사 모듈로부터 접촉 여부에 대한 정보를 수신하며, 상기 가상 손 모델의 손가락의 첫째 마디로부터 연장되는 가상 레이를 형성하는 가상 레이 생성 모듈; 상기 가상 레이 생성 모듈에 의해 생성된 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리를 측정하고, 상기 교차 지점의 위치를 확인하는 파지 검사 모듈; 및 상기 파지 검사 모듈로부터 파지 여부에 대한 정보를 수신하며, 상기 가상 손 모델과 상기 가상 객체 모델 간의 파지 및 해제 동작을 수행하는 상호 작용 생성 모듈을 포함하며, 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행된다.According to another aspect of the present invention, there is provided a virtual model control system including a virtual model generation module for generating a virtual hand model and a virtual object model; A contact checking module for measuring a distance between the virtual hand model and the virtual object model generated by the virtual model creating module to check whether the virtual hand model and the virtual object model are in contact with each other; A virtual ray generation module which receives information on contact from the contact inspection module and forms a virtual ray extending from a first node of a finger of the virtual hand model; A phage checking module that measures a distance between each virtual ray at an intersection point where each virtual ray generated by the virtual ray generation module is closest to each other and confirms the position of the intersection point; And an interaction generation module for receiving information on whether or not to grasp the virtual hand model from the gripping examination module and performing a gripping and releasing operation between the virtual hand model and the virtual object model, When a distance between each virtual ray at a crossing point where each virtual ray is closest to each other is smaller than or equal to a predetermined phage distance at the time of contact and a holding condition in which the intersection point is located within the virtual object model is established , The gripping operation of the virtual object model by the virtual hand model is performed.

본 발명의 일 실시예에 따르면, 사용자의 손 형상을 감지하여 얻은 손 형상 정보를 상기 가상 모델 생성 모듈에 제공하는 입력 장치를 더 포함하며, 상기 가상 모델 생성 모듈은 상기 손 형상 정보를 기초로 하여 상기 가상 손 모델을 생성할 수 있다.According to an embodiment of the present invention, there is further provided an input device for providing hand shape information obtained by sensing a hand shape of a user to the virtual model generation module, wherein the virtual model generation module generates, based on the hand shape information, The virtual hand model can be generated.

본 발명의 일 실시예에 따르면, 상기 입력 장치는 RGBD 카메라일 수 있다.According to an embodiment of the present invention, the input device may be an RGBD camera.

상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 가상 모델의 제어 방법은 가상 손 모델 및 가상 객체 모델을 생성하는 단계; 상기 가상 손 모델의 둘 이상의 손가락 각각의 첫째 마디로부터 연장되는 가상 레이를 형성하는 단계; 및 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인하는 단계를 포함하며, 상기 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행된다.According to another aspect of the present invention, there is provided a method for controlling a virtual model, the method including: generating a virtual hand model and a virtual object model; Forming a virtual ray extending from a first node of each of two or more fingers of the virtual hand model; And determining whether or not a grasping condition in which the distance between each virtual ray at a crossing point at which each virtual ray is closest to each other is smaller than or equal to a predetermined grasp distance and the intersection point is located within the virtual object model And when the gripping condition is established, the gripping operation of the virtual object model by the virtual hand model is performed.

도 1은 본 발명의 일 실시예에 따른 가상 모델 제어 시스템의 개략적인 구성도이다.
도 2는 도 1의 가상 모델 제어 시스템을 통해 가상 손 모델의 파지 동작을 개략적으로 도시한 개념도이다.
도 3은 가상 객체 모델의 경계 공간 내에서 각각의 가상 레이를 개략적으로 도시한 개념도이다.
도 4는 본 발명의 또 다른 실시예에 따른 가상 모델 제어 방법의 각 단계에 따른 흐름도이다.1 is a schematic block diagram of a virtual model control system according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram schematically showing a gripping operation of a virtual hand model through the virtual model control system of FIG. 1. FIG.
3 is a conceptual diagram schematically showing each virtual ray in the boundary space of the virtual object model.
4 is a flowchart illustrating steps of a virtual model control method according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.The shapes, sizes, ratios, angles, numbers, and the like disclosed in the drawings for describing the embodiments of the present invention are illustrative, and thus the present invention is not limited thereto. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Where the terms "comprises", "having", "done", and the like are used in this specification, other portions may be added unless "only" is used. Unless the context clearly dictates otherwise, including the plural unless the context clearly dictates otherwise.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the constituent elements, it is construed to include the error range even if there is no separate description.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.In the case of a description of the positional relationship, for example, if the positional relationship between two parts is described as 'on', 'on top', 'under', and 'next to' Or " direct " is not used, one or more other portions may be located between the two portions.

소자(elements) 또는 층이 다른 소자 또는 층"위(on)"로 지칭되는 것은 다른 소자 바로 위에 또는 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.It is to be understood that elements or layers are referred to as being "on " other elements or layers, including both intervening layers or other elements directly on or in between. Like reference numerals refer to like elements throughout the specification.

비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are used only to distinguish one component from another. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical scope of the present invention.

도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.The sizes and thicknesses of the individual components shown in the figures are shown for convenience of explanation and the present invention is not necessarily limited to the size and thickness of the components shown.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.It is to be understood that each of the features of the various embodiments of the present invention may be combined or combined with each other partially or entirely and technically various interlocking and driving is possible as will be appreciated by those skilled in the art, It may be possible to cooperate with each other in association.

이하, 첨부된 도면을 참고로 하여 본 발명에 따른 가상 모델 제어 시스템에 대해 설명하기로 한다.Hereinafter, a virtual model control system according to the present invention will be described with reference to the accompanying drawings.

도 1을 참조하면, 가상 모델 제어 시스템(100)은 입력 장치(110)와, 가상 모델 생성 모듈(120)과, 접촉 검사 모듈(130)과, 가상 레이(virtual ray) 생성 모듈(140)과, 파지 검사 모듈(150)과, 상호 작용 생성 모듈(160)을 포함한다.1, the virtual model control system 100 includes an input device 110, a virtual model generation module 120, a contact inspection module 130, a virtual ray generation module 140, A phage checking module 150, and an interaction generating module 160.

입력 장치(110)는 실제 공간에서 사용자의 손 형상을 감지하여 손 형상 정보를 획득한다. 입력 장치(110)는 예를 들면 마이크로소프트 사의 키넥트(Kinect) 또는 아수스 사의 액션 프로(XtionPro)와 같은 RGBD 카메라일 수 있다. 또한, 입력 장치(110)는 손의 이동 또는 변형을 감지할 수 있는 공지의 센서일 수도 있다. 이러한 입력 장치(110)를 통하여 사용자의 손의 외형, 또는 골격 및 관절의 위치, 각도 등을 파악할 수 있다.The input device 110 senses the hand shape of the user in the actual space and acquires hand shape information. The input device 110 may be, for example, an RGBD camera such as Kinect of Microsoft or XtionPro of Asus. In addition, the input device 110 may be a known sensor capable of sensing hand movement or deformation. Through the input device 110, the external shape of the user's hand, or the position and angle of the skeleton and joints can be grasped.

입력 장치(110)는 획득한 손 형상 정보를 가상 모델 생성 모듈(120)에 제공한다. 이로써, 가상 모델 생성 모듈(120)이 가상 손 모델을 생성할 때 손 형상 정보에 따른 사용자 손의 형상, 이동, 변형 등을 반영하여 가상 손 모델을 생성하고 변형시킬 수 있다.The input device 110 provides the acquired hand shape information to the virtual model generation module 120. Thus, when the virtual model generation module 120 generates the virtual hand model, the virtual hand model can be generated and modified by reflecting the shape, movement, and deformation of the user's hand according to the hand shape information.

가상 모델 생성 모듈(120)은 가상 공간 내에 가상 모델을 생성한다. 가상 모델의 생성을 위한 정보는 사용자가 별도의 모델링을 통해 생성할 수도 있으며, 입력 장치(110)와 같이 현실 공간의 물체와 그 움직임을 인식할 수 있는 외부의 장치로부터 전송될 수도 있다. 가상 모델 생성 모듈(120)은 그밖에 공지의 다양한 방식을 통해 가상 공간 내에 가상 모델을 자유롭게 생성할 수 있다.The virtual model generation module 120 creates a virtual model in the virtual space. The information for generating the virtual model may be generated by a user through separate modeling or may be transmitted from an external device capable of recognizing an object in a real space and its movement such as the input device 110. [ The virtual model generation module 120 may freely generate a virtual model in the virtual space through various known methods.

가상 모델 생성 모듈(120) 대체로 메쉬(mesh) 형태의 경계 표면을 가지는 통상적인 가상 객체 모델을 생성할 수 있으며, 가상 손 모델과 같이 내부에 골격을 가지고 골격의 변화에 따라 외부 경계 표면의 형상이 함께 변화 가능한 가상 모델을 생성할 수도 있다. 가상 모델 생성 모듈(120)은 이와 같이 다양한 구조와 운동 방식을 가지는 가상 모델을 생성할 수 있다.The virtual model generation module 120 can generate a general virtual object model having a mesh-type boundary surface. The virtual model generation module 120 may have a skeleton inside and a shape of an outer boundary surface You can also create a virtual model that can be changed together. The virtual model generation module 120 can generate a virtual model having various structures and motion types.

가상 모델 생성 모듈(120)은 상호 작용 생성 모듈(160)에 의해 가상 모델 간에 상호 작용이 생성된 경우, 상호 작용에 의한 가상 모델들의 이동 또는 변형을 생성한다. 가상 모델 생성 모듈(120)은 이미 생성한 가상 모델에 대한 내적 또는 외적 변화를 고려하여 해당 가상 모델의 위치, 크기, 형상 등의 다양한 물성을 실시간으로 변경할 수 있다.The virtual model generation module 120 generates a movement or deformation of the virtual models by the interaction when the interaction generation module 160 generates the interaction between the virtual models. The virtual model generation module 120 can change various physical properties such as the position, size, shape, and the like of the corresponding virtual model in real time in consideration of the internal or external change of the already created virtual model.

도 2를 함께 참조하면, 가상 모델 생성 모듈(120)은 가상 공간 내에 가상 손 모델(3)과 가상 객체 모델(4)을 생성한다. 가상 손 모델(3)은 사람의 손 형상과 유사하게 생성된 것으로 도시되었으나, 파지 동작을 수행할 수 있는 사람의 손에 대응하는 동물의 신체 부위의 형상으로 생성될 수도 있다. 가상 객체 모델(4)은 손으로 파지할 수 있는 다양한 물체의 형상을 가질 수 있다.Referring to FIG. 2 together, the virtual model generation module 120 generates a virtual hand model 3 and a virtual object model 4 in a virtual space. Although the virtual hand model 3 is shown as being created similar to a human hand shape, it may be created in the shape of a body part of an animal corresponding to the hand of a person capable of performing a gripping operation. The virtual object model 4 can have various object shapes that can be grasped by hand.

가상 모델 생성 모듈(120)은 가상 객체 모델(4)의 주위에 가상 객체 모델(4)에 대응하는 경계 공간(5)을 생성할 수 있다. 경계 공간(5)은 가상 객체 모델(4)을 수용할 수 있는 가장 작은 크기의 직육면체 형태로 형성될 수 있다. 경계 공간(5)의 형상 또는 크기는 가상 손 모델(3)과 가상 객체 모델(4) 간 파지 동작 시 요구되는 공간을 고려하여 적절하게 선정될 수 있다. 이러한 경계 공간(5)을 설정함으로써 후술할 가상 레이의 길이를 결정하는데 이용할 수 있다.The virtual model generation module 120 may generate the boundary space 5 corresponding to the virtual object model 4 around the virtual object model 4. [ The boundary space 5 may be formed in a rectangular parallelepiped shape having the smallest size to accommodate the virtual object model 4. The shape or size of the boundary space 5 can be appropriately selected in consideration of the space required for the grip operation between the virtual hand model 3 and the virtual object model 4. [ By setting the boundary space 5, it can be used to determine the length of a virtual ray to be described later.

접촉 검사 모듈(130)은 가상 모델 생성 모듈(120)에 의해 생성된 가상 손 모델(3)과 가상 객체 모델(4) 간의 거리를 측정하여 가상 손 모델(3)과 가상 객체 모델(4)의 접촉 여부를 확인한다. 가상 손 모델(3)과 가상 객체 모델(4)의 접촉 여부를 파악함으로써 우선적으로 파지 또는 해제 동작의 수행 여부를 결정할 수 있다.The contact inspection module 130 measures the distance between the virtual hand model 3 and the virtual object model 4 generated by the virtual model generation module 120 and determines the distance between the virtual hand model 3 and the virtual object model 4 Confirm contact. It is possible to determine whether to perform the gripping or releasing operation preferentially by detecting whether the virtual hand model 3 and the virtual object model 4 are in contact with each other.

가상 손 모델(3)과 가상 객체 모델(4) 간의 거리가 미리 설정된 거리보다 작거나 같은 경우 가상 손 모델(3)과 가상 객체 모델(4)이 서로 접촉한 것으로 판단할 수 있다. 접촉한 것으로 판단된 경우, 접촉 검사 모듈(130)이 관련 정보를 가상 레이 생성 모듈(140) 등에 전송하여 순차적으로 세부적인 조건 판단이 뒤따르게 된다.It can be determined that the virtual hand model 3 and the virtual object model 4 are in contact with each other when the distance between the virtual hand model 3 and the virtual object model 4 is less than or equal to a predetermined distance. If it is determined that the contact has been made, the contact inspection module 130 transmits the related information to the virtual ray generation module 140 or the like, and the detailed condition determination is followed sequentially.

가상 레이 생성 모듈(140)은 접촉 검사 모듈(130)로부터 접촉 여부에 대한 정보를 수신하여, 가상 손 모델(3)의 손가락의 첫째 마디로부터 연장되는 가상 레이를 형성한다.The virtual ray generation module 140 receives information about contact or contact from the contact inspection module 130 and forms a virtual ray extending from the first node of the finger of the virtual hand model 3. [

도 2를 다시 참조하면, 가상 레이 생성 모듈(140)은 가상 손 모델(3)의 엄지, 검지 및 중지 각각의 첫째 마디의 안쪽면에 가상 레이(6, 7, 8)를 각각 생성한다. 파지 동작의 종류, 가상 손 모델(3)의 형상 등에 따라 둘 이상의 손가락에 가상 레이를 자유롭게 생성할 수 있다.Referring again to FIG. 2, the virtual ray generation module 140 generates virtual rays 6, 7, and 8 on the inner side of the first node of each of the thumb, detection, and stop of the virtual hand model 3, respectively. The virtual ray can be freely generated on two or more fingers depending on the type of the gripping operation, the shape of the virtual hand model 3, and the like.

각각의 가상 레이들(6, 7, 8)은 첫째 마디와 둘째 마디 사이의 관절 부분과 손가락의 끝단 사이로부터 연장 형성될 수 있다. 예를 들면, 가상 레이(6, 7, 8)는 손가락의 끝단과 첫째 관절의 중간 지점으로부터 연장 형성될 수 있다.Each virtual ladle 6, 7, 8 may extend from between the joint between the first and second nodes and the tip of the finger. For example, the virtual ray 6, 7, 8 may be formed to extend from the midpoint between the end of the finger and the first joint.

가상 레이(6, 7, 8)의 길이는 가상 모델 생성 모듈(120)에 의해 생성된 경계 공간(5) 내부를 가로지는 가장 긴 대각선 ℓ의 절반인 ℓ/2보다 작거나 같을 수 있다. 예를 들어, 가상 객체 모델(4)의 외측 표면 상에서 가장 멀리 떨어진 두 지점에 두 손가락이 접촉되었을 경우에도, 각각의 손가락에 형성된 가상 레이가 적절한 방향을 향하는 경우 후술할 파지 조건이 충족될 수도 있다.The lengths of the virtual rays 6, 7 and 8 may be less than or equal to l / 2, which is half the longest diagonal line 1 traversing the boundary space 5 generated by the virtual model generation module 120. For example, even when two fingers touch the two furthest points on the outer surface of the virtual object model 4, a grip condition to be described later may be satisfied when the virtual ray formed on each finger is directed in the proper direction .

가상 레이(6, 7, 8)는 손가락 첫째 마디의 안쪽 면에 대해 수직하게 연장 형성될 수 있다. 가상 레이(6, 7, 8)는 각각의 손가락 첫째 마디에서 내측으로 가장 돌출된 지점과 접하는 면에 대해 수직하게 형성될 수 있다. 이러한 가상 레이(6, 7, 8)의 연장 방향은 가상 손 모델(3)의 각각의 손가락 첫째 마디로부터 파지 시 가상 객체 모델(4)에 인가되는 힘의 방향을 고려하여 다른 상이한 방향으로 적절하게 설정될 수도 있다.The virtual rays 6, 7, 8 may extend perpendicular to the inner surface of the first node of the finger. The virtual rays 6, 7, and 8 may be formed perpendicular to the surface that is in contact with the most protruding point inward from the first node of each finger. The extension directions of these virtual rays 6, 7 and 8 are appropriately adjusted in the different directions in consideration of the direction of the force applied to the virtual object model 4 at the time of gripping from the first node of each finger of the virtual hand model 3 May be set.

파지 검사 모듈(150)은 가상 레이 생성 모듈(140)에 의해 생성된 각각의 가상 레이(6, 7, 8)간의 거리를 측정하고, 교차 지점의 위치를 확인한다. 이러한 파지 조건 충족 여부는 가상 손 모델(3)과 가상 객체 모델(4)이 접촉된 경우에 수행될 수 있다.The phage checking module 150 measures the distance between each virtual ray 6, 7, 8 generated by the virtual ray generation module 140 and confirms the position of the intersection point. Whether or not such a grasping condition is satisfied can be performed when the virtual hand model 3 and the virtual object model 4 are in contact with each other.

가상 레이(6, 7, 8) 간의 거리 측정은 복수의 가상 레이들 중 두 가상 레이 간의 거리를 개별적으로 측정한다. 예를 들면, 엄지 가상 레이(6)와 검지 가상 레이(7) 간의 거리, 또는 엄지 가상 레이(6)와 중지 가상 레이(8) 간의 거리가 측정될 수 있다. 두 가상 레이가 한 지점에서 교차할 경우에는 가상 레이 간의 거리가 0이다. 교차하지 않을 경우에는, 각각의 가상 레이 모두에 대해 수직하게 이어지는 가장 짧은 선분의 길이가 두 가상 레이 간의 거리로 측정된다.The distance measurement between the virtual rays 6, 7 and 8 individually measures the distance between two virtual rays of a plurality of virtual lasers. For example, the distance between the thumb virtual ray 6 and the detection virtual ray 7 or the distance between the thumb virtual ray 6 and the stop virtual ray 8 can be measured. When two virtual ray intersect at one point, the distance between virtual ray is zero. When not intersecting, the length of the shortest segment perpendicular to all of the virtual rails is measured as the distance between the two virtual rails.

도 3을 참조하면, 각각의 엄지 가상 레이(6)와 중지 가상 레이(8) 상의 서로에 대해 가장 가까운 최근접 지점(A, B)를 확인할 수 있다. 이때, 엄지 가상 레이(6)와 중지 가상 레이(8) 간의 거리 d가 측정되고, 파지 검사 모듈(150)은 측정된 거리 d가 파지 가능 여부를 판별하기 위해 미리 설정된 파지 거리 t보다 작거나 같은지 여부를 확인할 수 있다.Referring to FIG. 3, it is possible to identify the nearest neighbors A and B to each other on each of the thumb virtual ray 6 and the stop virtual ray 8. At this time, the distance d between the thumb virtual ray 6 and the stop virtual ray 8 is measured, and the gripping inspection module 150 determines whether the measured distance d is smaller than or equal to a preset grip distance t Can be confirmed.

이로써, 가상 손 모델(3)의 각각의 손가락의 첫째 마디에 의해 가상 객체 모델(4)에 인가되는 힘들이 좁은 영역 내에 모여 파지 동작을 수행할 수 있는지 여부를 파악할 수 있다.Thereby, it is possible to grasp whether or not the forces applied to the virtual object model 4 by the first node of each finger of the virtual hand model 3 can be gathered in a narrow region to perform the gripping operation.

또한, 파지 검사 모듈(150)은 각각의 가상 레이 간의 교차 지점의 위치가 경계 공간 내부인지 여부를 확인할 수 있다. 엄지 가상 레이(6) 상의 최근접 지점(A)과 중지 가상 레이(8) 상의 최근접 지점(B)의 중점(C)을 교차 지점으로 지정할 수 있다. 이때, 교차 지점(C)은 경계 공간(5)의 내부에 위치하고 있는 것을 확인할 수 있다.Also, the gripping inspection module 150 can check whether the position of the intersection point between each virtual ray is within the boundary space. The intersection point can be designated as the intersection point A between the nearest point A on the thumb virtual ray 6 and the midpoint C of the nearest point B on the stop virtual ray 8. [ At this time, it can be confirmed that the intersection point C is located inside the boundary space 5.

이로써, 가상 손 모델(3)의 각각의 손가락의 첫째 마디에 의해 가상 객체 모델(4)에 인가되는 힘들이 가상 객체 모델(4) 내측을 향하여 모이고 있는지 여부를 파악할 수 있다.This makes it possible to grasp whether the forces applied to the virtual object model 4 by the first node of each finger of the virtual hand model 3 are converging toward the inside of the virtual object model 4. [

정리하면, 파지 검사 모듈(150)은 가상 손 모델(3)과 가상 객체 모델(4)의 접촉 시, 각각의 가상 레이(6, 7, 8)가 서로 가장 근접하는 교차 지점(C)에서 각각의 가상 레이 간의 거리 d가 미리 설정된 파지 거리 t보다 작거나 같고, 교차 지점(C)이 가상 객체 모델(4)의 경계 공간(5) 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인하고, 확인된 정보를 상호 작용 생성 모듈(160)에 전송할 수 있다.In summary, when the virtual hand model 3 and the virtual object model 4 are brought into contact with each other, the gripping inspection module 150 detects the virtual palm 6, 7, 8 at the intersection point C, It is checked whether or not the gripping condition that the distance d between the virtual rails of the virtual object model 4 is smaller than or equal to the preset grip distance t and the intersection point C is located in the boundary space 5 of the virtual object model 4 is established, Lt; RTI ID = 0.0 > 160 < / RTI >

상호 작용 생성 모듈(160)은 가상 모델 생성 모듈(120)에 의해 생성되고 제어되는 가상 모델들(3, 4)의 상호 작용을 생성한다.The interaction generation module 160 generates the interaction of the virtual models 3 and 4 that are generated and controlled by the virtual model generation module 120.

상호 작용 생성 모듈(160)은 파지 검사 모듈(150)로부터 파지 여부에 대한 정보를 수신한다. 가상 손 모델(3)에 의해 가상 객체 모델(4)이 파지되는 경우, 상호 작용 생성 모듈(160)은 가상 객체 모델(4)에 대한 가상 손 모델(3)의 상대적인 위치가 고정된 상태에서 가상 손 모델(3)의 이동 또는 변형에 대응하여 가상 객체 모델(4)이 이동하거나 변형되도록 상호 작용을 생성할 수 있다.The interaction generation module 160 receives information on whether or not to grasp the finger from the gripping inspection module 150. In the case where the virtual object model 4 is held by the virtual hand model 3, the interaction generation module 160 sets the relative positions of the virtual hand model 3 for the virtual object model 4, It is possible to generate the interaction so that the virtual object model 4 is moved or transformed corresponding to the movement or deformation of the hand model 3.

파지 동작이 수행된 후에는, 파지 조건이 불성립되기 전까지 입력 장치(110)를 통해 입력되는 손 형상 정보가 변경되더라도 가상 객체 모델(4)을 처음 파지한 가상 손 모델(3)의 형상이 그대로 유지되도록 제어될 수도 있다.After the gripping operation is performed, even if the hand shape information inputted through the input device 110 is changed until the gripping condition is not established, the shape of the virtual hand model 3 holding the virtual object model 4 for the first time remains unchanged .

또한, 파지 조건이 불성립되어 가상 객체 모델(4)이 가상 손 모델(3)로부터 해제되는 경우 서로에 대한 구속 조건들이 제거됨으로써 가상 객체 모델(4)에 대해 가상 손 모델(3)과는 개별적인 상호작용이 수행될 수 있다.When the virtual object model 4 is released from the virtual hand model 3 due to the absence of the holding condition, the constraint conditions for the virtual object model 4 and the virtual hand model 3 are removed, Action can be performed.

이와 같은 본 발명의 일 실시예에 따른 가상 모델 제어 시스템(100)을 통하여 가상 공간 내에 생성된 가상 모델들을 제어하여 상호 작용을 수행할 수 있다.Through the virtual model control system 100 according to an embodiment of the present invention, the virtual models generated in the virtual space can be controlled to perform the interaction.

이하에서는, 상술한 가상 모델 제어 시스템(100)에 의해 가상 모델을 제어하는 본 발명의 다른 실시예에 따른 가상 모델 제어 방법에 대하여 설명하도록 한다.Hereinafter, a virtual model control method according to another embodiment of the present invention for controlling a virtual model by the virtual model control system 100 will be described.

도 4를 참조하면, 본 발명의 일 실시예에 따른 가상 모델의 제어 방법은, 사용자의 손 형상 정보를 입력 받는 단계(S110)와, 가상 손 모델과 가상 객체 모델을 생성하는 단계(S120)와, 가상 손 모델과 가상 객체 모델의 접촉 여부를 확인하는 단계(S130)와, 가상 손 모델에 가상 레이를 형성하는 단계(S140)와, 파지 조건이 성립되었는지 여부를 확인하는 단계(S150)와, 가상 손 모델과 가상 객체 모델의 파지 동작을 수행하는 단계(S160)를 포함한다.Referring to FIG. 4, a method of controlling a virtual model according to an embodiment of the present invention includes inputting user's hand shape information (S110), creating a virtual hand model and a virtual object model (S120) A step S140 of confirming whether or not the virtual hand model and the virtual object model are in contact with each other, a step S140 of forming a virtual ray in the virtual hand model, a step S150 of confirming whether or not the gripping condition is established, And performing a grip operation of the virtual hand model and the virtual object model (S160).

먼저, 입력 장치(110)를 통해 획득된 사용자의 손 형상 정보를 입력 받는다(S110). 예를 들면, 사용자는 RGBD 카메라의 촬영 범위 내에서 손을 이동시키면서 오므리거나 펼 수 있다. 이로써, RGBD 카메라에 촬영된 사용자의 손의 각각의 골격 및 관절의 위치, 움직임 등에 대한 손 형상 정보가 획득된다.First, the hand shape information of the user obtained through the input device 110 is inputted (S110). For example, the user can zoom in or out while moving his / her hand within the shooting range of the RGBD camera. In this way, hand shape information on the skeleton and joint position, movement, etc. of each hand of the user photographed by the RGBD camera is obtained.

그 다음으로, 상기 단계(S110)에서 획득된 손 형상 정보를 기초로 가상 손 모델(3)을 생성하고, 파지 동작을 수행하고자 하는 가상 객체 모델(4)을 생성한다(S120).Next, the virtual hand model 3 is generated based on the hand shape information obtained in the step S110, and the virtual object model 4 to be subjected to the gripping operation is generated (S120).

가상 손 모델(3)은 사용자의 손의 형상 또는 움직임을 따르도록 생성될 수 있다. 가상 손 모델(3)은 사용자의 손 골격 및 관절 위치를 따르면서 골격 및 관절에 근거하여 임의로 나머지 외형이 형성되도록 생성될 수도 있다.The virtual hand model 3 may be generated to follow the shape or movement of the user's hand. The virtual hand model 3 may be generated such that the remaining outer contour is arbitrarily formed on the basis of the skeleton and the joint while following the user's skeleton and joint position.

실시간으로 손 형상 정보가 입력됨에 따라, 가상 손 모델(3) 또한 실시간으로 이동하고 변형될 수 있다.As the hand shape information is input in real time, the virtual hand model 3 can also be moved and modified in real time.

가상 객체 모델(4)은 다양한 물성을 가지도록 형성될 수 있다. 가상 손 모델(3)에 의해 파지될 수 있는 다양한 가상 물체들이 가상 객체 모델(4)로 생성될 수 있다. 가상 공간에 복수의 가상 객체 모델(4)이 형성될 수도 있다.The virtual object model 4 may be formed to have various physical properties. Various virtual objects that can be held by the virtual hand model 3 can be generated with the virtual object model 4. [ A plurality of virtual object models 4 may be formed in the virtual space.

그 다음으로, 상기 단계(S120)에서 생성된 가상 손 모델(3)과 가상 객체 모델(4) 간의 거리를 측정하여 가상 손 모델(3)과 가상 객체 모델(4)의 접촉 여부를 확인한다(S130).Next, the distance between the virtual hand model 3 and the virtual object model 4 generated in step S120 is measured to check whether or not the virtual hand model 3 and the virtual object model 4 are in contact with each other S130).

본 단계(S130)는 가상 손 모델(3)의 손바닥 중앙 부분과 가상 객체 모델(4)의 중앙 부분 간의 거리를 측정함으로써 수행될 수 있다. 또한, 각각의 모델들(3, 4)의 미리 지정된 지점 간의 거리가 측정될 수도 있다.This step S130 can be performed by measuring the distance between the palm center part of the virtual hand model 3 and the center part of the virtual object model 4. [ Also, the distance between predetermined points of each of the models 3, 4 may be measured.

한편, 접촉 여부의 기준이 되는 기준 거리는 가상 손 모델(3)의 파지 가능 범위를 고려하여 적절하게 결정될 수 있다. 예를 들면, 가상 객체 모델(4)이 가상 손 모델(3)보다 다소 큰 경우에는 대체로 가상 객체 모델(4)이 가상 손 모델(3)에 밀착되어야 파지가 가능한 점에서 기준 거리가 상대적으로 짧게 결정될 수 있다. 반대로, 가상 객체 모델(4)이 가상 손 모델(3)보다 다소 작은 경우에는 대체로 가상 객체 모델(4)이 가상 손 모델(3)의 손가락 끝부분에 의해 파지됨에 따라 상대적으로 덜 밀착되어도 파지가 가능한 점에서 기준 거리가 상대적으로 길게 결정될 수도 있다.On the other hand, the reference distance, which is a criterion of contact, can be appropriately determined in consideration of the gripable range of the virtual hand model 3. For example, when the virtual object model 4 is slightly larger than the virtual hand model 3, the reference distance is relatively short in that the virtual object model 4 can be gripped only when the virtual object model 4 is brought into close contact with the virtual hand model 3 Can be determined. On the other hand, when the virtual object model 4 is somewhat smaller than the virtual hand model 3, the virtual object model 4 is grasped relatively by the fingertip portion of the virtual hand model 3, The reference distance may be determined to be relatively long at a possible point.

측정된 거리가 기준 거리보다 더 긴 경우, 가상 객체 모델(4)은 가상 손 모델(3)에 의해 파지될 수 없는 위치에 있어 해제 동작이 수행된다(S170). 또한, 측정된 거리가 기준 거리보다 더 짧거나 같은 경우, 이후 단계에서 파지 조건의 충족 여부가 확인된다.If the measured distance is longer than the reference distance, the virtual object model 4 is released at a position where it can not be held by the virtual hand model 3 (S170). If the measured distance is shorter than or equal to the reference distance, it is confirmed whether or not the grasping condition is satisfied at a later step.

한편, 가상 객체 모델(4)이 이미 가상 손 모델(3)에 파지된 상태에서는, 본 단계(S130)를 건너 뛰고 곧바로 파지 조건의 충족 여부를 확인하여 해제 동작의 수행 여부를 결정할 수 있다.On the other hand, in a state where the virtual object model 4 is already held in the virtual hand model 3, it is possible to determine whether to perform the canceling operation by checking whether the grasping condition is satisfied immediately after skipping the step S130.

그 다음으로, 상기 단계(S120)에서 가상 손 모델(3)과 가상 객체 모델(4)이 접촉한 것으로 확인된 경우, 가상 손 모델(3)의 둘 이상의 손가락 각각의 첫째 마디로부터 연장되는 가상 레이(6, 7, 8)를 형성한다(S140).Next, when it is determined that the virtual hand model 3 and the virtual object model 4 are in contact with each other in the step S120, (6, 7, 8) are formed (S140).

가상 객체 모델(4)의 크기에 대해 가상 레이(6, 7, 8)의 크기를 적절하게 선정할 수 있다. 상술한 바와 같이 본 실시예에서는, 가상 레이(6, 7, 8)의 연장 길이를 결정하기 위해 가상 객체 모델(4)을 수용하는 최소 크기의 직육면체 형태의 경계 공간(5)을 생성하고, 이때 가상 레이(6, 7, 8)의 길이를 경계 공간(5) 내부를 가로지는 가장 긴 대각선의 절반으로 설정한다.It is possible to appropriately select the size of the virtual ray 6, 7, 8 with respect to the size of the virtual object model 4. As described above, in this embodiment, a boundary space 5 having a rectangular parallelepiped shape having a minimum size to accommodate the virtual object model 4 is created in order to determine the extension lengths of the virtual rays 6, 7, 8, The lengths of the virtual rays 6, 7 and 8 are set to half of the longest diagonal line passing through the inside of the boundary space 5. [

한편, 가상 손 모델(3)의 엄지 손가락을 포함하는 둘 이상의 손가락에 가상 레이(6, 7, 8)를 형성하는 것이, 통상적인 물건의 파지 시 엄지와 검지, 또는 엄지와 중지 사이에서 파지가 이루어지는 경우가 많은 점에서 바람직하다.On the other hand, the formation of the virtual rays 6, 7, 8 on two or more fingers including the thumb of the virtual hand model 3 is advantageous in that the gripping of the thumb and the index finger, Which is preferable in view of the many cases.

상술한 바와 같이, 가상 레이(6, 7, 8)는 손가락 첫째 마디의 안쪽 면에 대해 수직하게 연장 형성될 수 있다.As described above, the virtual ray 6, 7, 8 can be extended perpendicularly to the inner surface of the first node of the finger.

상기 단계(S140)에서 형성된 각각의 가상 레이(6, 7, 8)가 서로 가장 근접하는 교차 지점(C)에서 각각의 가상 레이(6, 7, 8) 간의 거리 d가 미리 설정된 파지 거리 t보다 작거나 같고, 교차 지점(C)이 가상 객체 모델(4) 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인한다(S150).When the distance d between each virtual ray 6, 7, 8 at the intersection point C where each virtual ray 6, 7, 8 formed in the step S140 is closest to each other is smaller than a preset grasp distance t (S150) whether or not the grip condition that the intersection point C is located inside the virtual object model 4 is established.

먼저, 가상 레이(6, 7, 8) 간의 거리 d가 파지 거리 t보다 작거나 같은지 확인하여(S151), 작거나 같을 경우에는 다음 조건을 확인하고, 클 경우에는 파지 불가능한 상태이므로 해제 동작을 수행한다(S170).First, it is determined whether the distance d between the virtual rays 6, 7, 8 is less than or equal to the grip distance t (S151). If the distance is less than or equal to the grip distance t, the following condition is checked. (S170).

그 다음으로, 교차 지점(C)의 위치를 확인하여(S152), 가상 객체 모델(4) 내부에 있을 경우 파지 조건이 모두 충족된 것으로 판단하며, 외부에 있을 경우 파지 불가능한 상태로 보아 해제 동작을 수행한다(S170).Next, the position of the intersection C is confirmed (S152). If it is inside the virtual object model 4, it is determined that all of the gripping conditions are satisfied. If the gripping condition is outside, (S170).

이와 같이, 상기 두 단계(S151, S152)에 걸쳐 파지 조건을 확인함으로써, 물체의 어떠한 부분도 해당 조건들이 충족된다면 파지 가능하다. 또한, 파지 중이던 두 손가락 중 하나가 벌어질 경우 첫번째 조건이 불충족됨에 따라 해제 동작이 수행됨으로써, 파지가 불가능한 상태에서도 가상 객체 모델(4)이 가상 손 모델(3)로부터 해제되지 않는 현상을 방지할 수 있다.Thus, by confirming the gripping conditions during the two steps S151 and S152, any part of the object can be grasped if the conditions are satisfied. In addition, when one of two fingers that are being gripped is fired, the releasing operation is performed as the first condition is not satisfied, thereby preventing the virtual object model 4 from being released from the virtual hand model 3 even in a state where gripping is impossible can do.

마지막으로, 상기 단계(S150)에서 파지 조건이 성립된 것으로 확인된 경우, 가상 손 모델에 의한 가상 객체 모델의 파지 동작을 수행한다(S160)Finally, if it is determined in step S150 that the gripping condition is established, the gripping operation of the virtual object model by the virtual hand model is performed (S160)

가상 공간 내에 생성된 가상 모델의 파지, 해제 등의 상호작용은 물리 엔진에 의한 물리 시뮬레이션으로써 구현될 수 있다. 본 발명에 따른 가상 모델 제어 방법을 통한 상호작용을 물리 시뮬레이션으로 구현함으로써, 사용자는 보다 자연스럽고 현실감 있는 가상 공간을 체험할 수 있다. 한편, 본 발명에 따른 가상 모델의 제어 방법을 통한 가상 모델 간의 상호작용은 별도의 출력 장치를 통해 시각적으로 구현될 수도 있다는 점에 유의해야 한다.Interactions such as grasping and releasing of virtual models created in the virtual space can be implemented as physical simulations by the physical engine. By implementing the interaction through the virtual model control method according to the present invention as a physical simulation, the user can experience a more natural and realistic virtual space. It should be noted that the interaction between the virtual models through the control method of the virtual model according to the present invention may be visually realized through a separate output device.

본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는 가상 공간 내 가상 모델의 상호작용을 위하여 전자 장치 내의 프로세서로써 상술한 바와 같은 가상 모델의 제어 방법을 수행하게 하기 위한 명령어들을 포함한다. 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록매체에 기록될 수 있다.A computer readable medium according to another embodiment of the present invention includes instructions for causing a processor in an electronic device to perform a control method of a virtual model as described above for interaction of a virtual model in a virtual space. Embodiments according to the present invention may be implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium.

상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.

상술한 본 발명에 의하면, 비교적 대중화된 입력 장치를 이용하여 직접 조작 방식으로 가상 공간 내 가상 객체 모델을 조작할 수 있으며, 가상 손 모델의 파지 및 해제 동작 구현을 단순화함으로써 사용자의 체감 속도를 향상시키고, 구현의 현실감을 증가시킬 수 있다.According to the present invention, a virtual object model in a virtual space can be manipulated by a direct manipulation method using a relatively popular input device. Simplification of the grasp and release operation of a virtual hand model improves a user's perceived speed , Realization of the implementation can be increased.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in detail with reference to the accompanying drawings, it is to be understood that the present invention is not limited to those embodiments and various changes and modifications may be made without departing from the scope of the present invention. . Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

3 : 가상 손 모델
4 : 가상 객체 모델
5 : 경계 공간
6 : 엄지 가상 레이
7 : 검지 가상 레이
8 : 중지 가상 레이
110 : 입력 장치
120 : 가상 모델 생성 모듈
130 : 접촉 검사 모듈
140 : 가상 레이 생성 모듈
150 : 파지 검사 모듈
160 : 상호 작용 생성 모듈
100 : 가상 모델 제어 시스템3: Virtual hand model
4: Virtual object model
5: Boundary space
6: thumb virtual ray
7: indexed virtual ray
8: Stop the virtual ray
110: input device
120: virtual model generation module
130: contact inspection module
140: Virtual ray generation module
150: Phaser check module
160: Interaction generation module
100: Virtual model control system

Claims (11)

가상 공간 내 가상 모델의 상호작용을 위하여 전자 장치 내의 프로세서로써 상기 가상 모델의 제어 방법을 수행하게 하기 위한 명령어들을 포함하는 컴퓨터 판독 가능한 기록 매체로서,
상기 방법은,
가상 손 모델 및 가상 객체 모델을 생성하는 단계;
상기 가상 손 모델의 둘 이상의 손가락 각각의 첫째 마디의 안쪽 면으로부터 내측을 향하여 소정 길이로 연장되는 가상 레이(ray)를 형성하는 단계; 및
각각의 상기 가상 레이가 서로에 대해 가장 근접한 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인하는 단계를 포함하며,
상기 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.A computer-readable medium having instructions for performing a control method of the virtual model as a processor in an electronic device for interaction of the virtual model in virtual space,
The method comprises:
Creating a virtual hand model and a virtual object model;
Forming a virtual ray extending a predetermined length inward from an inner surface of a first node of each of two or more fingers of the virtual hand model; And
Whether or not the distance between each of the virtual rails at a point of intersection where each virtual ray is closest to each other is less than or equal to a predetermined grip distance and whether a grasping condition in which the intersection point is located within the virtual object model is established Comprising the steps of:
And the gripping operation of the virtual object model by the virtual hand model is performed when the gripping condition is established. 제1 항에 있어서,
상기 가상 손 모델과 상기 가상 객체 모델 간의 거리를 측정하여 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 여부를 확인하고 나서, 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 상기 파지 조건의 성립 여부를 확인하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
A distance between the virtual hand model and the virtual object model is measured to check whether or not the virtual hand model and the virtual object model are in contact with each other, and when the virtual hand model and the virtual object model are contacted, The computer program product comprising: a computer readable medium; 제1 항에 있어서,
상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 상기 가상 객체 모델을 수용하는 최소 크기의 직육면체 형태의 경계 공간을 생성하고,
상기 가상 레이의 길이는 상기 경계 공간 내부를 가로지는 가장 긴 대각선의 절반인 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
Generating a boundary space of a minimum size of a rectangular parallelepiped shape that accommodates the virtual object model when the virtual hand model and the virtual object model are in contact with each other,
Wherein the length of the virtual ray is half the longest diagonal line intersecting the interior of the boundary space. 제1 항에 있어서,
상기 가상 손 모델의 엄지 손가락을 포함하는 둘 이상의 손가락에 가상 레이가 형성되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
Wherein a virtual ray is formed on two or more fingers including a thumb of the virtual hand model. 제1 항에 있어서,
상기 가상 레이는 손가락 첫째 마디의 안쪽 면에 대해 수직하게 연장 형성되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
Wherein the virtual ray is formed to extend perpendicularly to an inner surface of the first node of the finger. 제1 항에 있어서,
상기 교차 지점은 각각의 상기 가상 레이 상에서 서로에 대해 가장 근접한 각 지점들의 중점인 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
Wherein the intersection point is the center of each point closest to each other on each virtual ray. 제1 항에 있어서,
상기 가상 손 모델은 사용자의 손 형상을 감지하여 얻은 손 형상 정보를 기초로 하여 생성되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.The method according to claim 1,
Wherein the virtual hand model is generated based on hand shape information obtained by sensing a hand shape of a user. 가상 공간 내 가상 모델의 상호작용을 위한 가상 모델의 제어 시스템으로서,
가상 손 모델 및 가상 객체 모델을 생성하는 가상 모델 생성 모듈;
상기 가상 모델 생성 모듈에 의해 생성된 상기 가상 손 모델과 상기 가상 객체 모델 간의 거리를 측정하여 상기 가상 손 모델과 상기 가상 객체 모델의 접촉 여부를 확인하는 접촉 검사 모듈;
상기 접촉 검사 모듈로부터 접촉 여부에 대한 정보를 수신하며, 상기 가상 손 모델의 손가락의 첫째 마디의 안쪽 면으로부터 내측을 향하여 소정 길이로 연장되는 가상 레이를 형성하는 가상 레이 생성 모듈;
상기 가상 레이 생성 모듈에 의해 생성된 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리를 측정하고, 상기 교차 지점의 위치를 확인하는 파지 검사 모듈; 및
상기 파지 검사 모듈로부터 파지 여부에 대한 정보를 수신하며, 상기 가상 손 모델과 상기 가상 객체 모델 간의 파지 및 해제 동작을 수행하는 상호 작용 생성 모듈을 포함하며,
상기 가상 손 모델과 상기 가상 객체 모델의 접촉 시, 각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행되는 것을 특징으로 하는 가상 모델 제어 시스템.A virtual model control system for interacting with a virtual model in a virtual space,
A virtual model generation module for generating a virtual hand model and a virtual object model;
A contact checking module for measuring a distance between the virtual hand model and the virtual object model generated by the virtual model creating module to check whether the virtual hand model and the virtual object model are in contact with each other;
A virtual ray generation module which receives information on contact from the contact inspection module and forms a virtual ray extending a predetermined length inward from an inner side of a first node of a finger of the virtual hand model;
A phage checking module that measures a distance between each virtual ray at an intersection point where each virtual ray generated by the virtual ray generation module is closest to each other and confirms the position of the intersection point; And
And an interaction generation module that receives information on whether or not to grasp the virtual hand model from the gripping examination module and performs a gripping and releasing operation between the virtual hand model and the virtual object model,
Wherein when the virtual hand model and the virtual object model are brought into contact with each other, a distance between each virtual ray at an intersection point where each virtual ray is closest to each other is less than or equal to a predetermined grip distance, And a gripping operation of the virtual object model by the virtual hand model is performed when a gripping condition located inside the model is established. 제8 항에 있어서,
사용자의 손 형상을 감지하여 얻은 손 형상 정보를 상기 가상 모델 생성 모듈에 제공하는 입력 장치를 더 포함하며,
상기 가상 모델 생성 모듈은 상기 손 형상 정보를 기초로 하여 상기 가상 손 모델을 생성하는 것을 특징으로 하는 가상 모델 제어 시스템.9. The method of claim 8,
And an input device for providing hand shape information obtained by sensing the hand shape of the user to the virtual model generation module,
Wherein the virtual model generation module generates the virtual hand model based on the hand shape information. 제9 항에 있어서,
상기 입력 장치는 RGBD 카메라인 것을 특징으로 하는 가상 모델 제어 시스템.10. The method of claim 9,
Wherein the input device is an RGBD camera. 가상 공간 내 가상 모델의 상호작용을 위한 가상 모델의 제어 방법으로서,
가상 손 모델 및 가상 객체 모델을 생성하는 단계;
상기 가상 손 모델의 둘 이상의 손가락 각각의 첫째 마디의 안쪽 면으로부터 내측을 향하여 소정 길이로 연장되는 가상 레이를 형성하는 단계; 및
각각의 상기 가상 레이가 서로 가장 근접하는 교차 지점에서 각각의 상기 가상 레이 간의 거리가 미리 설정된 파지 거리보다 작거나 같고, 상기 교차 지점이 상기 가상 객체 모델 내부에 위치하는 파지 조건이 성립되었는지 여부를 확인하는 단계를 포함하며,
상기 파지 조건이 성립된 경우, 상기 가상 손 모델에 의한 상기 가상 객체 모델의 파지 동작이 수행되는 것을 특징으로 하는 가상 모델 제어 방법.A method of controlling a virtual model for interaction of virtual models in a virtual space,
Creating a virtual hand model and a virtual object model;
Forming a virtual ray extending a predetermined length inward from an inner surface of a first node of each of two or more fingers of the virtual hand model; And
Determining whether a distance between each of the virtual rails at a point of intersection where each virtual ray is closest to each other is less than or equal to a predetermined grip distance and whether a grasping condition in which the intersection point is located within the virtual object model is established , ≪ / RTI >
And a gripping operation of the virtual object model by the virtual hand model is performed when the gripping condition is established.
KR1020160120271A 2016-09-20 2016-09-20 System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model KR101824532B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160120271A KR101824532B1 (en) 2016-09-20 2016-09-20 System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160120271A KR101824532B1 (en) 2016-09-20 2016-09-20 System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model

Publications (1)

Publication Number Publication Date
KR101824532B1 true KR101824532B1 (en) 2018-02-02

Family

ID=61223347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160120271A KR101824532B1 (en) 2016-09-20 2016-09-20 System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model

Country Status (1)

Country Link
KR (1) KR101824532B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200032990A (en) * 2018-09-19 2020-03-27 재단법인 실감교류인체감응솔루션연구단 Method for modelling virtual hand on real hand and apparatus therefor
KR20200051938A (en) * 2018-11-06 2020-05-14 한길씨앤씨 주식회사 Method for controlling interaction in virtual reality by tracking fingertips and VR system using it
KR20200122452A (en) 2019-04-17 2020-10-28 한림대학교 산학협력단 System and method for controlling grasping virtual object in haptic controller with finger-unit unidirectional motion
CN112437910A (en) * 2018-06-20 2021-03-02 威尔乌集团 Holding and releasing virtual objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639066B1 (en) * 2015-07-14 2016-07-13 한국과학기술연구원 Method and system for controlling virtual model formed in virtual space

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639066B1 (en) * 2015-07-14 2016-07-13 한국과학기술연구원 Method and system for controlling virtual model formed in virtual space

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437910A (en) * 2018-06-20 2021-03-02 威尔乌集团 Holding and releasing virtual objects
KR20200032990A (en) * 2018-09-19 2020-03-27 재단법인 실감교류인체감응솔루션연구단 Method for modelling virtual hand on real hand and apparatus therefor
KR102157246B1 (en) 2018-09-19 2020-10-23 재단법인 실감교류인체감응솔루션연구단 Method for modelling virtual hand on real hand and apparatus therefor
KR20200051938A (en) * 2018-11-06 2020-05-14 한길씨앤씨 주식회사 Method for controlling interaction in virtual reality by tracking fingertips and VR system using it
KR102170638B1 (en) * 2018-11-06 2020-10-27 한길씨앤씨 주식회사 Method for controlling interaction in virtual reality by tracking fingertips and VR system using it
KR20200122452A (en) 2019-04-17 2020-10-28 한림대학교 산학협력단 System and method for controlling grasping virtual object in haptic controller with finger-unit unidirectional motion

Similar Documents

Publication Publication Date Title
KR101824532B1 (en) System, method and readable recording medium of controlling virtual model for grasp and release by virtual hand model
CA2684472C (en) Methods, devices, and systems for automated movements involving medical robots
KR101956073B1 (en) 3d volumetric display device for providing user interface using visual indicator and method thereof
CN107065790B (en) Method and system for determining configuration of virtual robots in a virtual environment
US10406686B2 (en) Bare hand robot path teaching
JP6343718B2 (en) Gesture interface
CN108874119A (en) The mobile input to generate computer system of tracking arm
US20200286302A1 (en) Method And Apparatus For Manipulating Object In Virtual Or Augmented Reality Based On Hand Motion Capture Apparatus
WO2000038117A1 (en) Method and system for a virtual assembly design environment
KR101360149B1 (en) Method for tracking finger motion based on sensorless and apparatus thereof
US20130054030A1 (en) Object gripping apparatus, object gripping method, and object gripping program
KR102170638B1 (en) Method for controlling interaction in virtual reality by tracking fingertips and VR system using it
JP6563596B2 (en) Image processing apparatus, image processing method, and program
CN110303499A (en) A kind of mechanical arm method for homing and device
JP5983506B2 (en) Gripping pattern detection method and robot for gripping object
JP6874149B2 (en) Image processing equipment, image processing methods and programs
US20180173200A1 (en) Gestural control of an industrial robot
US20160292350A1 (en) Method of providing performance indicators of robot hand and method of optimizing structure of robot hand
KR101374316B1 (en) Apparatus for recognizing gesture by using see-through display and Method thereof
WO2021250923A1 (en) Robot system, control device, and control method
KR102157246B1 (en) Method for modelling virtual hand on real hand and apparatus therefor
EP2831706A2 (en) A multimodal system and method facilitating gesture creation through scalar and vector data
US20200103971A1 (en) Method And Apparatus For Providing Realistic Feedback During Contact With Virtual Object
KR101825094B1 (en) Method and device for planning grasp motion
Leitão Analysis and evaluation of gesture recognition using leapmotion

Legal Events

Date Code Title Description
GRNT Written decision to grant