KR20200051938A - 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 - Google Patents

손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 Download PDF

Info

Publication number
KR20200051938A
KR20200051938A KR1020180134883A KR20180134883A KR20200051938A KR 20200051938 A KR20200051938 A KR 20200051938A KR 1020180134883 A KR1020180134883 A KR 1020180134883A KR 20180134883 A KR20180134883 A KR 20180134883A KR 20200051938 A KR20200051938 A KR 20200051938A
Authority
KR
South Korea
Prior art keywords
interaction
virtual reality
fingers
finger
tracking
Prior art date
Application number
KR1020180134883A
Other languages
English (en)
Other versions
KR102170638B1 (ko
Inventor
신용인
박진홍
곽승호
이원
지은별
Original Assignee
한길씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한길씨앤씨 주식회사 filed Critical 한길씨앤씨 주식회사
Priority to KR1020180134883A priority Critical patent/KR102170638B1/ko
Publication of KR20200051938A publication Critical patent/KR20200051938A/ko
Application granted granted Critical
Publication of KR102170638B1 publication Critical patent/KR102170638B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 본 발명에 따르면, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 오브젝트와의 상호작용을 구현시 치명적인 문제점이 발생하는 한계가 있었던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되어 물리엔진만으로 오브젝트와의 상호작용을 구현시 발생하는 문제점을 개선하는 동시에, 6축센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공된다.

Description

손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템{Method for controlling interaction in virtual reality by tracking fingertips and VR system using it}
본 발명은 가상현실(Virtual Reality ; VR) 시스템에 관한 것으로, 더 상세하게는, 종래, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 오브젝트와의 상호작용을 구현시 치명적인 문제점이 발생하는 문제가 있었던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다.
최근, 가상현실 기술이 발전함에 따라 사용자에게 직접 가상현실 환경을 제공하는 VR 기기의 보급이 증가하고 있다.
이러한 VR 기기들은, 일반적으로, 사용자의 머리 부분에 착용하여 눈을 통해 시각적인 정보를 전달하는 헤드 마운트 디스플레이(Head Mount Disply ; HMD) 형태의 디스플레이 장비와, 사용자가 손에 들고 버튼 클릭 등을 통해 각종 명령을 입력하기 위한 컨트롤러를 포함하여 이루어진다.
또한, 최근에는, 손의 움직임을 보다 정밀하게 모사하기 위해 손에 끼는 장갑과 같은 형태로 이루어지는 VR 글로브 컨트롤러를 이용한 VR 시스템이 제시되어 게임부터 재활치료에 이르기까지 다양한 분야에 활용되고 있다.
여기서, 상기한 바와 같은 VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1738870호에 따르면, 가상의 타겟에 대한 정보를 출력하는 HMD; 위치정보를 생성하고 출력된 가상의 타겟을 향하여 움직이면 위치정보를 갱신하는 VR 글로브; 및 위치정보를 기반으로 가상의 타겟에 대한 이벤트 정보를 생성하는 게임용 단말을 포함하여, HMD(Head mounted display)를 이용한 VR 기기와 장갑 형태의 VR 글로브를 착용하여 권투게임 등의 진행이 가능하고, 사용자에게 타격감 등의 피드백을 제공함으로써 현실감을 높이며, 복수의 사용자가 참여하여 대전할 수 있도록 구성되는 VR 글로브 기반 게임 시스템 및 이를 이용한 게임 진행방법이 제시된 바 있다.
또한, 상기한 바와 같은 VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1267118호에 따르면, 이동 가능한 프레임의 하부에 설치된 컴퓨터 본체; 컴퓨터 본체 위의 프레임에 설치된 카메라(PC CAM); 카메라의 상측 프레임에 설치되어 카메라를 통해 촬상되는 모션을 캡쳐하여 프로그램상의 가상공간에서 주어지는 다양한 콘텐츠인 운동조절, 상황인식, 실행기능, 인지훈련을 디스플레이하는 프로그램 디스플레이부; 카메라로 촬영될 수 있는 위치에 서있는 사용자의 손에 끼워져 촉각과 고유수용성 감각을 사용자가 느낄 수 있도록 모션을 인식하는 글로브센서를 포함하여, 뇌졸중, 치매, 노인의 특정 신체 일부 또는 전체가 카메라를 통해 모션인식으로 캡쳐되어 TV나 컴퓨터 모니터에 이미지로 나타나게 하고, 모니터 외부에 있는 환자의 움직임을 가상공간 안에서 동일하게 구현하여, 가상공간에서 주어지는 다양한 콘텐츠(운동조절, 상황인식, 실행기능, 인지훈련)를 수행하며 안전하고 창의적인 재활훈련을 할 수 있도록 구성되는 글로브 센서를 이용한 모션인식 가상현실 재활훈련 장치가 제시된 바 있다.
상기한 바와 같이, 종래, VR 글로브 컨트롤러를 이용한 VR 시스템에 관한 여러 가지 기술내용이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 종래의 VR 글로브 컨트롤러들은, 일반적으로, VR 글로브 컨트롤러 사용시 국내 및 해외에 제공되는 소프트웨어 개발키트(Software Development Kit ; SDK)에 VR 내의 손과 매칭시켜주는 기능만 제공되는 한계가 있다.
즉, VR 오브젝트는 실제로 존재하지 않기 때문에 매칭시켜주는 것이 불가능하며, 그로 인해, 예를 들면, 가상공간 내에서 손으로 물체를 잡는 것과 같이, VR속 오브젝트와 VR 글로브 컨트롤러의 상호작용시 문제점이 발생하게 된다.
더 상세하게는, VR 오브젝트와 VR 손이 상호작용을 할 때 공간이 겹치는 경우 손가락 움직임에 무한대의 힘이 발생하여 VR 오브젝트가 튕겨나가거나 잡히지 않는 형태의 오류가 발생하게 되며, VR 오브젝트를 잡도록 구현을 하더라도 손가락 끝에 붙는 형태의 부자연스러운 형태로만 구현되는 한계가 있다.
이에, 상기한 바와 같은 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위하여는, VR속 오브젝트와 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 새로운 구성의 가상현실 내 상호작용 제어방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
[선행기술문헌]
1. 한국 등록특허공보 제10-1738870호 (2017.05.17.)
2. 한국 등록특허공보 제10-1267118호 (2013.05.16.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 상기한 바와 같이 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써, 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 가상현실 환경에서 손과 오브젝트의 상호작용을 구현하기 위한 처리를 전용의 하드웨어나 VR 글로브를 포함하는 VR 시스템에 실행시키도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에 있어서, 상기 처리는, 가상현실 환경에서 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계; 상기 주변환경 탐지단계에서 손이 오브젝트와 충돌한 것이 탐지되면, 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계; 상기 상호작용 인지단계에서 충돌한 것으로 인식된 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산단계; 상기 내적벡터 계산단계에서 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고, 내적벡터 값의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계; 및 상호작용 판단단계에서 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하는 것으로 판단되면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계를 포함하여 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법이 제공된다.
여기서, 상기 오브젝트 데이터는, 각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 설정하여 미리 저장된 데이터인 것을 특징으로 한다.
또한, 상기 주변환경 탐지단계는, 각각의 손가락에 대하여 오브젝트와 충돌했는지의 여부를 탐지하고, 충돌발생시 엄지손가락이 충돌했는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 상호작용 인지단계는, 상기 주변환경 탐지단계에서 엄지손가락이 오브젝트와 충돌한 것으로 탐지되면 충돌한 손가락의 개수를 판단하고, 상기 오브젝트 데이터에 근거하여 충돌한 손가락의 개수가 오브젝트를 잡기 위해 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 내적벡터 계산단계는, 엄지손가락과 다른 하나의 손가락에 대한 내적벡터 값을 구하는 과정을 충돌이 발생한 각 손가락마다 반복하여, 충돌이 발생한 각 손가락에 대한 내적벡터 값을 각각 계산하고 저장하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 상호작용 판단단계는, 상기 내적벡터 계산단계에서 충돌한 손가락의 개수만큼 구해진 각각의 내적벡터 값을 모두 합산하고, 상기 내적벡터 값의 총합이 이하의 상호작용 실행조건을 만족하는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
[내적벡터 값의 총합 < 180×(충돌한 손가락 개수 - 1)]
아울러, 본 발명에 따르면, 상기에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 VR 시스템 제어장치에 있어서, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부; VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부; 충돌한 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산부; 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부; 및 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치가 제공된다.
더욱이, 본 발명에 따르면, VR 시스템에 있어서, 가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부; 사용자의 양손에 각각 장착되는 VR 글로브부; 및 상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고, 상기 제어부는, 상기에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템이 제공된다.
상기한 바와 같이, 본 발명에 따르면, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여 높은 확장성 및 유연성을 가지도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하여 오브젝트와의 상호작용이 개선된 VR 시스템을 용이하게 구현할 수 있다.
도 1은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 구체적인 처리과정을 개략적으로 나타내는 플로차트이다.
도 3은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 검지손가락에 대한 내적벡터를 계산하는 과정을 설명하기 위하여 가상현실 3D 공간의 좌표를 개략적으로 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 나머지 손가락들에 대한 내적벡터를 각각 개략적으로 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치의 전체적인 구성을 개략적으로 나타내는 도면이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결하기 위해, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하도록 구성됨으로써, 높은 확장성 및 유연성을 가지는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법은, 크게 나누어, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계(S10)와, VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계(S20)와, 충돌한 손가락들에 대한 내적/외적벡터(각도) 값을 각각 계산하고 저장하는 내적벡터(각도) 값 계산단계(S30)와, 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계(S40) 및 내적벡터 값의 총합이 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계(S50)를 포함하여 구성될 수 있다.
여기서, 본 발명에 있어서, 상기한 오브젝트 데이터는, 각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 의미하고, VR 글로브에 설치된 각각의 손가락 센서에 대한 위치정보는 핑거 데이터라 하며, 이러한 오브젝트 데이터 및 핑거 데이터는 미리 설정 및 저장하여 두고 알고리즘 실행시 필요한 정보를 제공하도록 구성될 수 있다.
즉, 상기한 주변환경 탐지단계(S10)와 상호작용 인지단계(S20)는 이러한 오브젝트 데이터 및 핑거 데이터를 이용하여 손가락이 오브젝트와 충돌하였는지의 여부와 어느 손가락이 충돌하였는지 및 충돌한 손가락의 개수가 오브젝트를 잡기 위한 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법의 구체적인 처리과정을 개략적으로 나타내는 플로차트이다.
도 2에 나타낸 바와 같이, 상기한 주변환경 탐지단계(S10)는, 손가락이 오브젝트와 충돌했는지의 여부 및 충돌시 엄지손가락이 충돌했지를 탐지하고, 상호작용 인지단계(S20)는, 충돌한 손가락의 개수 및 충돌한 손가락의 개수가 오브젝트를 잡기에 필요한 개수보다 많은지를 각각 판단한다.
또한, 내적벡터(각도)값 계산단계(S30)는, 후술하는 바와 같이 하여 엄지손가락과 다른 손가락에 대한 내적/외적벡터(각도) 값을 각각 계산하고, 상호작용 판단단계(S40)는, 충돌한 손가락이 더 이상 없는 경우 계산된 내적벡터 값을 모두 더하고 내적벡터의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단한다.
여기서, 상기한 상호작용 실행조건은, 도 2에 나타낸 바와 같이, 충돌한 손가락이 2개일 경우는 180도 미만, 3개일 경우는 360도 미만, 4개일 경우는 540도 미만, 5개일 경우는 720도 미만으로 설정될 수 있다.
아울러, 상기한 오브젝트 잡기 실행단계(S50)는, 상호작용 판단단계(S40)에서 내적백터값의 총합이 상기한 상호작용 실행조건을 만족하는 경우 오브젝트 잡기를 실행하는 처리가 수행되도록 구성될 수 있다.
계속해서, 도 3 및 도 4를 참조하여, 각 손가락에 대한 내적/외적벡터를 계산하는 과정에 대하여 설명한다.
즉, 도 3 및 도 4를 참조하면, 먼저, 도 3은 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 검지손가락에 대한 내적벡터를 계산하는 과정을 설명하기 위하여 가상현실 3D 공간의 좌표를 개략적으로 나타낸 개념도이고, 도 4는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에서 엄지손가락과 나머지 손가락들에 대한 내적벡터를 각각 개략적으로 나타낸 개념도이다.
도 3 및 도 4에 있어서, 로컬축 y값은 엄지손가락 말단(T4)과 검지손가락 말단(F2-4)의 각각의 위치정보에서 90도가 되는 y축 방향을 의미하고[T4y, F2-4y], 로컬축 y값인 [T4y, F2-4y]를 월드축을 기준으로 변환하여 구해진 값을 월드벡터 변환값이라 한다[WT4, WF2-4].
또한, 월드벡터 변환값인 [WT4, WF2-4]에 삼각함수, 역학함수 등의 공식을 적용하면 끼인각(내적벡터)를 구할 수 있으나, 이와 같이 하여 구해지는 끼인각(내적벡터)은 방향을 알 수 없기 때문에 오브젝트를 잡은 것인지 판단할 수 없으므로 외적벡터를 구하여 방향을 판단한다.
더 상세하게는, 월드벡터 A(WT4)와 B(WF2-4)가 만나는 지점에 90도가 되도록 생성되고, 월드벡터의 y축을 기준으로 변환하여 외적벡터 값을 구한다[A(YWT4), B(YWF2-4)].
상기한 바와 같이 하여 변환된 값인 A(YWT4), B(YWF2-4)에 삼각함수, 역학함수 등의 공식을 적용하여 최종 내적벡터 값을 구한다.
즉, 상기한 내적벡터(각도)값 계산단계(S30)는, 도 4에 나타낸 바와 같이, 상기한 바와 같은 과정을 각 손가락마다 반복하여 충돌이 발생한 각 손가락에 대한 최종 내적벡터 값을 계산하고 저장하는 처리가 수행되도록 구성될 수 있다.
여기서, 상기한 바와 같이 삼각함수, 역학함수 등의 공식을 적용하여 내적/외적벡터 값을 구하는 구체적인 내용에 대하여는 종래기술의 문헌 등으로부터 당업자에게 자명한 내용이므로, 이에, 본 발명에서는, 설명을 간략히 하기 위해 종래기술의 문헌 등을 참조하여 당업자가 용이하게 이해하고 실시할 수 있는 내용에 대하여는 그 상세한 설명을 생략하였음에 유념해야 한다.
또한, 상기한 상호작용 판단단계(S40)는, 내적벡터(각도)값 계산단계(S30)에서 상기한 바와 같이 하여 충돌한 손가락의 개수만큼 구해진 각각의 끼인각(최종 내적벡터 값)을 모두 합산하고, 총합이 미리 설정된 상호작용 실행조건을 만족하는지 판단한다.
더 상세하게는, 끼인각(최종 내적벡터 값) 총합에 대한 상호작용 실행조건은 이하에 나타낸 바와 같다.
[끼인각 총합 < 180×(충돌한 손가락 개수 - 1)]
즉, 충돌한 손가락이 2개일 경우는 끼인각(최종 내적벡터 값)의 총합이 180도 미만, 충돌한 손가락이 3개일 경우는 360도 미만, 충돌한 손가락이 4개일 경우는 540도 미만, 충돌한 손가락이 5개일 경우는 720도 미만이면 상호작용 실행조건을 만족하게 된다.
여기서, 상호작용 실행조건에서 180도가 기준인 이유는, 오브젝트를 잡으려면 무조건 엄지손가락이 충돌해야 하므로(엄지손가락이 없이 오브젝트를 잡을 수 없음), 엄지와 다른 손가락과의 끼인각이 180도 이상이 되면 물건을 잡을 수 없는 상태가 되기 때문에 끼인각은 항상 180도 미만이어야 한다.
아울러, 도 4에 나타낸 예에 있어서, 5개 손가락 모두 충돌했을 경우 끼인각의 총합은 150 + 160 + 140 + 120 = 470도이며, 이 경우 끼인각 총합이 720도 미만이므로 오브젝트 잡기 실행단계(S50)로 진행하여 오브젝트 잡기를 실행한다.
이상, 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 구현할 수 있으며, 그것에 의해, VR 손과 오브젝트의 보다 자연스러운 상호작용을 구현할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 VR 시스템에 수행시키도록 구성되는 제어프로그램을 용이하게 구현할 수 있으며, 그것에 의해, 기존의 상용화된 VR 기기에도 용이하게 적용할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 하여 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 수행하도록 VR 시스템의 제어부를 구성함으로써, VR 손과 오브젝트의 보다 자연스러운 상호작용을 구현할 수 있도록 구성되는 VR 시스템을 용이하게 구현할 수 있다.
더 상세하게는, 도 5를 참조하면, 도 5는 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치(50)의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 5에 나타낸 바와 같이, 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용한 VR 시스템 제어장치(50)는, VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부(51)와, VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부(52)와, 충돌한 손가락들에 대한 내적/외적벡터(각도) 값을 각각 계산하고 저장하는 내적벡터(각도)값 계산부(53)와, 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부(54) 및 내적벡터 값의 총합이 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부(55)를 포함하여 구성될 수 있다.
여기서, 상기한 각 부의 구체적인 동작은 도 1 내지 도 4를 참조하여 상기에 설명한 바와 같이 하여 수행될 수 있다.
따라서 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 구현할 수 있다.
또한, 상기한 바와 같이 하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템을 구현하는 것에 의해, 본 발명에 따르면, VR 환경 내의 손과 오브젝트의 상호작용시 이를 보다 자연스럽게 구현할 수 있도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, VR 글로브 컨트롤러 사용시 손과 매칭시켜주는 기능만 제공되고 물체를 잡는 것과 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하였던 종래기술의 VR 글로브 컨트롤러들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 오브젝트와 상호작용을 할 수 있는 알고리즘이 제시되지 못하여 물리엔진만으로 상호작용을 구현시 발생하는 문제점을 개선시킬 수 있는 동시에, 6축 센서 기반으로 3개의 위치벡터(x, y, z)와 3개의 방향벡터(x, y, z)를 가지는 6 자유도(6 Degrees Of Freedom ; 6DOF) VR 글로브 컨트롤러에서 제공되는 기능을 최대한 활용하여 높은 확장성 및 유연성을 가지도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템이 제공됨으로써, 이미 상용화된 VR 글로브 컨트롤러에도 용이하게 적용 가능하여 오브젝트와의 상호작용이 개선된 VR 시스템을 용이하게 구현할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 VR 시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
50. VR 시스템 제어장치
51. 주변환경 탐지부
52. 상호작용 인지부
53. 내적벡터(각도)값 계산부
54. 상호작용 판단부
55. 오브젝트 잡기 실행부

Claims (8)

  1. 가상현실 환경에서 손과 오브젝트의 상호작용을 구현하기 위한 처리를 전용의 하드웨어나 VR 글로브를 포함하는 VR 시스템에 실행시키도록 구성되는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법에 있어서,
    상기 처리는,
    가상현실 환경에서 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지단계;
    상기 주변환경 탐지단계에서 손이 오브젝트와 충돌한 것이 탐지되면, 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지단계;
    상기 상호작용 인지단계에서 충돌한 것으로 인식된 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산단계;
    상기 내적벡터 계산단계에서 충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고, 내적벡터 값의 총합이 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단단계; 및
    상호작용 판단단계에서 상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하는 것으로 판단되면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행단계를 포함하여 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
  2. 제 1항에 있어서,
    상기 오브젝트 데이터는,
    각각의 오브젝트를 잡기 위해 필요한 최소 손가락의 개수를 설정하여 미리 저장된 데이터인 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
  3. 제 1항에 있어서,
    상기 주변환경 탐지단계는,
    각각의 손가락에 대하여 오브젝트와 충돌했는지의 여부를 탐지하고,
    충돌발생시 엄지손가락이 충돌했는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
  4. 제 1항에 있어서,
    상기 상호작용 인지단계는,
    상기 주변환경 탐지단계에서 엄지손가락이 오브젝트와 충돌한 것으로 탐지되면 충돌한 손가락의 개수를 판단하고,
    상기 오브젝트 데이터에 근거하여 충돌한 손가락의 개수가 오브젝트를 잡기 위해 필요한 개수보다 많은지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
  5. 제 1항에 있어서,
    상기 내적벡터 계산단계는,
    엄지손가락과 다른 하나의 손가락에 대한 내적벡터 값을 구하는 과정을 충돌이 발생한 각 손가락마다 반복하여, 충돌이 발생한 각 손가락에 대한 내적벡터 값을 각각 계산하고 저장하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.
  6. 제 1항에 있어서,
    상기 상호작용 판단단계는,
    상기 내적벡터 계산단계에서 충돌한 손가락의 개수만큼 구해진 각각의 내적벡터 값을 모두 합산하고,
    상기 내적벡터 값의 총합이 이하의 상호작용 실행조건을 만족하는지를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법.

    [내적벡터 값의 총합 < 180×(충돌한 손가락 개수 - 1)]
  7. 청구항 1항 내지 청구항 6항 중 어느 한 항에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 VR 시스템 제어장치에 있어서,
    VR 손이 오브젝트와 충돌했는지를 탐지하는 주변환경 탐지부;
    VR 손이 오브젝트와 충돌한 것이 탐지되면 충돌한 손가락 개수와 오브젝트 데이터 값을 검출하는 상호작용 인지부;
    충돌한 손가락들에 대한 내적벡터 값을 각각 계산하고 저장하는 내적벡터 계산부;
    충돌한 손가락들에 대하여 구해진 각각의 내적벡터 값의 총합을 구하고 미리 설정된 상호작용 실행조건을 만족하는지를 판단하는 상호작용 판단부; 및
    상기 내적벡터 값의 총합이 상기 상호작용 실행조건을 만족하면 오브젝트 잡기를 실행하는 오브젝트 잡기 실행부를 포함하여 구성되는 것을 특징으로 하는 VR 시스템 제어장치.
  8. VR 시스템에 있어서,
    가상현실 환경을 제공하기 위한 HMD(Head Mount Disply)부;
    사용자의 양손에 각각 장착되는 VR 글로브부; 및
    상기 VR 시스템의 전체적인 동작을 제어하기 위한 제어부를 포함하여 구성되고,
    상기 제어부는,
    청구항 1항 내지 청구항 6항 중 어느 한 항에 기재된 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법을 이용하여 VR 손과 오브젝트의 상호작용을 구현하는 처리가 수행되도록 구성되는 것을 특징으로 하는 VR 시스템.
KR1020180134883A 2018-11-06 2018-11-06 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템 KR102170638B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180134883A KR102170638B1 (ko) 2018-11-06 2018-11-06 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180134883A KR102170638B1 (ko) 2018-11-06 2018-11-06 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템

Publications (2)

Publication Number Publication Date
KR20200051938A true KR20200051938A (ko) 2020-05-14
KR102170638B1 KR102170638B1 (ko) 2020-10-27

Family

ID=70737081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180134883A KR102170638B1 (ko) 2018-11-06 2018-11-06 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템

Country Status (1)

Country Link
KR (1) KR102170638B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306234A (zh) * 2020-09-25 2021-02-02 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
KR20230043285A (ko) 2021-09-23 2023-03-31 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
CN117130489A (zh) * 2023-10-25 2023-11-28 苏州阿基米德网络科技有限公司 一种基于vr的医疗设备培训方法、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456872B1 (ko) 2021-12-30 2022-10-21 서울대학교산학협력단 영상센서와 관성센서의 강결합 융합을 이용한 손동작 추적시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824532B1 (ko) * 2016-09-20 2018-02-02 한국과학기술연구원 가상 손 모델에 의한 파지 및 해제를 위한 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824532B1 (ko) * 2016-09-20 2018-02-02 한국과학기술연구원 가상 손 모델에 의한 파지 및 해제를 위한 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306234A (zh) * 2020-09-25 2021-02-02 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
CN112306234B (zh) * 2020-09-25 2023-10-31 中国电力科学研究院有限公司 一种基于数据手套的手部操作识别方法及系统
KR20230043285A (ko) 2021-09-23 2023-03-31 주식회사 딥비전 딥러닝을 이용한 손 움직임 추적방법 및 장치
CN117130489A (zh) * 2023-10-25 2023-11-28 苏州阿基米德网络科技有限公司 一种基于vr的医疗设备培训方法、电子设备及存储介质

Also Published As

Publication number Publication date
KR102170638B1 (ko) 2020-10-27

Similar Documents

Publication Publication Date Title
JP5982542B2 (ja) 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
KR102170638B1 (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
JP6000387B2 (ja) 低侵襲外科システムにおいて使用するマスターフィンガー追跡システム
US8487871B2 (en) Virtual desktop coordinate transformation
JP5702797B2 (ja) 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム
JP5702798B2 (ja) 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置
JP6343718B2 (ja) ジェスチャインタフェース
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
CN109243575B (zh) 一种基于移动交互和增强现实的虚拟针灸方法及系统
US10788889B1 (en) Virtual reality locomotion without motion controllers
US11169605B2 (en) Operating method for wearable device interacting with operated device in virtual reality and operating device thereof
Boruah et al. Development of a learning-aid tool using hand gesture based human computer interaction system
KR101519589B1 (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Sagardia et al. Ultrapiano: A novel human-machine interface applied to virtual reality
Šekoranja et al. Virtual surface for human-robot interaction
JP7481783B1 (ja) 位置検出装置及び情報処理システム
JP2018181185A (ja) 力覚提示器及び仮想力覚提示装置
Oshita et al. Character motion control by hands and principal component analysis
Worrallo A multiple optical tracking based approach for enhancing hand-based interaction in virtual reality simulations
Ni et al. A Solution of Human-Computer Remote Interaction with Tactile Feedback
Cui Mid-air hand interaction with optical tracking for 3D modelling
Voglhuber Hand simulation for virtual climbing
Yu et al. Robot foot trajectory tracking motion control using Kinect
Klompmaker et al. Evaluation of whole-body navigation and selection techniques in immersive 3d environments

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant