KR102569857B1 - Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법 - Google Patents

Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법 Download PDF

Info

Publication number
KR102569857B1
KR102569857B1 KR1020210011399A KR20210011399A KR102569857B1 KR 102569857 B1 KR102569857 B1 KR 102569857B1 KR 1020210011399 A KR1020210011399 A KR 1020210011399A KR 20210011399 A KR20210011399 A KR 20210011399A KR 102569857 B1 KR102569857 B1 KR 102569857B1
Authority
KR
South Korea
Prior art keywords
finger
image
hand
user
information
Prior art date
Application number
KR1020210011399A
Other languages
English (en)
Other versions
KR20220108417A (ko
Inventor
이창배
황효현
Original Assignee
주식회사 시온네트웍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시온네트웍 filed Critical 주식회사 시온네트웍
Priority to KR1020210011399A priority Critical patent/KR102569857B1/ko
Publication of KR20220108417A publication Critical patent/KR20220108417A/ko
Application granted granted Critical
Publication of KR102569857B1 publication Critical patent/KR102569857B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass

Abstract

HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법이 개시된다. 본 발명에 따른 사용자의 손 또는 손가락의 움직임에 대한 이미지정보를 수집하여 HMD에 디스플레이하기 위한 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은, 복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계; 상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계; 상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계; 상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;를 포함한다.

Description

HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법{METHOD OF PROVIDING PRACTICAL SKILL TRAINING USING HMD HAND TRACKING}
본 발명은 가상현실을 이용한 실기술 트레이닝 제공방법에 관한 것으로 보다 상세하게는 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 관한 것이다.
가상현실은 인위적으로 생성된 3차원의 공간을 제공하며 학습내용을 기획하여 사용자가 실제 체험을 하는 것과 거의 유사한 환경을 제공할 수 있으므로 실기술과 같은 특수한 목적의 교육프로그램을 공간의 제약없이 반복적으로 학습할 수 있도록 하는 유용한 도구가 된다.
종래 가상현실을 이용한 실기술 학습은 사람의 신체부위의 움직임을 정밀하게 측정하기 위한 다양한 센서를 신체의 각부위에 부착하여 실제와 유사한 동작의 정보를 추출하였다. 이러한 방식은 거추장스러운 센서장치를 장착하는 불편함을 수반하거나 또는 시스템을 구축하기 위하여 고가의 소형 전자 센싱장비 등이 사용되어야 하므로 실제적인 실기술 학습에 사용되는데 한계가 있다.
예를 들면, 간호 실기술은 손동작을 활용한 다양한 실습을 통해 학습되는데 기존의 가상현실 의료교육 관련한 콘텐츠는 컨트롤러를 이용하여 진행됨에 따라 손가락의 활용 등이 필요한 실기술의 경우 실제적인 실습이 수행될 수 없었다.
한편, 손가락에 별도의 센싱장치를 부착하지 않더라도 이미지의 분석을 통해 손과 손가락의 움직임을 추적하여 이를 가상현실에 투영하는 핸드트래킹(hand-tracking)기술이 활용되고 있다.
핸드트래킹 기술은 손가락의 움직임을 이미지센서를 통해 분석하고 이를 다시 가상현실에 투영시키는 기술로 직관적인 손의 움직임을 그대로 표현할 수 있어 거추장스러운 별도의 장비를 착용함이 없이 사용자의 손 또는 손가락의 움직임을 가상공간에서 디스플레이할 수 있으므로 간호 실기술 등 손 또는 손가락의 움직임이 필요한 실습에 활용되기에 적합하다.
다만, 종래 핸드트래킹 기술은 직관적으로 보이는 손 또는 손가락의 움직임만을 가상공간에 디스플레이하므로 간호 실기술 등 손가락의 미세한 움직임이 중요시되거나 또는 직관적으로 보이지 않는 부분에서의 손가락의 미세한 움직임을 학습하기에 다소 어려움이 존재한다.
한편, 손가락의 구체적인 움직임을 별도의 센싱장비 등이 구비된 글로브(glove)등을 착용하지 않은 상태에서 구현하므로 접촉에 따른 구체적 감각을 학습에 이용하기 어려운 측면이 존재한다.
본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 이미지를 분석하여 사용자의 손 또는 손가락의 움직임을 추적하고 이를 HMD의 디스플레이부에 제공하는 것을 목적으로 한다.
본 발명의 다른 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 이미지가 물체와 접촉하는 경우 핑거팁디바이스로 제어신호를 전송하는 것을 목적으로 한다.
본 발명의 또다른 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 제3 이미지수집부로부터 수신한 핸드트래킹정보를 이용하여 손 또는 손가락의 이미지를 분석하여 사용자의 손 또는 손가락의 움직임을 추적하고 이를 HMD의 디스플레이부에 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일양상에 따른 사용자의 손 또는 손가락의 움직임에 대한 이미지정보를 수집하여 HMD에 디스플레이하기 위한 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서, 상기 방법은, 복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계; 상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계; 상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계; 상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;를 포함한다.
여기서, 상기 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;는, 상기 골격오버레이정보를 통해 디스플레이 되는 상기 손 또는 손가락의 이미지가 상기 디스플레이부에 디스플레이되는 실습도구의 표면 중 소정의 영역에 위치하는 경우 상기 실습도구를 파지한 것으로 설정하여 상기 디스플레이부 상에 디스플레이하는 이미지통합단계;를 더 포함할 수 있다.
여기서, 상기 복수의 인식포인트 정보를 수집하는 단계;는 상기 사용자의 손 또는 손가락을 기준으로 상기 복수의 이미지수집부와 대칭되는 위치에 배치된 제3 이미지수집부로부터 수집된 복수의 제3 인식포인트 정보를 수집하는 단계;를 더 포함할 수 있다.
여기서, 상기 제3 이미지수집부는 상기 사용자의 손 또는 손가락과 상기 복수의 이미지수집부의 거리보다 상기 사용자의 손 또는 손가락으로부터 2~10배의 거리에 배치될 수 있다.
여기서, 상기 제3 이미지수집부는 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 반사하여 상기 이미지수집부에 투사하기 위한 소정의 반사율을 갖는 반사체가 포함된 반사유닛 또는 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 수집하여 전송하기 위한 데이터통신부를 구비할 수 있다.
여기서, 상기 이미지통합단계;는 상기 사용자의 손가락의 소정의 영역에 배치된 데이터통신 가능한 핑거팁디바이스에 미리 설정된 소정의 진동정보를 제공하는 단계;를 더 포함할 수 있다.
여기서, 상기 핑거팁디바이스는 상기 사용자의 체온에 감응하여 전기를 발생하는 열전소자 및 상기 핑거팁디바이스가 상기 진동정보를 수신하는 경우 상기 열전소자로부터 생성된 전류로 작동하는 진동소자를 포함할 수 있다.
여기서, 상기 핑거팁디바이스는 상기 사용자의 손가락의 끝마디만을 감싸도록 구비될 수 있다.
여기서, 복수의 인식포인트정보는 상기 사용자의 엄지, 검지, 중지, 약지, 식지의 끝마디, 중간마디 또는 손바닥과의 연결마디 및 상기 사용자의 손바닥과 손목의 경계의 공간상의 위치정보를 포함할 수 있다.
본 발명의 다른 양상에 따르면, 복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계; 상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계; 상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계; 상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;를 포함하는 방법을 수행하기 위한 프로그램이 저장된 저장매체가 제공된다.
본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 이미지를 분석하여 사용자의 손 또는 손가락의 움직임을 추적하고 이를 HMD의 디스플레이부에 제공함으로써 직관적인 실기술 트레이닝을 제공할 수 있다.
본 발명의 다른 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 이미지가 물체와 접촉하는 경우 핑거팁디바이스로 제어신호를 전송함으로써 실제 물체를 접촉하는 느낌을 사용자에게 전달할 수 있다.
본 발명의 또다른 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은 손 또는 손가락의 제3 이미지수집부로부터 수신한 핸드트래킹정보를 이용하여 손 또는 손가락의 이미지를 분석하여 사용자의 손 또는 손가락의 움직임을 추적하고 이를 HMD의 디스플레이부에 제공함으로써 사용자의 시야가 닿지 않는 곳에서의 손가락의 움직임을 세밀하게 디스플레이할 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법을 제공하기 위한 HMD의 시스템 블록도이다.
도 2는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법의 순서도이다.
도 3은 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 손 또는 손가락의 위치 및 이미지의 수집에 관한 개념도이다.
도 4는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 제3 이미지 수집부가 적용된 개념도이다.
도 5는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 실습도구를 파지하는 모습을 예시한 것이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기증을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 또는 "구비"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...유닛", "...부" 또는 "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에 기재된 " HMD...유닛", " HMD...부" 또는 " HMD...모듈" 등의 용어는 HMD 자체 또는 HMD와 유선 또는 무선 통신에 의하여 데이터를 교환하도록 구비된 HMD의 기능을 확장하기 위한 용도의 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 의미할 수 있다.
한편, 본 발명의 실시 예에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있으며, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
또한 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터, 스마트폰과 같은 모바일 기기, 온라인 게임 서비스 제공 서버 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 아래에서 설명할 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 장치에 이용 가능한 메모리 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조물을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 장치 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되기 위한 프로세스를 생성하여 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예에 있어서, 사용자 기기라고 함은 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, PDA, 휴대전화, 게임기 등 데이터를 수집, 판독, 처리, 가공, 저장, 표시할 수 있는 모든 계산 수단을 의미한다. 특히, 본 발명의 실시예에 있어서의 사용자 기기는 해독 가능한 코드로 작성된 소프트웨어를 실행시킬 수 있으며, 이를 사용자에게 표시하여 전달할 수 있는 기능을 갖는 장치이다. 또한, 필요에 따라서는 소프트웨어를 자체적으로 저장하기도 하고, 또는 외부로부터 데이터와 함께 읽어 들일 수도 있다.
또한, 본 발명의 실시예에 있어서의 단말기에는 위와 같은 데이터 처리 기능 뿐 아니라 입력, 출력, 저장 등의 기능이 포함되어 있으며, 이를 위하여 일반적인 컴퓨터 장치들이 갖는 CPU, 메인보드, 그래픽 카드, 하드디스크, 사운드 카드, 스피커, 키보드, 마우스, 모니터, USB, 통신 모뎀 등의 각종 요소들 뿐만 아니라 무선 스마트폰 단말기들이 갖는 CPU, 메인보드, 그래픽 칩, 메모리 칩, 사운드엔진, 스피커, 터치패드, USB 등의 외부 연결 단자, 통신 안테나, 3G, LTE, LTE-A, WiFi, 블루투스 등의 통신을 구현할 수 있는 통신 모뎀 등을 포함할 수 있다. 이러한 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 구현할 수 있으며, 본 발명의 실시예에서 도면이나 상세한 설명에서 하나 또는 그 이상의 블록으로 표시된 장치 또는 그 일부분들은 위와 같은 사용자 기기에 포함되어 있는 각종 요소들이 단독으로 또는 2 이상이 함께, 또는 각종 요소들의 일부분이 결합되어 하나 또는 그 이상의 기능을 나타내는 것을 의미할 수 있다.
한편, 본 발명의 실시예에서 사용자 기기, HMD등은 통신 기능을 가질 수 있으며, 통신 기능을 구현하기 위하여 유선 인터넷, 무선 인터넷, 적외선 통신, 블루투스, WCDMA, Wibro, WiFi, LTE, LTE-A, 5G 유무선 전화망 등의 각종 네트워크 수단을 구비할 수 있다.
이하에서는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 대하여 첨부한 도면을 참고하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법을 제공하기 위한 HMD의 시스템 블록도이다.
도 1을 참고하면, 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 사용되기 위한 HMD는 이미지수집부, 디스플레이부를 포함한다.
HMD의 디스플레이부는 사용자에게 가상현실공간의 이미지를 디스플레이하도록 구비된다. 상기 디스플레이부는 사용자의 시야 전체를 가리도록 구비되어 사용자가 HMD를 착용하고 있는 경우, 디스플레이부에 의하여 외부에서 스며드는 빛을 차단하도록 구비될 수 있다.
HMD의 이미지수집부는 카메라유닛, 적외선센서 등 초점대상 물체의 이미지를 수집하고 물체(실습도구 등)의 가상공간에서의 위치에 대한 정보를 측정하는데 사용될 수 있다. 한편, 이미지수집부는 3개 이상이 HMD의 전면 외곽에 배치될 수 있다. 각각의 이미지수집부는 서로 일정거리 이격되어 실제물체(손 또는 손가락)등과의 거리감을 측정하기에 적합하도록 구비될 수 있다.
도 2는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법의 순서도이다.
이하, 도 2를 참고하여 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법을 상세히 설명한다.
본 발명의 일실시예에 따른 사용자의 손 또는 손가락의 움직임에 대한 이미지정보를 수집하여 HMD에 디스플레이하기 위한 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법은, 복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계를 포함한다(S110).
도 3은 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 손 또는 손가락의 위치 및 이미지의 수집에 관한 개념도이다.
복수의 이미지수집부(130a, 130b, 130c, 130d)가 미리설정된 특정 관절의 위치 및 이미지를 각각 수집하여 복수의 인식포인트 정보를 수집하게 된다. 이때 특정 관절의 위치는 사전에 미리 입력된 사람의 손 모양을 기초로 설정할 수 있다. 도 3을 예로 들면, 손가락 끝마디가 각각 인식포인트로 정의되어 손바닥으로 이행하며 각각의 관절을 인식포인트 정보로 수집하는 모습을 확인할 수 있다.
이때 복수의 이미지수집부는 공간에서의 손과 손가락의 3차원의 좌표정보를 생성해 낼 수 있다. 복수의 이미지수집부는 적어도 2이상의 카메라를 구비하여 제공될 수 있으나 이에 한정하지 않으며 HMD의 테두리 외곽에 위치하도록 구비되는 것이 바람직하다.
도 3에서와 같이 장방형의 HMD의 각 모서리 인접한 부분에 이미지수집부가 배치된 모습을 확인할 수 있다. 학습자(사용자)가 HMD를 착용하여 전방의 손 또는 손가락의 움직임을 원활히 측정하거나 또는 측방의 손 또는 손가락의 움직임을 원활히 측정할 수 있도록 최대의 촬영각도를 얻을 수 있는 4개의 모서리 부근에 이미지수집부가 배치되는 것이 보다 바람직하다.
다만, 이미지수집부의 개수 및 배치는 상기에 한하지 않으며 추가적인 이미지수집부를 기 배치된 이미지수집부의 사이에 배치함으로써 이미지를 정밀하게 얻을 수 있다.
다음으로, 상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계를 포함한다(S120).
상기 기술한 바와 같이 사용자의 손의 특정한 인식포인트 정보가 수집되면 사전에 미리 준비된 사람의 손가락 관절 표준데이터를 이용하여 생성된 표준화된 손 또는 손가락의 이미지가 사용자의 인식포인트를 추종하도록 설정될 수 있다.
미리 준비된 복수의 사람의 손가락 관절표준데이터를 이용하여 손 또는 손가락의 3차원의 모습을 설정하므로 특정한 인식포인트의 움직임만을 측정하여 손 또는 손가락의 모양을 HMD의 디스플레이부에 디스플레이 할 수 있어 시스템의 연산에 따른 부하를 낮출 수 있다.
복수의 인식포인트정보는 상기 사용자의 엄지, 검지, 중지, 약지, 식지의 끝마디, 중간마디 또는 손바닥과의 연결마디 및 상기 사용자의 손바닥과 손목의 경계의 공간상의 위치정보를 포함할 수 있다.
다음으로, 상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계를 포함한다(S130).
도 3에 도시된 바와 같이 손가락 마디의 각각의 포인트는 미리 준비된 복수의 사람의 손가락 관절표준데이터를 통해 대략의 위치가 결정되고 움직임을 정의하기 위한 기준점으로 삼기 위하여 이미지수집부는 각각의 손가락 마디까지의 거리를 계측하기 위하여 순차적으로 사용자의 손으로부터 각각의 인식포인트정보를 수집하게 된다.
다음으로, 상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계를 포함한다(S140).
한편, 최초 손 또는 손가락의 이미지가 표준데이터와 매칭되면 사용자의 손가락의 움직임을 연속적으로 측정하고 디스플레이부에 손 또는 손가락의 움직임에 대한 기초데이터를 수집하게 된다.
손 또는 손가락의 움직임은 HMD상에 구비된 복수의 이미지수집부에 의하여 이루어지므로 손 또는 손가락을 기준으로 복수의 이미지수집부와 대칭한 반대편의 손가락의 세밀한 움직임에 대한 정보를 얻기 어려울 수 있다. 즉, 사용자가 HMD를 착용하고 바라보는 방향의 손 또는 손가락에 지정한 인식포인트는 복수의 이미지수집부에 의하여 용이하게 촬영 또는 측정될 수 있으나 손가락이 구부러져 손바닥을 지향하고 있는 경우 등 손가락이 이미지수집부의 사각에 놓이게 되면 손 또는 손가락의 정밀한 동작을 구현하기 어렵다.
도 4는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 제3 이미지 수집부가 적용된 개념도이다.
도 4를 참고하면, 하나의 제3 이미지수집부가 추가적으로 배치된 모습을 확인할 수 있다. 이를 통해 복수의 인식포인트 정보를 수집하는 단계는 사용자의 손 또는 손가락을 기준으로 상기 복수의 이미지수집부와 대칭되는 위치에 배치된 제3 이미지수집부로부터 수집된 복수의 제3 인식포인트 정보를 수집하는 단계를 수행할 수 있게 된다.
도 4를 기초로 구체적으로 설명하면, 이미지수집부가 엄지손가락의 끝마디의 이미지를 수집하고 있으며 제3 이미지수집부에 해당하는 거울에 비친 엄지손가락 끝마디의 반대편 이미지가 이미지수집부로 전달될 수 있다. 이를 통해 HMD상에 배치된 이미지수집부가 수집할 수 없는 손 또는 손가락의 반대편의 움직임 정보를 수집하고 보다 세밀한 손의 움직임을 디스플레이부에 출력하게 될 수 있다.
한편, 상기 제3 이미지수집부는 상기 사용자의 손 또는 손가락과 상기 복수의 이미지수집부의 거리보다 상기 사용자의 손 또는 손가락으로부터 2~10배의 거리에 배치될 수 있다. 이를 통해 제3 이미지수집부에 의하여 수집된 이미지가 손 또는 손가락에 의하여 가려지지 않고 이미지수집부로 전달될 수 있다. 더 나아가, 하나 이상의 복수의 제3 이미지수집부를 배치함으로써 다양한 손의 움직임을 세밀하게 추종하도록 구비될 수 있다.
제3 이미지수집부는 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 반사하여 상기 이미지수집부에 투사하기 위한 소정의 반사율을 갖는 반사체가 포함된 반사유닛을 구비할 수 있다. 예를 들면 반사유닛의 경우 거울 등을 이용할 수 있으며, 다만 이에 한정하지 않고 금속제 반사판 등이 사용될 수 있다.
또는 제3 이미지수집부는 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 촬영하고 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 HMD로 전송하기 위한 데이터통신부를 구비할 수 있다. 복수의 이미지수집부에 반사된 이미지를 전송하는 것이 아닌 별도의 카메라 등을 구비하고 이를 HMD에 전송함으로써 능동적으로 이미지수집부의 사각의 이미지를 제공하도록 구비될 수 있다.
다음으로, 상기 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계는, 상기 골격오버레이정보를 통해 디스플레이 되는 상기 손 또는 손가락의 이미지가 상기 디스플레이부에 디스플레이되는 실습도구의 표면 중 소정의 영역에 위치하는 경우 상기 실습도구를 파지한 것으로 설정하여 상기 디스플레이부 상에 디스플레이하는 이미지통합단계를 더 포함할 수 있다.
상기 단계는 실기술을 학습하는 과정에서 실습도구 등을 실제 파지하는 상황에 놓일 수 있는데, 이와 같이 실습도구를 파지하는 등의 동작 등을 체험할 수 있도록 하기 위한 단계이다.
도 5는 본 발명의 실시예에 따른 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서 실습도구를 파지하는 모습을 예시한 것이다.
도 5의 (a)는 손으로 시린지를 파지하는 모습을 예시한 것으로 파지 후 시린지와 손의 이미지는 통합되어 함께 움직이도록 구비될 수 있다. 도 5의 (b) 및 (c)는 사용자의 손을 움직여 특정한 실습도구를 만지거나 또는 잡기 위한 모습을 도시한 것으로 주로 손가락의 끝마디를 실습도구의 표면 등에 접촉하도록 함으로써 이미지 통합이 이루어지도록 할 수 있다.
실제 실기술의 실습에 있어서도 손바닥 또는 손가락의 전체마디를 이용하여 물체를 파지하거나 터치하기 보다는 손가락의 끝마디 부분을 주로 이용하여 물체를 파지하거나 터치하므로 실기술의 체험에 있어서 손가락 끝마디의 움직임의 표현과 감각은 중요한 요소가 될 수 있다.
실제적인 실습요소를 강화하기 위하여 상기 이미지통합단계는 상기 사용자의 손가락의 소정의 영역에 배치된 데이터통신 가능한 핑거팁디바이스에 미리 설정된 소정의 진동정보를 제공하는 단계를 더 포함할 수 있다. 한편, 소형화와 경량화를 통해 사용자의 감각에 이질감이 발생하지 않도록 핑거팁디바이스는 상기 사용자의 손가락의 끝마디만을 감싸도록 구비될 수 있다.
도시되지는 않았으나 상기 핑거팁디바이스는 상기 사용자의 체온에 감응하여 전기를 발생하는 열전소자 및 상기 핑거팁디바이스가 상기 진동정보를 수신하는 경우 상기 열전소자로부터 생성된 전류로 작동하는 진동소자를 포함할 수 있다.
즉, 독립적으로 전류를 생성할 수 있으면서도 소형인 핑거팁디바이스를 채용하여 손가락 끝마디에서 실제와 같은 감각이 느껴지도록 하기 위하여 특정한 이벤트의 발생시 진동소자를 통해 손가락 끝마디에 감각을 자극하여 실제 물체를 만지거나 또는 파지하는 것과 같은 감각을 체험할 수 있도록 할 수 있다.
상기 핑거팁디바이스는 사용자의 손가락 끝마디의 위치정보를 생성하기 위한 것이 아니라 HMD로부터 송신된 진동정보를 수신하는 경우에 진동을 발생하도록 하기 위한 것으로 실제로 손으로 실습도구 등을 조작하는 느낌을 생성하기 위한 것이다.
본 발명의 다른 실시예에 따르면, 복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계, 상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계, 상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계, 상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계를 포함하는 방법을 수행하기 위한 프로그램이 저장된 저장매체가 제공된다.
본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (10)

  1. 사용자의 손 또는 손가락의 움직임에 대한 이미지정보를 수집하여 HMD에 디스플레이하기 위한 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법에 있어서, 상기 방법은,
    복수의 이미지수집부를 통해 상기 사용자의 손 또는 손가락의 정지상태에서의 복수의 인식포인트 정보를 수집하는 단계;
    상기 복수의 인식포인트 정보와 미리 저장된 손가락 관절 표준데이터와 매칭하여 사용자의 손 또는 손가락의 이미지를 상기 HMD의 디스플레이부에 디스플레이하는 단계;
    상기 복수의 이미지수집부를 통해 실시간으로 상기 복수의 인식포인트 정보를 수집하는 단계;
    상기 실시간으로 수집된 복수의 인식포인트 정보에 대응하는 미리 저정된 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;를 포함하고,
    상기 복수의 인식포인트 정보를 수집하는 단계;는
    상기 사용자의 손 또는 손가락을 기준으로 상기 복수의 이미지수집부와 대칭되는 위치에 배치된 제3 이미지수집부로부터 수집된 복수의 제3 인식포인트 정보를 수집하는 단계;를 더 포함하고,
    상기 제3 이미지수집부는 상기 사용자의 손 또는 손가락과 상기 복수의 이미지수집부의 거리보다 상기 사용자의 손 또는 손가락으로부터 2~10배의 거리에 배치되고, 상기 제3 이미지수집부는 상기 이미지수집부의 사각에 놓인 상기 사용자의 손 또는 손가락의 이미지를 반사하여 상기 이미지수집부에 투사하기 위한 소정의 반사율을 갖는 반사체가 포함된 반사유닛을 포함하고,
    복수의 인식포인트정보는 상기 사용자의 엄지, 검지, 중지, 약지, 식지의 끝마디, 중간마디 또는 손바닥과의 연결마디 및 상기 사용자의 손바닥과 손목의 경계의 공간상의 위치정보를 포함하고,
    상기 골격오버레이정보에 따른 손 또는 손가락의 이미지를 연속적으로 상기 디스플레이부에 디스플레이하는 단계;는,
    상기 골격오버레이정보를 통해 디스플레이 되는 상기 손 또는 손가락의 이미지가 상기 디스플레이부에 디스플레이되는 실습도구의 표면 중 소정의 영역에 위치하는 경우 상기 실습도구를 파지한 것으로 설정하여 상기 디스플레이부 상에 디스플레이하는 이미지통합단계;를 더 포함하고,
    상기 이미지통합단계;는
    상기 사용자의 손가락의 소정의 영역에 배치된 데이터통신 가능한 핑거팁디바이스에 미리 설정된 소정의 진동정보를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 핑거팁디바이스는 상기 사용자의 체온에 감응하여 전기를 발생하는 열전소자 및 상기 핑거팁디바이스가 상기 진동정보를 수신하는 경우 상기 열전소자로부터 생성된 전류로 작동하는 진동소자를 포함한 것을 특징으로 하는 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법.
  8. 제7항에 있어서,
    상기 핑거팁디바이스는 상기 사용자의 손가락의 끝마디만을 감싸도록 구비된 것을 특징으로 HMD 핸드트래킹을 이용한 실기술 트레이닝 제공방법.
  9. 삭제
  10. 제1항 및 제7항 내지 제8항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 저장된 저장매체.
KR1020210011399A 2021-01-27 2021-01-27 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법 KR102569857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210011399A KR102569857B1 (ko) 2021-01-27 2021-01-27 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210011399A KR102569857B1 (ko) 2021-01-27 2021-01-27 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법

Publications (2)

Publication Number Publication Date
KR20220108417A KR20220108417A (ko) 2022-08-03
KR102569857B1 true KR102569857B1 (ko) 2023-08-23

Family

ID=82847157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210011399A KR102569857B1 (ko) 2021-01-27 2021-01-27 Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법

Country Status (1)

Country Link
KR (1) KR102569857B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR102016676B1 (ko) * 2018-12-14 2019-08-30 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8212794B2 (en) * 2008-09-30 2012-07-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical finger navigation utilizing quantized movement information
KR101865655B1 (ko) * 2014-06-26 2018-06-11 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법
KR102115234B1 (ko) * 2018-11-09 2020-05-26 (주)솔트웍스 안전사고 가상 체험 시스템 및 그 방법
KR102171459B1 (ko) * 2018-12-07 2020-10-29 테크빌교육 주식회사 사용자의 손동작을 인식하는 장치 및 이를 이용한 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
KR102016676B1 (ko) * 2018-12-14 2019-08-30 주식회사 홀로웍스 발달장애아를 위한 vr기반의 트레이닝 시스템

Also Published As

Publication number Publication date
KR20220108417A (ko) 2022-08-03

Similar Documents

Publication Publication Date Title
CN210573659U (zh) 计算机系统、头戴式设备、手指设备和电子设备
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US20160232715A1 (en) Virtual reality and augmented reality control with mobile devices
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN104246682B (zh) 增强的虚拟触摸板和触摸屏
EP3037924A1 (en) Augmented display and glove with markers as us user input device
CN111240465B (zh) 具有用于采样对象属性的手指设备的计算机系统
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US20150241984A1 (en) Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
CN105829948B (zh) 可佩戴显示输入系统
Bai et al. 3D gesture interaction for handheld augmented reality
CN103744518A (zh) 立体交互方法及其显示装置和系统
CN109952552A (zh) 视觉提示系统
RU187548U1 (ru) Перчатка виртуальной реальности
Nguyen et al. 3DTouch: A wearable 3D input device for 3D applications
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
CN117472189B (zh) 具有实物感的打字或触控的实现方法
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
Rupprecht et al. Virtual reality meets smartwatch: Intuitive, natural, and multi-modal interaction
KR102569857B1 (ko) Hmd 핸드트래킹을 이용한 실기술 트레이닝 제공방법
Hsieh et al. Developing hand-worn input and haptic support for real-world target finding
Paolocci et al. Combining wristband display and wearable haptics for augmented reality
CN108803862B (zh) 用于虚拟现实场景中的账号关系建立方法及装置
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right