KR102269414B1 - 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치 - Google Patents

핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치 Download PDF

Info

Publication number
KR102269414B1
KR102269414B1 KR1020190026246A KR20190026246A KR102269414B1 KR 102269414 B1 KR102269414 B1 KR 102269414B1 KR 1020190026246 A KR1020190026246 A KR 1020190026246A KR 20190026246 A KR20190026246 A KR 20190026246A KR 102269414 B1 KR102269414 B1 KR 102269414B1
Authority
KR
South Korea
Prior art keywords
virtual
hand
finger
user
augmented reality
Prior art date
Application number
KR1020190026246A
Other languages
English (en)
Other versions
KR20200107311A (ko
Inventor
이용호
이동명
김영욱
김진백
김황연
유범재
Original Assignee
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 실감교류인체감응솔루션연구단 filed Critical 재단법인 실감교류인체감응솔루션연구단
Priority to KR1020190026246A priority Critical patent/KR102269414B1/ko
Priority to US16/810,904 priority patent/US20200286302A1/en
Priority to CN202010152722.4A priority patent/CN111665933A/zh
Publication of KR20200107311A publication Critical patent/KR20200107311A/ko
Application granted granted Critical
Publication of KR102269414B1 publication Critical patent/KR102269414B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치를 개시한다.
본 실시예의 일 측면에 의하면, 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법은, 상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는 과정, 상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절하는 과정, 상기 조절된 가상 핸드와 가상 객체와의 접촉을 감지하는 과정, 및 상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공하는 과정을 포함하며, 상기 가상 핸드는 사용자별로 모델링된 것임을 특징으로 한다.

Description

핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치{METHOD AND DEVICE FOR OBJECT MANIPULATION IN VIRTUAL/AUGMENTED REALITY BASED ON HAND MOTION CAPTURE DEVICE}
본 발명은 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
기술이 발전함에 따라 가상 현실 또는 증강 현실에 대한 관심이 높아지고 있다. 가상 현실(Virtual Reality)은 이미지, 주변 배경, 객체 모두를 가상 이미지로 만들어 보여주는 반면, 증강 현실(Augmented Reality)은 현실 세계의 실제 모습이 주가 되고 추가되는 정보만 가상으로 만들어 보여준다. 가상 현실과 증강 현실 모두 사용자가 마치 가상 객체와 상호작용을 하고 있는 것처럼 만들어 주어야 한다.
이와 관련하여 사용자가 가상 이미지를 볼 수 있게 하는 장치인 HMD(Head Mounted Device), 가상 객체와 상호작용하기 위한 리모콘 등이 개발되었다. 가상 현실 또는 증강 현실에서 현실감을 높이기 위해서는 가상 객체의 구성 및 그래픽 품질도 중요하지만, 특히 사용자와 가상 객체간의 상호작용 또한 중요하다. 앞서 개발된 리모콘은 사용자가 손에 쥐고 사용하기 때문에 상기 사용자의 구체적인 동작을 인식하기에 한계가 있다. 이에 이러한 한계를 극복하기 위한 다른 기술들이 개발되고 있다. 예를 들면, 손가락에 광학적 마커(marker)를 달아 카메라로 추적하거나, 또는 다양한 센서를 이용해 손가락의 움직임을 측정하는 기술 등이 있다. 그러나, 이러한 기술들도 실제 사용자 손의 움직임과 가상 손의 움직임에 시간적으로 또는 공간적으로 차이(gap)가 발생해 가상 객체를 조작하여야 하는 경우 사용자가 느끼는 현실감은 떨어지게 된다. 현실감을 조금이라도 높이기 위해서는 보다 많은 센서가 필요하고, 이로 인해 가격, 데이터 처리량 등이 증가해 문제되기 때문에 다른 해결책이 필요하다.
또한, 사용자가 가상 객체와 상호작용을 하고 있는 것처럼 느끼게 하기 위해서는 사용자가 촉감(觸感)을 느낄 수 있도록 하는 '컴퓨터 촉각기술', 즉 햅틱(Haptic) 기술이 중요하다. 초기의 촉각 인터페이스 장치에 대한 형태는 글러브 형태로, 사용자에게 햅틱 정보를 생성하지 않고 오로지 손의 모션 정보만 가상 환경으로 전달하는 장치였다. 하지만, 손의 모션 정보만을 가상 환경에 전달하는 글러브는 가상 환경의 객체를 인지하기 위한 중요 요소 중 하나인 촉각적인 요소가 배제되어 있어 가상 환경을 접하는 사용자들의 몰입감을 극대화하기 어려웠다. 이후 햅틱 기술의 발달과 연구에 따라 사용자에게 촉감을 전달할 수 있는 햅틱 글러브에 대한 기술이 많은 발전을 이루었다. 그러나, 아직까지 가상 현실 및 증강 현실에서의 가상 객체 조작은 사용자가 정확한 깊이를 가늠할 수 없고 실세계와 달리 물리적 접촉으로 인한 감각이 존재하지 않기 때문에 실감 재현에 대한 어려움이 있는 실정이다.
본 실시예는, 가상 또는 증강 현실에서 핸드 모션 캡쳐 장치를 기반으로 하는 객체 조작 방법 및 그 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법은, 상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는 과정, 상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절하는 과정, 상기 조절된 가상 핸드와 가상 객체와의 접촉을 감지하는 과정, 및 상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공하는 과정을 포함하며, 상기 가상 핸드는 사용자별로 모델링된 것임을 특징으로 한다.
본 실시예의 다른 측면에 의하면, 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 장치는 상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는 입력부, 상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절하고, 상기 조절된 가상 핸드와 가상 객체와의 접촉을 감지하는 제어부, 및 상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공하는 출력부를 포함하고, 상기 제어부는, 상기 가상 핸드를 사용자별로 모델링한 것임을 특징으로 한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 가상 핸드와 가상 객체와의 접촉을 판단하여 상호 작용 상황에 따라 사용자에게 피드백의 세기를 조절하여 제공할 수 있다.
본 실시예에 의하면, 가상 현실이나 증강 현실에서 모델링된 자신의 손을 이용함으로써 사용자의 현실감 및 정확도를 높일 수 있다.
도 1은 본 개시의 실시예에 따라 핸드 모션을 캡쳐하기 위해 핸드 모션 장치를 장착한 손과 손가락의 움직임을 나타낸 도면,
도 2는 본 개시의 실시예에 따라 손가락의 움직임을 추정하기 위한 메커니즘을 나타낸 도면,
도 3은 본 개시의 일 실시예에 따라 사용자별로 모델링하기 위해 필요한 손의 위치를 나타낸 도면,
도 4는 본 개시의 일 실시예에 따라 실제 손을 모델링한 가상 핸드에 물리 파티클을 형성한 것을 나타낸 도면,
도 5는 본 개시의 일 실시예에 따른 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법의 순서도를 나타낸 도면,
도 6은 본 개시의 일 실시예에 따른 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 장치의 구성도를 나타낸 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
그 외에도 본 개시에서는 손을 핸드로, 움직임을 모션으로 혼용하여 사용될 수 있다. 또한, 본 개시에서는 손가락과 손바닥이 만나는 관절을 손가락 원점으로 언급할 수 있다.
먼저, 핸드 모션 캡쳐 장치로부터 획득한 데이터를 이용해 손가락의 움직임을 추정하는 방법에 대해 설명한다.
도 1은 본 개시의 실시예에 따라 핸드 모션을 캡쳐하기 위해 핸드 모션 장치를 장착한 손과 손가락의 움직임을 나타낸 도면이다.
핸드 모션 캡쳐 장치의 센서는 손가락의 특정 부위에 위치하게 되며, 이로부터 데이터를 입력 받는다. 이때, 상기 센서는 3D 자기 센서(magnetic sensor), 위치 센서, 광학 센서, 가속도 센서, 자이로 센서 등이 될 수 있으며 제한되지 않는다. 본 개시에서는 3D 자기 센서를 예로 설명한다. 도 1의 (a)를 참조하면, 상기 손가락의 특정 부위는 손가락 원점(110)과 손가락 끝의 관절이 될 수 있다. 상기 핸드 모션 캡처 장치의 외골격 손가락 부를 구성하는 각 회절 관절(rotational joint)의 각도는 상기 센서로부터 입력된 데이터를 통해 획득할 수 있다. 손가락 원점(110)의 위치는 외골격 손가락부의 원점(115)과 동일한 미리 정의된 값이며, 상기 센서로부터 획득한 외골격 손가락 부의 각 회절 관절의 각도를 기반으로 하여 순기구학(FK(forward kinematics))를 이용해 계산함으로써 외골격 손가락부의 끝단(135)의 위치를 추정할 수 있다. 이때, 외골격 손가락부의 끝단의 위치가 손가락 끝단(130)과 동일하다고 가정하고, 이를 기반으로 역기구학(IK(inverse kinematics) solver)를 이용하여 최종적으로 중간 관절의 위치까지 계산하여, 손가락 각 관절의 위치를 추정한다. 즉, 상기 센서로부터 입력 받은 데이터에 순기구학과 역기구학을 순차적으로 적용해 실제 손가락의 움직임을 추정할 수 있다. 더 나아가, 상기 핸드 모션 캡쳐 장치를 이용하면 순기구학을 적용해 손가락 마디의 길이도 알 수 있다.
도 1의 (b)와 (c)는 가능한 손가락의 움직임을 나타낸 것이다. 구체적으로, 도 1의 (b)는 손가락 원점의 움직임으로 요(yaw)(120)를 나타낸 것이고, 도 1의 (c)는 손가락 각 관절 및 손가락 원점의 다른 움직임으로 피치(pitch)(140, 150, 160)를 나타낸다.
도 2는 본 개시의 실시예에 따라 손가락의 움직임을 추정하기 위한 메커니즘을 나타낸 도면이다.
손가락의 움직임을 추정하기 위해 실제 손에 대응하는 가상 핸드를 이용한다. 먼저, 가상 손가락의 원점 좌표계를 기준으로 가상 손가락 끝단의 위치와 회전변환행렬(rotational matrix)을 나타내어 상기 손가락 끝단의 위치 및 원점을 계산한다. 이후 상기 손가락 끝단(O)의 국지 좌표계를 기준으로 손가락이 뻗은 방향으로 형성된 축을 이용하여 관절(A)의 위치를 계산한다. 상기 계산된 관절의 위치를 이용해 손가락 원점의 요 각도(θ1) (210)를 계산한다.
상기 계산된 손가락 원점의 요 각도(210)만큼 상기 손가락 끝단의 위치 및 그에 가까운 관절(A)의 위치를 회전시켜 2차원 좌표계를 기준으로 피치 각도를 계산한다.
구체적으로, 손가락 각 마디의 길이를 모두 알고 있는 상태이므로 삼각형 OAE에 대해 제2 cosine 법칙을 적용하여 손가락 나머지 관절의 피치 각도(θ3, θ4)를 계산한다.
이후, 손가락 끝단의 위치 및 그에 가까운 관절의 위치를 알고 있으므로 삼각형의 원리에 따라 손가락 원점의 좌표계 기준으로 가상 손가락 끝단의 각도(θtotal)를 계산한다.
상기 계산된 가상 손가락 끝단의 각도를 이용해 손가락 관절의 피치 각도(θ2)를 계산한다. 이하의 [수학식 1]을 이용해 상기 손가락 관절의 피치 각도(θ2)를 계산할 수 있다.
Figure 112019023449084-pat00001
마지막으로, 각 손가락의 회전 각도 및 마디 길이를 알고 있으므로 순기구학(forward kinematics)을 통해 각 손가락 관절 및 끝단의 위치를 계산할 수 있다.
도 3은 본 개시의 일 실시예에 따라 사용자별로 모델링하기 위해 필요한 손의 위치를 나타낸 도면이다.
상기 손의 위치를 측정하는 방법은 센서가 부착된 장갑, 센서를 손에 직접 부착하는 방식 등의 센서를 이용해 직접 위치를 측정하는 방법과 이미지 센서를 이용해 촬영한 영상을 분석하는 방법 등이 있다. 그 밖에도 손의 외골격을 측정하기 위해 제작한 별도의 장치 예를 들어, 핸드 모션 캡쳐 장치를 이용해 손의 필요한 위치를 측정할 수도 있다. 일부 측정 방법에 의하는 경우 실시간으로 위치 정보를 획득할 수 있다. 상기 측정할 위치는 관절의 위치와 각 손가락 끝단이 될 수 있다.
구체적으로, 손목의 관절(○)을 중심으로 뼈 사이 관절의 위치(●)와 각 손가락 끝단(◎)의 값을 측정하고, 이를 이용해 모델링에 필요한 정보를 계산할 수 있다. 상기 관절의 위치와 각 손가락 끝단의 위치는 손목의 관절(○)을 중심으로 하는 상대적인 좌표값으로 나타낼 수 있으며, 3차원 좌표값으로도 나타낼 수 있다. 손의 모델링에 필요한 정보는 손바닥 및 각 손가락을 구성하는 뼈의 너비, 두께, 길이이다. 다만, 각 손가락은 원기둥의 형태로 보아 너비와 두께를 동일하게 볼 수 있을 것이다.
도 3에서 손바닥의 너비는 검지 손가락의 첫 번째 관절로부터 새끼 손가락의 첫 번째 관절까지의 거리(310)이며, 상기 손바닥의 두께는 엄지 손가락의 첫 번째 관절로부터 새끼 손가락의 첫 번째 관절까지의 거리(320), 상기 손바닥의 길이는 손목의 관절로부터 중지 손가락의 첫 번째까지의 거리(330)이다. 손가락의 경우에는 너비(340)와 두께는 측정한 관절의 위치의 값을 이용해 구할 수 있으며, 길이는 관절 사이의 거리(350)가 될 수 있다.
본 개시에 따른 가상 핸드 모델링 방법은 측정한 위치 값을 이용해 신규로 모델링을 하기 보다는 임의의 가상 핸드를 변경 즉, 조절하는 것이다. 예를 들면, 임의의 가상 핸드의 손가락이 실제 손의 손가락보다 길면 짧게 조절하고, 임의의 가상 손바닥이 실제 손바닥보다 두꺼우면 얇게 조절함으로써 상기 임의의 가상 핸드를 실제 손과 동일하도록 모델링한다.
도 4는 본 개시의 일 실시예에 따라 실제 손을 모델링한 가상 핸드에 물리 파티클을 형성한 것을 나타낸 도면이다.
본 개시에서는 실제 손을 모델링한 가상 핸드와 가상 객체와의 상호 작용을 판단하기 위해 물리 엔진을 이용하며, 가상 핸드에 대한 물리 모델을 생성한다. 이때, 실시간으로 변형되는 가상 핸드의 전체 메시(Mesh) 데이터를 물리 파티클(물리 객체)로 만들게 되면 계산 시간이 많이 소요된다는 문제점이 있다. 즉, 한 손 당 메시 인덱스(Mesh Index)가 약 8000개가 되는데, 실시간으로 변화하는 모든 메시 인덱스의 위치를 반영하여 전체 가상 핸드 물리 모델을 갱신하면 물리 엔진의 계산량이 과부하되어 실시간으로 처리하지 못하게 된다.
따라서 본 개시에서는 도 4와 같이 사용자가 손동작을 수행할 때 주로 접촉하게 되는 메시 인덱스에만 물리 파티클(420)을 생성하고, 복수의 물리 파티클(420)들을 이용하여 물리 상호 작용 과정을 수행한다. 본 개시에서는 물리 파티클(420)의 물리 속성을 키네마틱 오브젝트(Kinematic Object)로 정의하여 실세계에서 일어나는 다양한 손동작을 제대로 구현할 수 있게 한다.
본 개시의 물리 파티클(420)은 임의의 형상을 가지는 작은 크기의 입자이다. 본 개시에서는 손동작을 수행할 때 주로 접촉하게 되는 메시 인덱스인 손가락 끝 마디에 물리 파티클(420)을 촘촘하게 분포시키고 손바닥에는 전체 면적에 균등하게 분포시킴으로써, 전체 메시 데이터가 아닌 그보다 적은 개수의 객체들을 이용하여도 전체 메시 데이터를 이용하는 방법과 비슷한 수준의 물리 상호 작용 결과를 얻을 수 있게 한다. 본 개시에서는 각 물리 파티클(420)과 가상 객체 간의 접촉(충돌) 정보들을 이용하여, 여러 가지 수행 동작에 대한 알고리즘에 적용된다. 또한, 본 개시에서는 이러한 동작 알고리즘의 적용이 원활할 만큼 충분하면서, 그 수가 너무 많아서 물리 엔진 계산 속도를 떨어뜨리지 않는 적절한 분포로 물리 파티클(420)을 분포시킬 수 있다. 이는 실험을 통하여 수치를 도출할 수 있으며, 일 예로써 양 손에 약 총 130개의 물리 파티클(420)이 분산되어 배치될 수 있다.
또한, 복수의 물리 파티클(420)은 다양한 형상의 입자일 수 있으나, 계산의 간소화를 위해 단위 크기의 구형 입자인 것이 바람직하다. 이러한 복수의 물리 파티클(420)은 다양한 물리량을 가질 수 있다. 이러한 물리량으로는 복수의 물리 파티클(420)이 가상 핸드(310)의 어떤 손가락뼈에 대응하여 배치되는 위치가 포함된다. 또한, 각각의 복수의 물리 파티클(420)에 작용하는 힘의 크기 및 방향이 있다. 복수의 물리 파티클(420)은 마찰계수, 탄성계수 등의 물리량을 더 가질 수 있다.
본 개시에서는 가상 핸드의 물리 파티클(420)이 가상 객체와 접촉하였는지 여부를 판단한다. 본 개시에서는 물리 파티클(420)과 가상 객체의 접촉 여부의 판단 방법으로 AABB(Axis-Aligned Bounding Box) 충돌 감지법을 이용할 수 있다.
도 5는 본 개시의 일 실시예에 따른 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법의 순서도를 나타낸 도면이다.
상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는다(S510). 상기 센서는 3차원 자기 센서(3D magnetic sensor)일 수 있으며, 상기 센서의 위치는 손가락 끝단과 손가락의 원점일 수 있다.
상기 입력된 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절한다(S520). 즉, 상기 입력된 센서의 값으로부터 상기 손가락의 움직임을 추정한다. 구체적으로, 상기 손가락 원점의 요, 상기 손가락 관절의 피치가 추정될 수 있다. 상기 추정된 손가락의 움직임에 대응하도록 상기 가상 핸드의 움직임을 조절한다. 상기 가상 핸드는 상기 센서의 값을 기초로 사용자별로 모델링된 것일 수 있다. 또는, 상기 가상 핸드는 별도로 사용자별로 모델링된 것일 수 있다.
상기 조절된 가상 핸드와 가상 객체와의 접촉을 감지한다(S530). 구체적으로는, 상기 가상 핸드가 손동작을 수행시 접촉하게 되는 인덱스에 복수의 물리 파티클을 배치하고, 상기 물리 파티클 중 어느 물리 파티클이 상기 가상 객체에 접촉하였는지 여부를 감지하는 것일 수 있다.
상기 가상 객체와의 접촉이 감지되면, 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공한다(S540). 상기 가상 객체에 접촉한 상기 물리 파티클의 개수 및 상기 물리 파티클과 상기 가상 객체의 접촉시 관통 거리에 따라 진동의 세기로 상기 사용자에게 피드백을 제공할 수 있다. 예를 들어, 상기 가상 객체에 접촉한 상기 물리 파티클이 위치한 손가락에만 피드백을 제공할 수 있으며, 각 손가락마다 피드백을 달리 제공할 수도 있다.
도 5에서는 과정 S510 내지 과정 S540을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5에 기재된 순서를 변경하여 실행하거나 과정 S510 내지 과정 S540 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 5은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 5에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
도 6는 본 개시의 일 실시예에 따른 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 장치의 구성도를 나타낸 도면이다.
도 6에서는 다수의 구성으로 나누어 설명하나 여러 개의 구성이 하나의 구성으로 통합되어 구현될 수 있으며 또는 하나의 구성이 여러 개의 구성으로 나누어 구현될 수도 있다.
상기 객체 조작 장치는 입력부(610), 제어부(620), 및 출력부(630)로 구성될 수 있다.
입력부(610)는 상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는다. 구체적으로, 입력되는 센서의 값은 손가락 원점과 끝단의 x, y, z 축의 회전된 각도일 수 있다.
제어부(620)는 상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절한다. 즉, 상기 입력된 센서의 값으로부터 상기 손가락의 움직임을 추정한다. 다시 말해, 상기 손가락 원점의 요, 상기 손가락 관절의 피치가 추정될 수 있다. 상기 추정된 손가락의 움직임에 대응하도록 상기 가상 핸드의 움직임을 조절한다. 상기 가상 핸드는 상기 센서의 값을 기초로 사용자별로 모델링된 것일 수 있다. 또는, 상기 가상 핸드는 별도로 사용자별로 모델링된 것일 수 있다.
또한, 제어부(620)는 상기 조절된 가상 핸드와 가상 객체와의 접촉을 감지한다. 상기 가상 핸드가 손동작을 수행시 접촉하게 되는 인덱스에 복수의 물리 파티클을 배치하고, 상기 물리 파티클 중 어느 물리 파티클이 상기 가상 객체에 접촉하였는지 여부를 감지하는 것일 수 있다.
출력부(630)는 상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공한다. 상기 가상 객체에 접촉한 상기 물리 파티클의 개수 및 상기 물리 파티클과 상기 가상 객체의 접촉시 관통 거리에 따라 진동의 세기로 상기 사용자에게 피드백을 제공할 수 있다. 예를 들어, 상기 가상 객체에 접촉한 상기 물리 파티클이 위치한 손가락에만 피드백을 제공할 수 있으며, 각 손가락마다 피드백을 달리 제공할 수도 있다. 또한, 피드백은 상기 물리 파티클 위치에 대응하는 곳에 제공할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 방법에 있어서,
    상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는 과정,
    상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절하는 과정,
    상기 가상 핸드가 손동작을 수행시 접촉하게 되는 인덱스에 복수의 물리 파티클을 배치하고 상기 물리 파티클이 가상 객체와 접촉하였는지 여부를 감지하는 과정, 및
    상기 가상 객체와의 접촉이 감지되면, 상기 핸드 모션 캡쳐 장치를 이용해 상기 가상 객체에 접촉한 상기 물리 파티클의 개수에 따라 진동의 세기로 상기 사용자에게 피드백을 제공하는 과정을 포함하며,
    상기 가상 핸드는 사용자별로 모델링된 것이며,
    상기 복수의 물리 파티클은 손바닥보다 손가락 끝단에 더 촘촘하게 배치된 것을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 방법.
  2. 제1항에 있어서,
    상기 센서의 값을 기초로 상기 가상 핸드를 모델링하는 과정을 더 포함하는 가상 또는 증강 현실에서의 객체 조작 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 사용자에게 피드백을 제공하는 과정은,
    상기 물리 파티클과 상기 가상 객체의 접촉시 관통 거리에 따라 진동의 세기로 상기 사용자에게 피드백을 제공하는 과정임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 방법.
  5. 제1항에 있어서,
    상기 사용자별로 모델링된 가상 핸드는,
    상기 센서 값으로부터 상기 사용자의 손바닥의 너비, 길이, 두께, 및 손가락의 길이를 계산하고, 상기 계산된 손바닥의 너비, 길이, 두께, 및 손가락의 길이로부터 상기 손가락의 너비와 두께를 추정하여 상기 가상 핸드로 모델링된 것임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 방법.
  6. 제1항에 있어서,
    상기 추정되는 손가락의 움직임은 상기 손가락 원점의 요(yaw), 상기 손가락 관절의 피치(pitch)임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 방법.
  7. 사용자의 핸드 모션 캡쳐 장치를 기반으로 가상 또는 증강 현실에서의 객체 조작 장치에 있어서,
    상기 핸드 모션 캡쳐 장치로부터 손가락의 특정 위치에 대한 센서의 값을 입력받는 입력부,
    상기 센서의 값을 기초로 상기 손가락의 움직임을 추정하여 가상 핸드의 움직임을 조절하고, 상기 가상 핸드가 손동작을 수행시 접촉하게 되는 인덱스에 복수의 물리 파티클을 배치하고 상기 물리 파티클이 가상 객체와 접촉하였는지 여부를 감지하는 제어부, 및
    상기 가상 객체와의 접촉이 감지되면 상기 핸드 모션 캡쳐 장치를 이용해 상기 가상 객체에 접촉한 상기 물리 파티클의 개수에 따라 진동의 세기로 상기 사용자에게 피드백을 제공하는 출력부를 포함하고,
    상기 제어부는,
    상기 가상 핸드를 사용자별로 모델링한 것이며,
    상기 복수의 물리 파티클은 손바닥보다 손가락 끝단에 더 촘촘하게 배치된 것을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 출력부는,
    상기 물리 파티클과 상기 가상 객체의 접촉시 관통 거리에 따라 진동의 세기로 상기 사용자에게 피드백을 제공하는 것임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 장치.
  11. 제7항에 있어서,
    상기 사용자별로 모델링된 가상 핸드는,
    상기 센서 값으로부터 상기 사용자의 손바닥의 너비, 길이, 두께, 및 손가락의 길이를 계산하고, 상기 계산된 손바닥의 너비, 길이, 두께, 및 손가락의 길이로부터 상기 손가락의 너비와 두께를 추정하여 상기 가상 핸드로 모델링된 것임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 장치.
  12. 제7항에 있어서,
    상기 추정되는 손가락의 움직임은 상기 손가락 원점의 요(yaw), 상기 손가락 관절의 피치(pitch)임을 특징으로 하는 가상 또는 증강 현실에서의 객체 조작 장치.


KR1020190026246A 2019-03-07 2019-03-07 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치 KR102269414B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190026246A KR102269414B1 (ko) 2019-03-07 2019-03-07 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치
US16/810,904 US20200286302A1 (en) 2019-03-07 2020-03-06 Method And Apparatus For Manipulating Object In Virtual Or Augmented Reality Based On Hand Motion Capture Apparatus
CN202010152722.4A CN111665933A (zh) 2019-03-07 2020-03-06 虚拟或者增强现实中的对象操作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190026246A KR102269414B1 (ko) 2019-03-07 2019-03-07 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200107311A KR20200107311A (ko) 2020-09-16
KR102269414B1 true KR102269414B1 (ko) 2021-06-24

Family

ID=72336488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190026246A KR102269414B1 (ko) 2019-03-07 2019-03-07 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치

Country Status (3)

Country Link
US (1) US20200286302A1 (ko)
KR (1) KR102269414B1 (ko)
CN (1) CN111665933A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174444A (ko) 2022-06-21 2023-12-28 주식회사 하이쓰리디 비대면 장비 교육 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7198356B2 (ja) * 2019-07-01 2022-12-28 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
CN112379771A (zh) * 2020-10-10 2021-02-19 杭州翔毅科技有限公司 基于虚拟现实的实时交互方法、装置、设备及存储介质
US11495003B1 (en) * 2020-11-30 2022-11-08 A9.Com, Inc. Placing and manipulating multiple three-dimensional (3D) models using mobile augmented reality
KR102540560B1 (ko) 2020-12-03 2023-06-12 숭실대학교 산학협력단 랜덤 포레스트를 사용한 손 자세의 계층적 추정 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113608619A (zh) * 2021-08-12 2021-11-05 青岛小鸟看看科技有限公司 增强现实中的裸手操作方法、系统
CN113490063B (zh) * 2021-08-26 2023-06-23 上海盛付通电子支付服务有限公司 一种用于直播互动的方法、设备、介质及程序产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639066B1 (ko) * 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101578345B1 (ko) * 2014-09-03 2015-12-17 재단법인 실감교류인체감응솔루션연구단 역감을 재생하는 장치
WO2016074087A2 (en) * 2014-11-11 2016-05-19 Helio Technology Inc. A method of detecting user input in a 3d space and a 3d input system employing same
US20180335842A1 (en) * 2017-05-19 2018-11-22 Axonvr Corporation Haptic feedback glove
KR101971882B1 (ko) * 2017-08-18 2019-04-24 재단법인 실감교류인체감응솔루션연구단 3차원 자기 센서 기반의 손가락 모션 캡쳐 인터페이스 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639066B1 (ko) * 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230174444A (ko) 2022-06-21 2023-12-28 주식회사 하이쓰리디 비대면 장비 교육 시스템

Also Published As

Publication number Publication date
KR20200107311A (ko) 2020-09-16
CN111665933A (zh) 2020-09-15
US20200286302A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
KR102269414B1 (ko) 핸드 모션 캡쳐 장치를 기반으로 가상/증강 현실에서의 객체 조작 방법 및 장치
Wang et al. Real-virtual components interaction for assembly simulation and planning
Frati et al. Using Kinect for hand tracking and rendering in wearable haptics
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
US9342230B2 (en) Natural user interface scrolling and targeting
Liang et al. Ar in hand: Egocentric palm pose tracking and gesture recognition for augmented reality applications
Datcu et al. Free-hands interaction in augmented reality
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
US20140015831A1 (en) Apparatus and method for processing manipulation of 3d virtual object
Lin et al. Design of hand gestures for manipulating objects in virtual reality
Ahmad et al. Hand pose estimation and tracking in real and virtual interaction: A review
Cui et al. Mid-air interaction with optical tracking for 3D modeling
Chun et al. A combination of static and stroke gesture with speech for multimodal interaction in a virtual environment
Cui et al. Mid-air gestures for virtual modeling with leap motion
Estévez-García et al. Open data motion capture: MOCAP-ULL database
WO2020084842A1 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
Baytaş et al. LabDesignAR: configuring multi-camera motion capture systems in augmented reality
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
Schlattmann et al. Markerless 4 gestures 6 DOF real‐time visual tracking of the human hand with automatic initialization
Hoshino Hand gesture interface for entertainment games
KR102157246B1 (ko) 실제 손에 대응하는 가상 손 모델링 방법 및 이를 위한 장치
Figueiredo et al. Bare hand natural interaction with augmented objects
CN113176822A (zh) 虚拟用户检测
Juanes et al. Practical applications of movement control technology in the acquisition of clinical skills
Humberston et al. Hands on: interactive animation of precision manipulation and contact

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant