KR101961221B1 - 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 - Google Patents

가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 Download PDF

Info

Publication number
KR101961221B1
KR101961221B1 KR1020170119703A KR20170119703A KR101961221B1 KR 101961221 B1 KR101961221 B1 KR 101961221B1 KR 1020170119703 A KR1020170119703 A KR 1020170119703A KR 20170119703 A KR20170119703 A KR 20170119703A KR 101961221 B1 KR101961221 B1 KR 101961221B1
Authority
KR
South Korea
Prior art keywords
virtual
virtual model
model
objects
control device
Prior art date
Application number
KR1020170119703A
Other languages
English (en)
Inventor
김준식
박정민
유범재
Original Assignee
한국과학기술연구원
재단법인 실감교류인체감응솔루션연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 재단법인 실감교류인체감응솔루션연구단 filed Critical 한국과학기술연구원
Priority to KR1020170119703A priority Critical patent/KR101961221B1/ko
Priority to US16/129,652 priority patent/US20190087011A1/en
Application granted granted Critical
Publication of KR101961221B1 publication Critical patent/KR101961221B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 공간에 형성된 가상 모델을 제어하는 가상 모델 제어 시스템은 가상 모델의 형성, 이동 또는 변형을 위한 입력 정보를 제공하는 입력 장치; 상기 입력 정보에 기초하여 제1 가상 모델 및 상기 가상 공간에서 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 형성 및 제어하는 제어 장치; 및 상기 제1 가상 모델 및 상기 제2 가상 모델을 출력하는 출력 장치를 포함하되, 상기 제1 가상 모델은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 구조이고, 상기 제어 장치는 상기 복수의 가상 물체들을 개별적으로 형성 및 제어하되, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 따라 상기 제1 가상 모델이 이동 또는 변형되는 경우, 상기 복수의 가상 물체들의 자유도를 최소화할 수 있는 보정 위치를 산출하며, 상기 최적화 결과에 기초하여 상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정한다.

Description

가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템{METHOD AND SYSTEM FOR CONTROLLING VIRTUAL MODEL FORMED IN VIRTUAL SPACE}
본 발명은 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템에 관한 것으로, 구체적으로 상호 구속된 가상의 두 물체를 가상 공간에서 양 손으로 제어하는 방법 및 시스템에 관한 것이다.
최근 가상 공간상의 인터페이스에 대한 연구가 활발히 진행되고 있다. 그 중에서도 신체 동작을 입력 수단으로 사용하는 NUI(Natural User Interface)에 대한 기술들이 다수 개발되고 있다. 신체의 각 부위는 높은 자유도를 가지고 있다. 가상 공간에서도 신체 부위의 움직임을 이용하여 자유롭게 물체를 조작하는 것을 구현할 필요성이 있다. 또한, 입력된 손 형상을 가상의 모델에 대응시켜 조작에 활용하는 방법이 필요하다. 그러나, 많은 경우 미리 정해진 제스쳐, 미리 정해진 형상의 가상물체를 인식하고 조작하는데 그치고 있다. 이는 손의 복잡도로 인하여, 빠르고 안정적으로 실시간 모델링하는 것이 어렵기 때문이다.
이와 관련하여, 최근 신체의 세부적인 동작을 감지하고 이를 가상 공간상의 가상 모델로써 반영하는 인터페이스 방식에 대한 연구가 진행되었다. 이러한 인터페이스는 대체로 센서 장치를 해당 신체 부위에 직접 착용하여 동작을 감지하는 방식과, RGBD와 같은 영상 센서를 통해 감지하는 방식으로 구현된다.
한편, 사용자의 손의 움직임을 감지하고, 감지한 움직임을 바탕으로 가상 공간상에 구현된 가상 물체의 외형을 변화시키는 방식에 대한 기술도 함께 개발되고 있다. 다만, 힌지(hinge), 슬라이드(slide) 등의 결합 수단을 통해 상호간의 자세가 한정적인 두 가상 물체를 현실에서와 동일한 방법으로 사용자의 손을 이용해서 조작하여 외형을 변형하는 경우, 두 가상 물체간의 자유도가 필요 이상으로 높게 설정되어 있어 두 가상 물체간에 불필요한 외력이 발생하여 두 가상 물체의 위치가 불안정해지는 문제점이 발생하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로 상호 구속된 가상의 두 물체를 가상 공간에서 안정적으로 양 손으로 제어하는 방법 및 시스템을 제공한다.
본 명세서의 일 실시예에 따른 가상 모델 제어 시스템은 가상 공간에 형성된 가상 모델을 제어하는 가상 모델 제어 시스템으로서, 가상 모델의 형성, 이동 또는 변형을 위한 입력 정보를 제공하는 입력 장치; 상기 입력 정보에 기초하여 제1 가상 모델 및 상기 가상 공간에서 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 형성 및 제어하는 제어 장치; 및 상기 제1 가상 모델 및 상기 제2 가상 모델을 출력하는 출력 장치를 포함하되, 상기 제1 가상 모델은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 구조이고, 상기 제어 장치는 상기 복수의 가상 물체들을 개별적으로 형성 및 제어하되, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 따라 상기 제1 가상 모델이 이동 또는 변형되는 경우, 상기 복수의 가상 물체들의 자유도를 최소화할 수 있는 보정 위치를 산출하며, 상기 최적화 결과에 기초하여 상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정한다.
일 실시예에서, 상기 보정 위치는 상기 복수의 가상 물체의 상호 결합이 계속 유지되는 위치로, 상기 결합 수단의 파라미터를 최적화하여 결정될 수 있다.
일 실시예에서, 상기 제1 가상 모델은 두 가상 물체가 힌지에 의해 결합된 구조이고, 상기 제어 장치는 상기 두 가상 물체가 형성하는 사이각(θ)을 근사화하여 상기 파라미터를 최적화할 수 있다.
일 실시예에서, 상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고, 상기 제어 장치는 상기 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정할 수 있다.
일 실시예에서, 상기 제어 장치는 상기 재배치된 물리 입자 위치 및 복수의 가상 물체의 초기 위치를 계산하고, 상기 계산된 복수의 가상 물체의 초기 위치를 상기 보정 위치로 조정할 수 있다.
일 실시예에서, 상기 제어 장치는 상기 제1 가상 모델의 보정 위치에 따라 상기 고정된 상호 변환을 재설정할 수 있다.
일 실시예에서, 상기 제2 가상 모델은 가상 손 모델이며, 상기 입력 장치는 손 인식 장치일 수 있다.
본 명세서의 일 실시예에 따른 가상 모델의 제어 방법은 가상 공간에 형성된 복수의 가상 물체들이 결합 수단에 의해 결합된 구조인 제1 가상 모델 및 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 포함하는 가상 모델의 제어 방법으로서, 상기 복수의 가상 물체들을 각각 형성 및 결합하여 상기 제1 가상 모델을 형성하고, 상기 제2 가상 모델을 형성하는 단계; 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계; 상기 복수의 가상 물체의 자유도를 최소화하기 위한 보정 위치를 산출하는 단계; 및 상기 최적화 결과에 기초하여 상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하는 단계를 포함한다.
일 실시예에서, 상기 보정 위치는 상기 복수의 가상 물체의 상호 결합이 계속 유지되는 위치로, 상기 결합 수단의 파라미터를 최적화하여 결정될 수 있다.
일 실시예에서, 상기 제1 가상 모델은 두 가상 물체가 힌지에 의해 결합된 구조이고, 상기 파라미터는 상기 두 가상 물체가 형성하는 사이각을 근사화하여 최적화될 수 있다.
일 실시예에서, 상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계는 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계는, 상기 재배치된 물리 입자 현재 위치 및 복수의 가상 물체의 초기 위치를 계산하는 단계를 포함하고, 상기 제1 가상 모델의 위치를 보정하는 단계는 상기 계산된 복수의 가상 물체의 초기 위치를 상기 보정 위치로 조정하는 단계일 수 있다.
일 실시예에서, 상기 제1 가상 모델의 위치를 보정하는 단계 이후, 상기 제1 가상 모델의 보정 위치에 따라 상기 고정된 상호 변환을 재설정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 제2 가상 모델은 가상 손 모델이며, 상기 제2 가상 모델은 손 인식 장치에서 인식하여 전달된 실제 손의 골격의 움직임 정보에 대응하여 형성될 수 있다.
본 발명의 일 실시예에 따른 가상 모델 제어 시스템 및 방법은 상호 결합된 가상의 두 물체를 독립적으로 제어하여 구현의 정확도를 높이면서, 이동시 상호 결합된 각각의 물체에 대한 위치 보정을 수행하는 바, 상호 결합된 가상의 두 물체를 보다 정확하게 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 가상 모델 제어 시스템의 개략적인 구성도이다.
도 2는 도 1의 가상 모델 제어 시스템에 의해 구현된 가상 손을 도시한 것이다.
도 3 및 도 4는 도 1의 가상 모델 제어 시스템의 출력 장치에 구현된 가상 공간 및 가상 모델을 도시한다.
도 5는 도 4의 제1 가상 모델의 위치 변화를 개략적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 가상 모델 제어 방법의 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상 모델 제어 시스템의 개략적인 구성도이다. 도 2는 도 1의 가상 모델 제어 시스템에 의해 구현된 가상 손을 도시한 것이고, 도 3 및 도 4는 도 1의 가상 모델 제어 시스템의 출력 장치에 구현된 가상 공간 및 가상 모델을 도시하며, 도 5는 도 4의 제1 가상 모델의 위치 변화를 개략적으로 도시한 것이다.
도 1 내지 도 5를 참조하면, 본 발명의 일 실시예에 따른 가상 모델 제어 시스템(10)은 입력 장치(110), 제어 장치(120), 출력 장치(130)를 포함한다. 실시예들에 따른 가상 모델 제어 시스템 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 가상 모델 제어 시스템의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 입력 장치(110)는, 대상물을 인식하기 위한 하드웨어 및 이를 제어하여 입력 정보를 생성하기 위한 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.
본 발명의 일 실시예에 따른 가상 모델 제어 시스템(10)은 가상 공간상에서 물리적인 운동을 하면서 서로 접촉하게 되는 가상 모델 간의 물리적인 상호 작용을 구현한다. 본 명세서에서 설명되는 "가상 모델"은 가상 공간 상에서 소정의 물리량을 가지며 존재하는 임의의 사물이나 신체 등을 지칭한다.
본 실시예에서, 제1 가상 모델(30)는 가상 공간상에서 특정 물체일 수 있고, 제2 가상 모델(20)은 제1 가상 모델(30)의 가상 공간상에서 이동 또는 변형에 관여할 수 있다. 제2 가상 모델(20)은 실제 손(40)의 형상 또는 위치를 인식하여 생성된 가상 손(20)일 수 있으나, 이에 한정되는 것은 아니다. 각각의 가상 모델(20, 30)은 가상 공간상에서 실제 손 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 유추될 수 있다. 다만, 제1, 제2 가상 모델(20, 30)들은 이해의 편의를 위해 예시적으로 사용된 것이며, 그밖에 다양한 사물이나 신체 부위 등이 가상 모델로써 구현될 수 있다.
입력 장치(110)는 가상 공간상에 제1, 제2 가상 모델(20, 30)을 형성하기 위한 입력 정보를 제어 장치(120)에 제공할 수 있다. 입력 장치(110)는 제1, 제2 가상 모델(20, 30)에 대한 입력 정보로써 위치, 형상, 크기, 질량, 속도, 가해지는 힘의 크기와 방향, 마찰계수, 탄성계수 등의 물리량을 제공할 수 있다. 또한, 입력 장치(110)는 제1, 제2 가상 모델(20, 30)을 이동시키거나 변형시키기 위하여 위치의 변화, 형상의 변화, 속도의 변화 등과 같은 물리량의 변화량을 제공할 수도 있다.
입력 장치(110)는 실제 손(40)의 형상 또는 위치 등을 인식할 수 있는 손 인식 장치일 수 있다. 일 예로써, 이러한 입력 장치(110)로는 립 모션(Leap Motion) 센서가 사용될 수 있다. 그밖에 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서들이 입력 장치(110)로서 사용될 수 있다.
입력 장치(110)는 가상 손(20)을 형성하는데 필요한 입력 정보를 제공한다. 본 실시예에서, 입력 장치(110)는 실제 손(40)의 형상을 인식하고 이를 기초로 하여 실제 손(40)에서의 골격(21) 배치를 유추할 수 있다. 이로써, 입력 장치(110)는 가상 손(20)의 골격(21)을 형성하기 위한 입력 정보를 제공할 수 있다. 예를 들어, 실제 손(40)이 오므려져 있는 경우, 입력 장치(110)는 감지된 형상을 토대로 각각의 손가락 마디를 이루는 뼈와 관절의 위치를 유추하고, 이로써 가상 손(20) 또한 오므려진 형태를 가지도록 가상 손(20)의 골격(21)을 형성하기 위한 입력 정보를 제공할 수 있다. 그밖에 가상 손(20)의 구현에 필요한 마찰 계수, 질량 등은 미리 설정된 값으로 제공될 수도 있다.
또한, 입력 장치(110)는 실제 손(40)의 형상과 위치의 변화를 감지하고 이를 기초로 하여 가상 손(20)을 이동시키거나 변형시키는데 필요한 입력 정보를 제공할 수 있다. 이때, 가상 손(20)을 이루는 뼈와 관절의 연결 및 관절에서의 자유도가 미리 설정되는 경우, 입력 장치(110)는 실제 손(40)에서 각각의 뼈가 배치되는 각도 및 관절의 위치만을 인식함으로써 보다 간략한 형태로 입력 정보를 제공할 수 있다. 도 2는 하나의 가상 손(20)만을 도시하고 있으나, 이에 한정되는 것은 아니며 사용자의 양손에 관한 정보를 모두 입력 받아 양 손 모두 가상으로 구현할 수도 있다.
한편, 입력 장치(110)는 상술한 바와 같이 별도의 센서를 통해 실제 공간상의 움직임을 인식함으로써 입력 정보를 제공할 수도 있으나, 단순하게 형상, 위치 등의 물리량을 직접 설정함으로써 입력 정보를 제공할 수도 있다.
제어 장치(120)는 입력 장치(110)로부터 받는 입력 정보에 기초하여 제1, 제2 가상 모델(20, 30)을 가상 공간상에 형성한다. 가상 공간은 자체적인 형상과 크기를 가지며, 실제의 물리법칙이 동일하게 적용되는 3차원 공간으로 형성될 수 있다. 제어 장치(120)는 이러한 가상 공간상에 가상 모델을 형성한다.
여기서, 도 2에 도시된 바와 같이 가상 손(20)은 외형을 이루는 경계 표면(22)과 그 내부에 배치되는 골격(21)으로 이루어질 수 있다. 가상 손(20)의 경계 표면(22)은 골격(21)으로부터 소정 거리만큼 이격되어 가상 손(20)의 외형을 이룬다. 제어 장치(120)는 가상 손(20)이 뼈와 관절로 이루어지는 골격(21)과, 이로부터 외측으로 미리 설정된 거리만큼 이격되어 배치되며 손의 형상을 이루는 경계 표면(22)으로 이루어지도록 가상 손(20)을 형성할 수 있다. 다만 이에 한정되는 것은 아니며, 가상 손(20)은 가상 물체(30)와 같이 내부에 골격(21)을 포함하지 않고 경계 표면만으로 이루어질 수도 있다.
제어 장치(120)는 입력 장치(110)로부터 이동 또는 변형에 관한 입력 정보가 수신되면, 이를 바탕으로 가상 손 (20)을 이동시키거나 변형시킨다. 이때, 제어 장치(120)는 가상 손(20)의 경계 표면(22)의 각 부분을 개별적으로 제어하여 이동시키거나 변형시킬 수도 있으나, 제어를 위한 계산량을 줄일 수 있는 점에서 상대적으로 단순한 구조인 골격(21)을 먼저 이동시키거나 변형시킨 후, 골격(21)의 움직임에 따라 경계 표면(22)을 이동시키는 것이 바람직하다.
제어 장치(120)는 가상 손(20)에 복수의 물리 입자(23)를 형성하고, 그에 대한 접촉점 정보를 형성한다. 복수의 물리 입자(23)는 임의의 형상을 가지는 작은 크기의 입자이며, 가상 손(20)의 경계 표면(22)상에 분산되어 배치된다. 가상 손(20)의 경계 표면(22)을 이루는 모든 영역을 직접 이동시키거나 변형시킬 경우 제어를 위한 계산량이 너무 많아지게 되므로, 경계 표면(22)상의 일부 위치에 복수의 물리 입자(23)를 형성하여 단순화된 구조로써 간접적으로 가상 손(20)을 제어하는 것이 가능하다.
이러한 복수의 물리 입자(23)는 다양한 물리량을 가질 수 있다. 복수의 물리 입자(23)는 위치, 형상, 크기, 질량, 속도, 작용하는 힘의 크기와 방향, 마찰계수 또는 탄성계수를 가질 수 있다. 복수의 물리 입자(23)는 단위 크기의 구형 입자로 형성될 수 있다.
제어 장치(120)는 복수의 물리 입자(23)의 위치를 변경시킬 수 있다. 제어 장치(120)는 가상 손(20)이 이동되거나 변형됨에 따라 복수의 물리 입자(23)를 재배치할 수 있다. 즉, 제어 장치(120)는, 가상 손(20)의 이동 또는 변형에 따른 경계 표면(22)의 변경된 위치를 추적하여 복수의 물리 입자(23)를 재배치할 수 있다. 다만, 이에 한정되는 것은 아니며, 제어 장치(120)는 복수의 물리 입자(23)의 위치에 경계 표면(22)이 위치하도록 가상 손(20)을 변형시킬 수도 있다. 즉, 제어 장치(120)는 복수의 물리 입자(23)를 먼저 이동시키고, 이에 기초하여 복수의 물리 입자(23)가 배치되는 경계 표면(22)의 부분을 이동시킴으로써 가상 손(20)의 이동 또는 변형을 구현할 수 있다.
출력 장치(130)는 제어 장치(120)에 의해 형성된 가상 손(20)과 가상 물체(30)를 외부에 출력한다. 출력 장치(130)는 사용자로 하여금 공간감을 느낄 수 있게 하는 3차원 디스플레이 장치일 수 있으나, 이에 한정되는 것은 아니다. 출력 장치(130)는 입력 장치(110)와의 정합을 통하여 실제 공간에서의 움직임을 가상 공간상에 더욱 현실적으로 구현할 수 있다. 예를 들면, 입력 장치(110)를 통해 인식하는 실제 공간상의 위치 정보와 출력 장치(130)를 통해 출력되는 가상 공간상의 위치 정보를 대응시킴으로써 사용자의 움직임을 가상 공간상에 구현할 수 있다.
도 3 및 도 4에 도시된 바와 같이, 출력 장치(130)는 구현된 가상 공간 및 가상 공간 상에 구현된 제1, 제2 가상 모델(20, 30)을 출력할 수 있다.
제1 가상 모델(30)은 생성시 물리량이 설정될 수 있다. 가상 모델들은 각각의 형상을 가지고 각각의 자리에 배치된다. 또한, 가상 모델들은 가상 손(20)과 같이 경계 표면이 변형될 수 있도록 형성되거나, 그밖에 필요한 물리량을 직접 설정하거나 입력장치(110)로부터 받은 입력정보에 기초하여 설정할 수 있다.
여기서, 제1 가상 모델(30)은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 상태일 수 있다. 본 실시 예에서 제1 가상 모델(30)은 결합 수단에 의해 결합된 두 가상 물체인 제1 가상 물체(30a)와 제2 가상 물체(30b)로 형성될 수 있다. 제1 가상 물체(30a)와 제2 가상 물체(30b)는 힌지에 의해 결합된 구조일 수 있고, 힌지를 통해 열고 닫히는 상자 함 형상일 수 있다. 다만, 이에 한정되는 것은 아니며 두 가상 물체는 슬라이드 이동만이 가능하도록 상호 구속된 상태일 수도 있으며, 다른 구속 수단을 매개로 복수의 가상 물체들이 결합된 상태라면 모두 적용될 수 있다.
상호 구속되기 전 제1 가상 물체(30a)와 제2 가상 물체(30b)는 각각 6 자유도(X축 방향으로의 이동, Y축 방향으로의 이동, Z축 방향으로의 이동, X축에 대한 회전, Y축에 대한 회전, Z축에 대한 회전)를 가질 수 있다. 다만, 제1 가상 물체(30a)와 제2 가상 물체(30b)는 결합 수단을 매개로 결합됨에 따라 제1 가상 물체(30a)의 6 자유도에 제2 가상 물체(30b)은 종속될 수 있다. 그리고 제1 가상 물체(30a)와 제2 가상 물체(30b)간의 위치 관계도 또한 힌지를 기준점을 발생하는 사이각(θ)으로 제한될 수 있다. 즉, 제1 가상 물체(30a)는 6 자유도를 가지고, 제2 가상 물체(30b)는 제1 가상 물체(30a)에 종속되어 1 자유도(사이각(θ)의 크기가 변화되는 회전 이동)를 가질 수 있다.
본 실시예에서 구현되는 제1 가상 모델(30)은 6 자유도를 가지는 일반적인 가상 물체와 달리 7 자유도를 가지는 바, 그 형상의 변화가 보다 다양할 수 있다. 따라서, 제1 가상 모델(30)을 하나의 물체로 구현하는 것은 제어를 위한 계산량이 너무 많아지게 되어 실시간 인터페이스로의 적용이 어려울 수 있으며, 구현의 정확도가 낮아질 수 있다.
제어 장치(120)는 복수의 가상 물체들을 개별적으로 형성 및 제어할 수 있다. 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)를 독립적으로 구현한 뒤, 이들의 위치 관계를 조정하여 전체적인 제1 가상 모델(30)을 구현할 수 있다.
가상 공간상에서 제1 가상 물체(30a)와 제2 가상 물체(30b)은 이동은 제2 가상 모델(20)에 의해 수행될 수 있다. 제2 가상 모델(20)은 전술한 바와 같이, 가상 손(20)일 수 있으며 가상 공간에는 가상 오른손(20a), 가상 왼손(20b)이 각각 구현될 수 있다.
도 4에 도시된 바와 같이, 가상 왼손(20b)은 제2 가상 물체(30b)를 파지하고, 가상 오른손(20a)은 제1 가상 물체(30a)를 잡을 수 있다. 가상 오른손(20a)의 움직임에 대응하여 제1 가상 물체(30a)와 제2 가상 물체(30b)는 힌지를 기준으로 사이각(θ)이 변화되는 움직임을 가질 수 있으며, 상자함의 개폐가 가능할 수 있다. 또한, 손가락 조작으로 인한 제1 가상 물체(30a)와 제2 가상 물체(30b)의 위치 변화도 가능할 수 있다. 그리고, 가상 물체(30)를 가상 왼손(20b)에서 가상 오른손(20a)으로 전달하는 동작도 가능할 수 있다.
다만, 제1 가상 물체(30a)와 제2 가상 물체(30b)는 물리량을 가진 물체로 각각 독립적으로 구현되는 바, 이들이 이동되는 경우 이동에 대한 추가적인 위치 보정이 필요하다. 제1 가상 물체(30a)와 제2 가상 물체(30b)는 독자적인 자유도를 가지는 단일 가상 물체에 해당하나 결합 수단에 의해 상호 구속되어 있는 바, 상호 구속 상태를 유지하면서 전체적으로 이동되기 위해서는 이들의 자유도를 감소시키는 최적화가 필요하다. 즉, 결합 수단으로 결합되기 전, 각각 6 자유도를 가지는 제1 가상 물체(30a)와 제2 가상 물체(30b)가 하나의 물체로써 7 자유도를 가지도록 자유도를 최소화하는 최적화가 필요하다.
예시적으로, 제1 가상 물체(30a)와 가상 손(20)이 접하여 이동되는 경우, 제1 가상 물체(30a)와 제2 가상 물체(30b)는 결합된 상태를 유지하려 하는 힘이 반대방향으로 작용하여 제1 가상 물체(30a)와 제2 가상 물체(30b)의 배치 위치가 불안정해질 수 있다. 또한, 힌지를 통해 사이각(θ)이 커지거나 작아지는 회전 운동의 경우, 제1 가상 물체(30a)와 제2 가상 물체(30b)는 힌지 결합 상태를 지속적으로 유지할 수 있어야 한다. 본 실시예에 따른 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 위치가 변화되는 경우, 가상 물체들의 자유도를 줄이는 비선형 최적화를 수행할 수 있으며, 최적화 결과에 의해 제1 가상 물체(30a)와 제2 가상 물체(30b)의 위치는 조정될 수 있다. 그리고, 이러한 가상 물체(30)의 이동은 상술한 바와 같이 가상 손(20)과의 접촉을 전제로 수행되는 것으로 가상 손(20)과의 접촉 시점부터 상술한 보정이 필요할 수 있다. 이하, 제어 장치(120)에서 수행되는 보정 과정에 대해 보다 상세히 설명하도록 한다.
제어 장치(120)는 가상 공간에서 가상 물체(30)와 가상 손(20)의 접촉을 감지할 수 있다. 제어 장치(120)는 가상 물체(30)와 가상 손(20)의 접촉이 감지된 경우, 이들의 접촉 정보를 수집할 수 있다. 상기 접촉은 제2 가상 물체(30b)를 가상 왼손(20b)이 파지하고, 제1 가상 물체(30a)를 가상 오른손(20a)이 쥐는 형태일 수 있으나, 이에 한정되는 것은 아니다.
제어 장치(120)는 가상 손(20)이 이동 또는 변형됨에 따라 그 일부가 가상 물체(30) 내부로 침투하였는지를 확인할 수 있다. 복수의 물리 입자(23) 중 일부 물리 입자(23)가 가상 물체(30) 내부에 위치하는지 확인함으로써, 침투한 물리 입자(23)가 배치되는 경계 표면(22)이 가상 물체(30) 내에 침투하였는지를 알 수 있다.
제어 장치(120)는 가상 손(20)의 일부가 가상 물체(30)의 내부로 침투한 경우, 가상 손(20)과 가상 물체(30) 간의 물리적인 상호작용을 구현할 수 있다. 즉, 가상 손(20)은 가상 물체(30)의 이동 또는 변형에 관여할 수 있다. 물리적인 상호작용을 구현하기 위하여, 침투된 부분의 재배치가 이루어질 수 있다.
제어 장치(120)는 침투한 물리 입자(23)를 가상 물체(30)의 외측에 재배치할 수 있다. 또한, 제어 장치(120)는 재배치된 물리 입자(23)에 맞게 경계 표면(22)을 이동시키거나 변형시킬 수 있다. 한편, 재배치 시, 침투한 물리 입자(23)를 침투된 가상 물체(30)의 표면에 접하도록 배치할 수 있다. 또한, 침투한 물리 입자(23)를 가상 물체(30)의 경계 표면에 대하여 수직한 방향으로 옮길 수 있다.
제어 장치(120)는 재배치된 물리 입자(23)와 가상 손(20)의 경계 표면(22)이 일치하도록 가상 손(20)의 경계 표면(22)을 변형시킬 수 있다. 이때, 재배치되는 물리 입자(23)로 인해 물리 입자(23) 간의 간격이 과도하게 좁아지는 것을 고려하여, 이미 가상 물체(30)의 외부에 위치하던 가상 손(20)의 경계 표면(22)과 물리 입자(23)를 보다 외측으로 이동시킬 수도 있다. 이로써, 실제 손으로 물체를 잡을 때 변형되는 손의 형상을 구현하는 것이 가능하다. 재배치 과정 이후, 가상 손(20)과 접촉된 가상 물체(30)간의 상호 변환은 고정될 수 있다. 가상 손(20)과 가상 물체(30)는 상호 변환이 고정시킨 상태로서 가상 손(20)이 움직이면 파지된 가상 물체(30)가 같이 움직일 수 있게 된다.
또한, 제어 장치(120)는 한편, 침투한 물리 입자(23)를 재배치한 후에, 가상 손(20)의 계속되는 이동 또는 변환에 따라 다른 물리 입자(23)들이 추가적으로 가상 물체(30)의 내부로 침투할 수 있다. 이러한 경우, 제어 장치(120)는 추가적으로 침투한 물리 입자(23)들을 다시 재배치시킬 수도 있다.
제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b) 각각의 접촉 정보를 수집할 수 있다. 제어 장치 재배치된 물리 입자(23)의 위치에 기초하여 각각의 접촉 정보를 수집할 수 있으며, 이를 활용하여 가상 물체(30)의 현재 위치를 계산할 수 있다. 제2 가상 물체(30b)와 제1 가상 물체(30a)는 물리량을 가진 가상 물체로 서로 이격된 상태일 수 있으며, 제어 장치(120)는 제2 가상 물체(30b)와 제1 가상 물체(30a)의 초기 위치를 각각 계산할 수 있다.
제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 자유도를 제한하는 최적화를 수행할 수 있다. 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 결합 상태가 계속 유지되는 보정 위치를 산출할 수 있다. 구체적으로, 제어 장치(120)는 상호 결합 수단의 파리미터를 최적화하여 제1 가상 물체(30a)와 제2 가상 물체(30b)의 보정 위치를 산출할 수 있다.
제1 가상 물체(30a)와 제2 가상 물체(30b)가 하나의 꼭지점에서 연결된 상호 구속된 상태에서, 제1 가상 물체(30a)와 제2 가상 물체(30b)의 상대적인 위치는 이들이 형성하는 사이각(θ)에 의해 결정될 수 있다. 따라서, 제어 장치(120)는 상기 사이각(θ)을 근사화하는 알고리즘을 통해 제1 가상 물체(30a)와 제2 가상 물체(30b)의 위치 보정을 수행할 수 있다. 도 5에 도시된 바와 같이, 제어 장치(120)는 제2 가상 물체(30b)와 제1 가상 물체(30a) 중 적어도 하나를 초기 위치에서 보정 위치로 보정할 수 있다. 제1 가상 물체(30a)와 제2 가상 물체(30b)이 형성하는 사이각(θ)의 근사화는 하기 수학식 1과 같이 정의될 수 있다.
[수학식 1]
Figure 112017090705373-pat00001
여기서, Pi는 초기 위치에서 꼭지점, i는 Pi의 위치(index), P'i는 R(θ) 및 t(θ)에 의해 결정되는 보정 위치에서 꼭지점을 말하며, R(θ) 및 t(θ)는 주어진 상호 구속 관계에 의해 산출된다.
예시적으로, 힌지 축이 제1 가상 물체 좌표의 x 축에 해당하고, 피벗 점이 제2 가상 물체 좌표에서 p2이고, 제1 가상 물체 좌표에서 pg에 해당할 때, R(θ) 및 t(θ)는 하기 수학식 2와 같이 정의될 수 있다.
[수학식 2]
Figure 112017090705373-pat00002
제어 장치(120)는 상기 [수학식 1]의 해를 도출함에 하여 보정 위치를 산출할 수 있다. 상기 [수학식 1]은 비선형 방정식으로 Levenberg-Marquardt 방법과 같은 함수 최적화 방법 등으로 결과값을 도출할 수 있다. 제어 장치(120)는 산출된 보정 위치에 따라 제2 가상 물체(30b)와 제1 가상 물체(30a) 중 적어도 하나의 위치 보정을 수행할 수 있다. 예시적으로 제1 가상 물체(30a)만 초기 위치에서 보정 위치로 위치 보정이 수행될 수 있으나, 이에 한정되는 것은 아니며, 몇몇 실시예에서 제1 가상 물체(30a) 및 제2 가상 물체(30b) 모두 초기 위치에서 보정 위치로의 위치 보정이 수행될 수 있다.
그리고, 제1 가상 물체(30a) 또는 제2 가상 물체(30b)의 위치 보정에 따라 가상 손(20)과 가상 물체(30)가 접촉된 위치의 변화가 발생할 수 있다. 따라서, 제어 장치(120)는 가상 물체(30)의 위치 보정에 대응하여 가상 손(20)과 가상 물체(30) 사이에 고정된 상호 변환을 재설정할 수 있다. 제어 장치(120)는 현재 가상 물체(30) 위치와 가상 손(20)의 위치에 정합하여 상호변환을 고정할 수 있다.
출력 장치(130)는 보정된 가상 물체(30)와 가상 손(20)을 출력할 수 있으며, 상술한 보정 과정은 가상 손(20)에 의해 가상 물체(30)의 이동, 특히 상호 구속 수단에 의한 위치 이동이 발생하는 동안 계속하여 수행될 수 있다.
본 발명의 일 실시예에 따른 가상 모델 제어 시스템은 상호 결합된 가상의 두 물체를 독립적으로 제어하여 구현의 정확도를 높이면서, 이동시 상호 결합이 유지될 수 있도록 물체에 대한 위치 보정을 수행하는 바, 상호 결합된 가상의 두 물체를 보다 정확하게 제어할 수 있다.
이하, 본 발명의 일 실시예에 따른 가상 모델 제어 방법에 대해 설명하도록 한다. 도 6은 본 발명의 일 실시예에 따른 가상 모델 제어 방법의 순서도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 가상 모델 제어 방법은 가상 공간에 형성된 가상 모델의 제어 방법으로, 제1 가상 모델 및 제2 가상 모델 형성 단계(S100), 제1 가상 모델과 제2 가상 모델 접촉 판단 단계(S110), 복수의 가상 물체의 자유도 최소화를 위한 보정 위치 산출 단계(S120), 제1 가상 모델 위치 보정 단계(S130)를 포함한다.
여기서, 상술한 각 단계를 수행하는 가상 모델 제어 시스템은 상술한 도 1의 가상 모델 제어 시스템(10)일 수 있으며, 이에 대한 구체적인 설명은 생략하도록 한다. 또한, 본 실시예의 설명을 위해 도 1 내지 도 5이 참조될 수 있다.
먼저, 제1 가상 모델 및 제2 가상 모델 형성한다(S100).
가상 모델 제어 시스템(10)은 입력 장치(110), 제어 장치(120), 출력 장치(130)를 포함한다.
제1 가상 모델(30)는 가상 공간상에서 특정 물체일 수 있고, 제2 가상 모델(20)은 제1 가상 모델(30)의 가상 공간상에서 이동 또는 변형에 관여할 수 있다. 제2 가상 모델(20)은 실제 손(40)의 형상 또는 위치를 인식하여 생성된 가상 손(20)일 수 있으나, 이에 한정되는 것은 아니다. 각각의 가상 모델(20, 30)은 가상 공간상에서 실제 손 또는 실제 물체와 근사하게 물리적인 운동을 수행하도록 유추될 수 있다.
제1, 제2 가상 모델(20, 30)을 형성하기 위한 입력 정보는 입력 장치(110)에 의해 생성될 수 있고, 이러한 입력 정보는 제어 장치(120)에 제공될 수 있다. 입력 장치(110)는 가상 손(20)을 형성하는데 필요한 입력 정보를 제공한다. 본 실시예에서, 입력 장치(110)는 실제 손(40)의 형상을 인식하고 이를 기초로 하여 실제 손(40)에서의 골격(21) 배치를 유추할 수 있다. 이로써, 입력 장치(110)는 가상 손(20)의 골격(21)을 형성하기 위한 입력 정보를 제공할 수 있다. 입력 장치(110)는 실제 손(40)의 형상 또는 위치 등을 인식할 수 있는 손 인식 장치일 수 있다. 일 예로써, 이러한 입력 장치(110)로는 립 모션(Leap Motion) 센서가 사용될 수 있다. 그밖에 카메라와 같은 영상 센서, 특히 RGBD 센서를 포함하는 공지의 다양한 센서들이 입력 장치(110)로서 사용될 수 있다.
제어 장치(120)는 입력 장치(110)로부터 받는 입력 정보에 기초하여 제1, 제2 가상 모델(20, 30)을 가상 공간상에 형성한다. 가상 공간은 자체적인 형상과 크기를 가지며, 실제의 물리법칙이 동일하게 적용되는 3차원 공간으로 형성될 수 있다. 제어 장치(120)는 이러한 가상 공간상에 가상 모델을 형성한다.
여기서, 제1 가상 모델(30)은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 상태일 수 있다. 본 실시예에서 제1 가상 모델(30)은 결합 수단에 의해 결합된 두 가상 물체인 제1 가상 물체(30a)와 제2 가상 물체(30b)로 형성될 수 있다. 제1 가상 물체(30a)와 제2 가상 물체(30b)는 힌지에 의해 결합된 구조일 수 있고, 힌지를 통해 열고 닫히는 상자 함 형상일 수 있다. 다만, 이에 한정되는 것은 아니며 두 가상 물체는 슬라이드 이동만이 가능하도록 상호 구속된 상태일 수도 있으며, 다른 구속 수단을 매개로 복수의 가상 물체들이 결합된 상태라면 모두 적용될 수 있다.
본 실시예에서 구현되는 제1 가상 모델(30)은 종래의 일반적인 가상 물체와 달리 6 자유도가 아닌 7 자유도에 따른 이동이 가능하기에 그 형상의 변화가 보다 다양할 수 있다. 따라서, 제1 가상 모델(30)을 하나의 물체로 구현하는 것은 제어를 위한 계산량이 너무 많아지게 되어 실시간 인터페이스로의 적용이 어려울 수 있으며, 구현의 정확도가 낮아질 수 있다. 따라서, 제어 장치(120)는 복수의 가상 물체들을 개별적으로 형성 및 제어할 수 있다. 즉, 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)를 독립적으로 구현한 뒤, 이들의 위치 관계를 조정하여 전체적인 제1 가상 모델(30)을 구현할 수 있다.
이어서, 제1 가상 모델과 제2 가상 모델 접촉을 판단한다(S110).
제1 가상 물체(30a)와 제2 가상 물체(30b)는 물리량을 가진 물체로 각각 독립적으로 구현되는 바, 이들이 이동되는 경우 이동에 대한 추가적인 위치 보정이 필요하다. 실질적으로 제1 가상 물체(30a)와 제2 가상 물체(30b)는 독자적인 자유도를 가지는 단일 가상 물체에 해당하나 결합 수단에 의해 상호 구속되어 있는 바, 상호 구속 상태를 유지하면서 전체적으로 이동되기 위해서는 이들의 자유도를 감소시키는 보정이 필요하다.
그리고, 이러한 가상 물체(30)의 이동은 상술한 바와 같이 가상 손(20)과의 접촉을 전제로 수행되는 것으로 가상 손(20)과의 접촉 시점부터 상술한 보정이 필요할 수 있다.
가상 물체(30)와 가상 손(20)의 접촉은 제어 장치(120)를 통해 감지될 수 있다. 제어 장치(120)는 가상 물체(30)와 가상 손(20)의 접촉이 감지된 경우, 이들의 접촉 정보를 수집할 수 있다. 상기 접촉은 제2 가상 물체(30b)를 가상 왼손(20b)이 파지하고, 제1 가상 물체(30a)를 가상 오른손(20a)이 쥐는 형태일 수 있으나, 이에 한정되는 것은 아니다.
제어 장치(120)는 가상 손(20)에 복수의 물리 입자(23)를 형성하고, 그에 대한 접촉점 정보를 형성한다. 복수의 물리 입자(23)는 임의의 형상을 가지는 작은 크기의 입자이며, 가상 손(20)의 경계 표면(22)상에 분산되어 배치된다. 가상 손(20)의 경계 표면(22)을 이루는 모든 영역을 직접 이동시키거나 변형시킬 경우 제어를 위한 계산량이 너무 많아지게 되므로, 경계 표면(22)상의 일부 위치에 복수의 물리 입자(23)를 형성하여 단순화된 구조로써 간접적으로 가상 손(20)을 제어하는 것이 가능하다.
이러한 복수의 물리 입자(23)는 다양한 물리량을 가질 수 있다. 복수의 물리 입자(23)는 위치, 형상, 크기, 질량, 속도, 작용하는 힘의 크기와 방향, 마찰계수 또는 탄성계수를 가질 수 있다. 복수의 물리 입자(23)는 단위 크기의 구형 입자로 형성될 수 있다.
제어 장치(120)는 가상 손(20)이 이동 또는 변형함에 따라 그 일부가 가상 물체(30) 내부로 침투하였는지를 확인할 수 있다. 복수의 물리 입자(23) 중 일부 물리 입자(23)가 가상 물체(30) 내부에 위치하는지 확인함으로써, 침투한 물리 입자(23)가 배치되는 경계 표면(22)이 가상 물체(30) 내에 침투하였는지를 알 수 있다.
제1 가상 모델(30)과 제2 가상 모델(20)의 접촉을 판단하는 단계(S110)는 제1 가상 모델(30)과 제2 가상 모델(20)의 접촉에 의해 복수의 물리 입자(23)가 제2 가상 모델(20)의 내부로 침투한 경우, 침투한 물리 입자(23)를 제1 가상 모델(30)의 외측에 놓이도록 재배치하고, 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하는 단계를 포함할 수 있다.
제어 장치(120)는 가상 손(20)의 일부가 가상 물체(30)의 내부로 침투한 경우, 가상 손(20)과 가상 물체(30) 간의 물리적인 상호작용을 구현할 수 있다. 즉, 가상 손(20)은 가상 물체(30)의 이동 또는 변형에 관여할 수 있다. 물리적인 상호작용을 구현하기 위하여, 침투된 부분의 재배치가 이루어진다. 제어 장치(120)는 침투한 물리 입자(23)를 가상 물체(30)의 외측에 재배치할 수 있다. 재배치 과정 이후, 가상 손(20)과 접촉된 가상 물체(30)간의 상호 변환은 고정될 수 있다. 가상 손(20)과 가상 물체(30)는 상호 변환이 고정시킨 상태로서 가상 손(20)이 움직이면 파지된 가상 물체(30)가 같이 움직일 수 있게 된다.
제1 가상 모델(30)과 제2 가상 모델(20)의 접촉을 판단하는 단계(S110)는 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b) 각각의 접촉 정보를 수집할 수 있다. 제1 가상 모델(30)과 제2 가상 모델(20)의 접촉을 판단하는 단계(S110)는 재배치된 물리 입자의 위치 및 복수의 가상 물체의 초기 위치를 계산하는 단계를 포함한다. 제어 장치(120)는 재배치된 물리 입자(23)의 위치에 기초하여 각각의 접촉 정보를 수집할 수 있으며, 이를 활용하여 가상 물체(30)의 현재 위치를 계산할 수 있다. 제2 가상 물체(30b)와 제1 가상 물체(30a)는 물리량을 가진 가상 물체로 서로 이격된 상태일 수 있으며, 제어 장치(120)는 제2 가상 물체(30b)와 제1 가상 물체(30a)의 현재 위치를 각각 계산할 수 있다.
복수의 가상 물체의 자유도 최소화를 위한 보정 위치를 산출한다(S120).
제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 자유도를 제한하는 최적화를 수행할 수 있다. 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 결합 상태가 계속 유지되는 보정 위치를 산출할 수 있다. 구체적으로, 제어 장치(120)는 상호 결합 수단의 파리미터를 최적화하여 제1 가상 물체(30a)와 제2 가상 물체(30b)의 보정 위치를 산출할 수 있다.
제1 가상 물체(30a)와 제2 가상 물체(30b)가 하나의 꼭지점에서 연결된 상호 구속된 상태에서, 제1 가상 물체(30a)와 제2 가상 물체(30b)의 상대적인 위치는 이들이 형성하는 사이각(θ)에 의해 결정될 수 있다. 힌지를 통해 사이각(θ)이 커지거나 작아지는 회전 운동의 경우, 제1 가상 물체(30a)와 제2 가상 물체(30b)는 힌지 결합 상태를 지속적으로 유지할 수 있어야 한다. 본 실시예에 따른 제어 장치(120)는 제1 가상 물체(30a)와 제2 가상 물체(30b)의 위치가 변화되는 경우, 가상 물체들의 자유도를 줄이는 비선형 최적화를 수행할 수 있다. 따라서, 제어 장치(120)는 상기 사이각(θ)을 근사화하는 알고리즘을 통해 제1 가상 물체(30a)와 제2 가상 물체(30b)의 보정 위치를 산출할 수 있다. 상기 사이각(θ)을 근사화하는 알고리즘은 상술한 수학식 1에 따라 도출될 수 있으나, 이에 한정되는 것은 아니다.
이어서, 제1 가상 모델의 위치를 보정한다(S130).
제1 가상 물체(30a)와 제2 가상 물체(30b) 중 적어도 하나 이상은 최적화 결과에 따라 위치가 보정될 수 있다. 도 5에 도시된 바와 같이, 제어 장치(120)는 제2 가상 물체(30b)와 제1 가상 물체(30a) 중 적어도 하나를 초기 위치에서 보정 위치로 보정하여 제1 가상 모델의 위치를 보정할 수 있다.
제1 가상 물체(30a) 또는 제2 가상 물체(30b)의 위치 보정에 따라 가상 손(20)과 가상 물체(30)가 접촉된 위치의 변화가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 가상 모델 제어 방법은 제1 가상 모델(30)의 위치를 보정하는 단계(S130) 이후, 제1 가상 모델(30)과 제2 가상 모델(20)의 상호 변환을 재설정하는 단계를 더 포함할 수 있다.
가상 물체(30)의 위치 보정에 대응하여 가상 손(20)과 가상 물체(30)의 고정된 상호 변환은 재설정될 수 있다. 제어 장치(120)는 현재 가상 물체(30) 위치와 가상 손(20)의 위치에 정합하여 상호변환을 고정할 수 있다.
본 발명의 일 실시예에 따른 가상 모델 제어 방법은 상호 결합된 가상의 두 물체를 독립적으로 제어하여 구현의 정확도를 높이면서, 이동시 상호 결합이 유지될 수 있도록 물체에 대한 위치 보정을 수행하는 바, 상호 결합된 가상의 두 물체를 보다 정확하게 제어할 수 있다.
이상에서 설명한 실시예들에 따른 가상 모델 제어 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 가상 모델 제어 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110: 입력 장치
120: 제어 장치
130: 출력 장치

Claims (14)

  1. 가상 공간에 형성된 가상 모델을 제어하는 가상 모델 제어 시스템으로서,
    가상 모델의 형성, 이동 또는 변형을 위한 입력 정보를 제공하는 입력 장치;
    상기 입력 정보에 기초하여 제1 가상 모델 및 상기 가상 공간에서 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 형성 및 제어하는 제어 장치; 및
    상기 제1 가상 모델 및 상기 제2 가상 모델을 출력하는 출력 장치를 포함하되,
    상기 제1 가상 모델은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 구조이고,
    상기 제어 장치는 상기 복수의 가상 물체들을 개별적으로 형성 및 제어하되, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 따라 상기 제1 가상 모델이 이동 또는 변형되는 경우, 상기 복수의 가상 물체들의 자유도를 최소화할 수 있는 보정 위치를 산출하며,
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하고,
    상기 보정 위치는 상기 복수의 가상 물체의 상호 결합이 계속 유지되는 위치로, 상기 결합 수단의 파라미터를 최적화하여 결정되는 가상 모델 제어 시스템.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제1 가상 모델은 두 가상 물체가 힌지에 의해 결합된 구조이고,
    상기 제어 장치는 상기 두 가상 물체가 형성하는 사이각을 근사화하여 상기 파라미터를 최적화하는 가상 모델 제어 시스템.
  4. 가상 공간에 형성된 가상 모델을 제어하는 가상 모델 제어 시스템으로서,
    가상 모델의 형성, 이동 또는 변형을 위한 입력 정보를 제공하는 입력 장치;
    상기 입력 정보에 기초하여 제1 가상 모델 및 상기 가상 공간에서 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 형성 및 제어하는 제어 장치; 및
    상기 제1 가상 모델 및 상기 제2 가상 모델을 출력하는 출력 장치를 포함하되,
    상기 제1 가상 모델은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 구조이고,
    상기 제어 장치는 상기 복수의 가상 물체들을 개별적으로 형성 및 제어하되, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 따라 상기 제1 가상 모델이 이동 또는 변형되는 경우, 상기 복수의 가상 물체들의 자유도를 최소화할 수 있는 보정 위치를 산출하며,
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하고,
    상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고,
    상기 제어 장치는 상기 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하며,
    상기 제어 장치는 상기 재배치된 물리 입자 위치 및 복수의 가상 물체의 초기 위치를 계산하고, 상기 계산된 복수의 가상 물체의 초기 위치를 상기 보정 위치로 조정하는 가상 모델 제어 시스템.
  5. 삭제
  6. 가상 공간에 형성된 가상 모델을 제어하는 가상 모델 제어 시스템으로서,
    가상 모델의 형성, 이동 또는 변형을 위한 입력 정보를 제공하는 입력 장치;
    상기 입력 정보에 기초하여 제1 가상 모델 및 상기 가상 공간에서 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 형성 및 제어하는 제어 장치; 및
    상기 제1 가상 모델 및 상기 제2 가상 모델을 출력하는 출력 장치를 포함하되,
    상기 제1 가상 모델은 적어도 두 개 이상의 가상 물체들이 결합 수단에 의해 결합된 구조이고,
    상기 제어 장치는 상기 복수의 가상 물체들을 개별적으로 형성 및 제어하되, 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 따라 상기 제1 가상 모델이 이동 또는 변형되는 경우, 상기 복수의 가상 물체들의 자유도를 최소화할 수 있는 보정 위치를 산출하며,
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하고,
    상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고,
    상기 제어 장치는 상기 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하며,
    상기 제어 장치는 상기 제1 가상 모델의 보정 위치에 따라 상기 고정된 상호 변환을 재설정하는 가상 모델 제어 시스템.
  7. 제1 항에 있어서,
    상기 제2 가상 모델은 가상 손 모델이며,
    상기 입력 장치는 손 인식 장치인 가상 모델 제어 시스템.
  8. 가상 공간에 형성된 복수의 가상 물체들이 결합 수단에 의해 결합된 구조인 제1 가상 모델 및 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 포함하는 가상 모델의 제어 방법으로서,
    상기 복수의 가상 물체들을 각각 형성 및 결합하여 상기 제1 가상 모델을 형성하고, 상기 제2 가상 모델을 형성하는 단계;
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계;
    상기 복수의 가상 물체의 자유도를 최소화하기 위한 보정 위치를 산출하는 단계; 및
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하는 단계를 포함하고,
    상기 보정 위치는 상기 복수의 가상 물체의 상호 결합이 계속 유지되는 위치로, 상기 결합 수단의 파라미터를 최적화하여 결정되는 가상 모델의 제어 방법.
  9. 삭제
  10. 제8 항에 있어서,
    상기 제1 가상 모델은 두 가상 물체가 힌지에 의해 결합된 구조이고,
    상기 파라미터는 상기 두 가상 물체가 형성하는 사이각을 근사화하여 최적화되는 가상 모델의 제어 방법.
  11. 가상 공간에 형성된 복수의 가상 물체들이 결합 수단에 의해 결합된 구조인 제1 가상 모델 및 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 포함하는 가상 모델의 제어 방법으로서,
    상기 복수의 가상 물체들을 각각 형성 및 결합하여 상기 제1 가상 모델을 형성하고, 상기 제2 가상 모델을 형성하는 단계;
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계;
    상기 복수의 가상 물체의 자유도를 최소화하기 위한 보정 위치를 산출하는 단계; 및
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하는 단계를 포함하고,
    상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고,
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계는 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하는 단계를 포함하며,
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계는,
    상기 재배치된 물리 입자 현재 위치 및 복수의 가상 물체의 초기 위치를 계산하는 단계를 포함하고,
    상기 제1 가상 모델의 위치를 보정하는 단계는 상기 계산된 복수의 가상 물체의 초기 위치를 상기 보정 위치로 조정하는 단계인 가상 모델의 제어 방법.
  12. 삭제
  13. 가상 공간에 형성된 복수의 가상 물체들이 결합 수단에 의해 결합된 구조인 제1 가상 모델 및 상기 제1 가상 모델의 이동 또는 변형에 관여하는 제2 가상 모델을 포함하는 가상 모델의 제어 방법으로서,
    상기 복수의 가상 물체들을 각각 형성 및 결합하여 상기 제1 가상 모델을 형성하고, 상기 제2 가상 모델을 형성하는 단계;
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계;
    상기 복수의 가상 물체의 자유도를 최소화하기 위한 보정 위치를 산출하는 단계; 및
    상기 복수의 가상 물체 중 적어도 하나의 위치를 조정하여 상기 제1 가상 모델의 위치를 보정하는 단계를 포함하고,
    상기 제2 가상 모델은 경계 표면에 복수의 물리 입자가 분산 배치되어있고,
    상기 제1 가상 모델과 상기 제2 가상 모델의 접촉을 판단하는 단계는 상기 제1 가상 모델과 상기 제2 가상 모델의 접촉에 의해 상기 복수의 물리 입자가 상기 제1 가상 모델의 내부로 침투한 경우, 상기 침투한 물리 입자를 상기 제1 가상 모델의 외측에 놓이도록 재배치하고, 상기 제1 가상 모델과 상기 제2 가상 모델의 상호 변환을 고정하는 단계를 포함하며,
    상기 제1 가상 모델의 위치를 보정하는 단계 이후, 상기 제1 가상 모델의 보정 위치에 따라 상기 고정된 상호 변환을 재설정하는 단계를 더 포함하는 가상 모델 제어 방법.
  14. 제8 항에 있어서,
    상기 제2 가상 모델은 가상 손 모델이며,
    상기 제2 가상 모델은 손 인식 장치에서 인식하여 전달된 실제 손의 골격의 움직임 정보에 대응하여 형성되는 가상 모델의 제어 방법.
KR1020170119703A 2017-09-18 2017-09-18 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 KR101961221B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170119703A KR101961221B1 (ko) 2017-09-18 2017-09-18 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
US16/129,652 US20190087011A1 (en) 2017-09-18 2018-09-12 Method and system for controlling virtual model formed in virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170119703A KR101961221B1 (ko) 2017-09-18 2017-09-18 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101961221B1 true KR101961221B1 (ko) 2019-03-25

Family

ID=65720247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170119703A KR101961221B1 (ko) 2017-09-18 2017-09-18 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US20190087011A1 (ko)
KR (1) KR101961221B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239107A1 (ko) * 2022-06-08 2023-12-14 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500453B2 (en) * 2018-01-30 2022-11-15 Sony Interactive Entertainment Inc. Information processing apparatus
US10942577B2 (en) * 2018-09-26 2021-03-09 Rockwell Automation Technologies, Inc. Augmented reality interaction techniques
US10861223B2 (en) * 2018-11-06 2020-12-08 Facebook Technologies, Llc Passthrough visualization
US11514650B2 (en) * 2019-12-03 2022-11-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
CN112379771A (zh) * 2020-10-10 2021-02-19 杭州翔毅科技有限公司 基于虚拟现实的实时交互方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR101639066B1 (ko) * 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084884B1 (en) * 1998-11-03 2006-08-01 Immersion Corporation Graphical object interactions
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140010616A (ko) * 2012-07-16 2014-01-27 한국전자통신연구원 3ｄ 가상 객체에 대한 조작 처리 장치 및 방법
KR101639066B1 (ko) * 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023239107A1 (ko) * 2022-06-08 2023-12-14 한국전자기술연구원 핸드트래킹 기반 슈도햅틱 피드백을 활용한 실감형 인터랙션 방법

Also Published As

Publication number Publication date
US20190087011A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
KR101961221B1 (ko) 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
US11513605B2 (en) Object motion tracking with remote device
US10379613B2 (en) Tracking arm movements to generate inputs for computer systems
US10635166B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
US10509464B2 (en) Tracking torso leaning to generate inputs for computer systems
KR101639066B1 (ko) 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
JP4149213B2 (ja) 指示位置検出装置及び自律ロボット
US10705113B2 (en) Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
JP2022505423A (ja) 電磁追跡のための周囲電磁歪み補正
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
TWI744606B (zh) 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體
CN116848495A (zh) 用于选择虚拟对象以进行扩展现实交互的设备、方法、系统和介质
KR20200005243A (ko) Imu 센서를 이용한 손가락 동작 기반 인터페이스 제어 시스템
US10464211B2 (en) Generating control signal for tele-presence robot
CA3086559A1 (en) Method for predicting a motion of an object, method for calibrating a motion model, method for deriving a predefined quantity and method for generating a virtual reality view
Morlock et al. Trajectory tracking with collision avoidance for a parallel robot with flexible links
JP2007125670A (ja) ロボット用表現動作変換システム
Kondo et al. Analysis of Human Pointing Behavior in Vision-based Pointing Interface System-difference of two typical pointing styles
CN110968183A (zh) 接触虚拟对象时提供真实物理反馈的方法及其装置
JP2022047989A (ja) シミュレーションシステム及びシミュレーション方法
KR20220086971A (ko) 손 관절을 추적하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant