KR20190087473A - 웨어러블 모션 트래킹 시스템 - Google Patents

웨어러블 모션 트래킹 시스템 Download PDF

Info

Publication number
KR20190087473A
KR20190087473A KR1020197016929A KR20197016929A KR20190087473A KR 20190087473 A KR20190087473 A KR 20190087473A KR 1020197016929 A KR1020197016929 A KR 1020197016929A KR 20197016929 A KR20197016929 A KR 20197016929A KR 20190087473 A KR20190087473 A KR 20190087473A
Authority
KR
South Korea
Prior art keywords
measurement
measuring device
measurements
body part
acoustic
Prior art date
Application number
KR1020197016929A
Other languages
English (en)
Other versions
KR102497449B1 (ko
Inventor
니콜라 라니에리
롤프 아델스베르게르
파비안 웨너
하겐 세이페르트
Original Assignee
센소릭스 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센소릭스 아게 filed Critical 센소릭스 아게
Publication of KR20190087473A publication Critical patent/KR20190087473A/ko
Application granted granted Critical
Publication of KR102497449B1 publication Critical patent/KR102497449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

사용자(100)의 제1몸체부(101)와 제2몸체부(103) 사이의 상대 위치를 포착하기 위한 웨어러블 모션 트래킹 시스템(12)은, 제1측정 장치(120a), 제2측정 장치(121b) 및 컴퓨터 장치(150)를 포함하고, 상기 컴퓨팅 장치(150)에 의해 상기 제1 및 제2측정 장치(120a, 121a) 사이에서 복수의 측정치를 얻도록 구성된다. 상기 제1 및 제2측정 장치들(120a, 121a) 사이의 적어도 하나의 거리 측정을 포함하는 복수의 측정들에 기초하여, 상기 컴퓨터 장치 (150)는 상기 제1몸체부(101)에 대해 상기 제2몸체부(103)의 위치를 트래킹 하기 위해 상기 제1측정 장치(120a)에 대해 상기 제2측정 장치(121a)의 위치를 3차원적으로 계산하도록 구성된다. 본 발명은 또한 모션 트래킹 방법에 관한 것이다.

Description

웨어러블 모션 트래킹 시스템
본 발명은 사용자의 제1몸체부, 바람직하게는 헤드 또는 토르소, 및 상기 사용자의 제2몸체부, 바람직하게는 상부 사지, 손목 또는 손 사이의 상대 위치를 캡처하기 위한 웨어러블 모션 트래킹 시스템에 관한 것이다.
또한, 본 발명은 제1몸체부에 대한 제2몸체부의 위치를 트래킹 하기 위해 제1몸체부와 제2몸체부 사이의 상대적 위치를 캡처하는 방법에 관한 것이다.
상기 결과 데이터는 바람직하게 실시간으로 (낮은 대기 시간으로) 가상 환경으로 구현될 수 있다.
본 발명은 인간으로부터 가상 환경으로의 링크를 확립하는데 사용될 수 있다.
인체 모션을 트래킹 하는 것이 다수의 상이한 응용 분야에 사용된다. 촬영 업계는 영화에서 가상 캐릭터를 렌더링 하는 모션을 캡처한다. 스포츠에서는 특정 모션을 캡처하면 그 모션의 정확성에 대한 피드백을 줄 수 있다. 건강 관리에서 모션 데이터는 환자의 건강 상태에 대한 정보를 제공할 수 있다. 또한 모션 데이터는 가상 환경과 자연스럽게 상호 작용하는데 사용될 수 있다.
외부 참조를 사용하여 모션 캡처를 목표로 하는 몇 가지 시스템이 있다. 미국 특허 제7,633,521호는 사용자의 사지에 부착된 역 반사기의 위치들을 캡처하면서 사용자의 환경에 배치된 카메라 세트를 사용한다. 이러한 접근법은 삼각 측량에 의해 사지의 위치를 정확하고 신속하게 계산할 수 있는 방법을 제공한다. 그러나, 고정적이고 유연하지 못한 설정은 공간, 자유로운 시선(line-of-sight)을 필요로 하므로, 사용자의 이동성을 제한하고, 가전 제품에서 이러한 시스템의 매력을 저감한다. 또한, 상기 요구되는 교정은 비전문가의 애플리케이션에는 적합하지 않다.
US 2016 131761, US 2008 0261693 A1, US 2009 0054147 A1 및 US 2009 0170601 A1은 유사한 접근법을 사용한다: 그들은 핸드 헬드 제어기에 부착된 센서의 대응물을 트래킹 할 수 있는 센서 배열(가령, 이미지 센서들 및/또는 초음파 트랜스 듀서)로 구성된 외부 기준 장치를 배치한다. 위에서 언급한 외부 참조 장치의 제한 외에도 이러한 접근법은 사용자가 장치를 손에 들고 가상 환경으로 몰입하는 것을 줄이고, 경험의 질을 낮추도록 요구한다.
웨어러블 센서 시스템을 사용하여 상술한 한계를 극복하려는 몇 가지 시스템이 있다. US 2008 0285805 A1, WO 1999 053838 A1, US 2002 0103610 A1, EP 3 067 783 A1 및 US 7,628,074 B2는 인체의 상이한 사지에 관성 측정 유닛(IMU)을 배치한다. 관성 데이터는 세계 좌표계에서 센서의 방위를 계산하는데 사용할 수 있다. 따라서 대부분의 사지에서 IMU를 사용하면 순방향 및 역방향 운동학을 사용하여 포즈를 계산할 수 있다. 그러나 사용자가 다른 신체 부위에 많은 센서를 부착하는 것은 다수의 가정용 제품에 적합하지 않다.
이러한 IMU의 가속도 데이터는 방위에 추가하여 자세를 계산하기 위해 이중으로 통합될 수 있고, 사지의 부분 집합만을 캡처할 수 있다. 그러나 각 프레임에서 이전 위치를 기준으로 위치가 계산되므로, 오류가 누적되고, 이러한 IMU 기반 접근 방식에 공통적으로 계산된 위치에서 일반적인 드리프트(drift)표류가 발생한다. 이러한 드리프트를 보정하기 위해, 미국 특허 제2,028,880 A1 호는 인간 골격에 의해 암시된 제약을 사용하는 반면, WO 1999 053838 A1 및 미국 특허 제6,628,074 B2는 음향 변환기를 배치하고 (미국 특허 제 5,142,506A 호에 기재된 바와 같이) 사지 사이의 거리를 측정하고, 드리프트를 보정하기 위한 추가 제약 조건을 제공한다. 그러나 여전히 그러한 많은 제약 조건을 충족시키기 위하여, 착용할 센서의 수를 늘려야 한다. 또한, 센서 융합은 일반적으로 무 상태(state-less)가 아니므로 축적 오류가 발생할 수 있으며, 구현 시 번거롭고, 사용된 필터에 따라 대기 시간과 시각적 인공물을 초래할 수 있다.
GPS 신호가 이용 가능하지 않을 때, 가능한 한 정확하게 사용자의 환경을 평가하기 위해 US 2003 0182077 A1에 기술되고 설명된 다양한 센서 시스템이 사용된다. 그러한 시스템은 서로에 대한 사용자의 사지의 3차원 위치 및/또는 방위를 결정 또는 계산하기에 적합하지 않거나 설계된 것이 아니라, 전체적으로 신체의 위치를 추정하기에 적합하다.
입력 장치로 사용되는 손의 자세에 초점을 맞춘 시스템은 거의 없다. WO 2016 029183 A1은 손의 손가락 및 방위를 트래킹 하고, 가상 환경과 상호 작용하는데 사용되는 제스처를 인식한다. 그러나 이들은 손의 위치를 파악할 수 없으므로, 손의 위치를 알 필요가 없는 애플리케이션과의 상호 작용을 제한한다.
추가 장치는 US 8,638,989 및 US 2016 202770에 의해 배치된다. 순전히 광학 시스템(예를 들어, US 2016 0295198 A1에서와 같은 광학 깊이 센싱)은 일반적으로 헤드에 부착된 이미지 장치 앞에 있는 손의 위치, 방위, 및 포즈를 캡처한다. 그들은 외부 참조를 필요로 하지 않으므로 상기 시스템은 특히 가볍게 착용 가능하다. 상기 구현은 무 상태(state-less)이므로, 각 위치가 이전 계산에 의존하지 않고 각 프레임에서 계산되기 때문에, 접근 방식이 보다 안정적이다. 그러나 순수한 광학 시스템은 대기 시간을 증가시키고 가상 환경으로의 몰입을 감소시키는 위치 및 자세를 추정하기 위해 파라미터 튜닝 및 큰 연산 노력을 요구한다.
가상 환경을 다루는 애플리케이션의 수가 증가함에 따라 사용자가 자연스럽고 향상된 방식으로 가상 현실과 상호 작용할 수 있는 입력 장치에 대한 필요성이 커지고 있다. 가장 자연스러운 방식은 실제 환경과 같은 방식으로 상호 작용하는 것이다. 즉 손과 같은 몸체부를 사용하는 것이다. 상호 작용 외에도 상부 사지의 시각화가 중요하여 사용자는 가상 환경에서 자신의 팔과 손을 볼 수 있어 자신의 행동에 대한 시각적 피드백을 제공하고, 몰입 형 경험을 향상시킬 수 있다.
전술한 접근법 중 어느 것도 사용자가 다수의 센서를 착용할 필요 없이 낮은 대기 시간에서 사지를 추적할 수 있는 착용 가능하고 안정적이며 비 침입적인 방법을 제공하지 않거나, 또는 전술한 시스템은 환경에 대한 상당한 지식을 필요로 하고, 및/또는 몰입/기능을 제한한다.
따라서, 본 발명의 목적은 사용자의 제1몸체부와 상기 사용자의 제2몸체부 사이의 상대 위치를 캡처하기 위하여 개선된 웨어러블 모션 트래킹 시스템을 특정하는 것이다.
상기 목적은 청구항 1에 따른 웨어러블 모션 트래킹 시스템에 의해 달성된다.
그에 따라, 사용자의 제1몸체부와 상기 사용자의 제2모체부 사이의 상대 위치를 포착하기 위한 웨어러블 모션 트래킹 시스템이 특정되고, 상기 웨어러블 모션 트래킹 시스템은 상기 제1몸체부에 부착 가능한 적어도 하나의 제1측정 장치를 포함하며, 상기 제2몸체부에 부착 가능한 적어도 하나의 제2측정 장치를 포함한다. 또한, 상기 시스템은 제1 및 제2측정 장치들 중 적어도 하나와 통신할 수 있는 컴퓨터 장치를 포함하여, 제1 및 제2측정 장치 사이의 측정의 측정 데이터를 검색하는 것과 같이, 즉 제1 및 제2측정 중 하나를 포함하는 측정 장치를 기준 점으로 사용한다.
상기 컴퓨터 장치는 시스템의 개별 구성 요소일 수 있고 또는 상기 제1 또는 제2측정 장치에 통합될 수 있음을 이해해야 한다.
상기 목적은 상기 적어도 하나의 제1측정 장치, 상기 적어도 하나의 제2측정 장치 및 상기 컴퓨터 장치는, 상기 컴퓨터 장치에 의해 상기 제1측정 장치와 상기 제2측정 장치 사이에서 복수의 측정을 얻도록 구성되고, 상기 제1측정 장치와 상기 제2측정 장치 사이의 상기 복수의 측정은 상기 제1측정 장치와 상기 제2측정 장치 사이의 적어도 하나의 거리 측정을 포함하고, 상기 컴퓨터 장치는 상기 제1몸체부에 대한 상기 제2몸체부의 위치를 트래킹 하기 위해 상기 복수의 측정을 사용하여 상기 제1측정 장치에 대한 상기 제2측정 장치의 위치를 3차원으로 계산하도록 구성된다.
즉, 상기 목적을 달성하기 위하여, 상기 적어도 하나의 제1측정 장치, 상기 적어도 하나의 제2측정 장치 및 상기 컴퓨터 장치는, 다음과 같이 구성된다:
i) 상기 컴퓨터 장치에 의해 상기 제1측정 장치와 상기 제2측정 장치 사이의 적어도 하나의 거리 측정을 획득하는 단계; 및
ii) 상기 컴퓨터 장치를 이용하여 상기 동일한 제1측정 장치와 상기 동일한 제2측정 장치 사이에서 적어도 하나의 추가 측정을 획득하는 단계;
상기 컴퓨터 장치는 상기 거리 측정 및 상기 추가 측정을 사용하여 상기 제1측정 장치에 대한 상기 제2측정 장치의 위치를 3차원에서 계산하도록 구성되며, 가령 3 차원 거리 벡터를 계산하도록 구성된다.
본 발명의 문맥에서, "웨어러블 시스템"이라는 용어는 예를 들어 가상 환경에서 행동하는 동안 인간(또는 다른 사용자, 이하 참조)이 착용할 수 있는 시스템으로 이해되어야 한다. 상기 웨어러블 모션 추적 시스템은 방해가 되지 않으며 사용자에게는 거의 눈에 띄지 않는다. 사용자가 자신의 모션에 제약을 받지 않도록 착용하고 휴대하기 쉽다. 또한, 시스템의 업데이트 속도가 높으면 반응 시간 및 대기 시간이 최소화되어 그의 가상 복제 및/또는 그의 동작의 가상 표현이 실제로 그를 나타낼 수 있다는 것을 사용자에게 확신시킬 수 있는 것이 유리하다. 따라서 과도한 계산 노력은 단점이다.
본 발명의 내용에서, "모션 트래킹 시스템"이라는 용어는 제1 및 제2측정 장치를 연결하는 3차원 거리 벡터를 트래킹 할 수 있는 장치, 다중-구성 요소 장치로 이해되어야 하며, 상기 거리 벡터는, 일부 예에서, 동작 시, 제1 및 제2측정 장치가 각각 부착되는 제1 및 제 2몸체부 사이의 상대 위치의 변화에 대한 측정이다. 웨어러블 모션 트래킹 시스템에 의해 생성된 추적 데이터는 예를 들어 가상 현실에 통합될 수 있다.
본 발명의 내용에서, "제1 및 제 2몸체부"라는 용어는 서로에 대해 이동할 수 있는 몸체, 바람직하게는 인체의 두 부분으로 이해되어야 한다. 제 1몸체부는 헤드 또는 토르소와 같은 신체 부위 또는 사지와 같은 임의의 다른 신체 부위일 수 있고, 제2몸체부는 사지 부분, 특히 손가락(엄지를 포함함), 손, 손목, 상부 팔 또는 하부 팔 또는 팔꿈치일 수 있다. 물론, 하부 사지 또는 그 일부는 예를 들어 발가락, 발, 발목 또는 하부 다리 또는 상부 다리와 같은 제2몸체부일 수 있다. 그러나, 제2몸체부는 토르소 또는 헤드와 같은 임의의 다른 몸체 부분 일 수 있다는 것을 이해해야 한다. 따라서, 제1 및 제 2몸체부는 서로에 대해 움직이거나 변화할 수 있는 몸체의 임의의 두 부분이다. 상기 웨어러블 모션 트래킹 시스템은 바람직하게는 인간에 의해 사용될 수 있지만, 물리적 외관을 변화시키는 다른 대상이 또한 사용자로서 이해될 수 있다.
본 발명의 내용에서, "제1 및 제2측정 장치 사이의 측정"이라는 용어는 제1측정 장치가 기준이고 제2측정 장치의 위치 (및 바람직하게는 방위)가 상기 기준에 대하여 상대적으로 측정되는 것으로 이해되어야 한다.
따라서, 본 발명은 바람직하게 무선 방식으로 통신 채널을 통해 링크되고 웨어러블 추적 시스템에 통합됨으로써, 하나의 측정 장치는 다른 장치가 상기 통신 링크를 통해 위치되고 국부화되는 기준 프레임을 제공하는 적어도 2 개의 측정 장치를 배치함으로써 예를 들어, 상당한 계산 노력 하에 가시적인 환경을 평가하거나, 고정된 셋업을 필요로 하는 공지된 구현들 또는 이후 측정을 통해 위치를 수정하는 동안 수집된 위치에 대해 IMU들에 의존하는 공지된 시스템들에 의존하는 공지된 구현 예들보다 더 효율적인 시스템이 실현될 수 있다는 것에 기초한다.
본 발명에 따른 트래킹 시스템은 상태가 없는 구현을 전개한다. 즉, 제1측정 장치에 대한 제2측정 장치의 각 위치는 트래킹 체인에서의 이전 계산과는 독립적으로 실시간으로 계산된다.
일부 실시 예에서, 상기 제1측정 장치와 상기 제2측정 장치 사이의 상기 복수의 측정은 상기 제1측정 장치와 상기 제2측정 장치 사이의 적어도 하나의 방향 측정을 포함한다. 이들 실시 예에서, 방향 측정은 제1측정 장치에 대해 제2측정 장치의 3차원에서의 위치에서 직접적으로 거리 측정과 함께 이루어진다. 따라서 본 발명은 이미 제1 및 제2측정 장치 사이에 2개의 센서 및 2개의 측정과 함께 작동한다. 본 발명은 공지된 접근법에 비해 비콘 수가 적고, 하드웨어가 적으며, 계산이 덜 필요하기 때문에 이점이 있다.
또한, 본 발명은 확장된 칼만 필터(Kalman filter) 등과 같은 복잡한 센서 융합 알고리즘을 필요로 하지 않고, 다수의 센서 및 센서 유형으로부터의 측정을 결합할 수 있다. 본 발명에 따른 시스템(가령, 음향 수신기/송신기 쌍에 의한 하나의 거리 측정 및 가령, 광 수신기/송신기 쌍에 의한 하나의 방향 측정)은, 임의의 다른 제3 또는 제4센서 장치를 필요로 하지 않고 모든 자유도를 직접 제거하고 제1 및 제2측정 장치 사이의 상대 위치를 직접 계산할 수 있다. 결과적으로 계산이 줄고 대기 시간이 줄고 안정성이 향상된다. 예를 들면 다음과 같다: 헤드에 대한 손의 위치를 추정하기 위해, 공지의 접근법에 따르면, 헤드 상에 하나의 센서, 손에 하나, 헤드 또는 다른 신체 부분에 두 개의 센서가 필요한 반면(착용하기 까다롭다), 본 발명의 일부 실시 예에 따르면, 헤드 상의 하나의 측정 장치와 손에 있는 하나의 측정 장치만이 필요하다.
본 발명에 따르면, 2개의 노드들 사이의, 즉 2개의 별개의 독립적으로 부착 가능한 측정 장치 사이의 다중 측정이 사용된다. 관성 측정 유닛(IMU) 측정을 사용하는 대신에, 노드들, 즉 측정 장치들 사이의 적어도 하나의 추가 측정이 사용된다. IMU 측정은 위치 파악에 사용되지 않고 방향을 계산하는 데 사용된다.
본 발명에 의해 해결된 모션 트래킹 문제는 다음과 같이 추상적인 방식으로 더 설명될 수 있다. 알려진 방위를 가진 공간 상의 제1점이 주어지면, 제1점에 상대적인 제2점의 위치를 찾아야 한다. 보편성을 잃지 않고 제1점은 xyz 좌표계의 원점에 있고 정면이 양의 Z 축에 대면하는 것으로 가정할 수 있다. 이러한 좌표계를 제1점의 바디 프레임이라고 한다. 전술한 트래킹 문제를 해결하려면, 제1점의 바디 프레임 내에 표현된 제2점의 x, y 및 z 좌표가 필요하다. 이러한 좌표들은 이런 형식으로 표현할 필요는 없고, 다른 값으로 표시할 수 있다.
또 다른 표현에서 2개의 각도와 반지름은 두 점의 상대 위치를 구형 좌표로 나타낼 수 있다.
상기 제2점이 항상 제1점 앞에 놓이는 경우, 그것의 상대 위치는 두 점 사이의 거리(제2점을 향한 방향 설명)와 결합된 z-값이 1인 가상 xy-평면 상의 두 좌표에 의해 더 기술될 수 있다. 상기 평면은 자연스럽게 카메라 센서의 이미지 평면을 설명하고 평면 좌표는 픽셀 좌표에 해당하기 때문에, 이러한 표현은 종종 컴퓨터 비전에서 사용된다.
또 다른 표현은 원점(z-값이 제로임)에 있는 xy-평면에서 3개의 고정 점을 선택하고, 2개의 점의 위치를 3개의 고정 점까지의 3가지 거리들로 설명하는 것이다. 이것은 자연스럽게 상기 제1점과 상기 제2점을 나타내는 3개의 고정 점 사이에서 이루어진 3가지 거리 측정을 나타낸다.
모든 표현은 하나에서 다른 것으로 변환될 수 있다.
예를 들어, 3개의 고정 점에서 이루어진 3가지 거리 측정은 삼각 측량에 의한 xyz-좌표를 계산하는 데 사용될 수 있다.
따라서, 점들 간의 상대적인 위치의 표현은 본 발명의 범위를 제한하지 않는다. 거리 측정, 방향 측정 또는 다른 측정의 모든 조합을 사용하여 상대 위치의 자유도를 제거할 수 있다. 예를 들어, 방향 측정은 구형 좌표 표현의 2개 각도가 될 수 있다. 제3자유도인 반경은 거리 측정에 의해 제거될 수 있다.
일부 실시 예에서, 상기 제1측정 장치는 제1음향 통신 장치를 포함하고, 상기 제2측정 장치는 제2음향 통신 장치를 포함한다. 제1 및 제2통신 장치는 상호 간에 음향 링크, 예를 들어 초-음파 링크를 설정하도록 구성된다. 이러한 링크는 제1 및 제2측정 장치 사이의 음향 측정 옵션을 제공한다. 제1 및 제2측정 장치 중 하나는 음향 송신기를 포함하고, 다른 하나는 음향 수신기를 포함할 수 있다. 따라서, 제1측정 장치에 대한 제2측정 장치의 상대 위치의 계산이 기초를 이루는 상기 복수의 측정은 상기 제1음향 통신 장치와 상기 제2음향 통신 장치 사이의 적어도 하나의 음향 측정을 포함한다. 음향 링크를 사용하면 안정적이고 신뢰할 수 있으며 저렴한 비용으로 신속하게 측정할 수 있다.
일부 실시 예에서, 상기 음향 링크는 제1 및 제2측정 장치 사이의 거리를 결정하는데 사용된다. 따라서, 적어도 하나의 거리 측정은 적어도 하나의 음향 측정일 수 있다.
일부 실시 예에서, 다수의 음향 수신기가 제1 장치 상의 어레이 또는 다른 공지된 구성 상에 배열되어, 제2장치 상의 음향 송신자와 다중 음향 측정을 수행한다.
제1장치 상의 음향 수신기들 사이의 수신된 신호의 상대적인 지연은 제1장치에 대한 제2장치의 방향과 직접 관련된다.
구체적으로 말하면, 음향 신호가 단일 송신기에 의해 방출됨에 따라, 송신기에 가장 가까운 수신기가 신호를 먼저 수신할 것이다.
제 2 수신기가 신호를 기록할 때까지의 시간 지연은 송신기와 제1수신기 및 제1 및 제2수신기 간의 각도에 비례한다.
여러 수신기가 정확도를 높이고 2차원에서 각도를 측정할 수 있다.
따라서, 제1 및 제2장치 사이의 방향성 측정은 음향 측정일 수 있다.
음향 방향 측정은 방향성 마이크로폰 또는 마이크로폰 어레이라고도 한다.
본 발명은 음향 수신기의 어레이를 사용함으로써 제한되지 않지만, 임의의 방향성 마이크로폰에 의해 구현될 수 있다는 것은 명백하다.
일부 실시 예에서, 음향 링크에 추가적으로 또는 선택적으로, 광학 링크가 상기 제1 및 제2측정 장치 사이에 설정될 수 있다. 따라서, 상기 제1측정 장치는 제1광 통신 장치를 포함하고 상기 제2측정 장치는 제2광 통신 장치를 포함한다. 따라서, 제1 및 제2통신 장치는 상호 간에 광 링크를 확립하도록 구성된다. 상기 복수의 측정은 상기 제1광 통신 장치와 상기 제2광 통신 장치 사이의 적어도 하나의 광학 측정을 포함한다.
일부 실시 예에서, 상기 제1 및 제2광 통신 장치 중 하나는 제1 또는 제2광 통신 장치로서 이미지 센서를 포함하고, 상기 제1 및 제2광 통신 장치 중 다른 하나는 제2광 통신 장치, 바람직하게는 LED, 가령 적외선 LED와 같은 방사상 소스를 포함하고, 바람직하게는, 상기 트래킹 가능한 특징의 크기 및/또는 색 및/또는 광도가 상기 제2측정 장치의 각도 좌표를 극 좌표 시스템으로 위치시키도록 상기 웨어러블 모션 트래킹 시스템에 알려지며 이를 이용한다. 전술한 바와 같이, 방향의 다른 표현이 사용될 수 있다는 것은 명백하다. 상기 트래킹 가능한 특징은 또한, LED들의 어레이 등과 같은 특징들의 배열일 수 있고, 이는 트래킹 가능한 특징의 크기가 예를 들어 이미지 센서와 트래킹 가능한 특징 사이의 상대 거리의 측정에서 평가되는 경우에 특히 유리하다.
방사 좌표는 적어도 하나의 거리 측정으로부터 구해질 수 있고, 이는 적절하게 특징화된 제1 및 제2측정 장치에 의해 수행된 음향, 광학 또는 초-광 대역 측정일 수 있다. 트래킹 가능 특징의 상대적 크기의 분석을 통해, 거리 정보가 구해져서 광학 거리 측정으로 사용될 수 있다. 예를 들어, 공지의 카메라 파라미터들을 사용하여, 투사된 특징의 크기 (예를 들어, 코너에 LED가 있는 사각형의 측면 길이)를 사용하여 거리를 계산할 수 있다.
일부 실시 예에서, 상기 광학 링크는 제1 및 제2측정 장치 사이의 거리를 결정하는데 사용될 수 있다. 따라서, 적어도 하나의 거리 측정은 적어도 하나의 광학 측정과 관련될 수 있다.
일부 실시 예에서, 음향 링크 및/또는 광 링크에 추가적으로 또는 선택적으로, 초-광 대역 링크가 상기 제1 및 제2측정 장치 사이에 설정될 수 있다. 따라서, 상기 제1측정 장치는 제1초-광 대역 통신 장치를 포함하고, 상기 제2측정 장치는 제2초-광 대역 통신 장치를 포함한다. 따라서, 제1 및 제2통신 장치는 상호 간에 초-광 대역 링크를 확립하도록 구성된다. 상기 복수의 측정은 상기 제1초-광 대역 밴드 통신 장치와 상기 제2초-광 대역 통신 장치 사이의 적어도 하나의 초-광 대역 측정을 포함한다.
전술한 방향성 음향 측정과 마찬가지로, 초-광 대역 거리 측정의 어레이가 또한 방향 측정을 실현하는데 사용될 수 있다.
수신기들 사이의 시간 지연을 사용하는 대신, 상대 위상 시프트는 송신기와 임의의 2개의 수신기 사이의 각도를 결정하는데 사용될 수 있다.
음향, 광학 및/또는 초-광 대역 링크에 대한 대체 링크를 사용할 수 있다.
일부 실시 예에서, 상기 제1몸체부는 사용자의 토르소 또는 헤드이다. 따라서, 웨어러블 모션 트래킹 시스템은 헤드-마운트 및/또는 토르소-마운트 시스템일 수 있다.
바람직하게는, 상기 제2몸체부는 상기 사용자의 상부 사지 및/또는 손목 및/또는 손이다.
일부 실시 예에서, 상기 컴퓨터 장치는 적어도 부분적으로 기준 유닛에 통합되고, 상기 기준 유닛은 상기 사용자의 제1몸체부에 부착 가능하고 적어도 하나의 제1측정 장치를 더 포함한다.
일부 실시 예에서, 상기 컴퓨터 장치는 적어도 부분적으로 트래킹 유닛에 통합되고, 상기 트래킹 유닛은 사용자의 제2몸체부에 부착 가능하고 적어도 하나의 제2측정 장치를 더 포함한다.
따라서, 컴퓨터 장치는 개별적으로 또는 제1측정 장치와 함께 기준 유닛으로 또는 제2측정 장치와 함께 트래킹 장치로 통합되거나 컴퓨터 장치의 구성 요소가 제1 및 제2측정 장치와 통합될 수 있다.
일부 실시 예에서, 하나의 제1측정 장치 또는 하나의 기준 유닛이 헤드에, 예를 들어 헤드-마운트 디스플레이 장치에, 다른 하나는 토르소 또는 다른 몸체부에 부착될 수 있는 반면, 하나 이상의 제2측정 장치 또는 트래킹 장치는 사지, 바람직하게는 상부 사지 및/또는 손(들) 및/또는 손목(들) 또는 다른 몸체부에 부착된다.
일부 바람직한 실시 예에서, 상기 복수의 측정은 3개의 거리 측정 또는 그 이상의 거리 측정으로 구성된다. 3개의 음향 거리 측정은 3개의 수신기 및 적어도 하나의, 예를 들어 3개의 송신기 또는 3개의 송신기 및 적어도 하나의, 예를 들어 3개의 수신기에 의해 수행될 수 있고, 상기 수신기(들)는 상기 제1 및 제2측정 장치들 중 하나에 통합되는 한편 상기 송신기(들)는 상기 제1 및 제2측정 장치들 중 다른 하나에 통합된다. 따라서, 공통의 송신기 또는 공통의 수신기가 3개의 협력 센서부와 통신하도록 배치될 수 있다. 여기서, 동일한 장치 상의 송신기 (또는 수신기)의 상대 위치에 대한 지식으로, 3개 이상의 거리 측정이 3차원 공간에서 제2측정 장치의 위치를 삼각형화 하는데 사용될 수 있다.
일부 실시 예에서, 상기 제1측정 장치 및/또는 상기 제2측정 장치는 제1측정 장치에 대한 제2측정 장치의 방위 또는 제2측정 장치의 절대 방위를 적어도 부분적으로 결정하고 트래킹 하기 위한 하나 이상의 추가 측정 장치를 포함한다. 일부 바람직한 실시 예에서, 상기 하나 이상의 추가 측정 장치는 IMU이다.
일부 실시 예에서, 1개 내지 3개의 직교 축(예: IMU)에서 방향을 결정할 수 있는 이러한 추가 센서를 손 및/또는 손가락 세그먼트에 배치하여, 본 발명에 의하여 계산된 상부 사지 또는 손의 위치에 기초하여 순방향 운동학으로 손 및/또는 손가락 세그먼트의 포즈 및 제스처를 계산할 수 있다. 따라서, 센서는 글러브로 통합될 수 있다. 마찬가지로, 동일한 유형의 센서가 예를 들어, 하부 팔 및 상부 팔에 부착되어, 순방향 또는 역방향 운동학에 의한 상부 사지의 포즈를 계산할 수 있다. 동일한 방식으로, 본 발명의 두 장치 중 하나가 토르소에 부착되고 그러한 방위 장치가 헤드에 부착될 때, 헤드 또는 다른 사지의 포즈 및 방위가 계산될 수 있다.
상부 사지, 손 및/또는 손목의 포즈 및 제스처는 예를 들어 사용자의 가상 아바타를 렌더링 하고 가령, 가상 현실 안경, 증강 현실 안경 또는 다른 헤드-마운트 디스플레이에 의해 사용자에게 노출된 가상 환경과 상호 작용하는데 사용될 수 있다.
본 발명의 또 다른 목적은 사용자의 제1몸체부와 상기 사용자의 제2몸체부 사이의 상대 위치를 트래킹 하기 위한 개선된 방법을 특정하는 것이다.
이러한 추가 목적은 청구항 12에 따른 방법에 의해 달성된다. 이에 따라, 사용자의 제1몸체부와 상기 사용자의 제2몸체부 사이의 상대 위치를 트래킹 하는 방법은:
상기 제1몸체부에 부착 가능한 적어도 하나의 제1측정 장치, 상기 제2몸체부에 부착 가능한 적어도 하나의 제2측정 장치, 및 컴퓨터 장치를 이용하여 상기 컴퓨터 장치 상에서 애플리케이션을 순서대로 실행하는 단계를 포함한다.
ⅰ) 제1측정 장치와 상기 제2측정 장치 사이에서 복수의 제1측정을 수행하고, 상기 제1측정 장치와 상기 제2측정 장치 사이의 상기 복수의 제1측정은 상기 제1측정 장치와 상기 제2측정 장치 사이의 적어도 하나의 거리 측정을 포함하는 단계; 및
ⅱ) 상기 복수의 제1측정을 사용하여 상기 제1측정 장치에 대해 상기 제2측정 장치의 제1위치를 3차원으로 계산하고;
ⅲ) 상기 제1측정 장치와 상기 제2측정 장치 사이에서 하나 이상의 복수의 후속 측정을 수행하고, 상기 제1측정 장치와 상기 제2측정 장치 사이의 상기 복수의 제1측정은, 상기 제1측정 장치와 상기 제2측정 장치 사이의 적어도 하나의 거리 측정을 포함하고; 및
ⅳ) 상기 제1몸체부에 대해 상기 제2몸체부의 위치를 트래킹하기 위하여, 상기 하나 이상의 복수의 후속 측정을 사용하여 상기 제1측정 장치에 대해 상기 제2측정 장치의 하나 이상의 후속 위치를 3차원적으로 계산하는 단계를 포함한다. 상기 위치 및 후속 위치는 가상 환경으로 구현될 수 있는 트랙을 형성한다.
본 발명에 따른 방법의 일부 실시 예에서, 상기 제1몸체부는 상기 사용자의 토르소 및/또는 헤드이다.
본 발명에 따른 방법의 일부 실시 예에서, 상기 제2몸체부는 상기 사용자의 상부 사지 및/또는 손이다.
본 발명에 따른 방법의 일부 실시 예들에서, 상기 복수의 제1측정 및/또는 상기 하나 이상의 복수의 후속 측정은 상기 적어도 하나의 거리 측정으로서, 음향 측정, 광학 측정 및 초-광 대역 측정으로 이루어진 그룹으로부터 선택된 적어도 하나의 측정을 포함한다.
본 발명에 따른 방법의 일부 실시 예에서, 상기 제1몸체부에 대한 상기 제2몸체부의 상기 트래킹 위치는 가상 환경에서 사용된다.
따라서, 본 발명은 위치의 결정이 적어도 하나의 거리 측정을 포함하는 복수의 측정에 의존하는 반면, 토르소 및/또는 헤드와 같은 다른 몸체부에 대한 상부 사지, 손목 및/또는 손과 같은 몸체부의 위치를 실시간으로 계산할 수 있는 웨어러블 센서 또는 모션 트래킹 시스템을 개시한다.
바람직한 실시 예에서, 제1측정 장치는 토르소 또는 헤드에 부착된다. 하나의 제2측정 장치는 트래킹 해야 하는 사지, 손목 또는 손에 부착된다. 2개의 측정 장치는 링크를 통해 서로 통신하고, 교환된 정보는 바람직하게는 다른 측정 장치의 본체 프레임 내의 좌표로 표현된 하나의 측정 장치의 3차원 위치를 계산하는데 사용된다.
트래킹 사지의 국부화는 다양한 방법으로 달성될 수 있다. 본 발명은 거리 측정 장치의 발신기가 하나의 몸체부에 부착된 장치의 일부이거나 수신기가 다른 몸체부에 부착된 장치의 일부이거나 또는 그 반대인 적어도 하나의 거리 측정 장치를 배치한다.
본 명세서에서 상세히 설명된 바와 같이, 하나의 바람직한 접근법에서, 본 발명은 동일한 측정 장치 상에 통합된 적어도 2개의 더 많은 거리 측정 센서를 배치한다. 또는 공통 발신기 또는 공통 수신기를 공유할 수 있다. 동일한 기기에서 송신기의 상대적 위치를 알면 3개 이상의 거리 측정을 통해 3차원에서 추적된 기기의 위치를 삼각 측량할 수 있다.
본 명세서에서 상세히 설명된 바와 같이, 다른 바람직한 접근법에서, 이미지 센서는 2개의 측정 장치 중 하나에 부착되고 트래킹 가능한 특징이 다른 장치에 부착된다. 상기 특징의 트래킹 이미지 좌표는 이미지 센서와 특징 간의 상대 각도를 계산하고 거리 측정과 함께 두 장치 간의 상대 위치를 정의하는데 사용할 수 있다.
전술한 상이한 실시 예의 특징은 서로 자유롭게 조합될 수 있음을 이해해야 한다.
이하, 본 발명의 바람직한 실시 예를 도면을 참조하여 설명하지만, 본 발명의 바람직한 실시 예를 예시하기 위한 것이지 본 발명을 제한하기 위한 것은 아니다.
도 1은 제1 및 제2측정 장치를 포함하는 본 발명에 따른 웨어러블 모션 트래킹 시스템의 제1실시 예를 도시한다.
도 2는 제1 및 제2측정 장치를 포함하는 본 발명에 따른 웨어러블 모션 트래킹 시스템의 제2실시 예를 도시한다.
도 3은 도 1 또는 도 2에 따른 제1 및 제2측정 장치의 제1실시 예를 보다 상세하게 도시한다.
도 4는 도 1 또는 도 2에 따른 제1 및 제2측정 장치의 제2실시 예를 보다 상세하게 도시한다.
도 5는 상부 사지와 손의 전체 포즈를 트래킹 하는 또 다른 실시 예를 도시한다.
도 6은 상부 사지와 손의 전체 포즈를 트래킹 하는 또 다른 실시 예를 도시한다.
다음의 설명 및 실시 예는 본 발명을 추가로 설명하지만, 본 발명의 범위를 제한하는 것으로 해석되어서는 안 된다. 바람직한 실시 예는 도 1 내지 도 6을 참조하여 설명된다. 도면들은 바람직한 실시 예의 개략도를 나타낸다. 도면에서 동일한 참조 부호는 동일한 기술적 효과를 갖는 동일한 구성 요소를 나타낸다.
도 1은 본 발명에 따른 웨어러블 모션 트래킹 시스템(12)의 제1실시 예를 도시한다. 상기 웨어러블 모션 트래킹 시스템(12)은, 사용자(100)의 헤드(101) 인 제1몸체부 상의 헤드-마운트 디스플레이(130)에 부착되는 (가령, 통합되는) 제1측정 장치(120a)(상기 트래킹 장치)를 포함한다. 상기 헤드-마운트 디스플레이(130)는 제1실시 예에서, 트래킹이 수행되는 기준 프레임을 설정하는 기준 유닛이다. 사용자(100)의 손목(103) 인 제2몸체부 상에 배치된 손목 밴드(111)에 제2측정 장치(121a)(상기 트래킹 장치)가 부착된다. 상기 손목 밴드(111) 대신에 긴 건틀렛 글러브 또는 테이프와 같은 다른 전형적인 부착 수단 또는 의류 부착물이 사용될 수 있다. 제1측정 장치(120a) 및 제2측정 장치(121a)는 정보 교환을 위한 통신 링크를 통해 서로 결합되고, 상기 정보는 3차원에서 제1측정 장치(120a)에 대한 제2측정 장치(121a)의 위치를 계산하기 위한 기초로서 사용되어, 헤드(101)에 대한 손목(103)의 위치를 결정한다. 상기 정보 교환은 제1 및 제2측정 장치(120a, 121a) 사이의 상대 거리의 적어도 하나의 측정을 포함하는 복수의 측정으로 구성되며, 컴퓨터 장치(150)에 대한 입력으로서 상기 거리 측정치를 포함하는 상기 복수의 측정치를 사용하기 때문에, 상기 거리 벡터가 3차원으로 계산된다. 컴퓨터 장치(150)는 바람직하게는 시스템(12)의 헤드-마운트 구성 요소에 통합되어 상기 입력을 수신하도록 연결되고, 그리고 예를 들어 헤드-마운트 디스플레이(130) 상에 표시된 가상 현실로 구현하기 위한 추가 사용을 위해 계산 결과를 제공하도록 연결된다. 또한, 컴퓨터 장치(150)는 손에 배치될 수도 있거나 혹은 심지어는 가령, 제1 및 제2측정 장치들 중 하나에서 계산되는 부품들과, 제1 및 제2측정 장치 중 다른 하나에서 계산되는 다른 부품들에 분산 배치될 수 있다. 예컨대, 컴퓨터 장치 일 부분은 이미지 센서(가령, 카메라)와 함께 각각의 측정 장치 상에 위치될 수 있고, 극 좌표(polar coordinate)를 결정할 수 있다. 컴퓨터 장치의 다른 부분은 다른 몸체부 상의 음향 수신 장치에 위치될 수 있고, 방사 좌표(radial coordinate)를 계산할 수 있다. 각각의 컴퓨터 장치는 자신의 데이터를 호스트로 전송할 수 있고, 호스트에서 결합되어 가상 현실과 같이 구현된다.
일부 실시 예에서, 컴퓨터 장치(150)는 개별적으로 통합될 수 있다; 일부 실시 예에서, 컴퓨터 장치(150)는 제1측정 장치(120a, 120b)와 기준 유닛(140)으로 통합될 수 있고, 또는 제2측정 장치(121a, 121b)와 트래킹 유닛(141)으로 통합될 수 있다. 일부 실시 예에서, 컴퓨터 장치(150)의 구성 요소들은 제1 및 제2측정 장치(120a, 120b, 121a, 121b) 모두와 통합되거나, 선택적으로 시스템(12)의 다른 구성 요소에도 통합될 수 있다. 도 2는 본 발명에 따른 웨어러블 모션 트래킹 시스템(12)의 제2실시 예를 도시한다. 상기 시스템(12)은 벨트(112) 또는 유사한 부착 수단으로 사용자(100)의 토르소(104)에 부착된 제1측정 장치(120b)를 포함한다. 제2실시 예에 따르면, 토르소(104)는 제1몸체부이다. 제2장치(121b)는 글러브(110) 등으로 손(102)에 부착된다. 제2실시 예에 따르면, 제2몸체부는 손(102)이다. 제1 및 제2측정 장치(120b, 121b)는 두 장치(120b, 121b) 사이의 복수의 측정이 수행되는 통신 링크를 통해 결합된다. 여기서, 컴퓨터 시스템(12)은 바람직하게는 시스템(12)의 토르소-마운트 또는 헤드-마운트 구성 요소에 통합되고, 상기 복수의 측정에 기초하여, 토르소(104)에 부착된 제1측정 장치(120b)에 대한 제2측정 장치(121b)의 3차원에서의 위치를 계산하도록 구성된다. 따라서, 제2실시 예에서, 제2측정 장치(121b)를 트래킹 하기 위한 기준 프레임은 몸통(104)의 기준 프레임이고, 컴퓨팅 장치(150)는 헤드-마운트 디스플레이(130)에서 제1 및 제2측정 장치(120b, 121b)와 별도로 제공될 수 있다.
두 실시 예에서, 제2몸체부(103, 102)의 위치는, 즉 제2측정 장치 (121a 및 121b)의 위치는 각각 3차원 공간에서 컴퓨터 장치(150)에 의해 계산될 수 있고, 헤드-마운트 디스플레이(130) 상에 도시된 가상 환경에서 렌더링될 수 있거나 또는 헤드-마운트 디스플레이(130)와 상호 작용하는데 사용될 수 있다.
일반적으로, 몇몇 제2측정 장치들이 제1측정 장치의 기준 프레임에서 동시에 트래킹 될 수 있다는 것을 이해해야 한다.
도 3은 도 1의 제1 및 제2측정 장치 쌍(120a 및 121a), 혹은 도 2의 제1 및 제2측정 장치 쌍(120b 및 121b)을 구현하는 방법에 대한 실시 예를 도시한다.
제1음향 통신 장치(200a)는 음향 방사기(201a) 및 제1인스턴트 통신 장치(202a)(가령, 무선 주파수 모듈)를 배치한다.
제2음향 통신 장치(200b)는 알려진 상대 위치를 갖는 적어도 3개의 음향 수신기(201b) 및 제2인스턴트 통신 장치(202b)를 배치한다.
음향 방사기(201a)를 갖는 제1음향 통신 장치(200a), 및 음향 수신기(201b)를 갖는 제2음향 통신 장치(200b)는 음향 링크(aL), 더 정확하게는 세 개의 서로 다른 음향 링크를 확립할 수 있다.
제1인스턴트 통신 장치(202a) 및 제2인스턴트 통신 장치(202b)는 서로 간에 순시 링크(instantaneous link)를 설정할 수 있다.
동작 시, 제1인스턴트 통신 장치(202a)는 음향 방사기(201a)의 음향 펄스를 어나운스 상기 음향 펄스를 트리거 한다. 제2인스턴트 통신 장치(202b)는 상기 어나운스를 수신하고, 타이머를 시작하며, 음향 수신기(201b)에서 청취를 시작한다. 상기 펄스가 음향 방사기(201a)에 의해 송신되는 시간, 및 상기 펄스가 음향 수신기(201b)에서 검출되는 3개의 개별 시간은 제1 및 제2측정 장치(120a, 121a 및 120b, 121b) 사이의 상대 위치를 3차원으로 삼각 측량하는데 사용될 수 있다.
제1음향 통신 장치(200a)는 제1 및 제2측정 장치(120a, 121a, 120b, 121b) 중 하나에 각각 통합될 수 있고, 제2음향 통신 장치(200b)는 제1 및 제2측정 장치(120a, 121a 및 120b, 121b) 중 다른 하나에 각각 통합될 수 있다.
도 4는 도 1의 제1 및 제2측정 장치 쌍(120a 및 121a) 또는 도 2의 제1 및 제2측정 장치 쌍(120b 및 121b)을 구현하는 방법에 대한 또 다른 실시 예를 도시한다.
제1광-음향 통신 장치(200c)는, 음향 수신기(201c), 제1인스턴트 통신 장치(202a) 및 적외선 발광 다이오드(203a)를 배치한다.
제2광-음향 통신 장치(200d)는 음향 방사기(201d), 제2인스턴트 통신 장치(202b) 및 적외선 이미지 장치(203b)를 배치한다.
제1광-통신 장치인 적외선 발광 다이오드(203a)와 제2광-통신 장치인 적외선 이미지 장치(203b)는 서로 광학 링크(oL)를 형성할 수 있다.
동작 시, 음향 방사기(201c) 및 음향 수신기(201d)는 상술한 바와 같이 음향 신호의TOF(time-of-flight) 측정에 의해, 제1 및 제2측정 장치들(120a, 121a 및 120b, 121b) 사이의 거리를 각각 측정하기 위해 제1 및 제2인스턴트 통신 장치들(202a 및 202b)과 함께 사용된다. 이미지 장치(203b) 및 적외선 LED(203a)는 각각 제1 및 제2측정 장치(120a, 121a 및 120b, 121b) 사이의 각도 좌표(angular coordinate)를 계산하는데 사용된다. 상기 각도 좌표 및 상기 거리는 각각 제1측정 장치(120a 및 120b)에 대한 제2측정 장치(121a 및 121b) 사이의 위치를 결정한다.
제1광-음향 통신 장치(200c)는 제1 및 제2측정 장치들(120a, 121a 및 120b, 121b) 중 하나에 통합될 수 있고, 제2광-음향 통신 장치(200d)는 제1 및 제2측정 장치 장치들(120a, 121a 및 120b, 121b) 다른 하나에 통합될 수 있다.
도 5는 상부 사지(upper limb)(107, 108)(도 1 참조)와 손(102)의 전체 포즈를 얻는 방법을 도시한다. 도 1에 도시된 바와 같이, 제1측정 장치(121a)는 손목 밴드(111) 등을 이용하여 사용자(100)의 손목(103)에 부착된다. 또한, 그 방향(예를 들어, IMU)을 결정할 수 있는 추가 측정 장치(304a)가 손목 밴드(111)에 부착된다. 제2측정 장치(121a)에 의해 결정된 위치 및 추가 측정 장치(304a)에 의해 결정된 방향은 제2몸체부, 여기서는 하부 팔(107)(도 1 참조)을 3차원 공간에 위치시키는데 사용된다.
역방향 운동학(inverse kinematic)은 상부 팔(도 2의 108)의 위치 및 방위를 발견하는데 사용될 수 있다. 그 방향을 결정할 수 있는 다른 장치(304b)가 손에 부착되고, 그와 유사한 장치(305)가 손가락(106)의 세그먼트에 부착된다. 제1측정 장치(121a) 및 추가 측정 장치(304a)에 의해 전달된 위치 및 방위에 기초하여, 손(102) 및 손가락(106)의 포즈 및 제스처를 계산하기 위해 장치(304b) 및 유사 장치(305)에 의해 전달된 방위에 순방향 운동학(forward kinematics)이 사용될 수 있다.
도 6은 상부 사지(도 1의 107, 108) 및 손(102)의 전체 포즈를 얻는 방법을 나타내는 실시 예를 더 도시한다. 도 2에 도시된 바와 같이, 장치(121b)는 글러브(110) 등을 사용하여 사용자의 손(102)에 부착된다. 또한, 그 방향(예를 들어, IMU)을 결정할 수 있는 또 다른 측정 장치(304b)가 글러브(110)에도 부착된다. 장치(121a)에 의해 전달된 위치 및 장치(304a)의 방위는 손(102)을 공간에 위치시키기 위해 사용된다. 그 방향(예를 들어, IMU)을 결정할 수 있는 다른 장치(305)가 손가락(106)의 세그먼트에 부착된다. 순방향 운동학은 장치(305)에 의해 전달된 방위에 사용되어 손(102)의 자세 및 제스처를 계산할 수 있다.
이러한 구성에서, 그 방향을 계산할 수 있는 선택적 손목 밴드(111) 및 부착된 장치(304a)는 역방향 운동학과 조합하여 하부 및 상부 팔(107, 108)의 자세를 계산할 수 있다.
따라서, 본 발명은 서로 통신할 수 있는 적어도 2개의 물리적으로 분리된 측정 장치(120a, 121a 및 120b, 121b), 즉 개별 유닛을 배치한다. 그들 중 하나는 각각 제1측정 장치(120a 및 120b)가 토르소(104)(예를 들어, 도 2에 도시된 바와 같이 벨트를 구비한 엉덩이 또는 가슴에) 또는 헤드(101)(예를 들어,도 1에 도시된 바와 같이 이마 또는 사용자가 착용한 헤드-마운트 디스플레이(130)에)에 부착될 수 있다. 그러나, 다른 몸체부가 제1몸체부로 선택될 수 있다. 적어도 하나의 다른 장치인 제2측정 장치(121a, 121b)는 상부 사지에, 보다 정확하게는 손목(도 1의 103 참조) 또는 가령, 손목 밴드(111) 또는 글러브(110)에 포함되는 손(도 2의 102 참조)에 부착되고, 그의 위치는 각각 기준 장치(120a 및 120b)의 위치에 대해 추적된다. 또는, 추가의 제2장치(121a, 121b) 및/또는 IMU와 같은 다른 측정 장치(304, 304b)는 그와 동일하거나 다른 몸체부에 부착될 수 있고 동일 또는 다른 손이나 다른 손목과 같은 다른 사지에서 트래킹 될 수 있다.
상기 애플리케이션에 따라, 상기 가상 환경은 사용자(100)의 관점에서 볼 때 사용자(100)에게 노출된다. 헤드(101)의 비디 프레임은 당연히 헤드-마운트 디스플레이(130)의 가상 카메라에 대응하기 때문에, 기준 장치(즉, 제1측정 장치(120a, 120b))는 전형적으로 사용자(100)의 헤드(101)에 장착될 것이고, 가상 환경을 렌더링 하는데 사용된다.
제3자 관점에서 가상 컨텐츠가 노출되는 애플리케이션에서, 기준 장치(120b)는 토르소(104)에 놓일 수 있다. 그러나, 기준 장치(120b)가 토르소(104)에 부착되면, 그 방위(가령, IMU)를 결정할 수 있는 장치(304)가 헤드(101)에 부착될 수 있고, 상기 방위는 토르소(104)의 기준 바디 프레임으로부터 헤드(101)의 바디 프레임까지 트래킹 위치를 이동시키는데 사용될 수 있다. 헤드-마운트 디스플레이는 전형적으로 그러한 방위 결정 장치(304)를 이미 포함하고 있으며, 따라서 이러한 특정한 경우에는 센서가 더 요구되지 않을 것이다.
기준 장치(120a)가 헤드(101)에 부착되면, 방위 가능 장치가 토르소(104)에 부착되어 다른 방향으로 유사한 결과를 얻을 수 있다.
상기 트래킹 장치, 즉 본 발명의 제2장치(121a, 121b)는, 하나 이상의, 바람직하게는 모두 3개의 축에서의 사지(limb)의 위치뿐만 아니라 방향도 알려져 있도록, 이러한 방위 가능 장치(304)를 더 포함할 수 있다.
이러한 방위 가능 장치가 인접한 사지(limb)에 부착되는 경우, 순방향 운동학(forward kinematics)이 그들의 위치 및 방위를 결정하는데 사용될 수 있다. 예를 들어, 본 발명의 상기 트래킹 장치가 손목 및 IMUs와 같은 방위 가능 장치(304)에 부착되면, 가령, IMUs가 (도 5에 도시된 바와 같이) 손목, 손 및 손가락 세그먼트에 부착되면, 순방향 운동학(forward kinematics)은 손목(103)의 위치 및 방위에 기초하여 손(102)의 전체 포즈 및 제스처를 계산하는데 사용될 수 있다.
또한, 역방향 운동학(inverse kinematics)이 상부 팔(108)의 자세 및 방위를 계산하는데 사용될 수 있고, 따라서 전체 팔(107, 108) 및 손(102)의 포즈를 알 수 있다.
손(102)의 손목 장치(121a) 및 센서들(304, 304b, 305) 모두가 글러브(110)에 통합될 수 있기 때문에, 최소 세트의 아이템이 사용자(100)에 의해 착용될 필요가 있고, 여전히 완전한 상체 움직임이 트래킹 될 수 있다.
마찬가지로, 상기 추적 가능 장치, 즉 제2측정 장치(121b)는 도 6에 도시된 바와 같이 손목(103) 대신에 손(102)에 부착될 수 있으며, 동일한 결과가 달성될 수 있다.
비록 도 1 및 도 2에는 단지 두 개의 케이스만 도시되어 있지만, 토르소(104) 및/또는 헤드(101)에 부착되는 기준 장치(120a, 120b), 그리고 상부 사지(107, 108) 및/또는 손(102)에 부착되는 트래킹 장치(121a, 121b)의 모든 조합이 동일하게 잘 동작하는 점은 명백하다.
사지의 국소화는 여러 가지 방법으로 달성될 수 있다. 본 발명의 일 실시 예에서, 하나 이상의 음향 방사기 및 인스턴트 통신 장치(가령, 무선 주파수 모듈)가 제1몸체부에 부착된 제1측정 장치에 배치되고, 하나 이상의 음향 수신기 및 또 다른 인스턴트 통신 장치는 제2몸체부에 부착된 제2측정 장치에 배치된다. 기준 장치의 기능과 트캐킹 장치의 다른 기능은 상호 교환될 수 있음은 명백하다.
시스템의 각 방사기에 대해 동일한 장치에 있는 통신 장치가 음향 펄스를 어나운스하고 즉시 펄스가 트리거 된다. 음향 수신기가 있는 장치 상의 통신 장치가 어나운스를 수신하면 음향 수신기가 들어오는 펄스를 감지할 때까지의 시간을 측정하는 타이머가 시작된다. 음향 신호의 알려진 속도와 함께 TOF(time-of-flight)은 두 장치 사이의 거리를 계산하는 데 사용된다. 상기 거리(예를 들어, 초-광 대역 또는 시각 신호)를 계산할 수 있는 다른 장치들이 상기 실시 예에서 설명된 음향 장치를 대체할 수 있음은 명백하다.
적어도 1개의 음향 수신기와 조합하여 서로 차례로 펄스화된 적어도 3개의 음향 방사기 혹은 적어도 3개의 음향 수신기와 조합하여 서로 차례로 펄스화된 적어도 1개의 음향 방사기는 3가지 상이한 거리 측정치를 제공한다. 하나의 장치에 견고하게 부착된 적어도 3개의 송신기의 상대 위치를 아는 것은 거리 측정과 함께 삼각 측량을 통해 장치 상호 간의 상대 위치를 계산하기에 충분한 정보를 제공한다. 하나의 방사기가 3개의 수신기에 의해 공유되는 경우가 도 3에 도시되어 있다. 방사기들과 수신기들의 임의의 조합을 하나 또는 다른 장치에 배치할 수 있음은 명백하다.
다른 실시 예에서, 거리 측정 유닛은 다른 유닛에 의해 보완되고, 구형 좌표(spherical coordinates)로 표현된 기준 장치와 트래킹 장치 사이의 상대적인 방위를 정의하는 각도를 결정할 수 있다. 그러한 유닛에 대한 예는 기준 장치 또는 추적 장치에 부착된 이미지 센서 및 다른 장치에 부착된 가령, LED와 같은 트래킹 가능한 기능일 수 있다. 상기 이미지 센서는 LED의 투사된 이미지의 이미지 좌표를 트래킹 할 수 있고, 이미지 센서 중심에서 LED까지 및 이미지 센서 노멀 사이의 두 각도를 정의한다. 상기 거리 측정 유닛에 의해 제공되는 거리와 함께 이미지 센서에서 LED까지 이렇게 정의된 방향은 두 장치 사이의 상대 위치를 정의한다.
본 발명은 가령, LED, 및 시각적 스펙트럼에서 작동하는 이미지 센서와 같은 트래킹 가능한 특징뿐만 아니라 임의의 다른 파장(가령, 적외선)도 보호한다는 것을 이해해야 한다. 또한 단일 LED를 사용하는 대신 LED 배열 또는 기타 트래킹 가능한 기능을 사용하여 접근 방식의 안정성을 더욱 높일 수 있다.
특징 패턴이 알려지면, 컴퓨터 비전 접근법은 이미지 공간에서 상기 특징의 크기를 분석하여 거리를 계산하는데 사용할 수 있다. 이로 인해 특징 크기가 거리 측정으로 사용되고 특징 위치가 추가 측정으로 사용되어 장치 간의 상대 위치를 계산하기에 충분한 정보가 제공되는 또 다른 접근 방법이 있다.
내지는, 상기 광학 거리 측정은 다른 거리 측정을 동반할 수 있다.
이하의 청구 범위의 주제는 반드시 상술한 특정 특징에 반드시 제한되는 것은 아니다. 상기 예 및 실시 예는 청구 범위의 가능한 구현 예이고 다른 특징은 청구 범위의 범위 내에 있는 것으로 의도된다.
12 웨어러블 모션 트래킹 시스템
100 사용자
101 사용자의 제1몸체부, 헤드
102 사용자의 제2몸체부, 손
103 사용자의 제2몸체부, 손목
104 사용자의 제1몸체부, 토르소
106 손가락(엄지 포함)
107 하부 팔
108 상부 팔
110 글러브
111 손목 밴드
120a,b 제1측정 장치
121a,b 제2측정 장치
130 기준 유닛, 헤드 마운트 디스플레이
140 기준 유닛
141 트래킹 유닛
150 컴퓨터 장치
200a 제1음향 통신 장치
200b 제2음향 통신 장치
200c 제1광-음향 통신 장치
200d 제2광-음향 통신 장치
201a,d 음향 방사기/송신기
201b,c 음향 수신기
202a 제1인스턴트 통신 장치
202b 제2인스턴트 통신 장치
203a 방사 장치, 적외선 LED
203b 광 이미지 장치, 적외선 이미지 장치
304, 304a,b IMU와 같은 방위 가능 장치
aL 음향 링크
iL 순시 링크
oL 광 링크

Claims (19)

  1. 사용자(100)의 제1몸체부(101; 104)와 상기 사용자(100)의 제2몸체부(102, 103, 106-108) 사이의 상대 위치를 캡처하는 웨어러블 모션 트래킹 시스템(12)에 있어서,
    상기 제1몸체부(101; 104)에 부착 가능한 적어도 하나의 제1측정 장치(120a, 120b);
    상기 제2몸체부(102; 103; 106-108)에 부착 가능한 적어도 하나의 제2측정 장치(121a, 121b); 및
    컴퓨터 장치(150)를 포함하고,
    상기 적어도 하나의 제1측정 장치(120a, 120b), 상기 적어도 하나의 제2측정 장치(121a, 121b) 및 상기 컴퓨터 장치(150)는, 상기 컴퓨터 장치(150)에 의해 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이에서 복수의 측정을 얻도록 구성되며,
    상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이에서 복수의 측정은, 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이의 적어도 하나의 거리 측정을 포함하며; 및
    상기 컴퓨터 장치(150)는 상기 제1몸체부에 대한 상기 제2몸체부의 위치를 트래킹 하기 위해 상기 복수의 측정을 사용하여 상기 제1측정 장치(120a, 120b)에 대해 상기 제2측정 장치(121a, 121b)의 위치를 3차원으로 계산하도록 구성되는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  2. 제 1 항에 있어서,
    상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이에서 복수의 측정은, 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이에 적어도 하나의 방위 측정을 포함하는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제1측정 장치(120a; 120b)는 제1음향 통신 장치(200a)를 포함하고,
    상기 제2측정 장치(121a; 121b)는 제2음향 통신 장치(200b)를 포함하며;
    상기 제1 및 제2음향 통신 장치(200a, 200b)는 상호간에 음향 링크(aL)를 설정하도록 구성되며;
    상기 복수의 측정은 상기 제1음향 통신 장치(200a)와 상기 제2음향 통신 장치(200b) 사이의 적어도 하나의 음향 측정을 포함하는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 거리 및/또는 방위 측정은 상기 적어도 하나의 음향 측정이거나 포함되는 것을 특징으로하는 웨어러블 모션 특래킹 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 제1측정 장치(120a; 120b)는 제1광 통신 장치(203a)를 포함하고
    상기 제2측정 장치(121a; 121b)는 제2광 통신 장치(203b)를 포함하며;
    상기 제1 및 제2광 통신 장치(203a, 203b)는 상호간에 광학 링크(oL)를 설정하도록 구성되며;
    상기 복수의 측정은 상기 제1광 및 제2광 통신 장치(203a, 203b) 사이의 적어도 하나의 광 측정을 포함하는 것을 특징으로하는 웨어러블 모션 트래킹 시스템.
  6. 제 5 항에 있어서,
    상기 제1 및 제2광 통신 장치(203b) 중 하나는 이미지 센서를 포함하고, 상기 제1 및 제2광 통신 장치(203a) 중 다른 하나는 트래킹 특징, 바람직하게는 방사선 소스를 포함하며, 바람직하게는, 상기 트래킹 가능한 특징의 크기가 상기 웨어러블 모션 트래킹 추적 시스템(12)에 알려지고 사용되는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 적어도 하나의 거리 및/또는 방위 측정은 상기 적어도 하나의 광학 측정이거나 포함되며, 바람직하게는 상기 거리 측정은 음향 측정이고 상기 적어도 하나의 방향 측정은 광학 측정인 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제1측정 장치(120a, 120b)는 제1초-광 대역 통신 장치를 포함하고,
    상기 제2측정 장치(121a; 121b)는 제 2초-광 대역 통신 장치를 포함하며;
    상기 제1 및 제2초-광 대역 통신 장치는 상호간에 초-광 대역 링크를 설정하도록 구성되며; 및
    상기 복수의 측정은 상기 제1 및 제2초-광 대역 밴드 통신 장치 사이의 적어도 하나의 초-광 대역 밴드 측정을 포함하는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 제1몸체부(101; 104)는 상기 사용자(100)의 토르소(104) 및/또는 헤드(101)이고, 및/또는 상기 제2몸체부(102; 103; 107; 108)는 상기 사용자(100)의 상부 사지(107,108) 및/또는 손(102) 인 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 컴퓨터 장치(150)는 적어도 부분적으로 기준 유닛(140)에 통합되고, 상기 기준 유닛(140)은 상기 사용자(100)의 상기 제1몸체부(101; 104)에 부착 가능하며, 상기 적어도 하나의 제1측정 장치(120a, 120b)를 더 포함하며; 및/또는
    상기 컴퓨터 장치(150)는 적어도 부분적으로 트래킹 유닛(141)에 통합되고, 상기 트래킹 유닛(141)은 상기 사용자(100)의 상기 제2몸체부(102; 103; 107; 108)에 부착 가능하며, 상기 적어도 하나의 제2측정 장치(121a, 121b)를 더 포함하는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 복수의 측정은 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이에서 하나의 거리 및 하나의 방위 측정으로 구성되거나 포함되고, 혹은 3개 이상의 상기 거리 측정으로 구성되거나 포함되는 것을 특징으로 하는 웨어러블 모션 트래킹 시스템.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제1측정 장치(120a, 120b) 및/또는 상기 제2측정 장치(121a, 121b)는 제1측정 장치(120a, 120b)에 대한 제2측정 장치(121a, 121b)의 방위 또는 제2측정 장치(121a, 121b)의 절대 방위를 적어도 부분적으로 결정하고 트래킹 하기 위한 하나 이상의 추가 측정 장치(304; 304a; 304b)를 포함하고,
    상기 하나 이상의 추가 측정 장치(304; 304a; 304b)는 관성 측정 장치인 것을 특징으로 하는 에어러블 모션 트래킹 시스템.
  13. 사용자(100)의 제1몸체부(101; 104)와 상기 사용자(100)의 제2몸체부(102; 103; 106-108) 사이의 상대 위치를 트래킹 하는 방법에 있어서,
    상기 제1몸체부(101; 104)에 부착 가능한 적어도 하나의 제1측정 장치(120a; 120b), 상기 제2몸체부(102; 103; 106-108)에 부착 가능한 적어도 하나의 제2측정 장치(121a; 121b), 및 컴퓨터 장치(150)를 이용하여 상기 컴퓨터 장치(150) 상에서 애플리케이션을 다음과 같이 실행하는 단계를 포함하고,
    ⅰ) 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이에서 복수의 제1측정을 수행하고, 상기 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이의 상기 복수의 제1측정은 상기 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이의 적어도 하나의 거리 측정을 포함하는 단계; 및
    ii) 상기 복수의 제1측정을 사용하여 상기 제1측정 장치(120a; 120b)에 대해 상기 제2측정 장치(121a; 121b)의 제1위치를 3차원으로 계산하고;
    ⅲ) 상기 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이에서 하나 이상의 복수의 후속 측정을 수행하고, 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이의 상기 복수의 제1측정은, 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이의 적어도 하나의 거리 측정을 포함하고; 및
    ⅳ) 상기 제1몸체부(101; 104)에 대해 상기 제2몸체부의 위치를 트래킹 하기 위하여, 상기 하나 이상의 복수의 후속 측정을 사용하여 상기 제1측정 장치(120a, 120b)에 대해 상기 제2측정 장치(121a, 121b)의 하나 이상의 후속 위치를 3 차원적으로 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제 13 항에 있어서,
    상기 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이의 상기 복수의 제1측정 및/또는 상기 하나 이상의 복수의 후속 측정은 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이의 적어도 하나의 방향 측정을 포함하는 것을 특징으로 하는 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 복수의 제1측정 및/또는 상기 하나 이상의 복수의 후속 측정은 상기 적어도 하나의 방향 측정으로서, 음향 측정, 광 측정 및 초-광 대역 측정으로 구성된 그룹으로부터 선택된 적어도 하나의 측정을 포함하는 것을 특징으로 하는 방법.
  16. 제 13 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 복수의 제1측정 및/또는 상기 하나 이상의 복수의 후속 측정은 상기 적어도 하나의 거리 측정으로서, 음향 측정, 광 측정 및 초-광 대역 측정으로 구성된 그룹으로부터 선택된 적어도 하나의 측정을 포함하는 것을 특징으로 하는 방법.
  17. 제 13 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 제1측정 장치(120a, 120b)와 상기 제2측정 장치(121a, 121b) 사이의 상기 복수의 제1측정 및/또는 상기 하나 이상의 복수의 후속 측정은 상기 제1측정 장치(120a; 120b)와 상기 제2측정 장치(121a; 121b) 사이의 하나의 거리 및 하나의 방향 측정을 포함하는 것을 특징으로 하는 방법.
  18. 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 제1몸체부(101; 104)는 상기 사용자(100)의 토르소(104) 또는 헤드(101)이고; 및/또는
    상기 제2몸체부(102; 103; 106-108)는 상기 사용자(100)의 상부 사지 또는 손목(103) 또는 손(102) 인 것을 특징으로 하는 방법.
  19. 제 13 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 제1몸체부(101; 104)에 대한 상기 제2몸체부(102; 103; 106-108)의 상기 트래킹 위치는 가상 환경에서 사용되는 것을 특징으로 하는 방법.
KR1020197016929A 2016-11-25 2017-11-16 웨어러블 모션 트래킹 시스템 KR102497449B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16200754 2016-11-25
EP16200754.6 2016-11-25
PCT/EP2017/079462 WO2018095804A1 (en) 2016-11-25 2017-11-16 Wearable motion tracking system

Publications (2)

Publication Number Publication Date
KR20190087473A true KR20190087473A (ko) 2019-07-24
KR102497449B1 KR102497449B1 (ko) 2023-02-07

Family

ID=57406130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197016929A KR102497449B1 (ko) 2016-11-25 2017-11-16 웨어러블 모션 트래킹 시스템

Country Status (11)

Country Link
US (1) US10768691B2 (ko)
EP (1) EP3545385B1 (ko)
JP (1) JP7162898B2 (ko)
KR (1) KR102497449B1 (ko)
CN (1) CN110023884B (ko)
AU (1) AU2017365223B2 (ko)
CA (1) CA3041958A1 (ko)
DK (1) DK3545385T3 (ko)
ES (1) ES2886908T3 (ko)
RU (1) RU2746686C2 (ko)
WO (1) WO2018095804A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097033B1 (ko) 2019-10-16 2020-04-03 주식회사 코탁스 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3058171A1 (en) * 2017-03-28 2018-10-04 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
CN110494792B (zh) 2018-03-07 2021-07-09 奇跃公司 外围设备的视觉跟踪
EP3598270A1 (en) * 2018-07-17 2020-01-22 Technische Universität München Method and control unit for controlling a virtual reality display, virtual reality display and virtual reality system
US11175734B1 (en) * 2019-09-26 2021-11-16 Apple Inc Wrist tracking devices
CN113029190A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 运动跟踪系统和方法
CA3161710A1 (en) * 2019-12-31 2021-07-08 William Xavier Kerber Proxy controller suit with optional dual range kinematics
US11003247B1 (en) * 2020-03-20 2021-05-11 Microsoft Technology Licensing, Llc Deployable controller
CN114543844B (zh) * 2021-04-09 2024-05-03 恒玄科技(上海)股份有限公司 无线音频设备的音频播放处理方法、装置及无线音频设备
US20230003863A1 (en) * 2021-07-01 2023-01-05 SWORD Health S.A. Assessment of position of motion trackers on a subject based on wireless communications
WO2023097577A1 (zh) * 2021-12-01 2023-06-08 浙江大学湖州研究院 一种可拓展的基于uwb和摄像头的相对定位的设备和方法
WO2024085266A1 (ko) * 2022-10-17 2024-04-25 삼성전자 주식회사 초광대역 통신 신호를 이용하여 제스처를 검출하기 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142506A (en) 1990-10-22 1992-08-25 Logitech, Inc. Ultrasonic position locating method and apparatus therefor
US6176837B1 (en) 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
IL141400A0 (en) 1998-08-18 2002-03-10 Digital Ink Inc Handwriting device with detection sensors for absolute and relative positioning
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
AU2002230578A1 (en) 2000-10-30 2002-05-15 Naval Postgraduate School Method and apparatus for motion tracking of an articulated rigid body
US6784826B2 (en) * 2001-01-26 2004-08-31 Tera Research Incorporated Body motion tracking system
US6876945B2 (en) 2002-03-25 2005-04-05 Nicholas Jon Emord Seamless sensory system
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
RU2257846C1 (ru) * 2004-04-28 2005-08-10 Общество с ограниченной ответственностью "ЛАУРУС" Способ регистрации движений человека и устройство для его осуществления
US7633521B2 (en) 2005-02-25 2009-12-15 Onlive, Inc. Apparatus and method improving marker identification within a motion capture system
MD14Z (ro) * 2006-12-21 2009-11-30 Еуджен МОРАРУ Procedeu şi dispozitiv de înregistrare a traiectoriei mişcării corpului uman şi a unor părţi separate ale lui
US7628074B2 (en) 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
US20090054147A1 (en) 2007-08-21 2009-02-26 Cheng Uei Precision Industry Co., Ltd. Interactive game system
US20090170601A1 (en) 2007-12-28 2009-07-02 Cheng Uei Precision Industry Co., Ltd. Method for recognizing the position of a gaming device
GB0901020D0 (en) 2009-01-21 2009-03-04 Birmingham City University A motion capture apparatus
US9436286B2 (en) 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user
JP5720269B2 (ja) 2011-01-21 2015-05-20 富士通株式会社 位置算出装置、位置算出方法および位置算出プログラム
US20120220233A1 (en) 2011-02-28 2012-08-30 Qualcomm Incorporated Ranging with body motion capture
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9310895B2 (en) 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
WO2014114967A1 (en) * 2013-01-25 2014-07-31 WENNER, Fabian Self-calibrating motion capture system
US8986125B2 (en) 2013-03-14 2015-03-24 Valve Corporation Wearable input device
CN105705090B (zh) * 2013-10-21 2019-06-14 苹果公司 传感器和应用
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
JP6525010B2 (ja) 2014-08-05 2019-06-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP3194297U (ja) * 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
US10019059B2 (en) 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US10338186B2 (en) 2014-11-10 2019-07-02 Valve Corporation Positional tracking systems and methods
CN113050802A (zh) 2014-12-18 2021-06-29 脸谱科技有限责任公司 用于在虚拟现实环境中导航的方法、系统及设备
US9854227B2 (en) 2015-01-08 2017-12-26 David G Grossman Depth sensor
US20160232713A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
EP3067783A1 (en) 2015-03-11 2016-09-14 ETH Zurich Method and system to track human locomotion by relative positional tracking of body parts of the human
US9939910B2 (en) * 2015-12-22 2018-04-10 Intel Corporation Dynamic effects processing and communications for wearable devices
JP2017205213A (ja) 2016-05-17 2017-11-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D.Vlasic et. al., "Practical Motion Capture in Everday Surroundings," ACM Trans. on Graphics, Vol. 26, Issue 3, pp. 35-43, 2007. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097033B1 (ko) 2019-10-16 2020-04-03 주식회사 코탁스 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Also Published As

Publication number Publication date
WO2018095804A1 (en) 2018-05-31
ES2886908T3 (es) 2021-12-21
KR102497449B1 (ko) 2023-02-07
EP3545385B1 (en) 2021-07-14
US20180150131A1 (en) 2018-05-31
AU2017365223B2 (en) 2022-07-07
CN110023884A (zh) 2019-07-16
CA3041958A1 (en) 2018-05-31
EP3545385A1 (en) 2019-10-02
RU2746686C2 (ru) 2021-04-19
CN110023884B (zh) 2022-10-25
US10768691B2 (en) 2020-09-08
JP2020501245A (ja) 2020-01-16
RU2019118220A (ru) 2020-12-25
RU2019118220A3 (ko) 2021-02-24
DK3545385T3 (da) 2021-10-04
JP7162898B2 (ja) 2022-10-31
AU2017365223A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102497449B1 (ko) 웨어러블 모션 트래킹 시스템
US10679360B2 (en) Mixed motion capture system and method
AU2017257549B2 (en) Electromagnetic tracking with augmented reality systems
AU2017214748B2 (en) Systems and methods for augmented reality
US10309764B2 (en) Ultra-portable coordinate measurement machine
US20170205903A1 (en) Systems and methods for augmented reality
CN106415200B (zh) 包括可追踪设备和构造成安装在人体上的挽具的超便携式坐标测量机器
JP6852673B2 (ja) センサ装置、センサシステム及び情報処理装置
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
JP2022505423A (ja) 電磁追跡のための周囲電磁歪み補正
JP7428436B2 (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021188219A1 (en) Apparatus, system, and method for wrist tracking and gesture detection via time of flight sensors
JP2023515526A (ja) ウェアラブルシステムのための手およびトーテム入力融合
WO2023059458A1 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
US20180216959A1 (en) A Combined Motion Capture System
US20190339768A1 (en) Virtual reality interaction system and method
KR20150057803A (ko) 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법
US11662815B2 (en) Apparatus, system, and method for detecting user input via hand gestures and arm movements
WO2023042398A1 (ja) 位置入力システム、コントローラおよびアタッチメント
Grosso Vision and inertial data fusion for collaborative robotics
JP2023178798A (ja) 情報処理装置、コントローラ表示方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant