KR20230106328A - 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법 - Google Patents

신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법 Download PDF

Info

Publication number
KR20230106328A
KR20230106328A KR1020220002093A KR20220002093A KR20230106328A KR 20230106328 A KR20230106328 A KR 20230106328A KR 1020220002093 A KR1020220002093 A KR 1020220002093A KR 20220002093 A KR20220002093 A KR 20220002093A KR 20230106328 A KR20230106328 A KR 20230106328A
Authority
KR
South Korea
Prior art keywords
joint
hmd
transform
space
marker
Prior art date
Application number
KR1020220002093A
Other languages
English (en)
Inventor
김항기
이동춘
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020220002093A priority Critical patent/KR20230106328A/ko
Publication of KR20230106328A publication Critical patent/KR20230106328A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 또는 가상현실 장치의 신체 관절 추적 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 단계, HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 단계, 및 상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 단계를 포함한다.

Description

신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법{AUGMENTED REALITY OR VIRTUAL REALITY DEVICE FOR TRACKING BODY JOINT AND METHOD USING THE SAME}
본 발명은 가상현실 또는 증강현실 장치에서 실행되는 콘텐츠와 실시간 상호작용을 위해 사용자의 신체 관절을 추적하는 기술에 관한 것이다.
구체적으로, 본 발명은 마커와 관성 측정 장치로 구성된 관절 마커를 이용하여 사용자의 신체 관절을 추적하는 기술에 관한 것이다.
현재 출시되고 있는 가상현실 및 증강현실(Virtual Reality/Augmented Reality; VR/AR) 장치(Head Mounted Display[HMD], 모바일 기기 등)는 공간 내에서 3D 트랜스폼 정보를 분석하고, 이를 이용하여 콘텐츠 영상을 생성한다. 이러한 VR/AR 장치는 손에 쥘 수 있는 추가적인 VR/AR 컨트롤러를 제공하여 3D 트랜스폼 정보를 구하여 이를 VR/AR 콘텐츠와 상호작용하는 데에 사용한다.
하지만, VR/AR 장치는 신체 관절을 추적하는 기능이 아직 부족하며, 이를 보완하기 위하여 외부 관절 인식 장치(Microsoft Kinect 등), 외부 거치형 추적 장치를 함께 사용하기도 한다.
이러한 외부 거치형 추적 장치의 문제점은 별도의 장치를 거치해야 한다는 것과 연동하기 위한 기술을 별도로 개발해야 한다는 점, 컨트롤러에 비해서 상대적으로 부정확한 추적을 한다는 점, 거치형 장치의 시야에서 벗어나는 관절의 경우 추적하지 못한다는 점이다.
국내 공개특허공보 제10-2019-0059726호(발명의 명칭: 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법)
본 발명의 목적은 사용자의 관절에 대한 3D 정보를 이용하여 가상현실 또는 증강현실 콘텐츠와 상호작용하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 사용자가 손에 쥐고 있는 컨트롤러와 각 관절에 부착된 관절 마커를 이용하여 3D 트랜스폼 정보를 도출하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 또는 가상현실 장치의 신체 관절 추적 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 단계, HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 단계, 및 상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 단계를 포함한다.
이때, 상기 컨트롤러 및 관절 마커를 인식하는 단계는 상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 수행될 수 있다.
이때, 상기 관절 마커는 상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함할 수 있다.
이때, 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는 상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석할 수 있다.
이때, 상기 하방 관절 추적 카메라는 상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득할 수 있다.
이때, 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는 상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하는 단계, 및 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득하는 단계를 포함할 수 있다.
이때, 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는 상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 트랜스폼 분석부, HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 영상 획득부, 및 상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 관절 분석부를 포함한다.
이때, 상기 영상 획득부는 상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 상기 컨트롤러 및 관절 마커를 인식할 수 있다.
이때, 상기 관절 마커는 상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함할 수 있다.
이때, 상기 관절 분석부는 상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석할 수 있다.
이때, 상기 하방 관절 추적 카메라는 상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득할 수 있다.
이때, 상기 관절 분석부는 상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하고, 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득할 수 있다.
이때, 상기 관절 분석부는 상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 증강현실 또는 가상현실 장치의 신체 관절 추적 시스템은 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석 기능을 갖는 헤드 마운티드 디스플레이(Head Mounted Display; HMD), 및 사용자의 관절 위치 추적을 위한 컨트롤러 및 관절 마커를 포함하고, 상기 HMD의 카메라를 통해 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석한다.
이때, 상기 HMD는 하방 관절 추적 카메라가 부착되어 상기 컨트롤러 및 관절 마커를 인식할 수 있다.
이때, 상기 관절 마커는 상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함할 수 있다.
이때, 상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석할 수 있다.
이때, 상기 하방 관절 추적 카메라는 상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득할 수 있다.
이때, 상기 시스템은 상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하고, 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득할 수 있다.
이때, 상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식할 수 있다.
본 발명에 따르면, 사용자의 관절에 대한 3D 정보를 이용하여 가상현실 또는 증강현실 콘텐츠와 상호작용하는 기술을 제공할 수 있다.
또한, 본 발명은 사용자가 손에 쥐고 있는 컨트롤러와 각 관절에 부착된 관절 마커를 이용하여 3D 트랜스폼 정보를 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 또는 가상현실 장치의 신체 관절 추적 방법을 나타낸 흐름도이다.
도 2는 단계(S130)의 일 예를 상세히 나타낸 흐름도이다.
도 3 내지 도 4는 본 발명의 일 실시예에 따른 신체 관절 추적 방법을 상세히 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 시스템 구조도를 나타낸 블록도이다.
도 6은 본 발명의 실시예에 따른 관절 마커 장치를 나타낸 도면이다.
도 7은 사용자가 VR/AR 장치, 컨트롤러, 및 관절 마커를 착용한 예시를 나타낸 도면이다.
도 8은 컨트롤러 및 마커의 초기 트랜스폼 정보 추출할 때 사용자가 취하는 자세의 예시를 나타낸다.
도 9는 하방 관절 추적 카메라가 부착된 가상현실 또는 증강현실 장치의 구조를 나타낸 도면이다.
도 10은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 또는 가상현실 장치의 신체 관절 추적 방법을 나타낸 흐름도이다.
본 발명의 실시예에 따른 방법은 증강현실 또는 가상현실 장치(HMD, 모바일 기기 등)에서 수행될 수 있다. 다만, 실시예에 따른 방법은 별도의 컴퓨팅 디바이스에서 수행될 수도 있으며, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 1을 참조하면, 실시예에 따른 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석한다(S110).
이때, 3D 트랜스폼 정보는 이동(Translation), 회전(Rotation) 등의 정보를 포함할 수 있다.
다음으로, HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식한다(S120).
이때, 상기 컨트롤러 및 관절 마커를 인식하는 단계(S120)는 상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 수행될 수 있다.
즉, 상기 HMD에 자체적으로 내장된 카메라 또는 별도의 카메라를 통해 컨트롤러 및 관절 마커를 인식할 수 있다.
이때, 상기 하방 관절 추적 카메라는 상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득할 수 있다.
이때, 상기 관절 마커는 상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함할 수 있다.
다음으로, 상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석한다(S130).
이때, 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계(S130)는 상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석할 수 있다.
도 2는 단계(S130)의 일 예를 상세히 나타낸 흐름도이다.
도 2를 참조하면, 관절 3D 트랜스폼을 분석하는 단계(S130)는 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는 상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하는 단계(S132), 및 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득하는 단계(S134)를 포함할 수 있다.
이때, 상기 공간 내 관절 3D 트랜스폼을 분석하는 단계(S130)는 상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식할 수 있다.
도 3 내지 도 4는 본 발명의 일 실시예에 따른 신체 관절 추적 방법을 상세히 나타낸 흐름도이다.
도 3 내지 도 4를 참조하면, 첫 단계로 VR/AR 장비(HMD 등)는 공간 트래킹을 수행하고(S210), VR/AR 장비(HMD 등)의 공간 내 3D Transform 정보(Translation, Rotation)를 분석한다(S212). 일반적으로 VR/AR 장비는 자체적으로 공간 내 3D Transform 정보를 분석하는 기능을 기본 제공한다. 해당 Transform 정보를 이용하여 VR/AR 콘텐츠의 그래픽 카메라를 움직이고, 그에 따라 화면을 렌더링함으로써 사용자가 실제 그 공간에 있다는 몰입감을 주게 한다.
다음으로, VR/AR 장비에 내장된 카메라 혹은 주변 카메라(예: HMD 머리 밴드에 장착된 하방 추적 카메라)를 이용하여 컨트롤러 및 마커를 인식한다(S214).
이때, VR/AR 장비(HMD 등)와 함께 제공되는 컨트롤러는 사용자가 양손에 들고 움직이면 이를 3D 공간상에서의 움직임을 추적할 수 있게 되어 있으며, 이를 이용하여 콘텐츠와 실시간 상호작용한다. VR/AR 장비는 콘텐츠와 상호작용을 위하여 컨트롤러를 제공한다. 컨트롤러는 그 자체적으로 공간 내에서 Transform 정보를 분석하는 기능을 가진 경우도 있고(예: VIVE의 컨트롤러), VR/AR HMD의 센서를 통해 분석하는 경우도 있다.(예:Oculus Quest의 컨트롤러)
본 발명에서는 컨트롤러뿐만 아니라 손목, 팔꿈치, 무릎, 발목에 있는 마커 장치(IMU를 포함한다)도 함께 인식하고 추적한다.
도 5는 본 발명의 일 실시예에 따른 시스템 구조도를 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 시스템은 VR/AR 장비의 카메라 영상(101)을 이용하여 VR/AR 장비의 공간 내 트랜스폼을 분석하는 분석 모듈(104), VR/AR 장비의 공간 내 트랜스폼 정보(105), VR/AR 장비의 카메라 영상(101) 및 하방 관절 추적 카메라 영상(102)을 이용하여 컨트롤러 및 마커 트랜스폼을 인식하는 모듈(106)을 포함한다.
또한, 모듈(106)에서 획득된 컨트롤러 및 마커의 트랜스폼 정보(107) 및 IMU 정보(103)를 이용하여 컨트롤러 및 IMU 트랜스폼 움직임을 분석하는 모듈(108), 컨트롤러 및 IMU 트랜스폼 정보(109) 및 컨트롤러 및 마커 트랜스폼 정보(107)를 이용하여 신체 관절 트랜스폼 정보(111)를 생성하는 신체 관절 트랜스폼 정보 분석 모듈을 포함한다.
도 6은 본 발명의 실시예에 따른 관절 마커 장치를 나타낸 도면이다.
도 6을 참조하면, 실시예에 따른 관절 마커 장치는 마커와 관성 측정 장치를 포함한다.
마커는 일반적으로 AR/VR에서 사용하는 마커 종류이면 된다. 예를 들어, 마커의 종류는 AR Toolkit, ARTag, AprilTag, ArUco, QR Marker, Opti-Track Marker 등에 상응할 수 있다. 이러한 마커들은 카메라에서 각각 별개로 식별 가능하고, 식별 후 카메라의 기준에서 상대적 3차원 Transform 정보를 분석할 수 있는 것이 특징이다.
IMU 장치를 신체에 부착할 수 있도록 구성하고(예: 밴드) IMU 장치 자체의 3차원 공간 내 Transform 정보를 분석할 수 있도록 IMU 장치(혹은 근처)에 마커를 부착한다. 이렇게 구성된 마커+IMU 장치는 신체의 관절을 추적하기 위하여 관절에 부착한다. 예를 들어, 상기 마커+IMU 장치를 팔꿈치, 팔목, 무릎, 발목 등에 부착할 수 있다.
해당 마커+IMU 장치와 VR/AR 컨트롤러의 3D Transform을 실시간으로 추적함으로써 신체 관절에 대한 주요 정보를 찾아낼 수 있게 된다.
도 7은 사용자가 VR/AR 장치, 컨트롤러, 및 관절 마커를 착용한 예시를 나타낸 도면이다.
컨트롤러와 마커가 인식되면(S214) VR/AR 장비에 상대적인 컨트롤러, 마커 장치의 3D Transform을 분석(S216)하고, VR/AR 장비의 공간 내 3D Transform 정보를 이용하여 컨트롤러, 마커 장치의 공간 내 3D Transform 정보를 분석(S218)한다.
이때, 상대적인 3D Transform은 기준이 되는 Transform(예: VR/AR 장치)을 원점으로 보았을 때의 Transform(Offset, Local Rotation)을 의미하고, 공간 내 3D Transform이란 사용자가 사용하고 있는 공간 전체를 하나의 절대 좌표계로 보고, 해당 좌표계에서의 Transform 정보를 뜻한다.
이렇게 찾아낸 컨트롤러와 마커의 공간 내 3D Transform 정보를 초기 Transform 정보로 활용한다.
찾아낸 각 3D Transform 정보를 이용하여 해당 관절의 위치와 방향을 알 수 있다(S220). 관절 부위가 아닌 관절 부근에 마커를 부착할 경우 두 개 이상의 Transform 정보의 최소 교차지점을 계산함으로써 관절의 위치를 계산한다. 따라서 해당 마커 장치를 정확히 관절 위치에 부착하지 않더라도 실제 관절의 위치를 추정할 수 있다.
예를 들어, 팔꿈치의 위치를 인식해야 하는 경우 팔꿈치에 정확히 마커를 부착하지 않더라도 손목 부위와 팔꿈치 윗부분에 부착한 마커의 Transform(위치, 방향)을 계산하고, 이들을 각각 상완(Upper Arm), 전완(Lower Arm)의 Transform 정보로 인식하고, 이들의 교차(정확히 만나지 않더라도 최소거리로 Cross되는 위치) 지점을 팔꿈치로 인식할 수 있다.
도 8은 컨트롤러 및 마커의 초기 트랜스폼 정보 추출할 때 사용자가 취하는 자세의 예시를 나타낸다.
다음으로, 사용자의 동작에 따라 컨트롤러와 마커의 움직임을 추적해 가면서 실시간으로 공간 내 3D Transform 정보를 반복적으로 분석하여 VR/AR 콘텐츠와 상호작용한다.
VR/AR 장치의 시야만으로는 자유롭게 움직이는 신체에 부착된 컨트롤러와 마커를 감당하기에는 부족하다. 따라서 VR/AR 장치를 고정시키는 밴드의 좌우에 하방 관절 추적 카메라를 추가로 부착하여 시야의 부족함을 보완한다.
도 9는 하방 관절 추적 카메라가 부착된 가상현실 또는 증강현실 장치의 구조를 나타낸 도면이다.
초기 3D Transform을 분석할 때와 달리, 움직이는 컨트롤러, 마커는 VR/AR 장비(HMD, 밴드에 부착된 좌/우 하방 카메라)의 시야를 벗어나는 경우가 발생한다(S222). 이 경우에는 IMU 센서를 이용하여 이전 Transform을 기준으로 상대적으로 움직인 Transform을 도출함으로써 공간 내 3D Transform을 계산한다(S226, S230, S234, S238). 이렇게 IMU만으로 추적하다가 다시 컨트롤러와 마커가 시야에 들어오면 카메라의 인식된 정보를 이용하여 3D Transform을 지속적으로 추적한다(S224, S228, S232, S236).
도 10은 실시예에 따른 컴퓨터 시스템의 구성을 나타낸 도면이다.
실시예에 따른 증강현실 또는 가상현실 장치는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1000)에서 구현될 수 있다.
컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 인터페이스 입력 장치(1040), 사용자 인터페이스 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(1030)는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 트랜스폼 분석부, HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 영상 획득부, 및 상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 관절 분석부를 포함한다.
이때, 상기 영상 획득부는 상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 상기 컨트롤러 및 관절 마커를 인식할 수 있다.
이때, 상기 관절 마커는 상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함할 수 있다.
이때, 상기 관절 분석부는 상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석할 수 있다.
이때, 상기 하방 관절 추적 카메라는 상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득할 수 있다.
이때, 상기 관절 분석부는 상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하고, 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득할 수 있다.
본 발명의 구성에 따르면, VR/AR 장치의 상호작용 장치로써 신체 관절을 추적할 수 있다. 이를 위한 별도의 외부장치(Kinect 등)을 설치하지 않으며, 상대적으로 정확도가 높은 추적이 가능하다. 또한, VR/AR 장치 밴드 좌우 하방 카메라를 이용하여 관절 추적용 카메라의 시야를 넓혀 주며, 카메라 시야를 벗어날 경우 IMU 장치를 이용하여 지속적인 추적을 할 수 있다는 이점이 있다.
이때, 상기 관절 분석부는 상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식할 수 있다.
본 발명에서 설명하는 특정 실행들은 실시예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 인터페이스 입력 장치
1050: 사용자 인터페이스 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (15)

  1. 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 단계;
    HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 단계; 및
    상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 단계;
    를 포함하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  2. 청구항 1에 있어서,
    상기 컨트롤러 및 관절 마커를 인식하는 단계는
    상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 수행되는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  3. 청구항 2에 있어서,
    상기 관절 마커는
    상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  4. 청구항 3에 있어서,
    상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는
    상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  5. 청구항 2에 있어서,
    상기 하방 관절 추적 카메라는
    상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  6. 청구항 1에 있어서,
    상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는
    상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하는 단계; 및
    상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득하는 단계;
    를 포함하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  7. 청구항 1에 있어서,
    상기 공간 내 관절 3D 트랜스폼을 분석하는 단계는
    상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적 방법.
  8. 헤드 마운티드 디스플레이(Head Mounted Display; HMD)의 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석하는 트랜스폼 분석부;
    HMD 카메라를 이용하여 컨트롤러 및 관절 마커를 인식하는 영상 획득부; 및
    상기 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 관절 분석부;
    를 포함하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  9. 청구항 8에 있어서,
    상기 영상 획득부는
    상기 HMD 카메라 및 상기 HMD에 부착된 하방 관절 추적 카메라를 이용하여 상기 컨트롤러 및 관절 마커를 인식하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  10. 청구항 9에 있어서,
    상기 관절 마커는
    상기 카메라로 추적할 수 있는 마커 및 관성 측정 장치(Inertia Measurement Unit; IMU)를 포함하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  11. 청구항 10에 있어서,
    상기 관절 분석부는
    상기 관절 마커가 상기 HMD 카메라 및 상기 하방 관절 추적 카메라의 시야를 벗어나면, 상기 관성 측정 장치를 이용하여 상기 공간 내 관절 3D 트랜스폼을 분석하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  12. 청구항 9에 있어서,
    상기 하방 관절 추적 카메라는
    상기 HMD의 좌우 측면에 부착되어 상기 HMD의 하방 영상을 획득하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  13. 청구항 8에 있어서,
    상기 관절 분석부는
    상기 HMD를 기준으로 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 분석하고, 상기 HMD의 공간 내 3D 트랜스폼 정보와 상기 컨트롤러 및 상기 관절 마커의 상대적 3D 트랜스폼 정보를 이용하여 상기 공간 내 관절 3D 트랜스폼 정보를 획득하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  14. 청구항 8에 있어서,
    상기 관절 분석부는
    상기 관절 마커가 사용자의 관절 주변에 부착된 경우 복수개의 관절 마커에 상응하는 3D 트랜스폼 정보를 이용하여 최소 교차지점을 사용자의 관절 위치로 인식하는 것을 특징으로 하는 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치.
  15. 공간 내 3D 트랜스폼(3-Dimensional Transform)을 분석 기능을 갖는 헤드 마운티드 디스플레이(Head Mounted Display; HMD); 및
    사용자의 관절 위치 추적을 위한 컨트롤러 및 관절 마커;
    를 포함하고,
    HMD 카메라를 통해 인식된 컨트롤러 및 관절 마커의 정보에 기반하여 공간 내 관절 3D 트랜스폼을 분석하는 것을 특징으로 하는 증강현실 또는 가상현실 장치의 신체 관절 추적을 위한 시스템.
KR1020220002093A 2022-01-06 2022-01-06 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법 KR20230106328A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220002093A KR20230106328A (ko) 2022-01-06 2022-01-06 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220002093A KR20230106328A (ko) 2022-01-06 2022-01-06 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법

Publications (1)

Publication Number Publication Date
KR20230106328A true KR20230106328A (ko) 2023-07-13

Family

ID=87160304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220002093A KR20230106328A (ko) 2022-01-06 2022-01-06 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법

Country Status (1)

Country Link
KR (1) KR20230106328A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190059726A (ko) 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190059726A (ko) 2017-11-23 2019-05-31 한길씨앤씨 주식회사 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법

Similar Documents

Publication Publication Date Title
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
US9953461B2 (en) Navigation system applying augmented reality
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
Zhang et al. Real-time human motion tracking using multiple depth cameras
Ribo et al. Hybrid tracking for outdoor augmented reality applications
JP4234343B2 (ja) グラフィカル・モデルを用いた三次元物体の動的な視覚的位置合せ
Colombo et al. Visual capture and understanding of hand pointing actions in a 3-D environment
US10802606B2 (en) Method and device for aligning coordinate of controller or headset with coordinate of binocular system
KR20150028181A (ko) 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
US11494987B2 (en) Providing augmented reality in a web browser
US20180210546A1 (en) Pose-invariant eye-gaze tracking using a single commodity camera
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
Kim et al. 3D human-gesture interface for fighting games using motion recognition sensor
KR20020017576A (ko) 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
Pandey et al. Efficient 6-dof tracking of handheld objects from an egocentric viewpoint
CN109445598B (zh) 一种基于视觉的增强现实系统装置
KR20230106328A (ko) 신체 관절 추적 기능을 갖는 증강현실 또는 가상현실 장치 및 이를 이용한 방법
US20230326096A1 (en) Processing device, processing system, head mounted display, processing method, and storage medium
CN108364034B (zh) 一种多模式耦合的动作捕捉方法及装置
Meers et al. Head-pose tracking with a time-of-flight camera
CN114721502A (zh) 显示方法、显示系统及非暂态电脑可读取储存介质
CN113658278A (zh) 用于空间定位的方法及装置
Urgo et al. AI-Based Pose Estimation of Human Operators in Manufacturing Environments