KR102456069B1 - 현실 가상 모델 간 비율 보정 방법 - Google Patents

현실 가상 모델 간 비율 보정 방법 Download PDF

Info

Publication number
KR102456069B1
KR102456069B1 KR1020200089104A KR20200089104A KR102456069B1 KR 102456069 B1 KR102456069 B1 KR 102456069B1 KR 1020200089104 A KR1020200089104 A KR 1020200089104A KR 20200089104 A KR20200089104 A KR 20200089104A KR 102456069 B1 KR102456069 B1 KR 102456069B1
Authority
KR
South Korea
Prior art keywords
head
user
posture
hmd
character model
Prior art date
Application number
KR1020200089104A
Other languages
English (en)
Other versions
KR20220010335A (ko
Inventor
박진하
정하형
김충일
Original Assignee
주식회사 아이팝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이팝 filed Critical 주식회사 아이팝
Priority to KR1020200089104A priority Critical patent/KR102456069B1/ko
Publication of KR20220010335A publication Critical patent/KR20220010335A/ko
Application granted granted Critical
Publication of KR102456069B1 publication Critical patent/KR102456069B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 하이브리드 모션 캡쳐 시스템에서 실제 사용자 크기와 3차원 캐릭터 모델 크기 간의 비율을 보정하여 가상 캐릭터 모델의 자연스러운 움직임이 가능하도록 하는 현실 가상 모델 간 비율 보정 방법에 관한 것이다.
본 발명에 따른 현실 가상 모델 간 비율 보정 방법은 하이브리드 모션 캡쳐 시스템에서 사용자가 착용한 HMD(Head Mounted Display)의 모션센서 신호에 따라, 사용자의 머리에 해당하는 HMD의 위치와 각도를 3차원 캐릭터 모델의 머리 위치 및 각도로 복제하여 3차원 캐릭터 모델의 움직임을 재현하는 과정에서, 상기 HMD를 착용한 사용자의 머리 위치 정보에 맞추어 3차원 캐릭터 모델의 크기 및 머리 회전 중심점을 보정함으로써, 사용자의 신체 크기 및 머리 크기 비율이 3차원 캐릭터 모델과 맞지 않아 발생하는 가상 캐릭터의 부자연스러운 움직임을 방지할 수 있도록 한 것을 특징으로 한다.

Description

현실 가상 모델 간 비율 보정 방법 {Ratio correction method between a real model and virtual model}
본 발명은 현실 모델과 가상 모델 간의 비율을 보정하는 방법에 관한 것으로, 보다 상세하게는 하이브리드 모션 캡쳐 시스템에서 실제 사용자 크기와 가상 캐릭터 크기 간의 비율을 보정하여 가상 캐릭터의 자연스러운 움직임이 가능하도록 하는 현실 가상 모델 간 비율 보정 방법에 관한 것이다.
복잡하고 다양해지는 재난 환경 속에서 업무를 수행하는 소방 공무원은 보다 강도가 높은 교육 훈련이 절실해지고 있다. 현재 소방 공무원이 모든 위험한 재난상황을 경험할 수 없기 때문에, 다양한 안전사고 사례나 전술 훈련 등을 통해 현장대응 능력을 향상시키고 있는 실정이다.
하지만 이러한 전통적인 훈련 방법은 장소와 시간의 제약을 많기 받기 때문에 효과적인 훈련이 이루어지기 어려운 한계가 있다. 이에 따라 근래 들어 가상현실 기술을 이용한 훈련 기법이 등장하고 있는데, 가상 훈련 기법은 안전하면서 실제상황을 재현하여 교육 훈련생에게 실제 현장과 같은 느낌을 부여할 수 있어 최근 들어 각광받고 있다.
이러한 가상 훈련을 제공하기 위해서 모션 캡쳐 기술이 이용되는데, 모션 캡쳐 기술은 사람이나 동물 또는 기계 등의 사물에 센서를 부착하여 대상물의 움직임 정보를 재현함으로써 컨텐츠 분야부터 산업과 스포츠 분야에서 다양하게 활용되고 있다. 이러한 모션캡처 방식에는 과거 기구적인 측정 장치를 몸에 부착하여 움직임을 측정하던 기계식 측정방식과, MEMS(Micro Electro-Mechanical System) 자이로와 가속도계로 구성된 AHRS(Attitude Heading Reference System)를 이용한 센서식 측정방식, 그리고 다중 카메라 및 깊이 카메라를 이용한 광학식 방식 등이 있다.
또한, 실내 공간에 설치한 다중 카메라의 위치 측위 방식과 센서식 움직임 재현방식을 융합함하여 회전, 이동 운동 등과 관련된 역학신호를 측정하는 하이브리드 모션 캡처 방식도 근래에 이용되고 있다. 이러한 하이브리드 모션 캡쳐 시스템은 광학식 위치 트래킹 시스템과 센서식 전신 모션 캡쳐 장비를 융합하여 넓은 공간에서 다중 사용자의 모션 캡쳐가 가능하다.
하지만, HMD(Head Mounted Display)나 광학식 위치 추적 장비 등을 통한 위치 및 자세정보와 모션센서를 이용한 인체 모션 데이터를 융합하는 과정에서 실제 훈련생의 신체 크기와 가상 캐릭터 간의 크기 차이에서 오차가 발생하게 되는데, 이렇게 발생하는 오차로 인하여 가상의 캐릭터가 공중에 떠있거나 걷기 동작을 할 때 발이 미끄러지는 등 움직임에 부자연스런 현상이 발생하는 문제점이 있었다.
대한민국 등록특허공보 제10-1768958호 (2017.08.10. 등록)
본 발명은 종래 하이브리드 모션 캡쳐 방법에서 발생하는 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 하이브리드 모션 캡쳐 과정에서 실제 사용자의 신체 크기에 따라 가상 캐릭터 모델의 크기 비율을 보정하여 가상 캐릭터 모델의 부자연스러운 움직임을 최소화할 수 있는 현실 가상 모델 간 비율 보정 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 현실 가상 모델 간 비율 보정 방법은 하이브리드 모션 캡쳐 시스템에서 사용자가 착용한 HMD(Head Mounted Display)의 모션센서 신호에 따라, 사용자의 머리에 해당하는 HMD의 위치와 각도를 3차원 캐릭터 모델의 머리 위치 및 각도로 복제하여 3차원 캐릭터 모델의 움직임을 재현하는 과정에서, 상기 HMD를 착용한 사용자의 머리 위치 정보에 맞추어 3차원 캐릭터 모델의 크기 및 머리 회전 중심점을 보정함으로써, 사용자의 신체 크기 및 머리 크기 비율이 3차원 캐릭터 모델과 맞지 않아 발생하는 가상 캐릭터의 부자연스러운 움직임을 방지할 수 있도록 한다.
여기서, 상기 3차원 캐릭터 모델 보정은 상기 HMD를 착용한 사용자 머리의 위치 정보를 이용하여 3D 캐릭터 모델의 크기를 조절하는 단계(a)와, 상기 HMD를 착용한 사용자의 자세 변화에 따른 HMD의 회전 정보를 이용하여, 3차원 캐릭터 모델의 전체 크기에 비례하여 머리의 크기와 회전을 하는 중심점(pivot)을 추정하여 보정하는 단계(b);를 포함한다.
상기 3D 캐릭터 모델의 크기를 조절하는 단계(a)는, 사용자의 머리에 착용한 HMD의 좌표(x,y,z)를 측정하여, 사용자의 키에 해당하는 Z축 높이로 3차원 캐릭터 모델의 키를 조절하되, 3차원 캐릭터 모델의 비율을 유지하기 위해 x, y, z축 방향으로 각각에 필요 배율로 다음 수학식을 통하여 3차원 캐릭터 모델의 크기를 조절하는 것이 바람직하다.
[수학식]
Figure 112020074888630-pat00001
또한, 상기 3차원 캐릭터 모델의 머리의 크기와 회전을 하는 중심점(pivot)을 추정하여 보정하는 단계(b)에서, 상기 HMD를 착용한 사용자의 차렷 자세(1단계)와, 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계) 일 때의 HMD의 회전 정보로부터, 3차원 캐릭터 모델의 전체 크기에 비례하여 머리의 크기와 회전을 하는 중심점(pivot)을 추정하는 것이 바람직하다.
여기서, 상기 3차원 캐릭터 모델의 머리의 크기와 회전을 하는 중심점(pivot)을 추정하여 보정하는 단계(b)는, 사용자가 고개를 숙인 동작에서 HMD의 위치 및 자세정보를 저장할 때, 사람의 눈을 가정하여 임의로 설정된 HMD 장비의 위치를 사용자가 고개를 숙였을 때의 위치로 기억한 후, 변화된 중심점을 적용하여 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계)를 통해 오차를 비교하고, 사람의 눈을 가정하여 임의로 설정된 HMD 장비를 착용한 사용자가 고개를 젖혔을 때 위치를 기억하여, 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 차렷 자세(1단계)의 과정을 통해 중심점 변화를 반영하는 목 관절 위치를 가지도록 하며, 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 차렷 자세(1단계)의 과정을 통해 기억된 좌표와, 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계)를 통해 기억된 좌표에 변형된 중심점을 적용한 후, 그 오차를 비교하여 이상적인 중심점의 좌표를 산출하게 된다.
또한, 상기 3차원 캐릭터 모델에서 머리 중점 좌표는, HMD의 높이를 적용한 지점을 향해 최근의 중심점으로 다가간 지점과 멀어진 지점의 중심점을 잡고 오차가 적은 지점을 도출하며, 상기 도출된 오차가 적은 중심점을 최근의 중심점으로 잡고 고개를 앞뒤로 젖힐 때 목 관절이 최소한으로 움직이는 중심점이 나타날 때까지 반복적으로 계산하여, 다음 수학식을 통해 각 중심점에서 생겨난 오차의 크기를 m(Pivot)이라고 하면, 다가간 지점과 먼 지점의 중심점을 각각 Pivot1, Pivot2라고 할 때 이상적인 Pivot은 조건을 도출하게 된다.
[수학식]
Figure 112020074888630-pat00002
본 발명에 따르면, 하이브리드 모션 캡쳐 시스템 방식에서 사용자의 신체 크기에 따라 가상 캐릭터 모델의 신체 크기 및 비율을 보정함으로써, 사용자가 취하는 동작을 재현하는 가상 캐릭터 모델에서 다리와 발이 미끄러지는 현상 등 부자연스러운 움직임이 줄어들어 모션 추정 정밀도를 높일 수 있는 효과가 있다.
도 1은 본 발명에 적용되는 하이브리드 모션캡쳐 시스템의 개념도,
도 2는 HMD를 착용한 사용자의 목 움직임에 따른 가상 캐릭터의 움직임 오차 일례,
도 3은 본 발명에 따른 가상 캐릭터의 위치 오차를 보정하는 개념도,
도 4는 본 발명에 따른 가상 캐릭터의 위치 오차 보정 과정을 나타낸 개념도,
도 5는 본 발명에 따른 실제 사용자와 3D 캐릭터 모델의 크기 차이 일례,
도 6은 본 발명에 따라 사용자가 고개를 숙인 자세에서의 3D 캐릭터 움직임을 나타낸 일례,
7은 본 발명에 따라 사용자가 고개를 젖힌 자세에서의 3D 캐릭터 움직임을 나타낸 일례,
도 8은 본 발명에 따른 모션 캡쳐 장비를 착용한 사용자 일례
도 9는 종래 하이브리드 모션 캡쳐 시스템으로 시연자에게 차렷 자세, 고개를 젖힌 자세, 허리를 좌우로 움직인 자세, 제자리 앉은 자세를 취하도록 요구한 이후 모션 캡쳐된 3차원 캐릭터의 모습 일례,
도 10은 본 발명에 따른 보정 방법을 하이브리드 모션 캡쳐 시스템에 적용한 뒤 HMD를 착용한 사용자에게 차렷 자세, 고개를 젖힌 자세, 허리를 좌우로 움직인 자세, 제자리 앉은 자세를 취하도록 요구한 이후 모션 캡처된 3차원 캐릭터의 모습을 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명에 적용되는 하이브리드 모션캡쳐 시스템의 개념도를 나타낸 것으로, 본 발명은 본 출원인에 의해 등록된 특허 제10-1768958호의 내용을 포함한다.
도 1에 도시된 바와 같이, 본 발명에 적용된 하이브리드 모션캡쳐 시스템은 인체가 착용하는 장비에 부착된 모션센서의 신호를 분석하여 인체의 3차원 움직임을 파악하고, 광학식 카메라를 통하여 인체가 착용하는 장비에 부착된 마커의 이동을 촬영하고 분석하여 위치 이동을 파악하며, 이러한 파악되는 인체의 3차원 움직임 정보와 인체의 위치 이동 정보를 융합하여 정밀한 모션캡쳐를 수행하게 된다.
또한, 하이브리드 모션캡쳐 시스템은 이러한 인체의 3차원 움직임 정보와 위치 이동 정보가 융합된 인체 모델 데이터를 모니터링 프로그램을 통해 실시간으로 화면에 표시하며, 이를 플러그인을 통해 모션빌더(Motion Builder) 등의 프로그램과 연동시킬 수 있도록 제공한다.
한편, 하이브리드 모션 캡쳐 시스템에서 인체의 움직임을 파악하기 위해 사용자가 착용되는 장비로 HMD(Head Mounted Display), 장갑, 신발 등 다양한 장비가 이용될 수 있다. 이하, 본 발명에서는 사용자가 모션센서 및 마커가 부착된 HMD를 착용하여 움직임을 파악할 수 있도록 하는 경우를 실시 예로 들어 설명하기로 한다.
하이브리드 모션 캡쳐 시스템에서 사용자가 착용한 HMD의 모션센서 신호에 따라, 사용자의 머리에 해당하는 HMD의 위치와 각도를 가상 캐릭터의 머리 위치 및 각도로 복제하여 3차원 캐릭터 모델인 가상 캐릭터의 움직임을 재현하게 된다. 이때 HMD의 위치와 각도를 단순히 가상 캐릭터 머리에 위치와 각도로 복제하게 되면, 실제 사용자의 신체 크기 및 머리 크기의 비율이 가상 캐릭터와 서로 맞지 않아 가상 캐릭터의 움직임에 부자연스러운 현상이 일어날 수 있다.
도 2는 HMD를 착용한 사용자의 목 움직임에 따른 가상 캐릭터의 움직임 오차 일례를 나타낸 것으로, HMD를 착용한 사용자가 단순히 머리를 앞뒤로 움직이는 경우에도 가상 캐릭터는 목 축에 따른 오차에 의해 발이 바닥에 붙어 있지 않고 미끄러지는 현상이 나타나게 된다.
본 발명에서는 위와 같은 오차를 보정하기 위하여 HMD 착용자에 맞추어 가상 캐릭터의 크기 및 머리 회전 중심점을 보정하는 과정을 수행하게 된다. 도 3은 이러한 가상 캐릭터의 위치 오차를 보정하는 개념을 나타낸 것이고, 도 4는 가상 캐릭터의 위치 오차를 보정하는 과정을 나타낸 것이다.
도 3과 도 4에 도시된 바와 같이, 본 발명에서는 가상 캐릭터 오차 보정을 위하여, 먼저 HMD를 착용한 사용자 머리의 위치 정보를 이용하여 가상 캐릭터의 크기를 조절하고(캐릭터 사이징, 1단계), 착용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계) 일 때의 HMD의 회전 정보로부터 가상 캐릭터의 전체 크기에 비례하여 머리의 크기와 회전을 하는 중심점(pivot)을 찾는 과정을 통하여 가상 캐릭터 보정을 수행하게 된다.
HMD-3D 모델 위치 오차 보정 과정 중 1단계로서, 3차원 캐릭터의 키를 실제 착용자사용자의 키와 일치화 시키기 위해서 3D 모델(캐릭터)의 크기를 조절하는 과정이다.
실제 사용자의 키 정보는 사전에 수치화하여 입력 할 수도 있지만, 자동화 과정을 통해 조절하기 위하여 HMD의 좌표를 이용한다. 사용자의 키는 HMD가 판별해주는 실험공간에서 좌표 중 Z축 높이로 추정할수 있으며, 이를 바탕으로 3D 캐릭터 모델의 크기의 재조정을 수행한다.
도 5는 실제 사용자와 3D 캐릭터 모델의 크기 차이를 나타낸 것으로, 본 발명에서는 디자인된 3D 캐릭터 모델의 비율을 유지하기 위해 단순히 Z축 높이만 키우는 것이 아닌, x, y, z 방향으로 각각에 필요 배율로 다음 수학식을 통하여 크기를 키워주게 된다.
Figure 112020074888630-pat00003
HMD-3D 모델 위치 오차 보정 과정 중 2단계로서, 상기 1단계의 캐릭터 크기 조절을 통해 종적인 중심점이 정해졌으며 다음으로 횡적인 중심점을 추정하기 위한 절차를 수행한다.
도 6은 사용자가 고개를 숙인 자세에서의 3D 캐릭터 움직임을 나타낸 것이고, 7은 사용자가 고개를 젖힌 자세에서의 3D 캐릭터 움직임을 나타낸 것이다.
첫 번째로 사용자가 고개를 숙인 동작에서 HMD의 위치 및 자세정보를 저장할 때, 사람의 눈을 가정하여 임의로 설정된 HMD 장비의 위치를 사용자가 고개를 숙였을 때의 위치로 기억한 후, 변화된 위치 정보는 적용하지 않고 변화된 중심점을 적용하여 도 3에서의 1, 2, 3 단계를 통해 오차를 비교한다.
두 번째로 사람의 눈을 가정하여 임의로 설정된 HMD 장비를 착용한 사용자가 고개를 젖혔을 때 위치를 기억하여, 도 3에서의 1, 2, 1단계의 과정을 통해 중심점 변화를 반영하는 목 관절 위치를 가지도록 한다.
세 번째로 도 3에서 1, 2, 1 단계를 통해 기억한 좌표와 1, 2, 2 단계에서 기억한 좌표에 변형된 중심점을 적용한 후, 그 오차를 비교하여 이상적인 중심점의 좌표를 산출하도록 한다. 또한, 3D 캐릭터의 모델에서 머리 중점 좌표는 HMD의 높이를 적용한 지점을 향해 최근의 중심점으로 다가간 지점과 멀어진 지점의 중심점을 잡고, 보다 오차가 적은 지점을 도출한다. 이렇게 찾아낸 오차가 적은 중심점을 최근의 중심점으로 잡으며 고개를 앞뒤로 젖힐 때 목 관절이 최소한으로 움직이는 중심점이 나타날 때까지 반복적으로 계산한다.
다음 수학식 2를 통해 각 중심점에서 생겨난 오차의 크기를 m(Pivot)이라고 하면, 다가간 지점과 먼 지점의 중심점을 각각 Pivot1, Pivot2라고 할 때 이상적인 Pivot은 조건을 도출한다.
Figure 112020074888630-pat00004
본 발명에서는 실제 사용자가 모션 캡쳐 장비를 착용하여 3D 캐릭터 모델의 크기 및 비율을 보정하는 실험을 수행하였다.
도 8은 모션 캡쳐 장비를 착용한 사용자 일례로서, 본 발명에서는 실험을 위해 HTC의 Vive HMD와 14개의 모션센서의 전신 모션 캡쳐 장비와 융합한 하이브리드 모션 캡쳐 시스템을 착용하였다.
도 9는 기존의 하이브리드 모션 캡쳐 시스템으로 시연자에게 차렷 자세, 고개를 젖힌 자세, 허리를 좌우로 움직인 자세, 제자리 앉은 자세를 취하도록 요구한 이후 모션 캡쳐된 3차원 캐릭터의 모습을 보여주고 있다.
도 9에서처럼, 기존의 하이브리드 모션 캡쳐 시스템에서는 캐릭터와 사용자간의 크기 정합이 되지 않았기 때문에, 캐릭터의 다리가 바닥에 붙지 않고 공중에 떠있거나, 고개나 허리를 좌우로 움직일 때 다리가 바닥에 고정되지 않고 발이 미끄러지는 현상이 발생하게 된다.
도 10은 본 발명에 따른 보정 과정을 하이브리드 모션 캡쳐 시스템에 적용한 뒤 HMD를 착용한 사용자에게 차렷 자세, 고개를 젖힌 자세, 허리를 좌우로 움직인 자세, 제자리 앉은 자세를 취하도록 요구한 이후 모션 캡처된 3차원 캐릭터의 모습을 보여주고 있다.
도 10에서와 같이, 보정 과정을 적용한 이후에는 고개를 움직이거나 제자리 앉는 자세 등에서 사용자와 3D 캐릭터 간의 크기가 보정되었기 때문에 다양한 동작을 행함에 있어서 다리의 위치가 보정 적용 전보다 미끄러지는 현상이 줄어들었음을 확인할 수 있다.
이와 같이, 본 발명에서는 기존의 하이브리드 모션 캡쳐 시스템 방식에서 사용자와 3D 캐릭터 간의 신체 크기와 비율이 맞지 않아서 발생하던 모션의 오차를 줄이기 위해, 가상 캐릭터 크기와 중심점 보정 방법을 제안하였다. 본 발명의 보정방법을 적용한 하이브리드 모션 캡쳐 시스템으로 사용자에게 다양한 자세를 요구한 뒤 모션 캡쳐를 수행하였으며, 실험결과 사용자가 취하는 동작에서 다리와 발이 미끄러지는 현상이 줄어들었음을 확인할 수 있었다.
한편, 상술한 실시 예에서는 머리와 목의 비례를 이용하여 3D 캐릭터의 보정을 수행하였지만, 이러한 보정 방법은 허리와 다리 길이 등에 대하여도 동일 또는 유사한 비례 추정을 통해 모션 추정 정밀도를 높일 수 있음은 당연하다.
따라서, 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.

Claims (6)

  1. 하이브리드 모션 캡쳐 시스템에서 사용자가 착용한 HMD(Head Mounted Display)의 모션센서 신호에 따라, 사용자의 머리에 해당하는 HMD의 위치와 각도를 3차원 캐릭터 모델의 머리 위치 및 각도로 복제하여 3차원 캐릭터 모델의 움직임을 재현하는 과정에서, 상기 HMD를 착용한 사용자의 머리 위치 정보에 맞추어 3차원 캐릭터 모델의 크기 및 머리 회전 중심점을 보정함으로써 사용자의 신체 크기 및 머리 크기 비율이 3차원 캐릭터 모델과 맞지 않아 발생하는 가상 캐릭터의 부자연스러운 움직임을 방지할 수 있도록 하는 현실 가상 모델 간 비율 보정 방법으로서,
    상기 3차원 캐릭터 모델 보정은 (a) 상기 HMD를 착용한 사용자 머리의 위치 정보를 이용하여 3D 캐릭터 모델의 크기를 조절하는 단계와, (b) 상기 HMD를 착용한 사용자의 차렷 자세(1단계)와, 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계) 변화에 따른 HMD의 회전 정보를 이용하여, 3차원 캐릭터 모델의 전체 크기에 비례하여 머리의 크기와 회전을 하는 중심점(pivot)을 추정하여 보정하는 단계;를 포함하되,
    상기 3차원 캐릭터 모델의 머리의 크기와 회전을 하는 중심점(pivot)을 추정하여 보정하는 단계(b)는,
    (b-1) 사용자가 고개를 숙인 동작에서 HMD의 위치 및 자세정보를 저장할 때, 사람의 눈을 가정하여 임의로 설정된 HMD 장비의 위치를 사용자가 고개를 숙였을 때의 위치로 기억한 후, 변화된 중심점을 적용하여 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계)를 통해 오차를 비교하고,
    (b-2) 사람의 눈을 가정하여 임의로 설정된 HMD 장비를 착용한 사용자가 고개를 젖혔을 때 위치를 기억하여, 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 차렷 자세(1단계)의 과정을 통해 중심점 변화를 반영하는 목 관절 위치를 가지도록 하며,
    (b-3) 사용자의 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 차렷 자세(1단계)의 과정을 통해 기억된 좌표와, 차렷 자세(1단계)와 고개숙인 자세(2단계) 및 고개를 젖힌 자세(3단계)를 통해 기억된 좌표에 변형된 중심점을 적용한 후, 그 오차를 비교하여 이상적인 중심점의 좌표를 산출하는 것을 특징으로 하는 현실 가상 모델 간 비율 보정 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 3D 캐릭터 모델의 크기를 조절하는 단계(a)는,
    사용자의 머리에 착용한 HMD의 좌표(x,y,z)를 측정하여, 사용자의 키에 해당하는 Z축 높이로 3차원 캐릭터 모델의 키를 조절하되,
    3차원 캐릭터 모델의 비율을 유지하기 위해 x, y, z축 방향으로 각각에 필요 배율로 다음 수학식을 통하여 3차원 캐릭터 모델의 크기를 조절하는 것을 특징으로 하는 현실 가상 모델 간 비율 보정 방법.
    [수학식]
    Figure 112022050041817-pat00005

  4. 삭제
  5. 삭제
  6. 제 1항에 있어서,
    상기 3차원 캐릭터 모델에서 머리 중점 좌표는,
    HMD의 높이를 적용한 지점을 향해 최근의 중심점으로 다가간 지점과 멀어진 지점의 중심점을 잡고 오차가 적은 지점을 도출하며,
    상기 도출된 오차가 적은 중심점을 최근의 중심점으로 잡고 고개를 앞뒤로 젖힐 때 목 관절이 최소한으로 움직이는 중심점이 나타날 때까지 반복적으로 계산하여,
    다음 수학식을 통해 각 중심점에서 생겨난 오차의 크기를 m(Pivot)이라고 하면, 다가간 지점과 먼 지점의 중심점을 각각 Pivot1, Pivot2라고 할 때 이상적인 Pivot은 조건을 도출하는 것을 특징으로 하는 현실 가상 모델 간 비율 보정 방법.
    [수학식]
    Figure 112022050041817-pat00006
KR1020200089104A 2020-07-17 2020-07-17 현실 가상 모델 간 비율 보정 방법 KR102456069B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200089104A KR102456069B1 (ko) 2020-07-17 2020-07-17 현실 가상 모델 간 비율 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200089104A KR102456069B1 (ko) 2020-07-17 2020-07-17 현실 가상 모델 간 비율 보정 방법

Publications (2)

Publication Number Publication Date
KR20220010335A KR20220010335A (ko) 2022-01-25
KR102456069B1 true KR102456069B1 (ko) 2022-10-18

Family

ID=80049329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200089104A KR102456069B1 (ko) 2020-07-17 2020-07-17 현실 가상 모델 간 비율 보정 방법

Country Status (1)

Country Link
KR (1) KR102456069B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
CA2662318C (en) * 2009-01-17 2014-12-02 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
KR101768958B1 (ko) 2016-10-31 2017-08-17 (주)코어센스 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
CN111465965B (zh) * 2017-07-28 2024-04-19 北奥拜勃工作室有限公司 用于实时复杂角色动画和交互性的系统和方法

Also Published As

Publication number Publication date
KR20220010335A (ko) 2022-01-25

Similar Documents

Publication Publication Date Title
CN206363261U (zh) 基于影像的动作分析系统
CN103118647B (zh) 运动支援系统
RU2664397C2 (ru) Система отображения виртуальной реальности
EP3014581B1 (en) Space carving based on human physical data
WO2017210654A2 (en) Methods and devices for assessing a captured motion
CN106168849A (zh) 用于校准虚拟现实系统的方法和系统
JP4463120B2 (ja) 身まねロボットシステムとその身まね動作制御方法
CN109731292A (zh) 一种基于虚拟现实技术的平衡能力测试与训练系统及方法
CN105393192A (zh) 用于近眼显示器的网状分层菜单显示配置
JP2012524293A5 (ko)
CN108135465B (zh) 测试个体的视觉行为的设备、及使用该设备确定眼科镜片的至少一个光学设计参数的方法
WO2017083824A1 (en) Feedback wearable
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
KR20180129140A (ko) 가상 현실 연동을 위한 보행 분석 방법, 가상 현실 연동 방법 및 장치
CN110321005A (zh) 一种提高ar设备虚拟物件显示效果的方法、装置、ar设备和存储介质
JP2018530790A (ja) 累進レンズの光学系を判定する方法
JP2005198818A (ja) 身体動作の学習支援システム及び学習支援方法
KR101960929B1 (ko) 기초 응급 구조 훈련 시뮬레이션 시스템
EP3659115A1 (en) Positioning system
KR102456069B1 (ko) 현실 가상 모델 간 비율 보정 방법
KR102604004B1 (ko) 사람의 시각적 거동 매개변수를 결정하기 위한 방법, 및 관련된 테스팅 디바이스
JP2020170207A (ja) 情報処理装置、情報処理方法、および、プログラム
Lemieux et al. A visual acuity constraint for digital human modeling
CN109003300A (zh) 一种基于人体质心位移计算算法的虚拟现实系统
US20220237874A1 (en) Method, system, and apparatus for full-body tracking with magnetic fields in virtual reality and augmented reality applications

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant