KR102125748B1 - 4d 아바타를 이용한 동작가이드장치 및 방법 - Google Patents

4d 아바타를 이용한 동작가이드장치 및 방법 Download PDF

Info

Publication number
KR102125748B1
KR102125748B1 KR1020180098837A KR20180098837A KR102125748B1 KR 102125748 B1 KR102125748 B1 KR 102125748B1 KR 1020180098837 A KR1020180098837 A KR 1020180098837A KR 20180098837 A KR20180098837 A KR 20180098837A KR 102125748 B1 KR102125748 B1 KR 102125748B1
Authority
KR
South Korea
Prior art keywords
avatar
user
motion
guide
information
Prior art date
Application number
KR1020180098837A
Other languages
English (en)
Other versions
KR20200022776A (ko
Inventor
황영배
이주리
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180098837A priority Critical patent/KR102125748B1/ko
Priority to PCT/KR2018/016186 priority patent/WO2020040363A1/ko
Publication of KR20200022776A publication Critical patent/KR20200022776A/ko
Application granted granted Critical
Publication of KR102125748B1 publication Critical patent/KR102125748B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 사용자 자신의 3차원 아바타를 생성하여 3차원 아바타가 사용자의 움직임을 모사하여 동일한 움직임을 보여줌으로써, 재활운동을 지시하는 아바타와 사용자의 동작에 따라 움직이는 아바타를 이용하여 맞춤형 재활운동을 제공하는 4D 아바타를 이용한 동작 가이드 장치 및 그것을 이용한 동작 가이드 방법에 관한 것이다. 이를 위하여, 본 발명은 본 발명은 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부; 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부; 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하는 4D 아바타를 이용한 동작 가이드 장치를 제공한다.
따라서, 본 발명에 의하면, 사용자의 모습을 4D 복원하여 보여줌으로써 사용자의 움직임을 더욱 정밀하게 추정할 수 있고, 이에 따라 사용자가 재활운동을 올바른 자세로 수행할 수 있도록 유도할 수 있다.

Description

4D 아바타를 이용한 동작가이드장치 및 방법{APPARATUS AND METHOD FOR MOTION GUIDE USING 4D AVATAR}
본 발명은 4D 아바타를 이용한 동작가이드장치 및 그것을 이용한 동작가이드방법에 관한 것이며, 구체적으로 재활운동을 지시하는 아바타와 사용자의 동작에 따라 움직이는 아바타를 이용하여 맞춤형 재활운동을 제공하는 4D 아바타를 이용한 동작가이드장치 및 그것을 이용한 동작가이드방법에 관한 것이다.
재활운동은 사용자 개개인의 상태에 따라 진행해야 하며, 사용자가 직접 병원을 방문하여 재활운동을 수행하는 것이 일반적이다. 하지만, 병원을 자주 방문하여 진단을 받고 운동을 수행하는 것이 사용자의 입장에서는 번거롭게 느껴질 수 있다. 재활운동은 꾸준히 자주 반복하여 수행하는 것이 매우 중요하나, 병원 방문의 번거로움과 재택 재활운동은 강제성이 없으므로 꾸준히 운동을 하지 않는 사용자들도 많다. 이러한 문제를 해결하기 위하여, 간단한 동작을 수행하여 진단을 수행하고 그 자리에서 재활운동을 수행할 수 있는 재활운동장치에 필요하다. 또한, 혼자 재활운동을 수행하는 것이 지루하게 느껴지는 사용자들을 위해, 다수의 사용자가 함께 모여 재활운동을 진행할 수 있도록 한다면 재활운동을 좀 더 적극적으로 수행하도록 할 수 있을 것이다.
도 1을 참조하면, 종래기술에 의한 인터렉션 기반의 재활게임장치(공개특허 제10-2014-0112121호)는 사용자가 화면을 보면서 재활치료를 수행할 수 있는 디스플레이부와 사용자의 움직임을 촬영하는 카메라와 같은 비전센서를 포함한다.
상기한 재활게임장치는 사용자가 디스플레이부에 표시된 아바타가 움직이는 동작을 따라하면, 재활게임장치에서는 사용자를 촬영한 영상데이터를 분석함으로써 사용자의 재활상태를 수치화한다.
하지만, 종래기술에서 표시되는 아바타는 사용자와 전혀 관계없이 미리 디자인된 아바타로서 사용자는 이질감을 느끼게 되는 부작용이 있다. 또한, 단순히 사용자를 촬영하여 그대로 보여줌으로써 사용자에게 더 필요한 자세교정 안내나 정확한 자세와의 비교표시 등을 실시간으로 해줄수 없는 단점이 있다.
사용자의 모습을 4D 복원하여 4D 모델을 생성하고, 생성된 4D 모델을 이용하여 사용자가 특정 동작을 수행하도록 동작을 가이드한 뒤, 사용자의 상태를 분석하고 맞춤형 재활운동을 제공하거나 게임 등으로 이용할 수 있도록 하는 것이 본 발명의 목적이다.
상기한 목적을 달성하기 위하여, 본 발명은 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부; 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부; 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하는 4D 아바타를 이용한 동작 가이드 장치를 제공한다.
상기 사용자 아바타 출력부는, 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 4D 아바타를 생성하고, 상기 4D 아바타로부터 사용자의 관절 정보를 추출하고 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 것이 바람직하다.
상기 가이드 아바타 출력부는, 사용자의 의료 정보를 기초로 사용자 맞춤형 재활 운동 동작을 가이드하는 가이드 아바타를 출력할 수 있다.
상기 사용자 동작 판단부는, 상기 사용자 아바타의 동작을 분석 또는 예측하여 상기 사용자 아바타가 상기 가이드 아바타의 동작에 따라 일치하는 동작을 수행했는지 여부를 판단할 수 있다.
상기 사용자 동작 판단부는 사용자의 동작을 판단하여 사용자에게 다음 단계로 진행 또는 사용자가 동작을 재수행하도록 가이드할 수 있다.
상기 4D 아바타를 이용한 동작 가이드 장치는 사용자 아바타 동작을 판단한 데이터를 누적적으로 기록하는 데이터베이스부를 더 포함하고, 상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백하는 것이 바람직하다.
상기 사용자 아바타 출력부는, 복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력하는 것이 바람직하다.
상기 사용자동작판단부는 상기 카메라부에서 촬영된 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가하고, 상기 근접도는 신체부위별로 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산될 수 있다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 사용자동작판단부는 상기 사용자정보에 기초하여 상기 가이드아바타의 변형을 적응적으로 제어하는 것이 바람직하다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 사용자동작판단부는 훈련동작에 따라 사용자아바타를 회전시켜 사용자아바타출력부에 표시하는 것이 바람직하다.
본 발명은 또한, 카메라부에 의해 촬영된 영상을 이용하여 사용자의 움직임을 추정하는 움직임 추정부; 상기 움직임 추정부에 의해 추정된 움직임 정보를 이용하여 4D 복원을 수행하고 4D 아바타를 생성하는 4D 아바타 생성부; 상기 사용자의 움직임 정보를 이용하여 상기 4D 아바타의 움직임을 제어하는 4D 아바타 제어부를 포함하여 구성되는 4D 아바타를 이용한 동작 가이드 장치를 제공한다.
4D 아바타를 이용한 동작 가이드 장치는 훈련동작 및 사용자정보가 저장되는 데이터베이스부를 포함하고, 상기 4D 아바타 제어부는 가이드 아바타와 사용자 아바타를 제어할 수 있으며, 상기 가이드 아바타는 환자정보에 기초하여 대응하는 훈련동작을 상기 4D 아바타를 통해 보여주도록 제어하고, 상기 사용자 아바타는 사용자의 동작에 따라 움직이도록 제어하는 것이 바람직하다.
한편, 본 발명에 의하면, 4D 아바타를 이용한 동작 가이드 장치는 사용자 아바타 출력부, 가이드 아바타 출력부 및 사용자 동작 판단부를 포함하고, 상기 사용자 아바타 출력부는 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 단계; 상기 가이드 아바타 출력부는 상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 단계; 상기 사용자 동작 판단부는 상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 단계를 포함하는 4D 아바타를 이용한 동작 가이드 방법을 제공한다.
상기 사용자 아바타 출력부는, 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 4D 아바타를 생성하는 단계; 상기 4D 아바타로부터 사용자의 관절 정보를 추출하고 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 단계를 수행하는 것이 바람직하다.
상기 사용자동작판단부는 상기 가이드아바타출력부를 통해 표시되는 가이드아바타와 상기 사용자아바타출력부를 통해 표시되는 사용자아바타를 비교 및 분석하여 상기 가이드아바타와 사용자아바타의 움직임이 설정범위 이내이면 다음 훈련동작을 제시하고, 상기 가이드아바타와 사용자아바타의 움직임이 설정범위를 벗어나면 강조가이드를 표시하여 주는 단계를 수행하는 것이 바람직하다.
마지막으로, 본 발명은, 4D 아바타를 이용한 동작 가이드 장치는 움직임 추정부, 4D 아바타 생성부 및 4D 아바타 제어부를 포함하고, 상기 움직임 추정부는 카메라부에 의해 촬영된 영상을 이용하여 사용자의 움직임을 추정하는 단계; 상기 4D 아바타 생성부는 상기 움직임 추정부에 의해 추정된 움직임 정보를 이용하여 4D 복원을 수행하고 4D 아바타를 생성하는 단계; 상기 4D 아바타 제어부는 상기 사용자의 움직임 정보를 이용하여 상기 4D 아바타의 움직임을 제어하는 단계를 포함하여 수행하는 4D 아바타를 이용한 동작 가이드 방법을 제공한다.
본 발명에 의하면, 사용자의 모습을 4D 복원하여 보여줌으로써 사용자의 움직임을 더욱 정밀하게 추정할 수 있고, 이에 따라 사용자가 재활운동을 올바른 자세로 수행할 수 있도록 유도할 수 있다.
또한, 다수의 사용자가 함께 사용할 수 있으므로, 여러 명이 함께 한 공간에서 재활운동을 수행함으로써 보다 즐겁게 재활운동에 참여할 수 있다.
그리고, 사용자의 모습을 4D 복원하여 보여줌으로써 이질감없이 재활운동에 집중할 수 있도록 하여 주며, 사용자의 모습을 그대로 구현한 4D 모델이 사용자의 움직임을 모사하여 그대로 움직이게 함으로써 사용자의 자세를 더욱 정확하게 분석할 수 있도록 하는 것이 본 발명의 또 다른 목적이다.
도 1은 종래기술에 의한 재활운동방법을 나타내는 예시도;
도 2는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 장치의 구성을 나타내는 구성도;
도 3은 도 2에서 4D연산부의 구성을 나타내는 구성도;
도 4는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 장치 사용예를 나타내는 예시도;
도 5는 도4의 사용자디스플레이에서 강조가이드의 표시예를 나타내는 예시도;
도 6은 사용자의 재활운동 실시예를 나타내는 예시도;
도 7은 도 4의 사용자디스플레이에서 사용자아바타의 회전 디스플레이의 예를 나타내는 예시도;
도 8은 시뮬레이션부에 의한 재활운동 게임 시뮬레이션의 예를 나타내는 예시도;
도 9는 본 발명에 의한 4D 아바타를 이용한 동작 가이드 방법에서 평가정보생성과정을 나타내는 순서도;
도 10은 본 발명에 의한 4D 아바타를 이용한 동작 가이드 방법을 나타내는 순서도.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.
도 2를 참조하면, 본 발명에 의한 4D 아바타를 이용한 재활운동장치(100)는 사용자아바타출력부(500), 4D연산부(300), 4D아바타 제어부(570), 가이드아바타출력부(400), 사용자동작판단부(600), 데이터베이스부(700), 시뮬레이션부(800)를 포함하여 구성될 수 있다.
카메라부(200)는 일반적으로 복수 개의 동영상 촬영이 가능한 카메라로 이루어질 수 있으며, 3차원 영상을 생성하기 위해 적어도 한 쌍의 카메라로 이루어질 수 있다. 또한, 촬영되는 객체의 전후좌우 전면을 촬영하기 위해서는 객체의 주위로 일정각도 간격으로 카메라를 설치할 수도 있다.
3차원 영상을 생성하기 위해서는 최소 한 쌍의 RGB카메라가 필요하지만, 상황에 따라 깊이정보를 포함하는 하나 이상의 RGB-D카메라를 이용할 수도 있다. 또한, 카메라부(200)에는 IR카메라가 더 포함될 수도 있다.
상기 4D연산부(300)는 서버에서 구동될 수 있으며, 상기 사용자아바타출력부(500)에 포함되어 사용자아바타의 움직임을 추정할 수 있다. 즉, 상기 카메라부(200)에 의해 촬영된 영상데이터는 상기 4D연산부로 전송되어 실시간으로 사용자의 움직임이 추정된다.
구체적으로, 도 3을 참조하면, 상기 4D연산부(300)는 4D아바타생성부(310), 움직임추정부(320), 인코딩부(330), 통신부(340)를 포함하여 구성된다.
상기 4D아바타생성부(310)에서는 다시점에서 촬영된 복수의 영상을 정합하거나 색상정보 및 깊이정보를 이용하여 4D모델을 생성한다. 상기 4D모델은 메쉬정보를 포함할 수 있으며, 사용자의 모습과 동일한 형상을 보여준다.
또한, 상기 4D아바타생성부(310)는 세그멘테이션(segmentation) 과정을 통하여 객체와 배경을 분리할 수 있으며, 이렇게 배경과 분리된 4D모델은 움직임추정부(320)에서 실제 사용자의 움직임을 모사하여 변형된다. 예를 들어, 상기 움직임추정부(320)에서는 변형함수와 에너지함수를 이용하여 카메라부에 의해 촬영된 사용자의 영상과 비교하여 최적화 과정을 통해 사용자의 움직임을 추정할 수 있다. 이러한 과정을 통해 사용자와 동일한 모습을 하며, 사용자의 움직임과 동일하게 움직이는 4D 아바타가 생성된다. 즉, 4D 아바타는 사용자의 3차원 모델이 움직임 추정을 통해 변형되어 움직이는 아바타를 의미한다. 상기 4D 아바타는 이전 프레임과 이후 프레임의 움직임 연결정보를 포함하며, 이전 프레임에서 가려짐 등으로 알 수 없었던 부분을 이후 프레임 정보를 이용하여 보완할 수 있다. 이에 따라 사용자의 전체 모습이 3D로 완전하게 복원된다.
상기 4D아바타 제어부(570)에서는 가이드 아바타와 사용자 아바타의 움직임을 제어할 수 있다. 즉, 가이드 아바타는 사용자 정보에 기초하여 대응하는 훈련동작을 상기 4D 아바타를 통해 보여주도록 제어하고, 사용자 아바타는 사용자의 동작에 따라 움직이도록 제어할 수 있다.
도 4를 참조하면, 본 실시예에 의한 4D 아바타를 이용한 동작가이드장치는 카메라부(200)에서 사용자를 촬영하고, 촬영된 영상정보를 이용하여 4D연산부에서는 4D 아바타를 생성한다. 또한, 가이드아바타출력부(400)에서는 생성된 4D 아바타를 복사하여 가이드아바타를 생성하고, 생성된 가이드아바타를 디스플레이를 통해 표시하여 줄 수 있다.
상기 가이드아바타는 재활운동 프로그램에 따라 정해진 동작으로 변형되어 표시될 수 있다. 즉, 가이드아바타출력부(400)는 상기 가이드아바타를 통해 사용자의 의료정보를 기초로 사용자 맞춤형 재활운동 동작을 가이드한다.
예를 들어, 왼쪽 팔을 수직으로 들어 올리는 동작 같은 경우, 가이드아바타의 왼쪽 팔에 대응하는 메쉬정보를 검출하고, 상기 메쉬를 변형시켜 수직으로 올리는 동작을 구현할 수 있다. 이러한 재활운동 프로그램은 유산소운동, 저항성운동, 유연성운동 등 여러가지 프로그램으로 이루어 질 수 있다.
상기 4D 아바타는 관절정보 및 골격정보를 포함하여 관절의 위치 및 골격의 움직임 속도 및 각도 등의 정보를 이용하여 관절 및 골격의 변화량을 산출할 수 있으며, 이러한 관절 및 골격의 변화량에 따라 사용자의 움직임 정보를 추정할 수 있다.
상기 움직임 정보는 사용자의 자세, 움직임 방향, 움직임 속도, 사용자 가용동작범위, 연속성 판단에 기초한 예측동작 등을 포함할 수 있다.
처음 재활운동을 시작하는 경우, 사용자동작판단부(600)에서는 평가동작을 가이드아바타를 통해 보여준다. 상기 평가동작은 사용자의 상태를 파악하기 위한 것으로서, 사용자동작판단부(600)에서는 사용자의 움직임을 분석하여 사용자상태를 판단하게 된다.
구체적으로, 사용자의 움직임은 카메라부에 의해 촬영되며, 4D연산부에서 4D 아바타로 복원되며, 사용자아바타출력부(500)는 상기 4D 아바타를 이용하여 디스플레이를 통해 사용자의 움직임을 사용자아바타로 표시한다.
상기 가이드아바타출력부(400) 및 사용자아바타출력부(500)는 별개의 모니터 장치를 이용하여 구비될 수도 있고, 하나의 모니터 장치에 화면을 분할하여 표시할 수도 있다. 또한, 가이드아바타와 사용자아바타는 겹쳐지게 표시될 수도 있다.
상기 사용자동작판단부(600)에서는 사용자아바타의 움직임과 가이드아바타의 움직임을 비교하여 차이가 나는 부분을 분석하여 그 차이 정도에 따라 평가정보를 생성하고 사용자상태를 분류한다.
상기 평가정보는 평가부위에 따라 생성될 수 있다. 상기 평가부위는 목, 어깨, 허리, 무릎, 발목 등이 될 수 있으며, 각 평가부위별로 평가정보가 생성될 수 있다.
예를 들어, 어깨 평가를 위하여 가이드아바타가 왼쪽 팔을 수직으로 올리는 동작을 가이드아바타출력부를 통하여 보여주었을 때, 사용자아바타의 왼쪽 팔 움직임이 수직에 미치지 못하고 60°에 머물렀다면 사용자동작판단부(600)에서는 어깨 평가정보를 66% 등 일치도에 따른 비율로 저장할 수 있다.
평가부위가 무릎인 경우 가이드아바타는 무릎을 90°로 들어 올렸다 내렸다 하는 움직임을 반복할 수 있으며, 사용자아바타의 최고 무릎 위치 및 올리고 내리는 속도 등을 측정하여 평가정보를 계산하게 된다. 이러한 계산은 사용자의 관절 및 골격정보를 이용하여 계산될 수 있다.
상기 평가정보는 1단계, 2단계, 3단계 등으로 구획하여 평가될 수도 있으며, 사용환경에 따라 여러가지로 변형될 수 있다. 또한, 이러한 분류방법은 사용환경에 따라 여러가지 단계로 분류될 수 있으며, 분류된 사용자상태 및 평가정보는 데이터베이스부(700)에 저장될 수 있다.
이때, 사용자동작판단부(600)에서는 도 5와 같이 가이드아바타와 사용자아바타를 겹친 화면을 보여줄 수 있으며, 이렇게 겹친 화면을 보여주면 사용자로 하여금 차이가 나는 부분을 좀 더 확실하게 보여줄 수가 있다. 그리고, 사용자동작판단부(600)에서는 차이가 많이 나는 부분에 대해서는 더 움직여야 할 부분에 화살표나 문자 등의 강조가이드를 표시하여 줄 수 있다.
상기 사용자동작판단부(600)에 의하여 평가가 끝나면, 평가부위별로 평가정보가 생성되고, 이러한 평가정보는 데이터베이스부에 해당 사용자의 4D 아바타 정보로 저장된다. 즉, 사용자의 4D 아바타 정보에는 사용자 형상에 대한 정보뿐만 아니라, 신체부위별로 상기 평가정보에 따라 운동능력이 부여될 수 있다. 따라서, 특정 사용자마다 생성되는 4D 아바타는 신체부위별로 부여된 운동능력에 따라 움직임 변형이 제한되어 표시될 수 있다.
예를 들어, A사용자의 오른쪽 무릎의 평가정보가 2단계인 경우 A사용자의 4D 아바타의 오른쪽 무릎은 일정 높이 이상 올라가지 않고 45°이상 굽혀지지 않도록 움직임이 제한될 수 있다.
사용자동작판단부(600)에 의하여 평가가 끝난 사용자는 다음 재활훈련때부터 상기 평가에 따라 적절한 재활훈련프로그램에 의한 훈련동작이 표시된다.
즉, 데이터베이스부(700)에는 사용자의 이름, 나이, 병명, 평가정보, 재활훈련스케줄, 사용자아바타정보 등의 사용자정보가 저장되어 있으며, 또한, 사용자상태에 따른 재활훈련프로그램 및 훈련동작이 저장되어 있다.
사용자동작판단부(600)에서는 특정 사용자의 정보가 입력되면, 데이터베이스부(700)에서 대응하는 사용자정보 및 훈련프로그램 등을 검출하여 가이드아바타를 통해 훈련동작을 표시하여 준다. 상기 특정 사용자의 정보는 아이디, 비밀번호와 같은 로그인 정보를 입력받거나 얼굴인식 등으로 입력될 수 있다.
이때, 상기 사용자동작판단부(600)에서는 사용자정보를 기초로 하여 상기 가이드아바타의 변형을 적응적으로 제어할 수 있다. 상기 사용자동작판단부는 사용자정보에 기초하여 상기 가이드아바타의 변형정도를 판단하여 가이드아바타출력부를 통해 가이드아바타의 변형을 적응적으로 표시하도록 할 수 있다.
구체적으로, 사용자동작판단부에서는 데이터베이스부에서 해당 사용자의 평가정보를 독출하여 평가부위에 대응하는 평가정보에 따라 가이드아바타의 변형정도 및 동작을 계산하여 판단한다. 상기 가이드아바타의 변형정도는 가이드아바타의 동작범위를 나타낼 수 있다.
예를 들어, 해당 사용자의 왼쪽 어깨 평가정보가 66%로 독출된 경우, 사용자동작판단부에서는 가이드아바타의 왼쪽 어깨 올림 각도를 평가정보보다 10°많은 77%로 설정하여 상기 가이드아바타의 움직임을 제어한다. 따라서, 가이드아바타는 왼쪽 어깨를 70°까지 올린 자세를 보여준다. 상기 가이드아바타의 움직임은 1단계, 2단계, 3단계 등의 단계별로 구획되어 설정될 수도 있다. 이렇게 가이드아바타는 사용자의 상태에 따라 다른 자세를 가이드함으로써 사용자에게 무리한 동작을 요구하기 보다는 사용자의 운동능력을 최대한 끌어낼 수 있는 동작을 안내할 수 있다.
사용자가 가이드아바타의 움직임을 따라 하면, 사용자의 움직임은 카메라부(200)에 의해 촬영되며, 카메라부에 의해 촬영된 영상정보를 이용하여 4D연산부에서는 사용자아바타를 생성하여 사용자아바타출력부를 통해 표시하여 준다. 상기 사용자아바타는 메쉬의 연결로 이루어진 3차원 모델로서, 4D연산부에서는 회전파라메타, 평행이동파라메타 등을 이용한 변형함수에 의해 3차원 모델을 변형시킨 모델을 에너지함수를 이용하여 카메라부에 의해 촬영되는 영상프레임과 비교하여 에너지함수가 최소가 되도록 하는 파라메타를 결정한 후, 사용자아바타의 움직임을 추정하여 복원한다.
변형함수의 예를 들면 다음과 같은 형태가 될 수 있다.
Figure 112018083832715-pat00001
여기서, G는 변형파라메타이고 k는 ED노드의 집합이며, w는 가중치를 의미한다. 또한, vm은 m번째 버텍스이다. 또한, R은 회전파라메타이며, T는 평행이동 파라메타를 나타낸다.
사용자동작판단부(600)에서는 가이드아바타와 사용자아바타의 움직임을 비교하여 그 차이가 임계범위를 넘는 경우, 그 부위를 화살표와 같은 기호나 문자를 이용하여 강조가이드를 화면에 표시하여 줄 수 있으며 사용자가 올바른 자세로 동작을 진행하도록 유도할 수 있다. 또한, 사용자아바타의 움직임이 가이드아바타의 움직임과 설정범위 내에서 일치하는 경우, 가이드아바타를 통해 다음 동작을 취하도록 하여 재활운동을 진행할 수 있다. 상기 가이드아바타와 사용자아바타의 움직임 비교는 골격을 추정하여 비교할 수도 있다.
상기 사용자동작판단부는 상기 카메라부에서 촬영된 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가할 수 있다. 또한, 상기 근접도는 신체부위별 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산될 수 있다.
예를 들어, 사용자의 상태에 따라 평가부위는 어깨, 허리, 무릎이 지정될 수 있으며, 이러한 경우 사용자동작판단부에서는 어깨, 허리, 무릎 부위의 움직임을 비교하게 된다. 즉, 사용자동작판단부에서는 가이드아바타와 사용자아바타의 팔 올린 각도, 허리의 휘어진 정도, 무릎의 굽어진 정도를 비교하여 그 차이를 측정하며, 가중치는 허리 0.5, 어깨 0.3, 무릎 0.2로 설정될 수 있다.
사용자동작판단부는 사용자아바타가 회전하여 카메라부를 향하고 있지 않다고 판단되는 경우에는 스피커를 통해 안내멘트를 전송하게 된다. 예를 들어, 도 6과 같이 벽 모퉁이에 손을 대로 몸을 움직이는 경우, 사용자동작판단부에서는 사용자아바타의 움직임을 분석하여 스피커를 통해 안내멘트를 전송한다. 이때에도 마찬가지로 가이드아바타와 사용자아바타의 움직임은 비교된다.
상기 데이터베이스부에는 사용자 아바타 동작을 판단한 데이터가 누적적으로 기록되며, 상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백해줄 수 있다.
한편, 사용자동작판단부는 사용자의 자세안내를 위해 사용자의 앞부분이 아닌 옆쪽이나 뒷부분이 필요한 경우 사용자아바타를 회전시켜 적절한 각도에서의 사용자의 움직임을 사용자아바타출력부를 통해 보여줄 수 있다. 즉, 상기 사용자동작판단부는 훈련동작에 따라 특정 각도에서 바라보는 시점이 가장 효과적이라고 판단되는 시점을 검출하고, 사용자아바타출력부를 통해 사용자아바타를 상기 시점으로 회전시켜 사용자아바타출력부에 표시하도록 할 수 있다. 상기 시점은 미리 설정되어 있을 수도 있고, 훈련동작에 따라 가장 효과적인 시점을 추정하게 할 수도 있다.
예를 들어, 도 7과 같이 사용자가 의자에 앉아서 무릎을 들어올리는 자세를 취할 경우, 사용자동작판단부에서는 측면에서 바라보는 시점이 가장 효과적이라고 판단하고 사용자아바타출력부를 통해 사용자아바타를 90° 회전시켜 측면에서 바라본 사용자의 움직임을 보여주게 된다. 따라서, 사용자는 측면을 표시하기 위해 일부러 몸을 돌릴 필요없이 정면을 향하는 기존 자세 그대로 재활운동을 하면서 필요한 각도에서의 모습을 볼 수 있어 정확한 운동자세를 취하는데 도움이 된다.
상기한 사용자아바타의 움직임 데이터는 모두 데이터베이스부(700)에 저장되며, 사용자의 4D 아바타 정보는 재활운동 결과에 따라 업데이트될 수 있다. 즉, 재활운동에 따라 평가부위별로 운동능력이 향상된 경우 이러한 정보는 사용자의 4D 아바타 정보에 반영되어 움직임 변형 제한 정도가 변경될 수 있다.
또한, 사용자의 4D 아바타 정보는 유무선 통신망을 이용하여 원하는 다른 장소에 전송될 수 있으며, 사용자가 다른 장소로 이동한 경우 이동한 장소에서 자신의 고유한 4D 아바타를 그대로 이용하여 재활운동을 할 수 있다. 또한, 이동한 장소에서 담당 의료진이 바뀐 경우에도 상기 4D 아바타 정보를 이용하여 재활운동의 연속성을 보장할 수 있다.
한편, 시뮬레이션부(800)에서는 신체부위별로 사용자의 평가정보가 저장되어 움직임이 제한되는 사용자의 4D 아바타를 이용하여 사용자가 없는 상태에서도 사용자의 운동모습을 시뮬레이션할 수 있다. 즉, 특정 사용자의 왼쪽 팔이 어느 정도까지 올라가는지, 오른쪽 무릎이 어느 정도까지 굽어지고 어느 정도 속도로 움직일 수 있는지 등에 대한 운동정보가 4D 아바타에 저장되어 있으며, 이러한 정보를 이용하여 특정 사용자에 대응하는 4D 아바타의 움직임을 복원한다.
이러한 시뮬레이션부(800)에서는 사용자 맞춤형 콘텐츠 생산에 이용될 수 있다.
구체적으로, 도 8과 같이 가상현실에서 공이 날라오는 것을 사용자의 모션으로 막아야 하는 게임형 재활운동에서 시뮬레이션부(800)에서는 특정 사용자의 4D 아바타 정보를 이용하여 사용자의 움직임을 시뮬레이션 할 수 있다. 또한, 시뮬레이션 결과에 따라 공이 날라오는 방향, 공의 속도 등을 특정사용자의 움직임에 맞추어 적절하게 조절할 수 있다.
따라서, 본 발명에 의하면, 재활운동 콘텐츠의 난이도나 형식 등이 사용자에게는 너무 어렵거나 너무 쉬워 훈련효과가 저감되는 것을 방지하고, 특정 사용자의 상태에 따라 맞춤형 콘텐츠를 제공할 수 있어 재활운동의 효과를 극대화할 수 있다.
본 발명에 의한 4D 아바타를 이용한 재활운동장치는 혼자 뿐만 아니라 다수가 동시에 재활운동을 수행할 수 있다. 즉, 4D연산부(300)에서는 카메라부(200)에 의해 촬영된 복수의 객체를 세그멘테이션하여 각각의 객체에 대해 4D 아바타를 생성할 수 있으며, 각각의 4D 아바타는 사용자아바타출력부를 통해 사용자아바타로 표시될 수 있다.
다음으로, 도 9 및 도 10을 참조하여 본 발명에 의한 4D 아바타를 이용한 재활운동방법에 대해 설명한다.
먼저, 사용자가 처음 재활운동을 시작하면 카메라부에 의해 사용자가 촬영되면서 4D연산부에 의해 사용자의 4D 아바타가 생성된다. 상기 4D 아바타는 3차원 메쉬에 의해 생성될 수 있으며, 움직임 추정을 통해 사용자의 움직임에 따라 변형되어 움직이게 되는 아바타이다.
또한, 상기 4D연산부는 생성된 상기 4D 아바타를 복사하여 가이드아바타를 생성하고, 4D연산부에 의해 생성된 가이드아바타는 가이드아바타출력부를 통해 표시된다.
그러면, 사용자동작판단부에서는 데이터베이스부에 저장된 평가동작을 검출하여 가이드아바타로 하여금 평가동작을 표시하도록 한다. 사용자는 가이드아바타출력부 및 사용자아바타출력부를 통해 가이드아바타와 사용자아바타를 동시에 볼 수 있으며, 가이드아바타가 행하는 평가동작을 따라한다.
이때, 4D연산부는 카메라부에 의해 촬영되는 사용자의 움직임 영상정보를 이용하여 사용자아바타의 움직임을 복원하여 사용자아바타출력부에 표시한다.
이와 함께, 사용자동작판단부에서는 가이드아바타 및 사용자아바타의 움직임을 비교하여 사용자의 평가정보를 생성한다. 상기 평가정보에는 사용자의 상태에 대한 다양한 정보가 포함될 수 있으며, 평가부위별로 평가정보가 생성될 수 있다.
다음 재활운동시 사용자정보가 입력되면, 사용자동작판단부에서는 데이터베이스부로부터 해당 사용자의 평가정보를 독출하여 상기 평가정보에 대응하는 훈련프로그램을 불러온다. 그리고, 상기 훈련프로그램에 속하는 훈련동작을 가이드아바타를 통해 표시한다. 이때, 사용자동작판단부에서는 상기 평가정보에 기초하여 가이드아바타의 변형정도를 계산하고 이에 따라 가이드아바타의 움직임을 제어할 수 있다.
사용자는 가이드아바타의 동작을 보고 똑같은 동작을 수행하며, 이때 4D연산부에서는 사용자아바타를 통해 사용자의 움직임을 보여주게 된다.
사용자동작판단부에서는 가이드아바타와 사용자아바타의 움직임을 비교하여 설정범위 이내이면 다음동작을 표시하여 주고, 가이드아바타와 사용자아바타의 움직임 차이가 설정범위 밖이면 차이가 나는 평가부위에 화살표와 같은 강조가이드를 표시하여 주고 바른 동작을 제시하여 줄 수 있다. 그리고, 같은 동작을 반복하여 훈련하게 하는 것이 바람직하다.
본 발명에 의한 재활운동은 한 장소에 여러명이 같이 할 수 있으며, 4D연산부는 카메라부에 의해 촬영되는 각각의 사용자들의 4D아바타를 생성하여 표시하여 줄 수 있다. 즉, 상기 사용자 아바타 출력부는, 복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력할 수 있다.
상기한 실시예는 재활운동을 위주로 설명하였지만, 본 발명은 게임 등 다른 응용분야에 적용될 수도 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 4D 아바타를 이용한 동작 가이드 장치 200 : 카메라부
300 : 4D 연산부 400 : 가이드아바타출력부
500 : 사용자아바타출력부 600 :사용자동작판단부
700 : 데이터베이스부 800 : 시뮬레이션부

Claims (13)

  1. 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 사용자 아바타 출력부;
    상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 가이드 아바타 출력부;
    상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 사용자 동작 판단부를 포함하고,
    상기 사용자 아바타 출력부는,
    사용자의 3차원 모델에 대한 움직임 동작 정보를 포함하는 4D 아바타를 생성하고,
    사용자의 관절 정보를 이용하여 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  2. 제1항에 있어서,
    상기 가이드 아바타 출력부는,
    상기 생성된 4D 아바타를 복사하여 가이드 아바타를 생성하고 생성된 가이드 아바타를 재활운동 프로그램에 따라 정해진 동작으로 변형시켜 출력하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  3. 제1항에 있어서,
    상기 가이드 아바타 출력부는,
    사용자의 의료 정보를 기초로 사용자 맞춤형 재활 운동 동작을 가이드하는 가이드 아바타를 출력하는, 4D 아바타를 이용한 동작 가이드 장치.
  4. 제3항에 있어서,
    상기 사용자 동작 판단부는,
    상기 사용자 아바타의 동작을 분석 또는 예측하여 상기 사용자 아바타가 상기 가이드 아바타의 동작에 따라 일치하는 동작을 수행했는지 여부를 판단하는, 4D 아바타를 이용한 동작 가이드 장치.
  5. 제3항에 있어서,
    상기 사용자 동작 판단부는 사용자의 동작을 판단하여 사용자에게 다음 단계로 진행 또는 사용자가 동작을 재수행하도록 하는 4D 아바타를 이용한 동작 가이드 장치.
  6. 제5항에 있어서,
    사용자 아바타 동작을 판단한 데이터를 누적적으로 기록하는 데이터베이스부를 더 포함하고,
    상기 사용자동작판단부는 상기 데이터베이스부를 검색하여 상기 사용자의 특정 동작에 대한 호전도를 사용자에게 피드백하는 4D 아바타를 이용한 동작 가이드 장치.
  7. 제1항에 있어서,
    상기 사용자 아바타 출력부는,
    복수의 사용자가 있는 경우, 각 사용자별로 움직임 정보를 추정하여 각각의 사용자에 대한 사용자 아바타 모델을 출력하는, 4D 아바타를 이용한 동작 가이드 장치.
  8. 제1항에 있어서,
    상기 사용자 동작 판단부는 프레임별로 상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 근접도를 평가하고,
    상기 근접도는 신체부위별로 평가부위가 지정되고, 상기 평가부위의 오차크기 및 상기 평가부위에 부여된 가중치를 이용하여 계산되는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  9. 제1항에 있어서,
    상기 사용자동작판단부는,
    상기 사용자아바타의 움직임을 상기 가이드아바타의 움직임과 비교하여 차이 정도를 평가부위별로 평가한 평가정보를 포함하는 사용자정보를 저장하고,
    상기 저장된 사용자정보에 기초하여 상기 가이드아바타가 움직일 수 있는 부위별 변형정도를 판단하여 가이드아바타출력부를 통해 가이드아바타의 부위별 변형을 적응적으로 표시하도록 하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  10. 제1항에 있어서,
    상기 사용자동작판단부는 훈련동작에 따라 사용자아바타출력부를 통해 사용자아바타를 회전시켜 사용자아바타출력부에 표시하도록 하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 장치.
  11. 사용자의 움직임 정보를 포함하는 4D 아바타를 생성하고 상기 4D 아바타의 동작을 화면에 출력하는 단계;
    상기 사용자에게 특정 동작의 수행을 가이드하는 가이드 아바타를 출력하는 단계;
    상기 사용자 아바타와 상기 가이드 아바타의 동작을 비교하여 상기 사용자의 동작을 판단하는 단계를 포함하고,
    상기 4D 아바타의 동작을 화면에 출력하는 단계는,
    사용자의 3차원 모델에 대한 움직임 동작 정보를 포함하는 4D 아바타를 생성하는 단계;
    사용자의 관절 정보를 이용하여 프레임별 상기 관절 정보의 변화량을 통해 상기 사용자의 움직임 정보를 추정하는 단계를 더 포함하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 사용자의 동작을 판단하는 단계는,
    상기 가이드아바타와 사용자아바타를 비교 및 분석하여
    상기 가이드아바타와 사용자아바타의 움직임이 설정범위 이내이면 다음 훈련동작을 제시하고,
    상기 가이드아바타와 사용자아바타의 움직임이 설정범위를 벗어나면 강조가이드를 표시하여 주는 단계를 더 포함하는 것을 특징으로 하는 4D 아바타를 이용한 동작 가이드 방법.
KR1020180098837A 2018-08-23 2018-08-23 4d 아바타를 이용한 동작가이드장치 및 방법 KR102125748B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180098837A KR102125748B1 (ko) 2018-08-23 2018-08-23 4d 아바타를 이용한 동작가이드장치 및 방법
PCT/KR2018/016186 WO2020040363A1 (ko) 2018-08-23 2018-12-19 4d 아바타를 이용한 동작가이드장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180098837A KR102125748B1 (ko) 2018-08-23 2018-08-23 4d 아바타를 이용한 동작가이드장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200022776A KR20200022776A (ko) 2020-03-04
KR102125748B1 true KR102125748B1 (ko) 2020-06-23

Family

ID=69592677

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180098837A KR102125748B1 (ko) 2018-08-23 2018-08-23 4d 아바타를 이용한 동작가이드장치 및 방법

Country Status (2)

Country Link
KR (1) KR102125748B1 (ko)
WO (1) WO2020040363A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145563A1 (ko) * 2020-12-31 2022-07-07 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102429627B1 (ko) 2021-12-16 2022-08-08 가천대학교 산학협력단 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템
KR102432250B1 (ko) 2021-12-16 2022-08-12 가천대학교 산학협력단 케어용 챗봇을 제공하는 시스템
KR20230134264A (ko) 2022-03-14 2023-09-21 주식회사 초메디신 인공지능 아바타 기반의 예비문진 및 비대면 진료 매칭서비스 제공방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4194058A4 (en) 2020-08-05 2024-05-29 Drax Inc. METHOD FOR CONTROLLING THE USER INTERFACE OF A TRAINING DEVICE AND TRAINING DEVICE FOR IMPLEMENTING SAME
KR102567029B1 (ko) * 2020-08-05 2023-08-16 주식회사 디랙스 웨이트 운동 기기 및 방법
KR102241414B1 (ko) 2020-10-23 2021-04-19 아이디어링크 주식회사 머신 러닝 모델을 이용한 특정 움직임에 대한 피드백을 제공하는 전자 장치 및 그 동작 방법
KR102294261B1 (ko) 2020-12-22 2021-08-26 정재훈 근력 운동의 코칭을 위한 운동 동작 평가 시스템
WO2023128512A1 (ko) * 2021-12-28 2023-07-06 주식회사 디랙스 Ai운동가이드장치 및 방법
KR102676846B1 (ko) * 2021-12-31 2024-06-20 경북대학교 산학협력단 메타버스 환경에서 돔 디스플레이 운영 방법
KR102575387B1 (ko) * 2023-01-09 2023-09-06 (주)휴먼아이티솔루션 관절 가동 범위 인식을 기반으로 캐릭터를 구현 및 운동 컨텐츠를 제공하는 방법, 장치 및 컴퓨터-판독 가능 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784835B1 (ko) * 2006-10-27 2007-12-14 에스케이씨앤씨 주식회사 아바타를 이용한 체형 관리 서비스 시스템 및 그 방법
KR101234006B1 (ko) * 2011-02-25 2013-02-18 디게이트 주식회사 네츄럴 인터렉션 기반 건강 및 재활 기능성 게임시스템
KR20130100816A (ko) * 2012-02-01 2013-09-12 (주)대양이티엔씨 센서 정보와 헬스 아바타를 이용한 운동 관리 시스템
KR20140068403A (ko) * 2012-11-28 2014-06-09 주식회사 솔미테크 근력 트레이닝 가이드 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145563A1 (ko) * 2020-12-31 2022-07-07 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR20220098064A (ko) * 2020-12-31 2022-07-11 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102556863B1 (ko) * 2020-12-31 2023-07-20 동국대학교 산학협력단 사용자 맞춤형 운동 훈련 방법 및 시스템
KR102429627B1 (ko) 2021-12-16 2022-08-08 가천대학교 산학협력단 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템
KR102432250B1 (ko) 2021-12-16 2022-08-12 가천대학교 산학협력단 케어용 챗봇을 제공하는 시스템
KR20230134264A (ko) 2022-03-14 2023-09-21 주식회사 초메디신 인공지능 아바타 기반의 예비문진 및 비대면 진료 매칭서비스 제공방법

Also Published As

Publication number Publication date
KR20200022776A (ko) 2020-03-04
WO2020040363A1 (ko) 2020-02-27

Similar Documents

Publication Publication Date Title
KR102125748B1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
US11069144B2 (en) Systems and methods for augmented reality body movement guidance and measurement
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
JP6522060B2 (ja) オブジェクト認識装置、分類ツリー学習装置及びその動作方法
JP6045139B2 (ja) 映像生成装置、映像生成方法及びプログラム
CN105426827B (zh) 活体验证方法、装置和系统
JP5575652B2 (ja) レンダリングされた像の表示設定を選択するための方法及びシステム
CN103678859B (zh) 动作比对方法与动作比对系统
KR102320960B1 (ko) 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템
US20140371633A1 (en) Method and system for evaluating a patient during a rehabilitation exercise
CN114022512B (zh) 运动辅助方法、装置及介质
CN107930048B (zh) 一种太空体感识别运动分析系统及运动分析方法
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
JP2020141806A (ja) 運動評価システム
CN118380096A (zh) 一种基于算法追踪与虚拟现实的康复训练交互方法及装置
CN114067953A (zh) 康复训练方法、系统及计算机可读存储介质
JP2016077346A (ja) 運動支援システム、運動支援方法、及び運動支援プログラム
CN109407826A (zh) 球类运动模拟方法、装置、存储介质及电子设备
CN115862810B (zh) 具有量化评估功能的vr康复训练方法及系统
CN108629121B (zh) 基于避免恐怖谷效应的虚拟现实人群仿真方法和系统
JP2021099666A (ja) 学習モデルの生成方法
KR102685401B1 (ko) 스켈레톤 정보와 가상 오브젝트 간 매칭을 통한 사용자 운동 평가 장치
KR102668933B1 (ko) 맞춤형 서비스 제공 장치 및 방법
KR102669062B1 (ko) 운동 보조 서비스 제공 로봇 및 운동 보조 서비스 제공 방법
Chung et al. Optimizing camera setup for in-home first-person rendering mixed reality gaming system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant