KR20230016400A - Deivce and method for calibrating three-dimensional motion data - Google Patents

Deivce and method for calibrating three-dimensional motion data Download PDF

Info

Publication number
KR20230016400A
KR20230016400A KR1020210097848A KR20210097848A KR20230016400A KR 20230016400 A KR20230016400 A KR 20230016400A KR 1020210097848 A KR1020210097848 A KR 1020210097848A KR 20210097848 A KR20210097848 A KR 20210097848A KR 20230016400 A KR20230016400 A KR 20230016400A
Authority
KR
South Korea
Prior art keywords
motion
data
joint
correction
motion data
Prior art date
Application number
KR1020210097848A
Other languages
Korean (ko)
Inventor
김태욱
전문구
윤동호
김지용
김도현
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020210097848A priority Critical patent/KR20230016400A/en
Publication of KR20230016400A publication Critical patent/KR20230016400A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to technology for calibrating three-dimensional motion data and, more specifically, to a device and method for calibrating three-dimensional motion data that include: examining detailed motions of motion data collected using motion recognition wearable equipment; and correcting error information. The present invention is to simply and accurately correct errors and inaccurate motions occurring in a motion capture environment.

Description

3차원 모션 데이터 교정 장치 및 방법 {DEIVCE AND METHOD FOR CALIBRATING THREE-DIMENSIONAL MOTION DATA}Apparatus and method for calibrating 3-dimensional motion data

본 발명은 3차원 모션 데이터의 교정 기술에 관한 것으로, 더욱 상세하게는 모션 인식 웨어러블 장비를 이용해 수집한 모션 데이터의 세부적인 동작을 검토하고, 오차 정보를 교정하는 3차원 모션 데이터 교정 장치 및 방법에 대한 것이다.The present invention relates to a technology for calibrating 3D motion data, and more particularly, to a 3D motion data calibrating apparatus and method for examining detailed motions of motion data collected using motion recognition wearable equipment and correcting error information. it is about

최근 웨어러블 장치에 대한 연구가 증가하면서 수어 모션 데이터 관련에서 데이터 글로브를 이용한 연구도 증가하고 있다.Recently, as research on wearable devices increases, studies using data globes are also increasing in relation to sign language motion data.

데이터 글로브는 카메라 기반 데이터 글로브가 있고, 센서 기반 데이터 글로브가 있다. 카메라 기반 데이터 글로브는 영상을 통해 정밀한 데이터 획득이 가능하나 조명 또는 반사 등의 환경, 마커 간의 간격에 따라 에러가 발생하는 경우 많다. 센서 기반 데이터 글로브는 센서의 기구학적 데이터로 모션을 인식 작은 제스처부터 전체적인 바디 모션의 인식이 가능하다는 장점이 있지만 센서의 성능 또는 사용시간에 따라 각 관절 각도 편차가 발생한다. 따라서 센서 기반의 모션 캡쳐 장비는 각 관절 각도 편차에 따른 오차를 사람이 수작업을 교정하는 과정을 거쳐야만 한다. 특히 수어의 경우 손가락의 모양과 팔의 간격 및 위치에 따라 구현하는 뜻이 달라지기 때문에 수어 모션 데이터의 각 관절 각도 편차에 따라 표현하고자 하는 의미가 달라지거나 불명확해지므로 반드시 교정과정이 필요하다. 더욱이 모션 캡쳐 데이터는 1프레임별로 움직임 정보를 가지고 있기 때문에 교정이 까다롭고 오랜 시간이 소모된다.Data globes include camera-based data globes and sensor-based data globes. Camera-based data globes can acquire precise data through images, but errors often occur depending on the environment such as lighting or reflection, and the spacing between markers. The sensor-based data globe has the advantage of being able to recognize motions from small gestures to whole body motions with sensor kinematic data, but each joint angle deviation occurs depending on sensor performance or usage time. Therefore, the sensor-based motion capture equipment must go through a process of manually correcting the error according to the deviation of each joint angle. In particular, in the case of sign language, since the meaning to be implemented differs depending on the shape of the fingers and the distance and position of the arms, the meaning to be expressed varies or becomes unclear depending on the deviation of each joint angle of the sign language motion data, so a correction process is absolutely necessary. Moreover, because motion capture data has motion information for each frame, calibration is difficult and takes a long time.

한편 수어 모션 데이터를 용도에 맞게 세부적으로 정확한 의미를 나타내도록 수정 변환하여 다양한 프로그램 버전으로 확장 및 사용할 수 있도록 툴킷 또는 프로그램을 개발이 시급하다.On the other hand, it is urgent to develop a toolkit or program so that sign language motion data can be modified and converted to show accurate meaning in detail according to the purpose and can be expanded and used in various program versions.

1. 한국 공개특허공보 제2016-0109708호 “수화 번역기, 시스템 및 방법”(공개일자: 2016년 09월 21일)1. Korean Patent Publication No. 2016-0109708 “Sign language translator, system and method” (published on September 21, 2016)

본 발명은 모션 캡쳐 환경에서 발생하는 모션 캡쳐 데이터의 오차 또는 부정확한 동작으로 의미가 제대로 전달되지 않는 모션 캡쳐 데이터를 정확하게 교정하고, 작업이 까다로워 많은 비용과 시간이 소모되는 모션 데이터 교정을 간단하게 수행하는 3차원 모션 데이터 교정 장치 및 방법을 제공한다.The present invention accurately corrects motion capture data whose meaning is not properly conveyed due to errors or inaccurate motions of motion capture data generated in a motion capture environment, and simply performs motion data correction, which requires a lot of cost and time due to complicated work. It provides a 3D motion data calibration device and method.

본 발명의 일 측면에 따르면, 3차원 모션 데이터 교정 장치를 제공한다.According to one aspect of the present invention, a three-dimensional motion data calibration device is provided.

본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치는 모션 캡쳐 데이터를 획득하여 입력하는 입력부, 모션 캡쳐 데이터에서 관절 데이터를 추출하는 추출부 및 관절 데이터를 교정하여 모션 데이터를 교정하는 교정부를 포함할 수 있다.An apparatus for calibrating 3D motion data according to an embodiment of the present invention includes an input unit for obtaining and inputting motion capture data, an extraction unit for extracting joint data from the motion capture data, and a calibration unit for calibrating the motion data by calibrating the joint data. can do.

본 발명의 다른 일 측면에 따르면, 3차원 모션 데이터 교정 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.According to another aspect of the present invention, a 3D motion data calibration method and a computer program executing the same are provided.

본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 방법 및 이를 실행하는 컴퓨터 프로그램은 교정 동작을 선택하는 단계, 교정 동작에 관절 교정 키 데이터를 생성하는 단계, 관절 교정 키 데이터를 적용하는 단계를 포함할 수 있다.A 3D motion data correction method and a computer program executing the same according to an embodiment of the present invention include selecting a corrective motion, generating joint correction key data to the corrective motion, and applying the joint correction key data. can do.

본 발명은 모션 캡쳐 환경에서 발생하는 오차 및 부정확한 모션을 간단하고 정확하게 교정할 수 있다.The present invention can simply and accurately correct errors and inaccurate motions occurring in a motion capture environment.

본 발명은 쉽고 간단하게 모션 캡쳐 데이터의 오차를 수정할 수 있어 정확한 동작이 요구되는 양질의 수어 모션 데이터를 생성할 수 있다.The present invention can easily and simply correct errors in motion capture data, thereby generating high-quality sign language motion data requiring accurate motion.

본 발명은 수어 모션 데이터를 체계적으로 구축하여 디지털 라이브러리화하고, 이를 기반으로 3D 가상 캐릭터의 정확한 수어 구현을 통해 청각 장애인을 위한 수어 번역 서비스의 확산에 기여할 수 있다.The present invention can contribute to the spread of sign language translation services for the hearing-impaired by systematically constructing sign language motion data and converting it into a digital library, and based on this, by accurately implementing sign language in 3D virtual characters.

도 1은 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 장치를 간략히 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치를 간략히 설명하기 위한 블록도.
도 3은 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치가 추출하는 관절 정보를 설명하기 위한 도면.
도 4는 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치의 교정부를 간략히 설명하기 위한 블록도.
도 5는 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 방법을 도시한 도면.
도 6은 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치가 교정하는 과정을 관절 키 데이터의 그래프 예시로 간단하게 설명한 화면.
도 7내지 도 21은 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 장치의 화면 예시들.1 is a diagram briefly illustrating a 3D motion data calibration device according to an embodiment of the present invention.
2 is a block diagram for briefly explaining a 3D motion data calibration device according to an embodiment of the present invention.
3 is a diagram for explaining joint information extracted by a 3D motion data calibrating apparatus according to an embodiment of the present invention.
4 is a block diagram for briefly explaining a calibration unit of a 3D motion data calibration device according to an embodiment of the present invention.
5 is a diagram illustrating a 3D motion data calibration method according to an embodiment of the present invention.
6 is a screen briefly explaining a process of calibrating by a 3D motion data calibrating apparatus according to an embodiment of the present invention as an example of a graph of joint key data.
7 to 21 are screen examples of a 3D motion data calibration device according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. Also, as used in this specification and claims, the terms "a" and "an" are generally to be construed to mean "one or more" unless stated otherwise.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with

본 발명은 모션 캡쳐를 데이터화 한 상태에서 세부적인 동작을 검토하고 상황에 맞는 교정 작업을 수행할 수 있다.According to the present invention, detailed motions can be reviewed in the state of converting motion capture into data, and corrective work suitable for the situation can be performed.

본 발명은 교정이 필요한 부분만 간단하게 교정하여 쉽고 빠르게 양질의 모션 데이터를 생성할 수 있다.According to the present invention, high-quality motion data can be generated easily and quickly by simply correcting only a part that needs correction.

도 1은 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 장치를 간략히 예시한 도면이다.1 is a diagram briefly illustrating a 3D motion data calibration device according to an embodiment of the present invention.

도 1을 참조하면 3차원 모션 데이터 교정 장치(10)는 다양한 형태로 획득된 모션 캡쳐 데이터의 세부적인 동작을 검토하여 정확한 수어 모션 데이터로 교정할 수 있다.Referring to FIG. 1 , the 3D motion data calibrating apparatus 10 may review detailed motions of motion capture data acquired in various forms and correct them into accurate sign language motion data.

수어는 손가락의 모양과 팔의 간격 및 위치에 따라 구현하는 뜻이 완전히 달라지기 때문에 손가락, 손, 팔의 위치, 각도 및 모양을 정확하게 하는 것이 중요하다. 3차원 모션 데이터 교정 장치(10)는 각 관절의 좌표를 정의하여 정확한 수어 모션으로 교정할 수 있다. 3차원 모션 데이터 교정 장치는 정확한 수어 모션 데이터를 생성하여 청각 장애인을 위한 수어 번역 서비스의 확신이 기여할 수 있다. 예를 들어 3차원 모션 데이터 교정 장치(10)를 이용한 수어 번역 서비스는 박물관 전시물 해설 서비스, 관광산업에서의 관광지 해설 서비스, 미술관 전시에서 작품 및 해설 서비스, 과학관 전시물 해설 서비스, 공공시설 이용 및 안내 서비스 등 다양한 형태의 수어 해설 프로그램을 생성하고 수정할 수 있다.Since the meaning of sign language is completely different depending on the shape of the fingers and the spacing and position of the arms, it is important to accurately position, angle, and shape the fingers, hands, and arms. The 3D motion data calibrating device 10 may define the coordinates of each joint and calibrate them with accurate sign language motion. The 3D motion data calibrating device can generate accurate sign language motion data, thereby contributing to the assurance of sign language translation service for the hearing impaired. For example, the sign language translation service using the 3D motion data correction device 10 is a museum exhibit commentary service, a tourist destination commentary service in the tourism industry, a work and commentary service in an art gallery exhibition, a science museum exhibit commentary service, and a public facility use and guidance service. It is possible to create and modify various types of sign language commentary programs such as

도 2는 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치를 간략히 설명하기 위한 블록도이다.2 is a block diagram for briefly explaining a 3D motion data calibration device according to an embodiment of the present invention.

도 2를 참조하면, 3차원 모션 데이터 교정 장치(10)는 입력부(100), 추출부(200), 및 교정부(300)를 포함할 수 있다.Referring to FIG. 2 , the 3D motion data calibration device 10 may include an input unit 100 , an extraction unit 200 , and a calibration unit 300 .

입력부(100)는 모션 캡쳐 데이터를 획득하여 입력할 수 있다.The input unit 100 may acquire and input motion capture data.

입력부(100)는 모션 캡쳐 데이터를 모션 인식이 가능한 웨어러블 장치로부터 획득할 수 있다. 또는 입력부(100)는 기존에 이미 데이터화되어 있는 모션 캡쳐 데이터를 획득하여 입력할 수 있다.The input unit 100 may obtain motion capture data from a wearable device capable of recognizing motion. Alternatively, the input unit 100 may obtain and input motion capture data already converted into data.

도 3은 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치의 추출부가 추출하는 관절 정보를 설명하기 위한 도면이다.3 is a diagram for explaining joint information extracted by an extractor of a 3D motion data calibration device according to an embodiment of the present invention.

추출부(200)는 입력된 모션 캡쳐 데이터에서 관절 데이터를 추출한다.The extractor 200 extracts joint data from input motion capture data.

도 3을 참조하면, 추출부(200)는 수어에 필요한 관절들의 정보를 추출할 수 있다. 추출부(200)는 목 관절, 어깨 관절, 팔꿈치 관절, 손목 관절의 관절 데이터를 추출할 수 있다. 또한 추출부(200)는 손가락별로 3개의 관절을 추출하여 총 한 손당 15개의 관절 데이터를 추출할 수 있다. 추출부(200)는 목 관절 1개, 양쪽 어깨 관절 2개, 양쪽 팔꿈치 관절 2개, 양쪽 손목 관절 2개 및 양쪽 손가락 관절 30개로, 좌우 총합 37개의 관절 정보를 추출할 수 있다.Referring to FIG. 3 , the extractor 200 may extract joint information required for sign language. The extraction unit 200 may extract joint data of a neck joint, a shoulder joint, an elbow joint, and a wrist joint. In addition, the extractor 200 may extract 3 joints for each finger, and extract a total of 15 joint data per hand. The extraction unit 200 may extract joint information for a total of 37 left and right joints, including one neck joint, two shoulder joints, two elbow joints, two wrist joints, and 30 finger joints.

교정부(300)는 추출한 각 관절 데이터를 조절하여 수어 모션 데이터를 교정할 수 있다. The correction unit 300 may correct the sign language motion data by adjusting each extracted joint data.

교정부(300)는 교정이 필요한 키프레임을 기반으로 값이 빈 새로운 가상 그룹을 생성한다. 교정부(300)는 예를 들면, 교정하려는 키 프레임의 마지막 상위 노드를 새로운 가상 그룹으로 생성한다. The calibration unit 300 creates a new virtual group with an empty value based on a keyframe that needs calibration. The calibration unit 300 creates, for example, a new virtual group with the last upper node of the key frame to be corrected.

교정부(300)는 총 37개 관절에 대해 교정 관절 키 데이터를 생성할 수 있다. 예를 들면 교정부(300)는 교정 자세에 맞게 조절한 관절 동작 데이터를 생성한 가상 그룹에 저장한다. 교정부(300)는 가상 그룹에 저장된 관절 동작 데이터를 기반으로 교정 관절 키 데이터를 생성하고, 교정이 필요한 관절 키 데이터에 적용하여 수어 모션 데이터를 교정할 수 있다.The correction unit 300 may generate corrected joint key data for a total of 37 joints. For example, the correction unit 300 stores joint motion data adjusted to the corrected posture in the created virtual group. The calibration unit 300 may generate corrected joint key data based on joint motion data stored in the virtual group, and correct the sign language motion data by applying the corrected joint key data to the joint key data that needs correction.

도 4는 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치의 교정부를 간략히 설명하기 위한 블록도이다.4 is a block diagram briefly explaining a calibration unit of a 3D motion data calibration device according to an embodiment of the present invention.

교정부(300)는 각 관절의 회전(rotate) 동작 교정, 손가락 구부림(curl) 동작 교정 및 손가락의 뭉침(bend) 정도에 따른 손 뭉침(bend) 동작 교정 중 적어도 하나를 수행한다.The correction unit 300 performs at least one of a rotation motion correction of each joint, a finger curl motion correction, and a hand bend motion correction according to a degree of finger bend.

도 4를 참조하면, 교정부(300)는 회전 동작 교정부(310), 구부림 동작 교정부(320) 및 뭉침 동작 교정부(330)를 포함한다.Referring to FIG. 4 , the correction unit 300 includes a rotation motion correction unit 310, a bending motion correction unit 320, and a bunching operation correction unit 330.

회전 동작 교정부(310)는 교정하려는 키 프레임에서의 관절 회전(rotate) 각도 x, y, z 값을 기준으로 -180° ~ 180°의 범위로 관절 회전(rotate) 각도를 교정할 수 있다. 회전 동작 교정부(310)는 교정이 필요한 관절의 현재관절 회전(rotate) 각도 x, y, z 값을 획득(get)한다. 회전 동작 교정부(310)는 관절 회전 각도 x, y, z 값을 조절하여 관절 회전 각도를 교정할 수 있다. 교정부(300)는 관절 회전 각도 x, y, z 값을 설정한 후 관절 동작 데이터로 저장하여 각 관절 교정 키 데이터를 생성할 수 있다.The rotation motion correction unit 310 may correct the joint rotation angle in the range of -180° to 180° based on the joint rotation angle x, y, and z values in the key frame to be corrected. The rotational motion correction unit 310 obtains values of x, y, and z values of current joint rotation angles of the joint requiring correction. The rotation motion correction unit 310 may correct the joint rotation angle by adjusting the joint rotation angle x, y, and z values. The correction unit 300 may generate each joint correction key data by setting joint rotation angle x, y, and z values and then storing the values as joint motion data.

구부림 동작 교정부(320)는 각 손가락의 굽힘이나 펴기를 나타낼 수 있는 손가락 구부림(curl) 정도를 교정할 수 있다. 구부림 동작 교정부(320)는 손가락 구부림(curl) 정도를 -90°~30°의 범위에서 조절하여 교정 정도를 제어할 수 있다. 예를 들면 구부림 동작 교정부(323)는 -10~10까지 총 21단계로 각 손가락의 구부림(curl) 정도를 조절하여 교정 정도를 제어할 수 있다. 구부림 동작 교정부(320)는 0을 기본값으로 하여 -10은 완전히 굽혀진 상태이고 10은 완전히 펴진 상태를 의미한다. 구부림 동작 교정부(320)는 손가락 구부림(curl) 정도를 설정한 후 관절 동작 데이터로 저장하여 관절 교정 키 데이터를 생성할 수 있다.The bending motion correction unit 320 may correct the degree of finger curl, which may indicate bending or stretching of each finger. The bending motion correction unit 320 may control the degree of correction by adjusting the degree of finger curl in the range of -90° to 30°. For example, the bending motion correction unit 323 may control the degree of correction by adjusting the degree of curl of each finger in a total of 21 steps from -10 to 10. The bending operation correction unit 320 takes 0 as a basic value, -10 means a completely bent state and 10 means a completely straightened state. The bending motion correction unit 320 may generate joint correction key data by setting the degree of finger curl and then storing it as joint motion data.

뭉침 동작 교정부(330)는 손에서 손가락을 모으고 펴는 뭉침(bend) 정도를 교정할 수 있다. 예를 들어 뭉침 동작 교정부(330)는 손가락의 뭉침(bend) 정도를 -10~10까지 총 21단계로 조절하여 교정 정도를 제어할 수 있다. 뭉침 동작 교정부(330)는 0을 기본값으로 하여 -10은 완전히 손가락을 모은 상태이고 10은 완전히 벌린 상태를 의미한다. 뭉침 동작 교정부(330)는 손가락의 뭉침(bend) 정도를 설정한 후 관절 동작 데이터로 저장하여 관절 교정 키 데이터를 생성할 수 있다.The bending operation correction unit 330 may correct the degree of bending of fingers in the hand. For example, the bending operation correction unit 330 may control the bending degree by adjusting the bend degree of the fingers in a total of 21 steps from -10 to 10. The grouping operation correction unit 330 takes 0 as a default value, -10 means a state where the fingers are fully gathered, and 10 means a state where the fingers are completely spread out. The aggregation motion correction unit 330 may generate joint correction key data by setting a degree of bending of the fingers and then storing the result as joint motion data.

교정부(300)는 가상 그룹에 생성된 관절 교정 키 데이터를 교정이 필요한 기존의 키 프레임에 적용하여 수어 모션 데이터를 교정할 수 있다. 이때 교정부(300)는 기존의 키 프레임에 관절 교정 키 데이터를 적용한 후 가상 그룹을 삭제할 수 있다.The correction unit 300 may correct the sign language motion data by applying the joint correction key data generated in the virtual group to an existing key frame requiring correction. At this time, the correction unit 300 may delete the virtual group after applying joint correction key data to the existing key frame.

자세히 설명하면 교정부(300)는 삭제할 가상 그룹의 시작 프레임, 끝 프레임 및 프레임 간격을 지정하고 지정된 시작 프레임과 끝 프레임을 0을 설정할 수 있다. 교정부(300)는 저장된 각 관절 교정 키 데이터를 이용해 그래프를 생성할 수 있다. 교정부(300)는 교정이 필요한 키 프레임의 최초 그래프로 생성한 관절 교정 키 데이터의 그래프를 합 연산하고, 가상 그룹을 삭제할 수 있다. 교정부(300)는 합 연산된 그래프를 확인하고 합 연산을 취소할 수 있다. 즉, 교정부(300)는 교정 결과를 확인한 후 교정 전으로 데이터를 복원할 수 있다.In detail, the correction unit 300 may designate the start frame, end frame, and frame interval of the virtual group to be deleted, and set the designated start frame and end frame to 0. The correction unit 300 may generate a graph using each stored joint correction key data. The correction unit 300 may sum and calculate the graph of joint correction key data generated as the first graph of the key frame to be corrected, and delete the virtual group. The correction unit 300 may check the sum operation graph and cancel the sum operation. That is, the calibration unit 300 may restore data before calibration after checking the calibration result.

교정부(300)는 기존 데이터와 교정 데이터를 합 연산하여 수어 모션을 교정할 수 있다.The correction unit 300 may correct the sign language motion by summing the existing data and the correction data.

도 5는 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 방법을 도시한 도면이다. 이하 설명하는 각 과정은 단계에서 3차원 모션 데이터 교정 장치를 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 단계에서 3차원 모션 데이터 교정 장치로 통칭하도록 한다.5 is a diagram illustrating a 3D motion data calibration method according to an embodiment of the present invention. Each process described below is a process performed by each functional unit constituting the 3D motion data calibrating device at each step, but for concise and clear description of the present invention, the subject of each step is collectively referred to as a 3D motion data calibrating device at each step. do.

도5를 참조하면, 3차원 모션 데이터 교정 장치(10)는 3차원 모션 데이터를 획득한 후 교정 작업을 시작할 수 있다. 3차원 모션 데이터 교정 장치(10)는 모션 캡쳐 데이터를 모션 인식이 가능한 웨어러블 장치로부터 획득할 수 있다. 또는 3차원 모션 데이터 교정 장치(10)는 기존에 이미 데이터화되어 있는 모션 캡쳐 데이터를 획득하여 입력할 수 있다.Referring to FIG. 5 , the 3D motion data calibrating apparatus 10 may start calibrating after obtaining 3D motion data. The 3D motion data calibrating device 10 may obtain motion capture data from a wearable device capable of recognizing motion. Alternatively, the 3D motion data calibrating apparatus 10 may acquire and input motion capture data already converted into data.

S510 단계에서 3차원 모션 데이터 교정 장치(10)는 교정하려는 키 프레임의 가상 그룹을 생성한다.In step S510, the 3D motion data calibration device 10 creates a virtual group of key frames to be calibrated.

S520 단계에서 3차원 모션 데이터 교정 장치(10)는 교정 동작을 선택한다. 이때 3차원 모션 데이터 교정 장치(10)는 각 관절의 회전(rotate) 동작 교정, 손가락 구부림(curl) 동작 교정 및 손가락의 뭉침(bend) 정도에 따른 손 뭉침(bend) 동작 교정 중 어느 하나 이상을 선택하여 수행할 수 있다.In step S520, the 3D motion data calibration device 10 selects a calibration operation. At this time, the 3D motion data calibration device 10 performs any one or more of rotation motion correction of each joint, finger curl motion correction, and hand bend motion correction according to the degree of bending of the fingers. You can choose to do it.

S520 단계에서 3차원 모션 데이터 교정 장치(10)가 회전(rotate) 동작 교정을 선택하면, S5301 단계에서 3차원 모션 데이터 교정 장치(10)는 교정이 필요한 교정 관절을 선택할 수 있다.When the 3D motion data calibrating device 10 selects rotation motion correction in step S520, the 3D motion data calibrating device 10 may select a corrected joint that needs correction in step S5301.

S5302 단계에서 3차원 모션 데이터 교정 장치(10)는 교정이 필요한 관절의 현재 관절 회전(rotate) 각도 x, y, z 값을 획득(get)할 수 있다.In step S5302, the 3D motion data calibrating apparatus 10 may obtain current joint rotation angle x, y, and z values of the joint that needs correction.

S5303 단계에서 3차원 모션 데이터 교정 장치(10)는 -180° ~ 180°의 범위로 관절 회전(rotate) 각도 x, y, z값을 조절할 수 있다.In step S5303, the 3D motion data calibrating apparatus 10 may adjust joint rotation angle x, y, and z values in the range of -180° to 180°.

S5304 단계에서 3차원 모션 데이터 교정 장치(10)는 조절한 정보를 이용하여 관절 교정 키 데이터를 생성할 수 있다.In step S5304, the 3D motion data calibration device 10 may generate joint calibration key data using the adjusted information.

S520 단계에서 3차원 모션 데이터 교정 장치(10)가 구부림(curl) 동작 교정을 선택하면, S5401 단계에서 3차원 모션 데이터 교정 장치(10)는 구부림(curl) 동작 교정이 필요한 관절을 선택할 수 있다.If the 3D motion data calibrating device 10 selects curl motion correction in step S520, the 3D motion data calibrating device 10 may select a joint requiring curl motion correction in step S5401.

S5402단계에서 3차원 모션 데이터 교정 장치(10)는 10~10까지 총 21단계로 각 손가락의 구부림(curl) 정도를 조절할 수 있다.In step S5402, the 3D motion data calibrating device 10 can adjust the degree of curl of each finger in a total of 21 steps from 10 to 10.

S5403단계에서 3차원 모션 데이터 교정 장치(10)는 조절한 정보를 이용하여 관절 교정 키 데이터를 생성할 수 있다.In step S5403, the 3D motion data correction device 10 may generate joint correction key data using the adjusted information.

S520 단계에서 3차원 모션 데이터 교정 장치(10)가 뭉침(bend) 동작 교정을 선택하면, S5501 단계에서 3차원 모션 데이터 교정 장치(10)는 손에서 손가락의 뭉침(bend) 동작 교정이 필요한 관절을 선택할 수 있다.In step S520, when the 3D motion data correcting device 10 selects bend motion correction, in step S5501, the 3D motion data correcting device 10 adjusts the joint requiring bend motion correction of the fingers in the hand. You can choose.

S5502단계에서 3차원 모션 데이터 교정 장치(10)는 -10~10까지 총 21단계로 각 손가락의 뭉침(bend) 정도를 조절할 수 있다.In step S5502, the 3D motion data calibrating device 10 can adjust the degree of bending of each finger in a total of 21 steps from -10 to 10.

S5503단계에서 3차원 모션 데이터 교정 장치(10)는 조절한 정보를 이용하여 관절 교정 키 데이터를 생성할 수 있다.In step S5503, the 3D motion data correction device 10 may generate joint correction key data using the adjusted information.

S560단계에서 3차원 모션 데이터 교정 장치(10)는 관절 교정 키 데이터가 생성된 가상 그룹에서 시작 프레임, 끝 프레임 및 프레임 간격을 지정할 수 있다.In step S560, the 3D motion data calibration device 10 may designate a start frame, an end frame, and a frame interval in the virtual group in which joint calibration key data is generated.

S570단계에서 3차원 모션 데이터 교정 장치(10)는 교정하려는 기존의 키 프레임에 관절 교정 키 데이터를 적용한 후 가상 그룹을 삭제할 수 있다.In step S570, the 3D motion data correction device 10 may delete the virtual group after applying joint correction key data to the existing key frame to be corrected.

S580단계에서 3차원 모션 데이터 교정 장치(10)는 교정된 결과를 보고 추가 교정이 필요한지 판단하고 교정이 완료되었다면 교정된 정보를 저장하여 수어 모션 데이터 교정을 완료한다.In step S580, the 3D motion data calibration device 10 looks at the calibration result, determines whether additional calibration is required, and if calibration is completed, stores the calibration information to complete sign language motion data calibration.

교정 작업을 계속 진행해야 하는 경우 S590단계에서 3차원 모션 데이터 교정 장치(10)는 교정 전으로 데이터를 복원할 수 있고, 새로운 동작 교정 작업을 진행할 수 있다. If it is necessary to continue the calibration work, in step S590, the 3D motion data calibration device 10 may restore the data before calibration and perform a new motion calibration work.

도 6은 본 발명의 일 실시 예에 따른 3차원 모션 데이터 교정 장치가 교정하는 과정을 관절 키 데이터의 그래프 예시로 간단하게 설명한 화면이다.6 is a screen briefly explaining a process of calibrating by a 3D motion data calibrating device according to an embodiment of the present invention using a graph example of joint key data.

도 6을 참조하면, 3차원 모션 데이터 교정 장치(10)는 가상 그룹화, 교정, 그룹화 해제의 과정을 거쳐 수어 모션 데이터를 교정하는 예시이다.Referring to FIG. 6 , the 3D motion data calibration apparatus 10 is an example of correcting sign language motion data through virtual grouping, calibration, and degrouping processes.

3차원 모션 데이터 교정 장치(10)는 교정하려는 키 프레임의 마지막 상위 노드를 새로운 가상 그룹을 생성하여 가상 그룹화한다. 예를 들어, 3차원 모션 데이터 교정 장치(10)는 교정하려는 관절의 키 프레임이 LeftArm이라면 gLeftArm의 가상 그룹을 생성할 수 있다. The 3D motion data correction device 10 creates a new virtual group for the last higher node of the key frame to be corrected and virtual groups them. For example, if the key frame of the joint to be corrected is LeftArm, the 3D motion data calibration apparatus 10 may create a virtual group of gLeftArm.

3차원 모션 데이터 교정 장치(10)는 교정이 필요한 키 프레임에서 교정을 진행할 관절과 관절의 축을 선택하고, 교정을 진행한다. 예를 들면, 3차원 모션 데이터 교정 장치(10)는 교정을 진행할 관절의 교정한 값의 점을 생성한 가상 그룹에 나타낼 생성할 수 있다.The 3D motion data calibration device 10 selects a joint and an axis of the joint to be calibrated in a key frame that needs calibration, and proceeds with the calibration. For example, the 3D motion data calibration apparatus 10 may generate a point of a corrected value of a joint to be corrected to be displayed in the generated virtual group.

3차원 모션 데이터 교정 장치(10)는 교정 값이 적용된 시작 프레임과 끝 프레임 및 프레임 간격을 지정하고, 지정된 구간에서 교정 값에 따라 그래프(스플라인)를 생성할 수 있다. 예를 들면3차원 모션 데이터 교정 장치(10)는 교정하려는 관절의 최초 그래프와 교정 값에 따라 생성된 그래프를 결합(합 연산)하여 최종 수어 모션 데이터를 생성하고 저장한다. 이때 3차원 모션 데이터 교정 장치(10)는 가상 그룹을 삭제할 수 있다.The 3D motion data calibration apparatus 10 may designate a start frame, an end frame, and a frame interval to which the calibration values are applied, and generate a graph (spline) according to the calibration values in the designated section. For example, the 3D motion data correction apparatus 10 generates and stores final sign language motion data by combining (summing operation) an initial graph of a joint to be corrected with a graph generated according to correction values. At this time, the 3D motion data calibration device 10 may delete the virtual group.

도 7내지 도 21은 본 발명의 일 실시예에 따른 3차원 모션 데이터 교정 장치의 화면 예시들이다.7 to 21 are screen examples of a 3D motion data calibration device according to an embodiment of the present invention.

도 7을 참조하면, 3차원 모션 데이터 교정 장치(10)가 각 관절의 각도 조절을 위한 가상 그룹을 생성하는 화면의 예시이다. 3차원 모션 데이터 교정 장치(10)는 교정이 필요한 키 프레임에서 총 37개의 관절에 대해 키 제어가 가능한 빈 가상 그룹을 생성할 수 있다.Referring to FIG. 7 , it is an example of a screen in which the 3D motion data calibration device 10 creates a virtual group for angle adjustment of each joint. The 3D motion data calibration device 10 may create an empty virtual group capable of key control for a total of 37 joints in a key frame requiring calibration.

도 8을 참조하면, 3차원 모션 데이터 교정 장치(10)가 생성한 가상 그룹이 비어 있는 화면 예시이다. 3차원 모션 데이터 교정 장치(10)는 관절 값 교정 후 기존의 관절 키 데이터에 교정 관절 키 데이터를 적용할 수 있도록 빈 상태의 가상 그룹을 생성할 수 있다.Referring to FIG. 8 , a virtual group generated by the 3D motion data calibration device 10 is an example of an empty screen. The 3D motion data calibrating apparatus 10 may create an empty virtual group to apply corrected joint key data to existing joint key data after joint value correction.

도 9는 3차원 모션 데이터 교정 장치(10)의 UI 화면 예시이다. 3차원 모션 데이터 교정 장치(10)는 수어 모션 교정을 위한 관절 구조를 생성하는 가상 그룹 생성(grouping) 기능을 지원한다. 3차원 모션 데이터 교정 장치(10)는 손가락의 구부림 정도를 설정할 수 있는 컬링(curling) 가능을 지원한다. 3차원 모션 데이터 교정 장치(10)는 수정한 데이터를 초기화할 수 있는 리셋(reset) 기능을 지원한다. 3차원 모션 데이터 교정 장치(10)는 각 관절의 회전 각도를 roll, pitch, yaw 방향별로 제어하는 x, y, z값 제어를 슬라이드 형식 UI로 제공할 수 있다. 3차원 모션 데이터 교정 장치(10)는 현재 키에서의 관절 좌표 값을 획득할 수 있는 기능을 지원한다. 3차원 모션 데이터 교정 장치(10)는 현재 키에 교정된 관절 좌표 값을 입력하는 기능을 지원한다.9 is an example of a UI screen of the 3D motion data calibration device 10. The 3D motion data calibration device 10 supports a virtual group grouping function for generating a joint structure for sign language motion calibration. The 3D motion data calibrating apparatus 10 supports curling capable of setting a degree of bending of a finger. The 3D motion data calibration device 10 supports a reset function capable of initializing modified data. The 3D motion data calibrating apparatus 10 may provide x, y, and z value control for controlling the rotation angle of each joint for each roll, pitch, and yaw direction in a slide-type UI. The 3D motion data calibrating apparatus 10 supports a function of obtaining joint coordinate values in a current key. The 3D motion data calibration device 10 supports a function of inputting a joint coordinate value calibrated to a current key.

도 10을 참조하면, 3차원 모션 데이터 교정 장치(10)는 손가락의 모양을 교정할 수 있는 기능을 슬라이드 형식의 UI로 제공하고 있다. 3차원 모션 데이터 교정 장치(10)는 손가락을 모으고 펴고 하는 뭉침(bend)의 정도를 -10~10까지 총 21단계로 나누어 조절할 수 있다.Referring to FIG. 10 , the 3D motion data calibrating device 10 provides a function for calibrating the shape of a finger in a slide-type UI. The 3D motion data calibrating device 10 can adjust the degree of bending by bringing the fingers together and spreading them in a total of 21 steps from -10 to 10.

도 11을 참조하면, 3차원 모션 데이터 교정 장치(10)는 현재 관절의 회전 각도 정보와 교정 후 적용되는 관절 회전 각도 정보를 확인하고 비교할 수 있다. 자세히 설명하면 도 11(a)는 3차원 모션 데이터 교정 장치(10)가 현재 관절의 회전 각도 정보를 획득(get)하여 표시한 것이고, 도 11(b)는 3차원 모션 데이터 교정 장치(10)가 교정 후 적용되는 관절 회전 각도 정보를 나타낸 것이다.Referring to FIG. 11 , the 3D motion data calibrating apparatus 10 may check and compare current joint rotation angle information and joint rotation angle information applied after correction. In detail, FIG. 11(a) shows that the 3D motion data calibrating device 10 obtains and displays rotation angle information of the current joint, and FIG. 11(b) shows the 3D motion data calibrating device 10 indicates joint rotation angle information applied after correction.

도 12를 참조하면, 3차원 모션 데이터 교정 장치(10)가 173프레임의 z축의 정보를 그래프로 산출한 예시이다.Referring to FIG. 12, it is an example in which the 3D motion data calibration device 10 calculates z-axis information of 173 frames as a graph.

도 13을 참조하면, 3차원 모션 데이터 교정 장치(10)가 수어 모션에 대한 교정을 실시하기 z축 각도를 약 -13° 회전하여 생성한 관절 교정 키 데이터가 생성된 것을 그래프로 나타낸 예시이다.Referring to FIG. 13 , the 3D motion data calibrating device 10 is an example of a graph showing that joint correction key data generated by rotating the z-axis angle by about -13° to perform sign language motion correction is generated.

도 14를 참조하면, 3차원 모션 데이터 교정 장치(10)가 도 12의 관절 교정 키 데이터를 도 12의 교정이 필요한 173 프레임의 정보에 적용하여 교정을 진행한 결과 예시이다. 3차원 모션 데이터 교정 장치(10)는 도 12의 173프레임의 z 축의 회전 각도를 도 13의 교정 각도만큼 교정하였고, 이 교정에 맞추어 전체 회전각도가 자연스럽게 연결시킬 수 있다.Referring to FIG. 14 , an example of a result of performing correction by applying the joint correction key data of FIG. 12 to the information of 173 frames requiring correction of FIG. 12 by the 3D motion data correction device 10 . The 3D motion data calibration device 10 corrects the z-axis rotation angle of the 173 frames of FIG. 12 by the calibration angle of FIG. 13, and can naturally connect all rotation angles according to this calibration.

도 15내지 도 17은 3차원 모션 데이터 교정 장치(10)가 3축 회전 각도(Roll, Pitch, Yaw)에 대해 교정이 필요한 키 프레임의 교정을 진행하고 교정이 필요한 원본 데이터에 적용하였을 때 생성된 회전 교정 각도가 기존의 3축 회전각에 자연스럽게 연결되도록 적용한 예시이다.15 to 17 are generated when the 3D motion data calibration device 10 proceeds with calibration of key frames requiring calibration for 3 axis rotation angles (Roll, Pitch, Yaw) and applies them to original data requiring calibration. This is an example of applying the rotation correction angle to be naturally connected to the existing 3-axis rotation angle.

도 18을 참조하면, 3차원 모션 데이터 교정 장치(10)가 정확하지 않았던 수어 모션 데이터를 손의 각도를 조정하여 정확한 수어 모션 데이터로 교정한 것을 확인할 수 있다. Referring to FIG. 18 , it can be confirmed that the 3D motion data correction apparatus 10 corrected inaccurate sign language motion data into accurate sign language motion data by adjusting the angle of the hand.

도 19 내지 도 21을 참조하면, 3차원 모션 데이터 교정 장치(10)가 교정한 수어 모션 데이터를 Maya와 Unity에서 동일하게 사용할 수 있는 것을 확인할 수 있다. 3차원 모션 데이터 교정 장치(10)는 수어 교정 환경인 Maya뿐만 아니라 Unity 같은 게임엔진 기반 프로그램에서 사용할 수 있는 확장성이 있다. Referring to FIGS. 19 to 21 , it can be confirmed that sign language motion data calibrated by the 3D motion data calibration device 10 can be equally used in Maya and Unity. The 3D motion data correction device 10 has scalability that can be used in game engine-based programs such as Unity as well as Maya, which is a sign language correction environment.

상술한 3차원 모션 데이터 교정 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The above-described 3D motion data calibration method may be implemented as computer readable code on a computer readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disc, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet, installed in the other computing device, and thus used in the other computing device.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention have been described as being combined or operated as one, the present invention is not necessarily limited to these embodiments. That is, within the scope of the object of the present invention, all of the components may be selectively combined with one or more to operate.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although actions are shown in a particular order in the drawings, it should not be understood that the actions must be performed in the specific order shown or in a sequential order, or that all shown actions must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be understood as requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at mainly by its embodiments. Those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent scope will be construed as being included in the present invention.

10: 3차원 모션 데이터 교정 장치
100: 입력부
200: 추출부
300: 교정부
310: 회전 동작 교정부
320: 구부림 동작 교정부
330: 뭉침 동작 교정부10: 3D motion data calibration device
100: input unit
200: extraction unit
300: correction department
310: rotational motion correction unit
320: bending motion correction unit
330: aggregation operation correction unit

Claims (6)

3차원 모션 데이터 교정 장치에 있어서,
모션 캡쳐 데이터를 획득하여 입력하는 입력부;
상기 모션 캡쳐 데이터에서 관절 데이터를 추출하는 추출부; 및
상기 관절 데이터를 교정하여 모션 데이터를 교정하는 교정부를 포함하는
3차원 모션 데이터 교정 장치.
In the three-dimensional motion data calibration device,
an input unit for obtaining and inputting motion capture data;
an extractor extracting joint data from the motion capture data; and
Comprising a calibration unit for calibrating the motion data by calibrating the joint data
3D motion data correction device.
 제1항에 있어서,
상기 추출부는 목 관절, 어깨 관절, 팔꿈치 관절, 손목 관절 및 손가락 관절 데이터를 추출하는
3차원 모션 데이터 교정 장치.
According to claim 1,
The extractor extracts neck joint, shoulder joint, elbow joint, wrist joint and finger joint data.
3D motion data correction device.
 제1 항에 있어서,
상기 교정부는
상기 관절 데이터에서 회전(rotate) 동작 교정을 수행하는 회전 동작 교정부;
상기 관절 데이터에서 손가락 구부림(curl) 동작 교정을 수행하는 구부림 동작 교정부; 및
상기 관절 데이터에서 손가락을 모으거나 펼치는 손 뭉침(bend) 동작 교정을 수행하는 손 뭉침 동작 교정부를 포함하는
3차원 모션 데이터 교정 장치.
According to claim 1,
The proofreading department
a rotational motion correcting unit performing rotational motion correction on the joint data;
a bending motion correction unit performing finger curl motion correction on the joint data; and
Including a hand bending motion correction unit that performs bending motion correction for gathering or spreading fingers in the joint data
3D motion data correction device.
 3차원 모션 데이터 교정 장치가 3차원 모션 데이터를 교정하는 방법에 있어서,
교정 동작을 선택하는 단계;
상기 교정 동작에 관절 교정 키 데이터를 생성하는 단계; 및
상기 관절 교정 키 데이터를 적용하는 단계를 포함하는
3차원 모션 데이터 교정 방법.
A method for calibrating 3D motion data by a 3D motion data calibration device,
selecting a corrective action;
generating joint correction key data for the correction operation; and
Comprising the step of applying the joint correction key data
3D motion data calibration method.
 제4항에 있어서
상기 교정 동작을 선택하는 단계는
회전(rotate) 동작 교정, 구부림(curl) 동작 교정 및 손 뭉침(bend) 동작 교정 중 어느 하나 이상을 선택하여 수행하는 3차원 모션 데이터 교정 방법.
According to claim 4
The step of selecting the corrective action is
A method of calibrating 3D motion data by selecting and performing at least one of a rotation motion correction, a curl motion correction, and a hand bend motion correction.
 제4항 및 제5항의 3차원 모션 데이터 교정 방법 중 어느 하나를 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.A computer program that executes any one of the three-dimensional motion data calibration methods of claims 4 and 5 and is recorded on a computer-readable recording medium.
KR1020210097848A 2021-07-26 2021-07-26 Deivce and method for calibrating three-dimensional motion data KR20230016400A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210097848A KR20230016400A (en) 2021-07-26 2021-07-26 Deivce and method for calibrating three-dimensional motion data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210097848A KR20230016400A (en) 2021-07-26 2021-07-26 Deivce and method for calibrating three-dimensional motion data

Publications (1)

Publication Number Publication Date
KR20230016400A true KR20230016400A (en) 2023-02-02

Family

ID=85225512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210097848A KR20230016400A (en) 2021-07-26 2021-07-26 Deivce and method for calibrating three-dimensional motion data

Country Status (1)

Country Link
KR (1) KR20230016400A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109708A (en) 2015-03-12 2016-09-21 주식회사 디지털스케치 Sign language translator, system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160109708A (en) 2015-03-12 2016-09-21 주식회사 디지털스케치 Sign language translator, system and method

Similar Documents

Publication Publication Date Title
JP6265027B2 (en) Display device, position specifying program, and position specifying method
KR102410328B1 (en) Method and apparatus for training face fusion model and electronic device
JP6171671B2 (en) Information processing apparatus, position specifying method, and position specifying program
JP6314394B2 (en) Information processing apparatus, setting method, setting program, system, and management apparatus
Jörg et al. Data-driven finger motion synthesis for gesturing characters
AU2014203449B2 (en) Information processing apparatus, and displaying method
CN113168733A (en) Virtual glasses try-on system and method
JP2017531227A (en) Interface providing method and apparatus for recognizing operation in consideration of user's viewpoint
JP6006820B2 (en) Mobile device, operation method, and non-transitory computer-readable storage medium
US9508177B2 (en) Method of controlling skeleton model, and recording medium therewith
CN110568929B (en) Virtual scene interaction method and device based on virtual keyboard and electronic equipment
JP6426772B2 (en) Coordinate information conversion apparatus and coordinate information conversion program
WO2019076264A1 (en) Text display method and device in virtual reality, and virtual reality apparatus
CN111599002A (en) Method and apparatus for generating image
KR20230016400A (en) Deivce and method for calibrating three-dimensional motion data
JP6347610B2 (en) Image processing apparatus and three-dimensional spatial information acquisition method
KR20200001574A (en) Device, method and program for making multi-dimensional reactive video, and method and program for playing multi-dimensional reactive video
KR101515845B1 (en) Method and device for gesture recognition
JP4746717B2 (en) Image generation system, image generation method, computer program, and recording medium on which computer program is recorded
CN115138063A (en) Image processing method, device and program electronic device and storage medium
KR20190074562A (en) 3D printing system using 3D modeling authoring tool based on VR technology
US20220240852A1 (en) Nerve detection method and device
JP6886663B2 (en) Operation instruction generation system, method and program
Linares-Garcia et al. Framework and case studies for context-aware ar system (caars) for ubiquitous applications in the aec industry
JP2017208051A (en) Technical support device, method, program, and system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal