KR102486140B1 - 대상의 신체 치수의 비율을 교정하는 시스템 및 방법 - Google Patents

대상의 신체 치수의 비율을 교정하는 시스템 및 방법 Download PDF

Info

Publication number
KR102486140B1
KR102486140B1 KR1020200131096A KR20200131096A KR102486140B1 KR 102486140 B1 KR102486140 B1 KR 102486140B1 KR 1020200131096 A KR1020200131096 A KR 1020200131096A KR 20200131096 A KR20200131096 A KR 20200131096A KR 102486140 B1 KR102486140 B1 KR 102486140B1
Authority
KR
South Korea
Prior art keywords
motion
ratio
equation
closed loop
torso
Prior art date
Application number
KR1020200131096A
Other languages
English (en)
Other versions
KR20220048215A (ko
Inventor
강동훈
김진욱
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200131096A priority Critical patent/KR102486140B1/ko
Priority to US17/103,091 priority patent/US11730394B2/en
Publication of KR20220048215A publication Critical patent/KR20220048215A/ko
Application granted granted Critical
Publication of KR102486140B1 publication Critical patent/KR102486140B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Power Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

실시예들은 복수의 신체 부분에 복수의 모션 센서가 부착된 대상에서 각 신체 부분의 바디 좌표계를 설정하는 단계; 상기 대상이 제1 기초 포즈를 취한 상태에서 지상을 기준으로 지정된 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬을 산출하는 단계; 상기 대상이 제2 기초 포즈를 취한 상태에서 상기 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬을 산출하는 단계; 상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하는 단계; 및 상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여, 상기 대상의 신체 치수의 비율을 산출하는 단계를 포함한 대상의 신체 치수의 비율을 교정(calibration)하는 시스템 및 방법에 관련된다.

Description

대상의 신체 치수의 비율을 교정하는 시스템 및 방법{SYSTEM AND METHOD FOR CALIBRTING RATE OF BODY SIZE OF SUBJECT}
본 발명의 실시예들은 모션센서를 이용하는 모션 캡처 기술에 관한 것으로서, 보다 상세하게는 모션센서의 센서 데이터를 이용하여, 모션센서가 부착된 신체 부분의 치수의 비율, 상반신의 비율, 하반신의 비율 및/또는 전신의 비율을 포함하는, 신체 치수의 비율을 자가 교정(self-calibration) 가능한 시스템 및 방법에 관련된다.
모션 캡쳐(motion capture) 기술은 인체의 동작을 추적하는 기술로서, 영화제작이나 애니메이션 제작, 스포츠 동작 분석, 재활 의학 분야와 같은 다양한 분야에서 활용되는 기술이다.
정확한 모션 캡쳐를 위해서는 모션 캡쳐 대상의 신체 치수가 측정되어야 한다. 특히, 전신에 대한 신체 부분의 비율이 모션 캡쳐의 정확성에 많은 영향을 미친다.
현재 모션 캡쳐 분야에서 선두권에 있는 모션 캡쳐 장치는 Xsens 사의 MVN이다. 상기 MVN은 별도의 카메라 없이 MEMS IMU 센서 기반의 모션 캡쳐 전용 수트와 데이터 처리 장치(예컨대, 컴퓨터)로 구현된 간단한 시스템 구성을 가짐으로써, 널리 활용되고 있다.
도 1은, 종래의 MVN 제품에서 신체 치수의 비율을 획득하는 과정을 설명하기 위한 도면이다.
그러나 MVN 제품은, 전신에 대한 상반신의 비율, 전신에 대한 하반신의 비율, (예컨대, 도 1에 도시된 바와 같이) 팔을 벌린 상태에서 팔끝으로부터 다른 팔끝까지의 치수의 비율 등의 신체 치수의 비율을 획득하기 위해, 자(ruler) 또는 카메라와 같은 별도의 외부장치를 이용해 해당 신체 부분을 직접 측정하고 이를 입력해야 하는 한계가 있다.
특허공개공보 제10-2013-0060441호 (2013.06.10.)
본 발명의 일 측면에 따르면, 모션센서의 센서 데이터를 이용하여, 관성센서가 부착된 신체 부분의 치수의 비율, 상반신의 비율, 하반신의 비율 및/또는 전신의 비율을 포함하는, 신체 치수의 비율을 자가 교정(self-calibration) 가능한 시스템을 제공할 수도 있다.
이 외에도, 대상의 신체 치수의 비율을 교정하는 방법 및 이를 기록한 컴퓨터 판독가능 기록매체를 제공할 수도 있다.
본 발명의 일 측면에 따른 프로세서에 의해 수행되는 대상의 신체 치수의 비율을 교정(calibration)하는 방법은: 복수의 신체 부분에 복수의 모션 센서가 부착된 대상에서 각 신체 부분의 바디 좌표계를 설정하는 단계; 상기 대상이 제1 기초 포즈를 취한 상태에서 지상을 기준으로 지정된 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬을 산출하는 단계; 상기 대상이 제2 기초 포즈를 취한 상태에서 상기 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬을 산출하는 단계; 상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하는 단계; 및 상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여, 상기 대상의 신체 치수의 비율을 산출하는 단계를 포함할 수도 있다.
일 실시예에서, 상기 제1 기초 포즈는 상기 대상의 팔 또는 다리가 지면을 향해 배열된 포즈이고, 상기 제2 기초 포즈는 팔 및 다리 중 적어도 하나가 상기 제1 기초 포즈로부터 측면을 향해 움직인 포즈일 수도 있다.
일 실시예에서, 상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하는 단계는, 중력 방향을 기준으로 제1 단위 벡터를 지정하는 단계; 상기 제1 및 제2 회전행렬에 기초하여 제2 단위 벡터를 지정하는 단계; 상기 제1 및 제2 단위 벡터에 기초하여 제3 단위 벡터를 지정하는 단계; 및 상기 월드 좌표계로부터 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 획득하는 단계를 포함할 수도 있다. 여기서, 상기 제3 회전행렬은 다음의 수학식 1로 이루어진다.
[수학식 1]
Figure 112020107284053-pat00001
일 실시예에서, 상기 제2 단위 벡터는 다음의 수학식 2로 표현된다.
[수학식 2]
Figure 112020107284053-pat00002
여기서, v2는 제2 단위 벡터이고 e는 다음의 수학식 3으로 표현된다.
[수학식 3]
Figure 112020107284053-pat00003
여기서, a1, a2, a3은 다음의 수학식 4에 의해 산출된다.
[수학식 4]
Figure 112020107284053-pat00004
여기서, E는 Nk -1Tk (단, k=2, …, n)의 평균 행렬이고, Nk 는 상기 제1 회전행렬이고, Tk 는 상기 제2 회전행렬이며, n은 상기 복수의 모션 센서에서 몸통에 부착된 제1 모션 센서를 제외한 나머지 모션 센서의 수를 나타낸다.
일 실시예에서, 상기 대상의 신체 치수의 비율을 산출하는 단계는, 상기 대상이 임의로 움직이는 동안 상기 복수의 모션 센서의 출력을 획득하는 단계; 복수의 모션 센서 각각에 대한 모션 단위 벡터를 지정하는 단계; 및 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계를 포함할 수도 있다.
일 실시예에서, 상기 복수의 모션 센서 중 몸통에 부착된 제1 모션 센서의 모션 단위 벡터는 몸통의 수평 방향으로 지정되고, 그리고 상기 복수의 모션 센서 내 나머지 모션 센서의 모션 단위 벡터는 다음의 수학식 5에 의해 지정될 수도 있다.
[수학식 5]
Figure 112020107284053-pat00005
여기서, ck는 k번째 모션 센서의 모션 단위 벡터를 나타내고, i는 감지 시점(sensing time stamp)를 나타내며, v1은 중력 방향을 기준으로 지정된 제1 단위 벡터이다. 그리고 Rk는 다음의 수학식 6으로 표현된다.
[수학식 6]
Figure 112020107284053-pat00006
여기서, A는 상기 제3 회전행렬을 나타내고, Uk는 해당 모션 센서의 출력을 나타낸다.
일 실시예에서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는, 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함할 수도 있다. 상기 제1 닫힘 루프를 형성한 신체 부분은 몸통 및 양팔을 포함하며, 상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 7에 의해 산출된다.
[수학식 7]
Figure 112020107284053-pat00007
여기서, x는 상기 제1 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위이다.
일 실시예에서, 상기 제1 닫힘 루프가 대칭인 경우, 상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 8에 의해 산출된다.
[수학식 8]
Figure 112020107284053-pat00008
여기서, 상기 제2 모션 센서가 부착된 제2 신체 부분과 제5 모션 센서가 부착된 제5 신체 부분, 그리고 제3 모션 센서가 부착된 제3 신체 부분과 제4 모션 센서가 부착된 제4 신체 부분이 서로 대칭이다.
일 실시예에서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는, 제2 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함할 수도 있다. 상기 제2 닫힘 루프를 형성한 신체 부분은 몸통 및 양다리를 포함하며, 상기 제2 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 9에 의해 산출된다.
[수학식 9]
Figure 112020107284053-pat00009
여기서, x는 상기 제2 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위이다.
일 실시예에서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는, 제3 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함할 수도 있다. 상기 제3 닫힘 루프를 형성하는 신체 부분은 한쪽 팔과 몸통을 포함하며, 상기 산출되는 몸통의 치수의 비율은 상기 몸통의 세로 길이의 비율을 나타내고, 상기 제3 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 10에 의해 산출된다.
[수학식 10]
Figure 112020107284053-pat00010
여기서, x는 상기 제3 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위이다.
일 실시예에서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는, 제4 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함할 수도 있다. 여기서, 상기 제4 닫힘 루프를 형성하는 신체 부분은 한쪽 팔, 몸통 및 한쪽 허벅지를 포함하며, 상기 산출되는 몸통의 치수의 비율은 상기 몸통의 세로 길이의 비율을 나타내고, 상기 제3 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 11에 의해 산출된다.
[수학식 11]
Figure 112020107284053-pat00011
여기서, x는 상기 제4 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위이다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수도 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우, 상술한 실시예들에 따른 방법을 수행하게 한다.
본 발명의 또 다른 일 측면에 따른 대상의 신체 치수의 비율을 교정(calibration)하는 시스템은, 상기 대상의 복수의 신체 부분에 부착된 복수의 모션 센서; 및 상기 복수의 모션 센서의 출력을 획득하여 상기 대상의 신체 치수의 비율을 교정하는 데이터 처리 장치를 포함한다. 상기 데이터 처리 장치는: 상기 대상에서 각 신체 부분의 바디 좌표계를 설정하고, 상기 대상이 제1 기초 포즈를 취한 상태에서 지상을 기준으로 지정된 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬을 산출하며, 상기 대상이 제2 기초 포즈를 취한 상태에서 상기 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬을 산출하고, 상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하며, 그리고 상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여, 상기 대상의 신체 치수의 비율을 산출할 수도 있다.
본 발명의 일 실시예에 따른 대상의 신체 치수의 비율을 교정(calibration)하는 시스템은, 모션센서가 부착된 신체 부분의 치수의 비율, 상반신의 비율, 하반신의 비율 및/또는 전신의 비율을 포함하는 다양한 신체 치수의 비율을 산출하기 위해, 자 또는 카메라 등의 외부 장치를 별도로 사용하지 않는다. 상기 시스템은 모션 캡쳐 시스템에서 당연히 요구되는 모션 센서를 이용하여 대상의 신체 치수의 비율을 간편하고 정확하게 산출할 수 있어, 자가 교정(self-calibration) 동작이 가능하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한표현 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 종래의 MVN 제품에서 신체 치수의 비율을 획득하는 과정을 설명하기 위한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 복수의 모션 센서를 부착한 대상을 도시한 도면이다.
도 3은, 본 발명의 일 실시예에 따른, 신체 치수의 비율을 교정하는 방법의 흐름도이다.
도 4는, 본 발명의 일 실시예에 따른, 바디 좌표계를 설명하기 위한 도면이다.
도 5는, 본 발명의 일 실시예에 따른, 제1 기초 포즈에서의 각 모션 센서의 제1 회전행렬(Nk)을 산출하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6c는, 본 발명의 일 실시예에 따른, 제2 기초 포즈에서의 각 모션 센서의 제2 회전행렬(Tk)을 산출하는 과정을 설명하기 위한 도면이다.
도 7은, 본 발명의 일 실시예에 따른, 모션 단위 벡터 및 신체 부분의 치수를 설명하기 위한 도면이다.
도 8은, 본 발명의 일 실시예에 따른, 제1 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 9는, 본 발명의 일 실시예에 따른, 대칭의 제1 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 10은, 본 발명의 일 실시예에 따른, 제2 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 11은, 본 발명의 일 실시예에 따른, 대칭의 제2 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 12는, 본 발명의 일 실시예에 따른, 제3 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 13은, 본 발명의 다른 일 실시예에 따른, 제4 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 기재된 특징, 영역, 숫자, 단계, 동작, 구성요소, 및/또는 성분을 구체화하는 것이며, 하나 또는 그 이상의 다른 특징, 영역, 숫자, 단계, 동작, 구성요소, 및/또는 성분의 존재 또는 부가를 제외시키는 것이 아니다.
다르게 표현되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 표현되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 표현하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
본 발명의 일 측면에 따른 대상의 신체 치수의 비율을 교정하는 시스템(이하, 교정 시스템)은 복수의 모션 센서 및 데이터 처리 장치를 포함한다. 특정 실시예들에서, 상기 교정 시스템은 대상의 모션을 캡처하는 모션 캡처 시스템에서 대상의 신체 치수의 비율을 자동으로 교정하는 시스템으로 활용될 수도 있다. 이 경우, 신체 치수의 비율을 교정하는 동작은 대상의 모션을 정확하게 캡처하기 위해 모션 캡처 동작 이전에 수행된다.
실시예들에 따른 교정 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
모션 센서는 모션 캡처를 위해 사용되는 센서이다. 일 실시예에서, 모션 센서는 관성 센서를 포함한다. 상기 관성 센서는, 예를 들어 IMU 센서일 수도 있으나, 이에 제한되진 않는다.
복수의 모션 센서는 모션 캡처 대상의 복수의 신체 부분에 부착된다.
도 2는, 본 발명의 일 실시예에 따른, 복수의 모션 센서를 부착한 대상을 도시한 도면이다.
도 2를 참조하면, 복수의 신체 부분은 대상의 몸통을 포함한다. 또한 복수의 신체 부분은 일정한 축을 기준으로 회전 가능한 신체 부분을 포함한다. 상기 회전 가능한 신체 부분은 어깨 관절로부터 팔 관절 사이의 신체 부분("위 팔뚝"으로도 지칭됨), 팔 관절로부터 팔목 관절 사이의 신체 부분("아래 팔뚝"으로도 지칭됨), 고관절로부터 무릎 관절 사이의 신체 부분("허벅지"로도 지칭됨), 무릎 관절로부터 발목 관절 사이의 신체 부분("종아리"로도 지칭됨)을 포함한다. 이러한 신체 부분은 연결된 관절 축을 기준으로 회전 동작을 하도록 구성된다.
도 2에 도시된 바와 같이, 복수의 모션 센서 중에서 제1 모션 센서는 몸통에 부착되고, 제2 내지 제9 모션 센서가 좌/우측에서 전술한 회전 가능한 신체 부분에 각각 부착될 수도 있다. 예를 들어, 좌측 팔 및 우측 팔에는 각각 두 개의 모션 센서가 부착될 수도 있다. 또한 좌측 다리 및 우측 다리에는 각각 두 개의 모션 센서가 부착 될 수도 있다.
모션 센서는 해당 신체 부위에 임의의 방향 및/또는 위치로 부착될 수도 있다.
상기 교정 시스템은 (예컨대, 데이터 처리 장치에 의해) 도 2와 같이 부착된 복수의 모션 센서의 출력에 기초하여 대상의 신체 치수의 비율을 산출하는, 자가 교정 동작을 수행할 수도 있다. 복수의 모션 센서의 출력은 각 모션 센서별 센서 데이터를 포함한다.
상기 교정 시스템은 모션 센서가 부착된 신체 부분의 치수의 비율을 산출할 수도 있다. 예를 들어, 회전 가능한 신체 부분의 치수의 비율은 허벅지 길이의 비율, 종아리 길이의 비율, 위 팔뚝 길이의 비율, 및/또는 아래 팔뚝 길이의 비율이 산출될 수도 있다.
또한, 상기 교정 시스템은 상반신 치수의 비율, 하반신 치수의 비율 및/또는 전신 치수의 비율을 산출할 수도 있다.
즉, 상기 교정 시스템은 회전 가능한 신체 부분의 치수의 비율, 상반신 치수의 비율, 하반신 치수의 비율 및/또는 전신 치수의 비율을 포함한 다양한 신체 치수의 비율을 산출할 수도 있다.
본 발명의 다른 일 측면에 따른 대상의 신체 치수의 비율을 교정하는 방법(이하, "교정 방법")은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 컴퓨팅 장치는 상기 교정 시스템의 데이터 처리 장치일 수도 있으나, 이에 제한되진 않는다.
설명의 명료성을 위해, 상기 교정 방법이 도 2에 도시된 바와 같이 복수의 모션 센서를 각각 몸통, 좌/우측의 위 팔뚝, 아래 팔뚝, 허벅지, 종아리에 부착한 대상에 대해 적용되는 실시예들로 본 발명을 보다 상세하게 서술한다. 그러나, 본 발명이 이러한 실시예들에 제한되지 않는 것이 통상의 기술자들에게 명백히 이해될 것이다.
도 3은, 본 발명의 일 실시예에 따른, 신체 치수의 비율을 교정하는 방법의 흐름도이다.
도 3의 실시예는 다양한 좌표계가 사용된다. 예를 들어, 지상에 고정된 월드 좌표계{W}와 신체 부분 각각에 고정된 바디 좌표계{B}가 사용된다.
도 3을 참조하면, 신체 치수의 비율을 교정하는 방법(이하, 교정 방법)은 복수의 모션 센서가 복수의 신체 부분에 부착된 대상에서 각 신체 부분의 바디 좌표계를 설정하는 단계(S100)를 포함한다. 바디 좌표계는 모션 센서가 부착된 신체 부분에 대해 설정된다.
도 4는, 본 발명의 일 실시예에 따른, 바디 좌표계를 설명하기 위한 도면이다.
도 4를 참조하면, 복수의 모션 센서가 부착된 신체 부분, 즉 좌/우측의 위 팔뚝, 아래 팔뚝, 허벅지, 종아리의 바디 좌표계{B1, B2, ??., B9}가 각각 설정될 수도 있다(S100).
다시 도 3을 참조하면, 상기 교정 방법은: 상기 대상이 제1 기초 포즈를 취한 상태에서의 복수의 모션 센서의 출력을 획득하여 각 모션 센서의 제1 회전행렬(Nk)을 산출하는 단계(S200)를 포함한다. 여기서, k는 모션 센서의 인덱스(index)를 나타낸다.
중력과 지구 자기장 방향의 벡터를 각각 g, m으로 지칭할 경우, 월드 좌표계{W}는 -g 방향을 월드 프레임의 일 축(예컨대, y축)으로 표현하고, (-g×m)을 다른 일 축(예컨대, x축)으로 표현한 경우를 가정해보자. 그러면, 모션 센서의 출력은 월드 좌표계를 기준으로 모션 센서의 센서 좌표계의 회전행렬이다. 즉, 모션 센서의 센서 데이터는 월드 좌표계로부터 모션 센서의 센서 좌표계로의 회전행렬을 나타낸다.
대상에 부착된 각 모션 센서별 센서 좌표계는 해당 신체 부분의 바디 좌표계와 상이할 수도 있다. 따라서, 신체 치수의 비율을 산출하거나, 모션 캡처를 구현하기 위해서는 센서 좌표계와 바디 좌표계의 상관관계가 요구된다. 센서 좌표계와 바디 좌표계의 상관관계를 산출하는 과정에 대해서는 아래의 단계(S200 내지 S400)에서 보다 상세하게 서술한다.
단계(S200)에서 상기 대상이 제1 기초 포즈를 취한 상태에서의 복수의 모션 센서의 출력이 획득되면, 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬(Nk)이 각각 산출된다.
도 5는, 본 발명의 일 실시예에 따른, 제1 기초 포즈에서의 각 모션 센서의 제1 회전행렬(Nk)을 산출하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 상기 제1 기초 포즈는 회전 가능한 신체 부분이 지면 방향을 향하도록 배열된 상태로 정지한 자세일 수도 있다. 상기 제1 기초 포즈는 "차렷 자세"로 지칭되는 자세일 수도 있다.
일 실시예에서, 상기 월드 좌표계로부터 개별 모션 센서의 센서 좌표계로의 제1 회전행렬(Nk)은 다수의 출력(multiple outputs)에 기초하여 산출될 수도 있다. 이 경우, 상기 단계(S200)는: 대상이 제1 기초 포즈를 취한 상태에서의 모션 센서의 출력을 획득하는 단계(S210); 단계(S210)를 n번 반복하는 단계(여기서, n은 2 이상의 정수)(S220); 및 단계(S220)를 통해 획득된 n개의 출력의 평균을 산출하는 단계(S230)를 포함할 수도 있다. 그러면, 다수의 출력의 평균이 월드 좌표계로부터 각 모션 센서별 센서 좌표계로의 제1 회전행렬(Nk)로 단계(S300 내지 S500)에서 사용된다.
다시 도 3을 참조하면, 상기 교정 방법은: 상기 대상이 제2 기초 포즈를 취한 상태에서의 복수의 모션 센서의 출력을 획득하여 각 모션 센서의 제2 회전행렬(Tk)을 산출하는 단계(S300)를 포함한다.
단계(S200)에서 상기 대상이 제2 기초 포즈를 취한 상태에서의 복수의 모션 센서의 출력이 획득되면, 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬(Tk)이 각각 산출된다.
도 6a 내지 도 6c는, 본 발명의 일 실시예에 따른, 제2 기초 포즈에서의 각 모션 센서의 제2 회전행렬(Tk)을 산출하는 과정을 설명하기 위한 도면이다.
도 6a 내지 도 6c를 참조하면, 상기 제2 기초 포즈는 상기 제1 기초 포즈를 기준으로 상기 회전 가능한 신체 부분 중 일부 또는 전부가 측면 방향으로 움직이고 정지한 자세일 수도 있다. 일 실시예에서, 제2 기초 포즈는 상기 회전 가능한 신체 부분에서 상체에 포함된 신체 부분, 하체에 포함된 신체 부분 및 이들의 조합이 측면 방향으로 움직인 포즈일 수도 있다.
일 예시에서, 제2 기초 포즈는, 도 6a에 도시된 바와 같이 상체에 포함된 회전 가능한 신체 부분, 즉 팔을 옆으로 뻗는 자세일 수도 있다.
다른 일 예시에서, 제2 기초 포즈는, 도 6b에 도시된 바와 같이 하체에 포함된 회전 가능한 부분, 즉 다리를 옆으로 움직여 양 다리를 벌리는 자세일 수도 있다.
또 다른 일 예시에서, 제2 기초 포즈는, 도 6a 및 도 6b의 조합 자세, 즉 상체에서 팔을 옆으로 뻗고 하체에서 양 다리를 벌리는 자세일 수도 있다.
일 실시예에서, 상기 월드 좌표계로부터 개별 모션 센서의 센서 좌표계로의 제2 회전행렬(Tk)은 다수 출력(multiple outputs)에 기초하여 산출될 수도 있다. 이 경우, 상기 단계(S300)는: 대상이 제2 기초 포즈를 취한 상태에서의 모션 센서의 출력을 획득하는 단계(S310); 단계(S310)를 n번 반복하는 단계(여기서, n은 2 이상의 정수)(S320); 및 단계(S320)를 통해 획득된 n개의 출력의 평균을 산출하는 단계(S330)를 포함할 수도 있다. 그러면, 다수의 출력의 평균이 월드 좌표계로부터 각 모션 센서별 센서 좌표계로의 제2 회전행렬(Tk)로 단계(S300 내지 S500)에서 사용된다.
다시 도 3을 참조하면, 상기 교정 방법은: 상기 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 회전행렬(A)을 산출하는 단계(S400)를 포함한다. 본 명세서에서 상기 회전행렬(A)는 상기 제1 및 제2 회전행렬과의 구별을 위해 제3 회전행렬로 지칭된다.
신체 치수의 비율을 산출하기 위해서는 바디 좌표계와 센서 좌표계 간의 상관관계가 요구된다. 단계(S100 내지 S200)에서 월드 좌표계와 센서 좌표계 간의 상관관계는 산출된 상태이므로, 월드 좌표계와 바디 좌표계 간의 상관관계가 요구된다.
일 실시예에서, 상기 단계(S400)는: 중력 방향에 기초하여 제1 단위 벡터(v1)를 지정하는 단계(S410); 상기 제1 및 제2 회전행렬에 기초하여 제2 단위 벡터(v2)를 산출하는 단계(S420); 상기 제1 및 제2 단위 벡터(v1, v2)에 기초하여 제3 단위 벡터를 산출하는 단계(S430); 및 월드 좌표계로부터 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬(A)을 획득하는 단계(S440)를 포함할 수도 있다.
단계(S410)에서, 제1 단위 벡터 v1은 {0, 0, 1}로 지정될 수도 있다.
일 실시예에서, 상기 제2 단위 벡터 v2는 다음의 수학식 1로 표현될 수도 있다.
Figure 112020107284053-pat00012
여기서, e는 다음의 수학식 2로 표현된다.
Figure 112020107284053-pat00013
여기서, a1, a2, a3은 다음의 수학식 3에 의해 산출된다.
Figure 112020107284053-pat00014
여기서, E는 Nk -1Tk (k=2, …n)의 평균 행렬이다. ET는 행렬 E의 트랜스포즈 행렬이다. 몸통은 제1 기초 포즈와 제2 기초 포즈에서 움직임이 없기 때문에, 몸통에 부착된 제1 모션 센서의 제1 회전행렬(N1)과 제2 회전행렬(T1)은 서로 동일하게 된다. 따라서, 평균 행렬 E를 산출하는데 제1 모션 센서의 제1 회전행렬(N1)과 제2 회전행렬(T1)은 사용되지 않을 수도 있다.
단계(S440)에서 월드 좌표계로부터 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬(A)은 다음의 수학식 4와 같이 {제1 단위 벡터, 제2 단위 벡터, 제3 단위 벡터}로 이루어진다.
Figure 112020107284053-pat00015
제3 회전행렬 A는 몸통의 바디 좌표계{B1}에 대응한다. 도 2와 같이 몸통의 바디 좌표계{B1}가 설정되면, v1은 머리 방향, v2는 정면방향, v3은 측면방향을 나타낼 수도 있다.
이와 같이 단계(S400)에서 월드 좌표계를 기준으로 바디 좌표계의 회전행렬(A)이 획득됨으로써 월드 좌표계와 바디 좌표계 간의 상관관계가 획득된다. 이로 인해, 바디 좌표계와 센서 좌표계 간의 상관관계가 획득되어, 결국 제1 모션 센서가 부착된 몸통의 바디 좌표계{B1}를 기준으로 제1 모션 센서의 센서 좌표계{N1}를 산출할 수 있다.
다시 도 3을 참조하면, 상기 교정 방법은: 상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여 상기 대상의 신체 치수의 비율을 산출하는 단계(S500)를 포함한다.
상기 대상의 신체 치수는: 회전 가능한 신체 부분의 치수; 몸통을 포함한 상반신의 치수; 하반신의 치수 및/또는 상반신과 하반신을 포함한 전신의 치수를 포함할 수도 있다. 몸통의 치수는 수직 방향의 길이(예컨대, 세로 길이) 및/또는 수평 방향의 길이(예컨대, 가로 길이)를 포함한다. 상기 전신에서 얼굴 부분은 제외된다.
일 실시예에서, 상기 단계(S500)는: 상기 대상이 임의로 움직이는 동안 상기 복수의 모션 센서의 출력을 획득하는 단계(S510); 상기 복수의 모션 센서 중 적어도 일부에 대한 모션 단위 벡터를 지정하는 단계(S520); 및 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계 (S530)를 포함할 수도 있다. 단계(S530)에서 상기 모션 단위 벡터에 기초하여 다양한 신체 치수의 비율이 산출된다.
상기 단계(S510)에서 대상에 부착된 복수의 모션 센서로부터 출력된 센서 데이터가 획득된다. 상기 센서 데이터는 각 모션 센서별 출력으로 서브 세트화될 수도 있다. 각 모션 센서별 출력은 감지 시점(sensing time stamp)에서의 해당 부착 신체 부분의 감지 결과로 이루어진다.
상기 단계(S510)에서 모션 센서의 출력, 즉 센서 데이터는 대상이 임의의 동작을 취하는 도중에 획득된다. 여기서 임의의 동작은 다양한 동작을 포함하며, 도 4 내지 도 6과 같은 특정 포즈를 취하는 동작을 포함할 수도 있고 그렇지 않을 수도 있다.
상기 단계(S510)에서 획득되는 모션 센서의 출력 또한 월드 좌표계로부터 해당 모션 센서의 센서 좌표계로의 회전행렬을 나타낸다. 상기 제1 회전행렬(Nk)와 제2 회전행렬(Tk)와의 구별을 위해, 상기 단계(S510)의 모션 센서의 출력, 또는 이것이 나타내는 회전행렬은 Uk로 지칭한다.
도 7은, 본 발명의 일 실시예에 따른, 모션 단위 벡터 및 신체 부분의 치수를 설명하기 위한 도면이다.
도 7을 참조하면, 단계(S520)에서 각 모션 센서별 모션 단위 벡터가 지정된다. 상기 모션 단위 벡터는 복수의 모션 센서가 부착된 신체 부분에 대해 각각 지정된다.
일 실시예에서, 상기 복수의 모션 센서 중 몸통에 부착된 제1 모션 센서의 모션 단위 벡터(c1 i)는 몸통의 수평 방향으로 지정된다. 상기 교정 시스템은 몸통에 부착된 제1 모션에 대한 모션 단위 벡터(c1 i)의 정의를 미리 저장하고, 몸통에 부착된 제1 모션 센서가 3축 센서인 경우, 3축 센서 데이터 중 몸통의 수평 방향의 센서 데이터를 모션 단위 벡터(c1 i)로 지정할 수도 있다.
단계(S520)에서 제1 모션 센서를 제외한 모션 단위 벡터(예컨대, c2 i, ??, cn i)는 모션 센서가 부착된 신체 부분이 몸통으로부터 연장되는 방향으로 지정될 수도 있다.
그러면, 도 7에 도시된 바와 같이 특정 신체 부분에 부착된 모션 센서에 대응하는 모션 단위 벡터가 사용되어 상기 특정 신체 부분의 치수의 비율을 산출할 수도 있다(S530).
상기 n개의 모션 센서 내 나머지 n-1개의 모션 센서의 모션 단위 벡터는 다음의 수학식 5에 의해 지정된다.
Figure 112020107284053-pat00016
여기서, ck는 k번째 모션 센서의 모션 단위 벡터를 나타내고, i는 감지 시점(sensing time stamp)를 나타내며, v1은 중력 방향을 기준으로 지정된 제1 단위 벡터이다. 도 2의 실시예들에서 n은 9이다.
상기 Rk는 다음의 수학식 6으로 표현된다.
Figure 112020107284053-pat00017
여기서, A는 상기 월드 좌표계로부터의 상기 제1 모션 센서의 센서 좌표계로의 상기 제3 회전행렬을 나타낸다. Uk는 임의의 동작에서의 모션 센서의 출력을 나타낸다. 상기 Uk는 해당 모션 센서의 출력으로서, 해당 움직임 상태에서의 모션 센서의 출력은 월드 좌표계로부터 모션 센서의 센서 좌표계의 회전행렬을 나타낸다.
단계(S520)에서 상기 수학식 5의 표현에 의해 도 7의 제2 내지 제9 모션 센서의 모션 단위 벡터(ck i, k=2, ??, 9)가 지정된다.
단계(S520)에서 지정된 모션 단위 벡터에 기초하여, 각 모션 센서가 부착된 신체 부분의 치수의 비율, 상반신 치수의 비율, 하반신 치수의 비율 및/또는 전신 치수의 비율 등의 다양한 신체 치수의 비율이 산출된다(S530).
일 실시예에서, 상기 단계(S530)는: 대상이 제1 닫힘 루프 포즈를 취한 상태에서의 복수의 모션 센서의 출력을 획득하고, 이에 기초하여 제1 닫힘 루프를 형성하는 신체 부분의 치수의 비율을 산출하는 단계를 포함한다.
도 8은, 본 발명의 일 실시예에 따른, 제1 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 8을 참조하면, 상기 제1 닫힘 루프 포즈는 대상의 상체에 속한 신체 부분으로 닫힘 루프를 형성하는 포즈이다.
여기서 상체에 속하면서 제1 닫힘 루프를 형성하는 신체 부분은 몸통에서 상단 부분 및 좌/우측의 팔(위 팔뚝 및 아래 팔뚝) 부분을 포함한다. 몸통의 상단 부분은 허리 위 부분으로서 예를 들어 도 7에 도시된 바와 같이 어깨와 어깨 사이일 수도 있다.
상기 제1 닫힘 루프 포즈는 닫힘 루프를 형성하는 신체 부분을 제외한 나머지 신체 부분은 임의의 움직임을 가질 수 있다. 또한, 상기 제1 닫힘 루프 포즈는 닫힘 루프를 형성하는 신체 부분이 닫힘 루프를 유지하면서 움직이는 동작도 포함한다.
일 예에서, 도 8에 도시된 바와 같이 상기 제1 닫힘 루프는 몸통의 상단 부분으로부터 연장된 양팔이 서로 접촉하여 형성될 수도 있다. 그러면, 제1 닫힘 루프를 형성한 양팔의 신체 부분(예컨대, 도 7의 d2, d3, d4, d5)의 치수의 비율이 산출된다(S530).
구체적으로, 대상이 상기 제1 닫힘 루프 포즈를 취한 상태에서 임의로 움직이는 동안에 복수의 모션 센서의 출력이 획득되면(S510), 상기 수학식 4 및 5를 통해 상기 제1 닫힘 루프의 상태에서의 모션 단위 벡터가 지정된다(S520). 여기서 지정되는 모션 단위 벡터는 제1 닫힘 루프를 형성하는 몸통의 모션 단위 벡터(c1 i), 및 좌/우측의 위 팔뚝 및 아래 팔뚝에 대한 모션 단위 벡터(c2 i, c3 i, c4 i, c5 i)를 포함한다. 본 명세서에서 제1 닫힘 루프 상태에서의 복수의 모션 센서의 출력에 기초하여 지정된 모션 단위 벡터는 제1 닫힘 루프 상태에서의 모션 단위 벡터로 지칭될 수도 있다.
제1 닫힘 루프의 모션 단위 벡터(c1 i, c2 i, c3 i, c4 i, c5 i)는 전술한 수학식 4 및 5를 통해 산출된다. 그러면, 상기 제1 닫힘 루프의 상태에서의 모션 단위 벡터에 기초하여 상기 제1 닫힘 루프를 형성하는 신체 부분의 치수(d1, d2, d3, d4, d5)의 비율이 산출된다(S530).
상기 예시에서, 제1 닫힘 루프를 형성하는 신체 부분으로서 좌/우측의 위 팔뚝과 아래 팔뚝, 및/또는 몸통의 치수의 비율이 산출된다(S530). 여기서 산출되는 몸통의 치수의 비율은 루프 방향의 길이이므로, 몸통의 가로 길이(도 7의 d1)의 비율이다.
일 실시예에서, 상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 7에 의해 산출될 수도 있다.
Figure 112020107284053-pat00018
상기 수학식 7에서 m은 센서 데이터가 획득된 시간 범위이다. 1부터 m 번째 사이에 획득된 i번째 감지 시점(time stamp)에서의 변수 값이 상기 수학식 7에 적용된다.
상기 수학식 7에서 x는 상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율의 집합이다. 예를 들어, 도 8에서 제1 닫힘 루프를 형성한 몸통의 가로 길이의 비율(x1), 위팔뚝의 치수의 비율과 아래팔뚝의 치수의 비율(x2, x3, x4, x5)이 집합(x)의 성분이다. 집합 x 내 성분 x1 등은 신체 부분(body link)의 치수 dk의 비율을 나타내므로, x의 값은 양수이다. 비율의 합은 1을 만족해야 한다.
상기 수학식 7에서 Fi는 상기 제1 닫힘 루프를 형성한 신체 부분에 각각 부착된 모션 센서의 모션 단위 벡터로 이루어진 행렬이다. 도 8의 실시예에서 제1 닫힘 루프가 몸통 및 양팔로 이루어지기 때문에, Fi는 해당 신체 부분에 대응하는 제1 내지 제5 모션 단위 벡터를 포함한다. 상기 Fi에서 모션 단위 벡터의 부호는 루프를 형성하는 방향과 모션 단위 벡터의 설정 방향에 의존한다. 제4 및 제5 모션 단위 벡터의 설정 방향과 루프 방향이 서로 반대이기 때문에 상기 Fi에서 제4 및 제5 모션 단위 벡터에 음의 부호가 할당된다.
상기 수학식 7에 의해 제1 닫힘 루프를 형성하는 신체 부분의 치수의 비율이 산출된다(S530).
신체 부분의 치수dk 는 ∥ck∥이다(k는 신체 부분의 인덱스). 제1 닫힘 루프 상태 하에서 감지된 m개의 측정 값을 사용하여 상기 수학식 7에 대한 선형 최적화 문제의 솔루션을 산출할 수 있다. 그러면, 상기 수학식 7의 조건을 만족시키는 x의 성분 값이 산출된다. 상기 x의 성분(x1, x2, x3, x4, x5)는 신체 부분의 치수의 비율을 의미하므로, 결국 상기 수학식 7에 대한 선형 최적화 솔루션을 통해 제1 닫힘 루프를 형성하는 신체 부분의 치수의 비율이 각각 산출된다.
일 실시예에서, 제1 닫힘 루프는 대칭 구조를 갖도록 형성될 수도 있다.
도 9는, 본 발명의 일 실시예에 따른, 대칭의 제1 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 9에 도시된 바와 같이 제1 닫힘 루프는 상기 제2 모션 센서가 부착된 제2 신체 부분과 제5 모션 센서가 부착된 제5 신체 부분, 그리고 제3 모션 센서가 부착된 제3 신체 부분과 제4 모션 센서가 부착된 제4 신체 부분이 서로 대칭인 구조를 가질 수도 있다.
이와 같이, 제1 닫힘 루프가 대칭으로 형성되면, 수학식 7에서 대칭에 해당하는 성분이 변형된, 수학식 8에 기초하여 제1 닫힘 루프를 형성하는 신체 부분(즉, 몸통 및 양팔 부분을 포함함)의 치수의 비율이 산출된다(S530). 제4 및 제5 모션 센서는 제2 및 제3 모션 센서와 대칭이므로, 제4 및 제5 모션 센서에 대응하는 인덱스는 대체된다.
Figure 112020107284053-pat00019
상기 수학식 8을 통해, 상반신이 대칭 상태의 제1 닫힘 루프를 형성한 대상의 신체 부분의 치수의 비율을 산출할 수 있다. 대칭 관계로 인해, 3개의 신체 부분의 치수의 비율을 산출하여 제1 닫힘 루프를 형성하는 5개의 신체 부분 모두의 치수의 비율을 획득할 수 있다. 일 실시예에서, 상기 단계(S530)는: 대상이 제2 닫힘 루프 포즈를 취한 상태에서의 복수의 모션 센서의 출력을 획득하고, 이에 기초하여 제2 닫힘 루프를 형성하는 신체 부분의 치수의 비율을 산출하는 단계를 포함한다.
도 10은, 본 발명의 일 실시예에 따른, 제2 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 10을 참조하면, 상기 제2 닫힘 루프 포즈는 대상의 하체에 속한 신체 부분으로 닫힘 루프를 형성하는 포즈이다.
여기서 하체에 속하면서 제2 닫힘 루프를 형성하는 신체 부분은 몸통에서 하단 부분 및 좌/우측의 다리(허벅지 및 종아리) 부분을 포함한다. 몸통의 하단 부분은, 예를 들어 도 7에 도시된 바와 같이 허리 부분일 수도 있다. 특정 실시예들에서, 몸통의 하단 부분의 치수와 몸통의 상단 부분은 모두 몸통의 가로 길이(도 7의 d1)로 동일한 값으로 취급될 수도 있다.
상기 제2 닫힘 루프 포즈는 닫힘 루프를 형성하는 신체 부분을 제외한 나머지 신체 부분은 임의의 움직임을 가질 수 있다. 또한, 상기 제2 닫힘 루프 포즈는 닫힘 루프를 형성하는 신체 부분이 닫힘 루프를 유지하면서 움직이는 동작도 포함한다.
일 예에서, 도 10에 도시된 바와 같이 몸통의 하단 부분으로부터 연장된 양다리가 지면에 접촉하여 형성될 수도 있다. 그러면, 제2 닫힘 루프를 형성한 양다리의 신체 부분(예컨대, 도 7의 d6, d7, d8, d9)의 치수의 비율이 산출된다(S530).
구체적으로, 대상이 상기 제2 닫힘 루프를 형성하면서 다른 신체 부분을 자유롭게 임의로 움직이는 동안에 복수의 모션 센서의 출력이 획득되면(S510), 상기 수학식 4 및 5를 통해 상기 제2 닫힘 루프의 상태에서의 모션 단위 벡터가 산출된다(S520).
상기 모션 단위 벡터는 제2 닫힘 루프를 형성하는 몸통의 모션 단위 벡터(c1 i), 및 좌/우측의 종아리 및 허벅지에 대한 모션 단위 벡터(c6 i, c7 i, c8 i, c9 i)를 포함한다. 또한, 상기 모션 단위 벡터는 다리와 다리 사이의 벡터(v2)를 더 포함할 수도 있다(S520). 상기 벡터(v2)는 단계(S510)에서 발을 지면에 고정하여 움직인 출력에 기초하여 획득된다(S520).
본 명세서에서 제2 닫힘 루프 상태에서의 복수의 모션 센서의 출력에 기초하여 지정된 모션 단위 벡터는 제2 닫힘 루프 상태에서의 모션 단위 벡터로 지칭될 수도 있다.
상기 제2 닫힘 루프의 상태에서의 모션 단위 벡터에 기초하여 상기 제2 닫힘 루프를 형성하는 신체 부분의 치수의 비율이 산출된다(S530).
상기 예시에서, 제2 닫힘 루프를 형성하는 신체 부분으로서 좌/우측의 종아리와 허벅지, 및/또는 몸통의 치수의 비율이 산출된다(S530). 여기서 산출되는 몸통의 치수의 비율은 루프 방향의 길이이므로, 몸통의 가로 길이(도 7의 d1)의 비율이다.
일 실시예에서, 상기 제2 닫힘 루프를 형성한 신체 부분의 치수(d1, d6 d7, d8, d9)의 비율 x는 다음의 수학식 9에 의해 산출될 수도 있다.
Figure 112020107284053-pat00020
도 7의 실시예와 유사하게, 상기 수학식 9에 대한 선형 최적화 솔루션을 통해 제2 닫힘 루프를 형성하는 신체 부분의 치수(d1, d6, d7, d8, d9)의 비율이 각각 산출된다. 집합 x의 성분 중 x1, x2, x3, x4 및 x5는 집합 x이 5개의 성분을 포함하는 것을 나타낸다. 즉, 수학식 7과 비교하여 단지 인덱스만 동일할 뿐, 의미하는 신체 부분(또는 그 치수)까지 동일한 것이 아닌 것이 통상의 기술자에게 명백할 것이다.
도 11은, 본 발명의 일 실시예에 따른, 대칭의 제2 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 11에 도시된 바와 같이 제2 닫힘 루프는 상기 제6 모션 센서가 부착된 제6 신체 부분과 제9 모션 센서가 부착된 제9 신체 부분, 그리고 제7 모션 센서가 부착된 제7 신체 부분과 제8 모션 센서가 부착된 제8 신체 부분이 서로 대칭인 구조를 가질 수도 있다.
이와 같이, 제2 닫힘 루프가 대칭으로 형성되면, 수학식 9에서 대칭에 해당하는 성분이 변형된, 수학식 10에 기초하여 제2 닫힘 루프를 형성하는 신체 부분(즉, 몸통 및 다리 부분을 포함함)의 치수의 비율이 산출된다(S530).
닫힘 루프 상태의 대칭 관계에 대해서는 도 8 및 도 9를 참조하여 전술하였는 바 자세한 설명은 생략한다.
한편, 전술한 바와 같이 수학식 7 내지 9에서는 몸통의 치수의 비율을 산출하기 위해 모션 단위 벡터(c1)를 사용한다. 모션 단위 벡터(c1)를 사용하여 산출된 몸통의 치수의 비율은 모션 단위 벡터(c1)를 연장한 신체 부분의 치수의 비율로서, 예를 들어 몸통의 수평 방향의 길이(d1)의 비율이다. 상반신의 치수를 산출하기 위해서는 몸통의 수직 길이(예컨대, 세로 길이(h))가 요구된다.
일 실시예에서, 상기 단계(S530)는: 상기 몸통의 세로 길이의 비율을 산출하는 단계를 포함한다.
상기 몸통의 세로 길이의 비율은 한쪽 팔과 몸통으로 제3 닫힘 루프를 형성하거나, 또는 한쪽 팔과 한쪽 허벅지 및 몸통으로 제4 닫힘 루프를 형성한 상태에서 획득되는 모션 센서의 출력에 기초하여 산출된다.
도 12는, 본 발명의 일 실시예에 따른, 제3 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 12를 참조하면, 상기 제3 닫힘 루프 포즈는 대상의 팔과 몸통 부분으로 닫힘 루프를 형성하는 포즈이다. 대상이 팔과 몸통으로 제3 닫힘 루프를 형성한 상태에서 상기 대상이 임의로 움직이는 동안 모션 센서의 출력이 획득된다(S510). 상기 모션 센서의 출력은 제3 닫힘 루프를 형성하는 팔, 몸통에 부착된 모션 센서의 센서 데이터를 포함한다.
제3 닫힘 루프 포즈에서의 모션 센서의 출력에 기초하여 상기 제3 닫힘 루프를 형성하는 모션 단위 벡터가 표현된다(S520). 제3 닫힘 루프 포즈 하에서의 복수의 모션 센서의 출력이 획득되면(S510), 상기 수학식 4 및 5를 통해 상기 제3 닫힘 루프의 상태에서의 모션 단위 벡터(c2, c3, h)가 지정된다(S520).
상기 모션 단위 벡터에 기초하여 몸통의 세로 길이를 포함한, 상기 제3 닫힘 루프를 형성한 신체 부분의 치수의 비율이 산출된다(S530). 상기 제3 닫힘 루프를 형성하는 신체 부분의 치수(d2, d3, h)의 비율 x는 다음의 수학식 10을 통해 산출된다.
Figure 112020107284053-pat00021
도 7의 실시예와 유사하게, 상기 수학식 10에 대한 선형 최적화 솔루션을 통해 제3 닫힘 루프를 형성하는 신체 부분의 치수(d2, d3, h)의 비율이 각각 산출된다. 집합 x의 성분 중 x1, x2, x3은 집합 x이 3개의 성분을 포함하는 것을 나타낸다. 즉, 수학식 7과 비교하여 단지 인덱스만 동일할 뿐, 의미하는 신체 부분(또는 그 치수)까지 동일한 것이 아닌 것이 통상의 기술자에게 명백할 것이다.
도 13은, 본 발명의 다른 일 실시예에 따른, 제4 닫힘 루프 포즈를 취한 대상을 도시한 도면이다.
도 13을 참조하면, 상기 제4 닫힘 루프 포즈는 대상의 몸통, 팔 및 다리의 적어도 일부로 이루어진 제4 닫힘 루프를 형성하는 포즈이다. 예를 들어, 제4 닫힘 루프는 대상의 몸통(h), 위/아래 팔뚝(d2, d3) 및 허벅지(d6)로 이루어진다. 대상의 팔과 몸통, 및 허벅지로 제4 닫힘 루프를 형성한 상태에서 대상이 임의로 움직이는 동안 모션 센서의 출력이 획득된다(S510). 상기 모션 센서의 출력은 제4 닫힘 루프를 형성하는 팔과 몸통 및 허벅지에 부착된 모션 센서의 센서 데이터를 포함한다.
제4 닫힘 루프에서의 모션 센서의 출력에 기초하여 상기 제4 닫힘 루프를 형성한 모션 단위 벡터가 표현된다(S520). 복수의 모션 센서의 출력이 획득되면(S510), 상기 수학식 4 및 5를 통해 상기 제4 닫힘 루프의 상태에서의 모션 단위 벡터(c2, c3, c6, h)가 지정된다(S520).
상기 모션 단위 벡터에 기초하여 몸통의 세로 길이를 포함한, 상기 제4 닫힘 루프를 형성한 신체 부분의 치수의 비율이 산출된다(S530). 상기 제3 닫힘 루프를 형성하는 신체 부분의 치수(d2, d3, d6, h)의 비율 x은 다음의 수학식 11을 통해 산출된다.
Figure 112020107284053-pat00022
도 7의 실시예와 유사하게, 상기 수학식 11에 대한 선형 최적화 솔루션을 통해 제4 닫힘 루프를 형성하는 신체 부분의 치수(d2, d3, d6, h)의 비율이 각각 산출된다. 집합 x의 성분 중 x1, x2, x3, x4 는 집합 x이 4개의 성분을 포함하는 것을 나타낸다. 즉, 수학식 7과 비교하여 단지 인덱스만 동일할 뿐, 의미하는 신체 부분(또는 그 치수)까지 동일한 것이 아닌 것이 통상의 기술자에게 명백할 것이다.
이와 같이, 상기 교정 시스템(1)은 별도의 장비 없이 모션 캡처를 위해 원래 요구되는 모션 센서만을 이용하여 모션 캡처 대상의 신체 치수의 비율을 산출할 수 있다.
상기 교정 시스템(1) 또는 일부 구성요소가 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 교정 시스템(1)은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치, 및 데이터를 저장하는 메모리를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
이상에서 설명한 실시예들에 따른 대상의 신체 치수의 비율을 교정하는 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (13)

  1. 대상의 신체 치수의 비율을 교정(calibration)하는 방법에 있어서,
    복수의 신체 부분에 복수의 모션 센서가 부착된 대상에서 각 신체 부분의 바디 좌표계를 설정하는 단계;
    상기 대상이 제1 기초 포즈를 취한 상태에서 지상을 기준으로 지정된 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬을 산출하는 단계;
    상기 대상이 제2 기초 포즈를 취한 상태에서 상기 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬을 산출하는 단계;
    상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하는 단계; 및
    상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여, 상기 대상의 신체 치수의 비율을 산출하는 단계를 포함하고,
    상기 대상의 신체 치수의 비율을 산출하는 단계는,
    상기 대상이 임의로 움직이는 동안 상기 복수의 모션 센서의 출력을 획득하는 단계;
    복수의 모션 센서 각각에 대한 모션 단위 벡터를 지정하는 단계; 및
    상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계를 포함하고,
    상기 복수의 모션 센서 중 몸통에 부착된 제1 모션 센서의 모션 단위 벡터는 몸통의 수평 방향으로 지정되고, 그리고
    상기 복수의 모션 센서 내 나머지 모션 센서의 모션 단위 벡터는 다음의 수학식 1에 의해 지정되며,
    [수학식 1]
    Figure 112022095055169-pat00047

    여기서, ck는 k번째 모션 센서의 모션 단위 벡터를 나타내고, i는 감지 시점(sensing time stamp)를 나타내며, v1은 중력 방향을 기준으로 지정된 제1 단위 벡터이고, Rk는 다음의 수학식 2로 표현되며,
    [수학식 2]
    Figure 112022095055169-pat00048

    여기서, A는 상기 제3 회전행렬을 나타내고, Uk는 해당 모션 센서의 출력을 나타낸 것을 특징으로 하는 방법.
  2. 제1항에 있어서
    상기 제1 기초 포즈는 상기 대상의 팔 또는 다리가 지면을 향해 배열된 포즈이고,
    상기 제2 기초 포즈는 팔 및 다리 중 적어도 하나가 상기 제1 기초 포즈로부터 측면을 향해 움직인 포즈인 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하는 단계는,
    중력 방향을 기준으로 제1 단위 벡터를 지정하는 단계;
    상기 제1 및 제2 회전행렬에 기초하여 제2 단위 벡터를 지정하는 단계;
    상기 제1 및 제2 단위 벡터에 기초하여 제3 단위 벡터를 지정하는 단계; 및
    상기 월드 좌표계로부터 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 획득하는 단계를 포함하고,
    상기 제3 회전행렬은 다음의 수학식 3으로 이루어진 것을 특징으로 하는 방법.
    [수학식 3]
    Figure 112022095055169-pat00023

  4. 제3항에 있어서, 상기 제2 단위 벡터는 다음의 수학식 4로 표현되며,
    [수학식 4]
    Figure 112022095055169-pat00024

    여기서, v2는 제2 단위 벡터이고 e는 다음의 수학식 5로 표현되고,
    [수학식 5]
    Figure 112022095055169-pat00025

    여기서, a1, a2, a3은 다음의 수학식 6에 의해 산출되며,
    [수학식 6]
    Figure 112022095055169-pat00026

    여기서, E는 Nk -1Tk (단, k=2, …, n)의 평균 행렬이고, Nk 는 상기 제1 회전행렬이고, Tk 는 상기 제2 회전행렬이며, n은 상기 복수의 모션 센서에서 몸통에 부착된 제1 모션 센서를 제외한 나머지 모션 센서의 수를 나타내는 것을 특징으로 하는 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는,
    제1 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함하며,
    상기 제1 닫힘 루프를 형성한 신체 부분은 몸통 및 양팔을 포함하며,
    상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 7에 의해 산출되고,
    [수학식 7]
    Figure 112022095055169-pat00029

    여기서, x는 상기 제1 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위인 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 제1 닫힘 루프가 대칭인 경우, 상기 제1 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 8에 의해 산출되고,
    [수학식 8]
    Figure 112022095055169-pat00030

    상기 대칭인 제1 닫힘 루프는 제2 모션 센서가 부착된 제2 신체 부분과 제5 모션 센서가 부착된 제5 신체 부분, 그리고 제3 모션 센서가 부착된 제3 신체 부분과 제4 모션 센서가 부착된 제4 신체 부분이 서로 대칭인 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는,
    제2 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함하며,
    상기 제2 닫힘 루프를 형성한 신체 부분은 몸통 및 양다리를 포함하며,
    상기 제2 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 9에 의해 산출되고,
    [수학식 9]
    Figure 112022095055169-pat00031

    여기서, x는 상기 제2 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위인 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는,
    제3 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함하며,
    상기 제3 닫힘 루프를 형성하는 신체 부분은 한쪽 팔과 몸통을 포함하며, 산출되는 몸통의 치수의 비율은 상기 몸통의 세로 길이의 비율을 나타내고,
    상기 제3 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 10에 의해 산출되고,
    [수학식 10]
    Figure 112022095055169-pat00032

    여기서, x는 상기 제3 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위인 것을 특징으로 하는 방법.
  11. 제1항에 있어서, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하는 단계는,
    제4 닫힘 루프를 형성한 신체 부분의 치수의 비율을 산출하는 단계를 포함하며,
    상기 제4 닫힘 루프를 형성하는 신체 부분은 한쪽 팔, 몸통 및 한쪽 허벅지를 포함하며, 산출되는 몸통의 치수의 비율은 상기 몸통의 세로 길이의 비율을 나타내고,
    상기 제4 닫힘 루프를 형성한 신체 부분의 치수의 비율은 다음의 수학식 11에 의해 산출되고,
    [수학식 11]
    Figure 112022095055169-pat00033

    여기서, x는 상기 제4 닫힘 루프를 형성한 신체 부분의 비율의 집합이고, m은 복수의 모션 센서의 출력이 획득된 시간 범위인 것을 특징으로 하는 방법.
  12. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우, 청구항 제1항 내지 제4항 및 제7항 내지 제11항 중 어느 하나의 항에 따른 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
  13. 대상의 신체 치수의 비율을 교정(calibration)하는 시스템에 있어서,
    상기 대상의 복수의 신체 부분에 부착된 복수의 모션 센서; 및
    상기 복수의 모션 센서의 출력을 획득하여 상기 대상의 신체 치수의 비율을 교정하는 데이터 처리 장치를 포함하되, 상기 데이터 처리 장치는:
    상기 대상에서 각 신체 부분의 바디 좌표계를 설정하고,
    상기 대상이 제1 기초 포즈를 취한 상태에서 지상을 기준으로 지정된 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제1 회전행렬을 산출하며,
    상기 대상이 제2 기초 포즈를 취한 상태에서 상기 월드 좌표계로부터 각 모션 센서의 센서 좌표계로의 제2 회전행렬을 산출하고,
    상기 대상의 몸통에 부착된 제1 모션 센서에 대해 월드 좌표계로부터의 상기 제1 모션 센서가 부착된 몸통의 바디 좌표계로의 제3 회전행렬을 산출하며, 그리고
    상기 복수의 모션 센서의 출력 및 상기 제3 회전행렬에 기초하여, 상기 대상의 신체 치수의 비율을 산출하고,
    상기 대상의 신체 치수의 비율을 산출함에 있어서, 상기 대상이 임의로 움직이는 동안 상기 복수의 모션 센서의 출력을 획득하고, 복수의 모션 센서 각각에 대한 모션 단위 벡터를 지정하고, 상기 대상이 취하는 움직임 포즈에서 상기 복수의 신체 부분 중 적어도 일부의 신체 부분의 비율을 상기 모션 단위 벡터에 기초하여 산출하도록 구성되고,
    상기 복수의 모션 센서 중 몸통에 부착된 제1 모션 센서의 모션 단위 벡터는 몸통의 수평 방향으로 지정되고, 그리고
    상기 복수의 모션 센서 내 나머지 모션 센서의 모션 단위 벡터는 다음의 수학식 1에 의해 지정되며,
    [수학식 1]
    Figure 112022095055169-pat00049

    여기서, ck는 k번째 모션 센서의 모션 단위 벡터를 나타내고, i는 감지 시점(sensing time stamp)를 나타내며, v1은 중력 방향을 기준으로 지정된 제1 단위 벡터이고, Rk는 다음의 수학식 2로 표현되며,
    [수학식 2]
    Figure 112022095055169-pat00050

    여기서, A는 상기 제3 회전행렬을 나타내고, Uk는 해당 모션 센서의 출력을 나타낸 것을 특징으로 하는 시스템.
KR1020200131096A 2020-10-12 2020-10-12 대상의 신체 치수의 비율을 교정하는 시스템 및 방법 KR102486140B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200131096A KR102486140B1 (ko) 2020-10-12 2020-10-12 대상의 신체 치수의 비율을 교정하는 시스템 및 방법
US17/103,091 US11730394B2 (en) 2020-10-12 2020-11-24 System and method for calibrating ratio of body size of subject

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200131096A KR102486140B1 (ko) 2020-10-12 2020-10-12 대상의 신체 치수의 비율을 교정하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20220048215A KR20220048215A (ko) 2022-04-19
KR102486140B1 true KR102486140B1 (ko) 2023-01-10

Family

ID=81078444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200131096A KR102486140B1 (ko) 2020-10-12 2020-10-12 대상의 신체 치수의 비율을 교정하는 시스템 및 방법

Country Status (2)

Country Link
US (1) US11730394B2 (ko)
KR (1) KR102486140B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146103A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 慣性センサの取付け姿勢推定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR101282953B1 (ko) 2011-05-25 2013-07-08 한국과학기술연구원 스포츠 동작 코칭 시스템 및 방법
KR101297317B1 (ko) 2011-11-30 2013-08-16 한국과학기술연구원 동작 추적을 위한 모션 센서의 교정 방법
JP6288858B2 (ja) 2014-05-29 2018-03-07 アニマ株式会社 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置
KR101869164B1 (ko) 2016-10-25 2018-06-19 동국대학교 산학협력단 저가형 관성센서를 이용한 모션 인식 시스템 및 그 방법
KR102018951B1 (ko) 2017-08-25 2019-09-05 숭실대학교산학협력단 착용형 센서를 이용한 자세정보 보정 방법 및 이를 수행하는 기록매체
KR102150172B1 (ko) 2018-12-03 2020-08-31 중앙대학교 산학협력단 상대적 움직임에 기반한 동작 인식 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020146103A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 慣性センサの取付け姿勢推定方法

Also Published As

Publication number Publication date
KR20220048215A (ko) 2022-04-19
US11730394B2 (en) 2023-08-22
US20220110543A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
US9452341B2 (en) Running form diagnosis system and method for scoring running form
Choe et al. A sensor-to-segment calibration method for motion capture system based on low cost MIMU
US20100194879A1 (en) Object motion capturing system and method
US20180070864A1 (en) Methods and devices for assessing a captured motion
US11620857B2 (en) Method, device, and medium for determining three-dimensional position of skeleton using data acquired by multiple sensors
US20120130673A1 (en) Capturing body movement related to a fixed coordinate system
US20050004495A1 (en) Kinematic quantification of gait asymmetry based on bilateral cyclograms
JP7215965B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
Zheng et al. Pedalvatar: An IMU-based real-time body motion capture system using foot rooted kinematic model
JP2011123411A (ja) 動作解析装置、および動作解析方法
Salehi et al. Body-IMU autocalibration for inertial hip and knee joint tracking
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
KR102486140B1 (ko) 대상의 신체 치수의 비율을 교정하는 시스템 및 방법
Potter et al. Error-state Kalman filter for lower-limb kinematic estimation: Evaluation on a 3-body model
JP2009186244A (ja) 傾斜角度推定システム、相対角度推定システム及び角速度推定システム
US11687554B2 (en) Multidimensional data visualization apparatus, method, and program
KR20200069232A (ko) 센서 방식 모션 캡쳐 시스템 기반 모션 캡쳐 장치 및 그 방법
US10325367B2 (en) Information processing apparatus, information processing method, and storage medium
KR102526278B1 (ko) 3개 이상의 센싱 축을 갖는, 하나 이상의 필드 센서를 자가 교정하는 방법 및 이를 수행하는 시스템
US11589778B2 (en) Body size estimation apparatus, body size estimation method, and program
US20220054045A1 (en) Motion state monitoring system, training support system, motion state monitoring method, and program
Zhang et al. Ubiquitous human body motion capture using micro-sensors
US11442118B2 (en) Method for self-calibrating multiple field sensors having three or more sensing axes and system performing the same
JP7335199B2 (ja) 解析装置、解析方法、プログラム、および較正方法
JP5424224B2 (ja) 相対角度推定システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant