KR101297317B1 - 동작 추적을 위한 모션 센서의 교정 방법 - Google Patents

Abstract

본 발명은 동작 추정을 위한 모션 센서의 교정 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 모션 센서의 교정 방법은, 사용자가 모션 센서가 부착된 신체 부위를 회전할 때, 모션 센서의 회전 행렬을 계산하는 단계와, 모션 센서가 부탁된 신체 부위의 회전 행렬을 계산하는 단계와, 계산된 모션 센서의 회전 행렬에서 계산된 신체부위의 회전 행렬로의 변환 회전 행렬을 계산하는 단계와, 계산된 변환 회전 행렬을 이용하여 모션 센서의 좌표계와 모션 센서가 부착된 신체 부위의 좌표계를 일치시킴으로써 교정하는 단계를 포함한다.

Description

동작 추적을 위한 모션 센서의 교정 방법{Calibration Method of Motion Sensor for Motion Tracking}

본 발명은 동작 추적을 위한 관성 측정 장치의 교정 방법에 관한 것으로, 더욱 상세하게는 관성 측정 장치를 착용한 사용자가 회전 동작을 수행하는 간단한 동작만으로 관성 측정 장치를 교정할 수 있는 직관적이고 정확한 관성 측정 장치의 교정 방법에 관한 것이다.

모션 캡쳐(Motion-Capture)란 몸에 센서를 부착시켜 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다. 신체 여러 부위에 센서를 부착한 뒤 센서의 데이터를 통해 가상 캐릭터가 같은 동작으로 움직이게 하는 것이 이 기술의 핵심이다. 어떤 실제 물체의 움직임을 수치 데이터로 저장하였다가 컴퓨터로 만든 가상의 물체에 모션 데이터를 넘겨주는 과정을 모션 캡쳐라 할 수 있다.

모션 캡쳐 기술은 영화나 애니메이션 제작, 스포츠 동작 분석, 재활 분야 등에서 다양하게 사용되고 있다. 주로 몸에 마커를 부착해서 사용하는 광학식 모션캡쳐 장비가 주를 이루었으나, 최근 멤스(MEMS) 기술의 발달로 센서가 경량화, 소형화 되면서 관성 측정 장치(Inertial Measurement Unit; IMU)를 사용한 모션 캡쳐 시스템이 많이 활용되고 있다. 관성 측정 장치는 카메라를 쓰는 광학식 모션 캡쳐 장비와는 달리 공간에 제약을 받지 않고 간편히 사용할 수 있다.

모션 캡쳐의 사용자의 편의와 정확도 향상을 위해서는 센서를 임의의 자세로 부착하여도 정상적으로 모션 캡쳐를 할 수 있어야 하며, 이를 위해서 부착된 센서의 자세를 보정해주는 교정(Calibration) 과정, 즉 바디부(body segment)의 좌표계와 센서의 좌표계를 정확히 일치시켜 주는 과정이 필요하다.

이때, 관성 센서를 이용한 동작 추적을 위한 캘리브레이션에서는 사용자가 얼마나 정확한 동작을 취하는 지가 오차를 최소화하는데 가장 중요한 요소가 된다. 기존의 캘리브레이션 방법을 사용할 시에는 사용자가 캘리브레이션에 필요한 정확한 동작을 취하기가 어려워 오차가 크게 발생하였다.

한국공개특허 제10-2005-0041525호의 경우에도 기존의 광학적 모션 캡쳐 방식만을 설명하고 있을 뿐 관성 센서와 같은 모션 추적에서의 교정 방법에 대해서는 개시하고 있지 않다.

한국공개특허 제10-2005-0041525호

본 발명은 전술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 단순한 동작만으로 정확한 교정을 수행할 수 있도록 하는 동작 추적을 위한 모션 센서의 교정 방법을 제공하는 데 목적이 있다.

이를 위해 본 발명의 일실시예에 따른 모션 센서의 교정 방법은, 사용자가 모션 센서가 부착된 신체 부위를 회전할 때, 상기 모션 센서의 회전 행렬을 계산하는단계와, 상기 모션 센서가 부착된 상기 신체 부위의 행렬을 계산하는 단계와, 상기 계산된 상기 모션 센서의 회전 행렬에서 상기 계산된 상기 신체 부위의 회전 행렬로의 변환 행렬을 계산하는 단계와, 상기 계산된 변환 회전 행렬을 이용하여 상기 모션 센서의 좌표계와 상기 모션 센서가 부착된 상기 신체 부위의 좌표계를 일치시킴으로써 교정하는 단계를 포함한다.

이때, 상기 모션 센서는 관성 센서일 수 있다.

또한, 사용자가 상기 모션 센서가 부착된 신체 부위를 회전하는 경우 일정한 축을 기준으로 회전할 수 있다.

또한, 상기 신체 부위의 회전 행렬을 B, 상기 모션 센서의 회전 행렬을 R, 상기 변환 회전 행렬을 X 라고 할 때,

의 관계가 성립하고(

는 축의 개수,

는 샘플링된 포즈의 개수), 상기 변환 회전 행렬은

의 관계식이 성립할 수 있다.

본 발명에 따른 모션 센서의 교정 방법은 모션 센서를 착용한 신체 부위를 회전하는 간단한 동작만으로 정확한 교정을 수행할 수 있도록 한다.

도 1은 본 발명의 일실시예에 따른 모션 센서의 교정 방법을 설명하는 순서도이다.
도 2는 사용자가 모션 센서를 신체 부위에 착용 후 회전 운동을 하는 경우의 회전 행렬 사이의 관계를 설명하는 도면이다.
도 3은 사용자가 모션 센서를 신체 부위에 착용 후 회전 운동을 하는 방법을 설명하는 도면이다.
도 4는 일정한 축을 기준으로 회전 운동을 하는 경우 n 개의 샘플링 포즈에서 회전 행렬을 계산하는 것을 설명하는 도면이다.
도 5는 도 4의 경우에서 축의 개수를 m개로 확장하는 경우를 설명하는 도면이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 모션 센서의 교정 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 아래의 내용에 의해 한정되지 아니한다.

도 1은 본 발명의 일실시예에 따른 모션 센서의 교정 방법을 설명하는 순서도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 모션 센서의 교정 방법은 먼저 관성 센서 등과 같은 모션 센서를 사용자의 특정한 신체 부위에 부착하고(110), 일정한 축을 기준으로 신체 부위를 회전하는 방법을 사용한다(120).

이때, 모션 센서 및 신체 부위의 각 좌표계의 회전 행렬을 연속적으로 계산한다(130).

모션 센서의 회전 행렬 및 신체 부위의 회전 행렬이 계산되면, 이 두 값을 이용하여 모션 센서의 회전 행렬로부터 신체 부위의 회전 행렬로의 변환 회전 행렬(즉, 보정값)을 계산한다(140).

변환 회전 행렬이 계산되면, 이 값을 이용하여 모션 센서에서 측정된 값에 이 변환 회전 행렬을 곱하여 교정(calibration)을 완료한다(150).

이러한 과정을 도 2 내지 도 5를 참조하여 상세히 설명하면 다음과 같다.

도 2는 사용자가 모션 센서를 신체 부위에 착용 후 회전 운동을 하는 경우의 회전 행렬 사이의 관계를 설명하는 도면이다.

사용자의 동작 추적을 위한 모션 센서(10)의 교정은 모션 센서(10)의 좌표계(coordinate frame)으로부터 신체 부위(body segment: 20)의 좌표계(coordinate frame)을 구하는 과정이 필요하며, 이를 위해는 이 두 좌표계 사이의 관계인 변환 회전 행렬을 구해야 한다.

사용자가 모션 센서(10)를 특정한 신체 부위(20)에 착용한 후에 일정한 축을 기준으로 회전하고 있을 때, 모션 센서(10)에서 측정된 회전 행렬을 R, 신체 부위(20)의 회전 행렬을 B, 변환 회전 행렬을 X라고 하면 다음과 같은 수식이 성립한다.

위의 수식과 관련된 각각의 회전 행렬이 도 2에 도시되어 있다. 도 2에서 {G}는 글로벌 좌표계(global coordinate frame)이며, {S}는 모션 센서(10)의 좌표계(sensor coordinate)이며, {B}는 신체 부위(20)의 좌표계{body segment coordinate frame}를 타나낸다.

모션 센서(10)의 회전 행렬 R은 모션 센서(10)로부터 측정되는 값을 이용하여 계산되며, 신체 부위(20)의 회전 행렬 B는 사용자가 미리 설정된 임의의 축과 임의의 범위로 회전 운동을 취하는 경우에 미리 계산되어 저장되어 있을 수 있다. 물론, 경우에 따라서는 신체 부위(20)의 회전 행렬 B 역시 실시간으로 별도의 센서의 측정값으로 계산될 수도 있다.

이렇게 회전 행렬 B 및 R이 얻어지면, 수학식 1에 의해서 변환 회전 행렬 X가 계산된다.

도 3은 사용자가 모션 센서를 신체 부위에 착용 후 회전 운동을 하는 방법의 일 예를 설명하는 도면이다.

도 3과 같이 사용자(5)가 모션 센서(10)를 자신의 팔인 신체 부위(20)에 착용한 후에 임의의 회전 축을 기준으로 회전 동작을 수행할 수 있다.

이때, 사용자(5)가 회전 동작을 기준이 될 수 있도록 레이저 포인터 등을 이용하여 벽이나 기둥 등에 있는 특정한 직선을 따라 움직이게 할 수 있다. 이렇게 하는 경우 모션 센서(10)가 특정한 축을 중심으로 평면 상에서 회전 운동을 할 수 있도록 한다,

이러한 과정을 도 3의 A, B, C 구간과 같이 다수 개의 직선에 대해서 실시하도록 할 수 있으며, 이러한 과정 동안 모션 센서(10)의 회전 행렬이 저장되며, 이 저장된 값을 이용하여 교정을 위한 변환 회전 행렬(보정값)을 구하게 된다.

도 4는 일정한 축을 기준으로 회전 운동을 하는 경우 n 개의 샘플링 포즈에서 회전 행렬을 계산하는 것을 설명하는 도면이다.

도 3에서 설명한 사용자의 회전 동작은 한 개의 일정한 축에 대해서 다른 범위로 복수의 회전 동작을 하는 경우일 수도 있지만, 복수 개의 축에 대해서 다른 범위로 복수의 회전 동작을 하는 경우일 수도 있다.

i 번째 축을 기준으로 회전 동작을 하는 경우 j 번째 샘플링 포즈에서의 각각 회전 행렬을 계산하는 경우에는 앞의 수학식 1은 다음과 같이 다시 정리될 수 있다.

이때,

는 i 번째 축을 기준으로 회전 동작을 하는 경우 j 번째 샘플링 포즈에서의 신체 부위의 회전 행렬이며,

는 i 번째 축을 기준으로 회전 동작을 하는 경우 j 번째 샘플링 포즈에서의 모션 센서의 회전 행렬을 의미한다.

이때, 임의의 i 번째 축을 기준으로 n개의 샘플링 포즈에서의 신체 부위의 회전 행렬은 다음과 같은 식을 만족한다.

이때,

는 회전 운동시 각속도이며,

는 회전 운동의 각도를 의미한다. 위의 수학식 3을 다시 정리하면 다음과 같다.

따라서, 수학식 4로부터 다음의 수학식 5의 식이 유도된다.

따라서, 변환 회전 행렬 X는 다음의 수학식 6의 최소값을 구함으로써 구해질 수 있다.

도 5는 도 4의 경우에서 축의 개수를 m개로 확장하는 경우를 설명하는 도면이다.

위의 수학식 6의 결과를 m개의 회전 축에 대해서 확장 시키면, 도 5에서 보는 바와 같이 첫 번째 축인 경우

의 식이, 두 번째 축인 경우

의 식이 성립하게 되고, m개의 회전 축에 대한 일반적인 식은 다음 수학식 7과 같게 된다.

따라서, 수학식 7로부터 변환 회전 행렬 X는 다음의 최소화 문제를 풀어서 구할 수 있다.

이때, SO(3)는 회전 행렬들의 집합을 나타내며, 수학식 8은 주어진 식을 최소화하는 회전행렬 X를 찾는 것을 의미한다. 이렇게 변환 회전 행렬 X가 구해지면, 이후 사람의 신체 부위의 동작의 추정은 모션 센서의 회전 행렬에 변환 회전 행렬 X를 곱합으로써 수행할 수 있게 된다.

10: 모션 센서 20: 신체 부위

Claims (4)

1. 사용자가 모션 센서가 부착된 신체 부위를 회전할 때, 상기 모션 센서의 회전 행렬을 계산하는 단계;
   상기 모션 센서가 부착된 상기 신체 부위의 회전 행렬을 계산하는 단계;
   상기 계산된 상기 모션 센서의 회전 행렬에서 상기 계산된 상기 신체 부위의 회전 행렬로의 변환 회전 행렬을 계산하는 단계; 및
   상기 계산된 변환 회전 행렬을 이용하여 상기 모션 센서의 좌표계와 상기 모션 센서가 부착된 상기 신체 부위의 좌표계를 일치시킴으로써 교정하는 단계를 포함하는 모션 센서의 교정 방법.
2. 제1항에 있어서,
   상기 모션 센서는 관성 센서인 것을 특징으로 하는 모션 센서의 교정 방법.
3. 제1항에 있어서,
   사용자가 상기 모션 센서가 부착된 상기 신체 부위를 일정한 축을 기준으로 회전하는 것을 특징으로 하는 모션 센서의 교정 방법.
4. 제3항에 있어서,
   상기 신체 부위의 회전 행렬을 B, 상기 모션 센서의 회전 행렬을 R, 상기 변환 회전 행렬을 X 라고 할 때,

   

   의 관계가 성립하고(

   

   는 축의 개수,

   

   는 샘플링된 포즈의 개수),
   상기 변환 회전 행렬은

   

   의 관계식이 성립하는 것을 특징으로 하는 모션 센서의 교정방법.

Images