KR20110064712A - 통합센서 기반의 모션 캡쳐 시스템 - Google Patents

Abstract

단일 카메라를 이용한 2차원 평면정보에 센서정보를 더하여 간편한 모션 켭쳐를 실현 하는 기법을 제안한다. 기존의 광학식 모션 캡쳐에서 생길 수 있는 패치들 간의 간섭이나 복잡한 시스템 구성으로 인한 문제들을 해결하려고 노력했다. 따라서 최소한의 패치를 이용하여 사람의 동작을 인식 했다. 동작 인식 단계는 크게 영상기반 위치 정보 획득과 센서기반 방향 정보 획득으로 볼 수 있다. 이 정보들을 통해 동작을 인식 하려는 대상의 위치와 이동성분을 알아 낼 수 있다. 또한 그 정보들을 종합하여 보이지 않는 관절의 위치까지 도출함으로서 모션 캡쳐의 효율성을 높였다. 최소한의 정보를 바탕으로 모션 캡쳐를 실행함으로서 시스템의 부담이 줄어들 뿐 아니라 보다 쉽게 모션 캡쳐를 다양한 분야에 적용할 수 있는 기반이 되었다. 이러한 모션 캡쳐 방식의 효율성을 증명하기 위해 다양한 실험을 통해 검증하였다.

모션캡쳐(Motion Capture), 광학식(Optical), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 단일카메라(Single Camera)

Description

통합센서 기반의 모션 캡쳐 시스템 {Motion Capture System using Integrated Sensor System}

자유 공간 상에서 자신의 상대적 위치와 자세를 측정하기 위한 센서 융합분야로써 실 공간상의 3D 좌표를 얻어내어 이를 활용하므로써 가상 공간상에서의 사물의 자세, 이동 등의 표현을 돕고 기존의 수동으로 각 좌표를 구하여 입력하는 번거로운 방식을 탈피하여 보다 효과적으로 3D좌표를 획득하여 처리 속도와 비용 면에서 보다 효율적으로 적용하기 위한 분야이다. 이 쪽의 기술은 주로 가상현실의 구현을 필요로 하거나 실세계 좌표를 이용하여 그 데이터를 이용하여 특정 장비를 제어하는 역할을 위하여 개발 되고 있다.

지금까지의 모션 캡쳐 시스템은 크게 기계식, 광학식(Optical), 자기식, 초음파식 정도를 들 수 있다. 그 중에서도 특히 광학식과 자기식은 전체 사용량의 70~80%를 차지할 정도로 널리 쓰이고 있다. 그러나 광학식과 자기식은 각각의 특성이 갖는 장단점이 분명하여 여러 가지 분야에 적용하는 경우에 있어서 효과적이지 못하다.

장착형(Exoskeleton)형태의 모션 캡쳐 장비를 이용한 경우를 보면 정확한 측 정이 가능하고 반응속도 또한 빠르다. 그러나 그 측정이 매우 제한적이고 준비과정 및 측정 상태에서 기구부의 제약으로 인해 불편한 점이 많다. 따라서 최근 모션 캡쳐 방식으로는 많이 이용되고 있는 않는 상태이다. 대부분의 경우는 광학방식을 취하고 있다. 위의 경우에는 다양한 전처리 과정과 켈리브레이션을 통해 왜곡을 제거하여 정확도를 높이는데 그 목적이 있다. 영상의 왜곡과 카메라의 입력속도로 인한 문제 그리고 간섭으로 인한 문제 등이 있다. 이러한 문제점들로 인하여 광학식 에서는 전 방향에서 대상을 촬영하여 처리한다. 그리하여 정확도 높은 결과를 얻어 내지만 이로 인해 데이터 처리량이 많아져서 실시간 처리가 어렵고 전 후 준비과정이 많이 필요하다. 또한 그만큼 시스템에서 요구하는 리소스가 커서 다양한 분야에 응용하기에는 부담감이 크다. 광학식의 이러한 단점들을 개선하기 위하기 위한 노력이 있었다.

광학식의 장점을 가져가고 단점을 최소화 하는 하이브리드 형태의 광학식 모션 캡쳐이다. 단일 카메라에서의 모션 캡쳐는 화면상에서 기존의 옵티컬 방식의 모션 캡쳐와 유사하게 패치 인식을 통하여 움직임을 쉽게 잡아 낼 수 있다. 또한 그 준비과정이나 처리량 면에서도 기존 방식의 여러 방향에서 카메라를 이용하는 혹은 스테레오 카메라에 비해 우월하다. 하지만 단일 카메라의 문제점으로는 깊이 정보를 얻을 수가 없다. 따라서 카메라의 시점과 수직하는 평면상태의 움직임에는 강하지만 일반 환경의 3D정보를 취합 하는 데는 부족하다. 또한 이로 인해 카메라와 수직하는 평면 외에 움직이는 패치의 중첩이나 폐쇄에 취약하다.

기존의 카메라 센서만을 이용하는 방식은 정확한 3D정보를 알아내기 위해서 전 방향 촬영을 위한 다수의 카메라로 인한 과비용과 그 자료의 연산량이 매우 크다는 단점을 가지고 있다.

움직임을 잡아내는데 다양한 방식이 있고 각각이 갖는 장단점이 분명해서 혼합된 방식의 기법을 제안함으로서 효율성을 높이고자한다. 혼합된 센서 장치의 경우 먼저 가속도 센서의 경우 X, Y, Z축으로의 가속도를 측정한다. 그리고 자이로 센서의 경우 즉, 각속도 값이 측정이 된다. 이 값을 적분하게 되면 각도 값을 얻을 수 있다. 그리고 가속도계와 자이로는 서로 complementary 성질이 있다고 할 수 있다. 그래서 두 센서를 퓨전하기 위해 칼만 필터를 사용한다. 또한 두 센서를 퓨전 하더라도 기본적으로 roll, pitch각은 가속도계로 구한 값으로 어느 정도 보상이 되겠지만 , yaw 각은 가속도계로 계산할 수 없기 때문에, 자이로만을 이용하여 계산하게 되며, 이로 인해 yaw 각은 시간이 흐르면 항상 발산하게 된다. 그래서 지구 자기장을 측정하는 지자기 센서를 장착하여 자이로의 yaw 각 계산을 보상해 준다. 이때 또한 칼만 필터를 사용한다. 기존의 광학방식을 기반으로 하지만 복잡한 구조나 처리 문제를 떠나 단일 카메라로 전면의 평면 이동 정보만을 얻는다. 따라서 여기서 해결해야 할 문제가 패치간의 간섭을 최소화하기 위해서 최소한의 패치를 이용하며 패치의 위치와 센서데이터를 통해 나머지 위치를 예측하는 방식을 취한다. 또한 단일 카메라로 인한 부족한 깊이정보를 팔 끝에 센서하나를 통해서 알게 된다.

기존 방식에 혼합 센서 장치를 추가하여 시스템을 간소화 하고 이 작업을 하기위해 필요하던 고급인력의 필요를 자동화 장치로 대체 할 수 있으며, 필수적인 데이터의 양을 줄임으로 인하여 그 처리 속도를 획기적으로 향상 시킬 수 있다. 즉, 기존방식의 단점으로 지적되었던 비용과 연산량에 관한 문제를 어느 정도 해결할 수 있다.

도 1은 가속도 센서와 자이로 센서를 이용하여 칼만 필터를 사용하여 두 센서를 퓨전하여 사용하게 하는 과정을 보여주고 있는 순서도 이다.

가속도 센서(2)의 경우 X, Y, Z축으로의 가속도를 측정한다. 하지만 가속도 센서(2)의 경우는 센서가 가만히 있는 경우에는 아주 좋은 값을 주지만 이것이 기울어진 상태 그대로에서 좌우로 움직일 시에는 가속도 값이 측정이 되어 우리가 원하는 값이 아닌 값이 나오게 된 다. 이것이 일반적인 시스템에서는 괜찮지만 짧은 주기의 힘이 가해지거나 모터 등으로 부터의 진동이 발생하면 그 값을 유추하기는 어려워진다. 자이로 센서(1)의 경우 즉, 각속도 값이 측정이 된다. 이 값을 적분하게 되면 각도 값을 얻을 수 있다. 하지만 우리가 측정하여 그 것을 디지털적으로 계산을 할 때는 오차가 생기기 마련이며 이것이 심각한 문제를 초래한다. 하지만 자이로 센서(1)는 가속도 센서(2)처럼 변위적인 운동에 영향을 받지 않고 진동에서 영향을 받지 않는다. 만약 회전운동적인 진동이 발생한다면 오차가 생기겠지만 보통의 시스템에서는 회전 진동은 거의 없다. 하지만 위에서 말했듯이 적분을 통해 시간이 길어지면 길어질수록 오차는 수치 해석적으로 커지게 된다. 그렇기 때문에 긴 시간 즉 저 주파수영역에서는 값의 신뢰도가 떨어지는 것이다. 하지만 상대적으로 짧은 시간 고 주파수 영역에서는 값의 신뢰도가 높다는 것을 알 수 있다. 측정 된 센서 값은 먼저 calibration(3)과정을 거치게 된다. calibration(3)은 각 카메라의 렌즈(미도시) 및 CCD(미도시)의 규격 및 한계에 의한 오차가 발생할 때 이를 보정하기 위하여 카메라의 특성 값을 구하여 이를 보정하는 과정을 말한다. 그 후 자이로 센서(1)의 경우 자세 업데이트(4)를 위하여 사용되고 가속도 센서(2)는 자세 계산을 위하여 사용된다. 그 이후 ADC를 이용하여 센싱 된 자이로(1), 가속도 센서(2) 값 및 가속도 센서(2)의 값을 calibration(3)한 값을 바탕으로 칼만 필터(6)를 거친 후 그 값을 이용하여 회전정보를 알 수 있다. 가속도계는 기본적으로 자이로(1)를 보상하기 위한 센서이다. 그리고 가속도계(2)와 자이로(1)는 서로 complementary 성질이 있다고 할 수 있다. 그래서 두 센서를 퓨전하기 위해 칼만 필터(6)를 사용한다. 또한 두 센서를 퓨전 하더라도 기본적으로 roll, pitch각은 가속도계로 구한 값으로 어느 정도 보상이 되겠지만 , yaw 각은 가속도계로 계산할 수 없기 때문에, 자이로만을 이용하여 계산하게 되며, 이로 인해 yaw 각은 시간이 흐르면 항상 발산하게 된다. 그래서 지구 자기장을 측정하는 지자기 센서(미도시)를 장착하여 자이로의 yaw 각 계산을 보상해 준다. 이때 또한 칼만 필터(6)를 사용한다. 최종의 센서 정보에 영상정보를 결합함으로서 최종적인 모션에 관한 데이터 를 얻게 된다. 칼만 필터(6)의 출력 값을 기반으로 하여 변화된 자세 정보(7)을 구할 수 있다. 또한 과정 중에 변화된 자세 정보를 자세 업데이트(4)로 피드백하여 결과의 정밀도를 높인다.

도 2는 본 발명의 융합 센서부의 구성을 나타내고 있다.

본 장치는 4개의 혼합 센서부(17)와 1개의 영상 처리 모션 캡쳐(18) 센서부로 이루어져 있다. 영상 처리 모션 캡쳐(18) 센서부의 경우 1개의 카메라 영상을 이용하여 어깨와 손목에 부착된 마커의 2차원 정보를 얻어내어 앞에서 사용자의 움직임을 2차원 정보로 표현하고 나머지 1차원, 깊이 정보를 센서를 이용하여 얻어진 센서정보 (각도)를 이용하여 움직임을 알 수 있게 된다. 각 혼합 센서부(17)는 가속도 센서(14)와 자이로 센서(15), 지자기 센서(16)로 이루어져 있으며 각 모듈의 신호 처리는 개별적으로 존재하는 CPU(ATmega8)(13)으로 이루어져 있다. 각 센서에서 송출하는 데이터 값을 적정하게 처리하여 Max48(12)를 통하여 중앙에서 각 신호를 관장하는 CPU(ATmega123)(11)로 수집 되고 별개로 카메라(9)를 이용하는 모션 캡쳐 시스템(18)으로부터 들어오는 데이터를 수집하여 각 신호의 종합적 분석을 통해 현제의 자세 정보를 알아낸다. 각 혼합 센서 모듈(17)은 독립적으로 동작하며 CPU(ATmega123)(11)를 거쳐서 통합된 정보는 무선 통신 장치(Blue Tooth)(10)를 통하여 메인 시스템으로 송신하게 된다. 각각의 데이터를 처리하는 과정을 여러 CPU가 나누어 처리하기 때문에 처리 효율을 높이고 시스템의 안정성을 구할 수 있다.

도 3는 모션 캡쳐 시스템과 혼합 센서 시스템의 처리과정을 보여주는 flow chart이다

본 특허에서 제안하고 있는 장치(20)에서는 연속해서 광학 모션 캡쳐 시스템(21)과 센서 모션 캡쳐 시스템(22)를 사용하여 자세 정보와 관련된 데이터를 송출한다. 센서 모션 캡쳐 시스템(22)의 경우 가상 좌표 생성기(23)를 이용한 특정한 가공을 통하여 사용하기 유용한 정보로 변환 시킨다. 각 센서 모듈(21)에서 송출된 데이터는 비교 및 확인 시스템(24)에서 비교 연산을 통하여 개별적으로 존재하는 데이터의 유용성을 판별하게된다. 분석이 끝난 정보는 일정 과정(모델링)(27)을 거쳐서 융합(26)장치로 보내지게 된다. 융합장치(26)에서 각 데이터를 적절하게 조합하여 사용하기에 유용한 분석된 자료를 출력하는 과정을 거치게 된다.

도 4는 모션 캡쳐 시스템 패치와 혼합 센서 시스템 위치에 관련된 개략도 이다.

각 신호 모듈(29)은 사람 혹은 모델링의 주체가 되는 객체(28)의 손목과 팔목에 부착된다. 각 손목과 팔목에 부착된 센서 모듈은 자체적으로 측정된 센서 값을 송출한다. 이러한 값들은 여분의 과정을 거쳐서 상대적인 좌표를 송출하게 되는데, 영상 모듈(18)이 각 어깨와 허리에 붙어있는 패치의 정보를 기반으로 이 상대 좌표를 실세계 좌표계로 자동으로 매칭 시켜주는 과정을 거치게 된다. 다시 말하면 각 패치를 통하여 절대 좌표계를 구성하고 이 대략적인 정보를 기반으로 혼합 센서 모듈(17)에서 들어오는 상대적인 좌표를 비교 대입하여 정확한 자세정보를 획득하는 구조를 보여준다.

도 5는 혼합 센서부와 패치의 위치정보를 이용한 팔의 좌표계 이다.

혼합 센서 모듈(17)과 각 패치(30)의 위치를 살펴보면 각 센서를 통하여 어 깨와 팔목, 발, 허리의 위치를 측정 할 수 있지만 인체 동작에 있어서 중요한 관절인 팔꿈치와 무릎의 자세 정보를 알 수 없다. 이는 도 5에 나와 있듯이 혼합 센서부(17)와 패치(30)의 위치 정보를 기반으로 움직임 공간의 제한을 감안하여 적당한 위치를 추정하여 측정하게 된다. 손목이나 발의 경우 그 움직임과 변위가 자유롭지만 팔꿈치나 무릎의 경우 관절 특성상 손목이나 발목에 의존적이기 때문에 손목과 발목, 어깨와 허리 정보를 이용하여 대략적인 자세정보를 추출 할 수 있다.

자세를 자동으로 추출하는 기법으로써 기존의 많은 장치들을 생략하고 저비용으로 보다 효율적으로 원하는 좌표를 뽑아내어 절차상의 이득과 비용상의 이득을 동시에 취할 수 있다.

도 1은 센서 이용한 자세정보 추출 순서도

도 2은 본 발명의 융합 센서부의 구성을 나타내는 사시도이다.

도 3는 광학 모션 캡쳐 시스템과 혼합 센서 시스템의 처리과정을 보여주는 flow chart이다.

도 4는 광학 모션 캡쳐 시스템 패치와 혼합 센서 시스템 위치에 관련된 개략도 이다.

도 5는 혼합 센서부와 패치의 위치정보를 이용한 팔의 좌표계 이다.

Claims (5)

1. 각 센서부를 융합하기 위한 구조로 MCU하나와 가속도 센서, 자이로 센서, 지자기 센서로 구성되어 있는 PCB 본체, 또한 이를 융합하기 위한 관계 알고리즘
2. 모션 캡처를 위한 각 패치의 구성 및 설치 조합과 이를 처리하는 카메라의 처리 알고리즘
3. 혼합 센서부와 모션캡처의 결과를 조합하여 3D좌표를 계산하는 알고리즘
4. 지자기 센서를 이용한 자이로 센서의 yaw각 계산 값 보상 융합부
5. 가속도 센서와 자이로 센서 사이의 complementary 성질을 해소하고 두 가지 센서의 data를 융합하기 위한 칼만필터의 사용 관계 형식

Images