KR20120059824A - 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템 - Google Patents

복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템 Download PDF

Info

Publication number
KR20120059824A
KR20120059824A KR1020100121290A KR20100121290A KR20120059824A KR 20120059824 A KR20120059824 A KR 20120059824A KR 1020100121290 A KR1020100121290 A KR 1020100121290A KR 20100121290 A KR20100121290 A KR 20100121290A KR 20120059824 A KR20120059824 A KR 20120059824A
Authority
KR
South Korea
Prior art keywords
axis
sensor
posture
estimating
information
Prior art date
Application number
KR1020100121290A
Other languages
English (en)
Inventor
한만형
구교호
이승룡
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020100121290A priority Critical patent/KR20120059824A/ko
Publication of KR20120059824A publication Critical patent/KR20120059824A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes

Abstract

본 발명은 체험형 게임을 위한 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 다축 복합 센서를 이용하는 모션 캡쳐 방법 및 시스템에 관한 것이다. 본 발명에서는 다축 복합 센서의 자세 추정 및 위치 추적을 위해 칼만 필터 알고리즘을 활용하였으며, 소수의 다축 복합 센서를 이용한 신뢰 부위 모델링과 신뢰 부위를 통한 비신뢰 부위 추정 알고리즘, 인체 공학적인 관절 제한을 이용한 인체 모델링을 통해 체험형 게임 컨트롤러 제작을 위한 모션 캡쳐 방법과 이를 위한 시스템이 개시되어 있다.

Description

복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템{A METHOD AND SYSTEM FOR ACQUIRING REAL-TIME MOTION INFORMATION USING A COMPLEX SENSOR}
본 발명은 모션 정보를 획득하는 방법에 관한 것으로, 보다 구체적으로 체험형 게임을 위하여 게이머의 모션 정보를 실시간으로 획득하는 기술에 관한 것이다.
키보드, 마우스, 조이스틱 등과 같은 컨트롤러를 이용하여 디스플레이 화면에서 입력 정보를 입력하는 기존의 게임과는 달리, 체험형 게임에서는 게이머의 모션 정보를 획득하고 이를 입력 정보로 입력함으로써 가상의 공간에서 게임이 진행된다. 즉, 체험형 게임에서는 게이머의 실제 행동과 동일한 행동이 입력되어서 가상의 공간에서 마치 게이머가 실제로 행동하는 것과 같은 게임이 동작한다. 이러한 체험형 게임을 위해서는 게이머의 모션 정보를 획득하는 과정이 필수적으로 요청된다.
게이머의 모션 정보를 획득하기 위한 모셥 캡쳐 기술에는 광학식과 기계식이 있다. 광학식 모션 캡쳐는 모션 캡쳐 기술의 가장 대표적인 기술로 적외선 카메라와 반사 물질을 입한 마커(Marker)를 이용하는데, 여러 대의 카메라가 2차원 이미지로 촬영한 후 그 이미지를 다시 3차원 위치 데이터로 계산하여 데이터를 추출하는 방식이다. 광학식 모션 캡쳐 방식에 의하면, 카메라를 이용해 고속으로 촬영할 수 있어 유실되는 데이터가 거의 없고 자유로운 동작 표현이 가능하다. 또한, 마커의 수에 따라 매우 섬세한 동작을 추출해 낼 수 있는 장점이 있다.
하지만 광학식 모션 캡쳐는 카메라 여러 대의 화각에 행위자의 동작 범위를 담기 위해 촬영 공간보다 4~5대 정도의 장소 확보가 필요하다. 이것은 게임 컨트롤러의 기본적인 요구 사항인 자유로운 설치 환경을 만족하지 못하기 때문에, 게이머가 원하는 시간과 장소에서 게임을 즐기기가 어렵다. 그리고 처리 프로세스의 복잡도가 높아 빠른 응답 속도를 기대하기 힘들므로 모델링 데이터를 생성하는데 많은 시간이 소요된다. 뿐만 아니라, 카메라 등과 같이 활용되는 장비가 상당히 고가이기 때문에 대중화에는 한계가 있다.
반면, 기계식 모션 캡쳐는 기계식 특수 장비를 장치하고 행위자의 각 관절 마다 3축 전위차계(Potential meter)를 설치하여 관절 간 회전 운동 값을 얻는 방식이다. 기계식 모션 캡쳐 방식의 특징은 단순한 구조로 이루어져 활용이 쉽고 모델링에 활용되는 데이터가 적어 오류가 적으며 실시간으로 모델링 정보를 추출할 수 있다. 그러나 계단을 오르거나 점프 할 때와 같이 위치에 관한 정보를 정확하게 획득할 수 없고, 행위자에게 기계식 장비를 장치하기 때문에 행위적 제약이 따른다.
기계식 모션 캡쳐 방식은 앞서 서술한 광학식 모션 캡쳐 방식에 비해 설치 환경이 자유롭고 복잡도가 낮아 실시간 모델링을 통한 빠른 응답속도 확보 등 게임 컨트롤러의 요구사항을 대부분 만족하고 있다. 그러나 기계식 모션 캡쳐를 위해 게이머가 착용하는 장비로 인하여 게이머의 행동에는 상당한 제약이 초래되므로, 게이머들은 이러한 장비를 착용하는 불편을 감수해야 할 뿐만 아니라 게이머가 체험형 게임에 몰입하여 몰입도를 높이기가 어렵다. 아울러, 착용 장비가 상대적으로 고가이기 때문에, 기계식 모션 캡쳐 방식도 대중화나 보편화에 일정한 한계가 있다.
체험형 게임은 기존 키보드나 마우스 조작에서 탈피하여 별도의 컨트롤러나 영상이나 기계식 특수 장치 등을 이용하여 사용자의 직접적인 체험을 유도한다. 그러나 컨트롤러의 경우에 아직까지 버튼과 같이 직접적인 입력에 의존한 컨트롤러가 대부분이다. 그리고 영상을 기반으로 게임을 조작하는 방식, 즉 광학식 모션 캡쳐 방식은 인간 행위의 높은 복잡도로 인하여 많은 연산이 필요하여 실시간 모션 캡쳐가 어렵고 조작의 정확도가 낮으며 연산 비용 또한 매우 높아 대체로 단순한 게임에만 적용이 가능하다. 또한 사용자의 행위 영상을 얻기 위해서는 카메라의 화각에 사용자의 전신을 담기 위한 충분한 거리확보가 요구되므로 상대적으로 넓은 공간이 필요한 장소적 제약이 있으며, 카메라와 같은 고가의 장비를 설치해야 하는 한계가 있다. 또한, 기계식 모션 캡쳐 방식은 특수한 장치를 게이머가 착용해야 하므로 행위에 제약이 따르며, 수직 방향으로 게이머가 이동하는 경우에 정확한 위치 정보를 얻기 어려우며, 착용 장비가 고가이다.
따라서 본 발명이 해결하려는 하나의 과제는 사용자의 직접적인 체험을 유도하는 체험형 게임에 취지에 부합할 뿐만 아니라 상대적으로 저렴하고 설치를 위한 넓은 공간이 불필요하며 연산이 간단하여 실시간 모션 캡쳐가 가능한 실시간 모션 정보 획득 방법 및 시스템을 제공한다.
본 발명이 해결하려는 다른 하나의 과제는 사용자의 행위에 제약이 없으며 수직 방향으로의 이동에 대해서도 정확한 움직임 측정이 가능하고, 고가의 장비가 필요 없는 실시간 모션 정보 획득 방법 및 시스템을 제공한다.
본 발명에서는 사용자의 자세 추정 및 위치 추적을 위하여 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 복합 센서를 이용한다. 보다 구체적으로, 소수의 다축 복합 센서를 사용자 신체의 주요 부위, 예컨대 팔목, 허리, 및 발목에 장착하고 데이터를 수신한 다음, 소정의 알고리즘을 이용하여 사용자의 자세와 위치 등을 계산한다. 그리고 계산된 사용자의 자세와 위치 정보 등을 이용하여 사용자의 신체를 모델링한 다음 시간의 경과에 따른 사용자의 움직임이나 행위 등을 추정할 수 있다. 이와 같이 추정된 사용자의 움직임이나 행위는 체험형 게임의 입력 정보로 사용될 수 있다.
본 발명의 일 실시예에 따른 실시간 모션 정보 획득 방법은 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 다축 복합 센서를 이용하여 신뢰 부위의 자세 및 위치를 추정하는 자세 추정 및 위치 추적 단계, 및 추정된 상기 신뢰 부위의 자세 및 위치 정보를 이용하여 상기 신뢰 부위를 포함한 인체의 모델링을 수행하는 인체 모델링 단계를 포함한다.
상기 실시예의 일 측면에 의하면, 상기 자세 추정 및 위치 추적 단계는 칼만 필터를 이용하여 상기 다축 가속도 센서의 출력을 보정하여 자세를 추정하는 자세 추정 단계, 및 상기 추정된 자세 정보와 상기 다축 복합 센서의 추정치를 이용하여 위치를 추정하는 위치 추정 단계를 포함한다. 그리고 상기 자세 추정 단계는 기준 자표계로의 z축으로부터 요각을 회전하는 단계, 회전된 y축에서의 회전을 통해 피치를 계산하는 단계, 및 x축에서의 회전을 통해 롤각을 계산하는 단계를 포함할 수 있다. 또한, 상기 위치 추정 단계는 상기 다축 가속도 센서의 측정치에 외부 가속도 성분이 포함되어 있는지를 판정하는 단계, 상기 추정된 자세 정보와 상기 다축 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정하는 단계, 및 추정된 상기 중력 가속도만의 성분을 이용하여 상기 다축 가속도 센서의 출력을 보상하여 선형 가속도를 추정하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 의하면, 상기 인체 모델링 단계는 추정된 상기 자세 및 위치 정보를 이용하여 상기 다축 복합 센서가 부착되어 있는 신뢰 부위의 모델링을 수행하는 단계, 및 모델링된 신뢰 부위 사이의 연결 구조를 이용하여 상기 다축 복합 센서가 부착되어 있지 않은 비신뢰 부위의 자세 및 위치를 추정하는 단계를 포함할 수 있다. 그리고 비신뢰 부위의 자세 및 위치를 추정한 이후에 인접 부위의 차각 계산을 통해 관절 제한 보정을 수행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 실시간 모션 정보 획득 시스템은 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 다축 복합 센서를 이용하여 신뢰 부위의 자세 및 위치를 추정하는 자세 추정 및 위치 추적 모듈, 및 추정된 상기 신뢰 부위의 자세 및 위치 정보를 이용하여 상기 신뢰 부위를 포함한 인체의 모델링을 수행하는 인체 모델링 모듈을 포함한다.
상기 실시예의 일 측면에 의하면, 상기 자세 추정 및 위치 추적 모듈은 상기 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서 각각의 초기화와 상기 센서 사이의 통신을 담당하는 디바이스 드라이버, 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서를 구동하고 측정된 데이터를 기록하는 센싱부, 칼만 필터를 이용하여 상기 다축 가속도 센서의 출력을 보정하여 자세를 추정하고 상기 추정된 자세 정보와 상기 다축 복합 센서의 추정치를 이용하여 위치를 추정하는 데이터 융합부, 및 상기 데이터 융합부에서 추정된 자세 정보와 위치 정보를 인체 모델링 모듈로 전송하는 제1 통신 모듈을 포함할 수 있다. 그리고 상기 데이터 융합부는 기준 자표계로의 z축으로부터 요각을 회전하고, 회전된 y축에서의 회전을 통해 피치를 계산하며, x축에서의 회전을 통해 롤각을 계산하여 자세를 추정할 수 있다. 또한, 상기 데이터 융합부는 상기 다축 가속도 센서의 측정치에 외부 가속도 성분이 포함되어 있는지를 판정하고, 상기 추정된 자세 정보와 상기 다축 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정하며, 그리고 추정된 상기 중력 가속도만의 성분을 이용하여 상기 다축 가속도 센서의 출력을 보상하여 선형 가속도를 추정하여 위치를 추정할 수 있다.
상기 실시예의 다른 측면에 의하면, 상기 인체 모델링 모듈은 상기 자세 추정 및 위치 추적 모듈로부터 수신한 데이터를 수집하는 데이터 수집부, 추정된 상기 자세 및 위치 정보를 이용하여 상기 다축 복합 센서가 부착되어 있는 신뢰 부위의 모델링을 수행하고, 모델링된 신뢰 부위 사이의 연결 구조를 이용하여 상기 다축 복합 센서가 부착되어 있지 않은 비신뢰 부위의 자세 및 위치를 추정하는 복합 자세 추정부, 및 상기 복합 자세 추정부에서 구한 인체 모델링 정보를 전송하는 제2 통신부를 포함할 수 있다. 그리고 상기 복합 자세 추정부는 비신뢰 부위의 자세 및 위치를 추정한 이후에 인접 부위의 차각 계산을 통해 관절 제한 보정을 더 수행할 수 있다.
기존의 모션 캡쳐 기술들이 높은 정확도 구현을 위해 사용해왔던 모션 캡쳐 도구들, 광학 카메라나 특수한 착용 장비 등을 대신하여 3축 가속도 센서, 3축 각속도 센서, 및 3축 지자계 센서가 통합된 복합 센서를 이용한다. 따라서 본 발명에 의하면, 비록 기존의 기술들보다 정확도는 떨어지나 빠르고 경제적으로 모션을 캡쳐할 수 있을 뿐만 아니라 소수의 센서만 가지고서도 사용자의 위치와 자세를 추적할 수 있으므로 경제성을 높일 수 있다. 또한, 본 발명에 의하면 체험형 게임에 최적화 할 수 있도록 인체 모델을 단순화하여 빠른 응답 속도를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 모션 정보 획득 방법을 보여 주는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 모션 정보 획득 시스템을 보여 주는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 실시간 모션 정보 획득 방법에 따른 데이터 흐름을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 위치 추적 및 자세 추정 과정을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인체 모델링 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 신뢰 부위 모델링을 위한 인체 모델을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 비신뢰 부위 모델링을 위한 가상 인체 모델을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 비신뢰 부위 모델링을 위해 신뢰 부위간 연결과 비신뢰 부위를 나타낸 인체 모델을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 인체 모델링을 위해 기존의 인체 모델링 방식을 단순화하여 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 인체 모델링을 위해 관절 제한 보정을 위한 프로세스를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 인체 모델링을 위한 기본 자세 및 부위별 관절 제한 값을 도시한 도면이다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
본 발명의 일 실시예에 따른 실시간 모션 정보 획득 방법은 단일 다축 복합 센서의 위치를 통해 자세 및 위치를 추정하는 자세 추정 및 위치 추적 단계와 다축 복합 센서가 부착된 신뢰 부위와 다축 복합 센서가 부착되지 않은 비신뢰 부위에 대한 추정을 통해 인체를 모델링하는 인체 모델링 방법을 포함한다. 그리고 본 발명에 일 실시예에 따른 실시간 모션 정보 획득 시스템은 단일 다축 복합센서의 위치를 통해 자세 및 위치를 추정하는 자세 추정(Pose Estimation, PE) 모듈과 다축 복합센서가 부착된 신뢰 부위(허리, 양 팔목, 양 발목)와 다축 복합센서가 부착되지 않은 비신뢰 부위에 대한 추정을 통해 인체를 모델링하는 인체 모델링(Human Body Modeling, HBM) 모듈로 구성된다.
도 1은 본 발명의 일 실시예에 따른 실시간 모션 정보 획득 방법을 보여 주는 흐름도이다.
도 1을 참조하면, 일 실시예에 따른 실시간 모션 정보 획득 방법에서는 먼저 다축 복합 센서를 이용하여 신뢰 부위의 자세 및 위치를 추정한다(10). 다축 복합 센서는 예컨대, 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 센서일 수 있다. 그리고 신뢰 부위는 신체 중에서 다축 복합 센서가 부착되는 부위로서, 1쌍의 팔목, 1쌍의 손목, 및 허리를 포함한다. 신뢰 부위의 자세 및 위치는 다축 복합 센서의 자세 및 위치와 동일할 수 있으므로, 다축 복합 센서의 자세 추정 및 위치 추적을 통해 신뢰 부위의 자세와 위치를 추정할 수 있다.
이러한 신뢰 부위의 자세 추정 및 위치 추적 과정(10)은 칼만 필터를 이용하여 다축 가속도 센서의 출력을 보정하여 자세를 추정하는 자세 추정 과정(12)과 단계 12에서 추정된 자세 정보와 다축 복합 센서의 추정치를 이용하여 위치를 추정하는 위치 추정 과정(14)을 포함한다. 자세 추정 과정(12)은 기준 자표계로의 z축으로부터 요각을 회전하고, 회전된 y축에서의 회전을 통해 피치를 계산하며, x축에서의 회전을 통해 롤각을 계산하는 과정을 포함할 수 있다. 그리고 위치 추정 과정(14)은 다축 가속도 센서의 측정치에 외부 가속도 성분이 포함되어 있는지를 판정하고, 추정된 자세 정보와 다축 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정하며, 추정된 중력 가속도만의 성분을 이용하여 다축 가속도 센서의 출력을 보상하여 선형 가속도를 추정하는 과정을 포함할 수 있다.
그리고 위 단계(10)에서 추정된 신뢰 부위의 자세 및 위치 정보를 이용하여 신뢰 부위를 포함한 인체의 모델링을 수행하는 인체 모델링 과정을 수행한다(20). 보다 구체적으로, 인체 모델링 과정(20)은 추정된 자세 및 위치 정보를 이용하여 다축 복합 센서가 부착되어 있는 신뢰 부위의 모델링을 수행하는 과정(22)과 모델링된 신뢰 부위 사이의 연결 구조를 이용하여 다축 복합 센서가 부착되어 있지 않은 비신뢰 부위의 자세 및 위치를 추정하는 과정(24)을 포함한다. 그리고 비신뢰 부위의 자세 및 위치를 추정한 이후에 인접 부위의 차각 계산을 통해 관절 제한 보정을 수행하는 과정(26)을 더 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 실시간 모션 정보 획득 시스템을 보여 주는 구성도이다. 도 2를 참조하면, 실시간 모션 정보 획득 시스템(100)은 자세 추정 및 위치 추적 모듈(110)과 인체 모듈링 모듈(120)을 포함한다.
자세 추정 및 위치 추적 모듈(110)은 다축 복합 센서에 구비될 수 있다. 이러한 자세 추정 및 위치 추적 모듈(110)은 디바이스 드라이버(112), 센싱부(114), 데이터 융합부(116), 및 제1 통신 모듈(118)을 포함한다. 디바이스 드라이버(112)는 가속도, 각속도 및 지자계 센서의 초기화와 통신을 담당하며, 센싱부(114)는 각 센서의 구동 및 데이터를 기록한다. 그리고 데이터 융합부(116)는 칼만 필터를 이용하여 자세와 위치를 추정하고, 제1 통신 모듈(118)은 인체 모델링 모듈(120)을 위해 식별자, 자세 및 위치를 전송한다.
인체 모듈링 모듈(120)은 체감형 게임기나 PC에 구비될 수 있다. 이러한 인체 모듈링 모듈(120)은 데이터 수집부(122), 복합 자세 추정부(124), 및 제2 통신 모듈(126)을 포함한다. 데이터 수집부(122)는 자세 추정 및 위치 추적 모듈(110)로부터 수집된 데이터를 전달받아 복합 자세 추정부(124)로 전달한다. 복합 자세 추정부(124)는 다수의 자세 및 위치 정보를 기반으로 비신뢰 분위 추정 및 인체를 모델링하며, 제2 통신 모듈(126)은 체감형 게임을 위한 인체 모델링 정보를 전송한다.
도 3은 실시간 모션 캡쳐 기술의 데이터 흐름도를 보여 주는 다이어그램이다.
도 3을 참조하면, 각 다축 복합 센서의 자세 추정 및 위치 추적 모듈(PE Module)에서는 주기적인 센싱을 통해 3축 가속도, 각속도, 지자계 데이터를 하나의 데이터 셋으로 구성한다. 그리고 데이터 융합부(Data Fusion)에서는 앞서 구성한 데이터셋을 이용하여 자세 및 선형 가속도 정보를 추정한다. 그리고 통신 모듈(Comunication)은 자세 및 선형 가속도 정보를 식별자와 함께 인체 모델링 모듈(HBM Module)로 전송한다.
인체 모델링 모듈(HBM Module)에서는 자세 추정 및 위치 추적 모듈(PE Module)로부터 전송된 자세 및 선형 가속도 정보를 데이터 수집부(Data Gathering)에서 식별자를 이용하여 구분하고, 복합 자세 추정부(Human Pose Estimation)는 데이터 수집부에서 수집한 정보를 이용하여 인체 모델로 구성하며, 통신 모듈(communication)은 모델링된 인체 정보, 즉 실시간 모션 정보를 체험형 게임을 위하여 전송한다.
다축 복합 센서는 위치 추적 및 자세 추정을 위하여 적어도 3가지 종류의 센서, 즉 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서를 포함한다. 이러한 다축 복합 센서의 종류에는 특별한 제한이 없는데, 본 발명의 발명자에 의하여 고안된 MASoL(Mobile Activity Sensor Logger)이 사용될 수도 있다. MASoL은 3축 가속도, 3축 각속도, 3축 지자계 센서를 포함하는 센서로서, 3축 가속도 센서로는 Bosch사의 SMB380, 3축 각속도 센서로는 Panasonic사의 EWTS9C와 Epson Toyocom사의 XV-3500CB, 그리고 3축 지자계 센서로는 Yamaha사의 YAS529가 사용될 수 있는데, 이것은 단지 예시적인 것이다. 이러한 MASoL은 중요 신체 부위에 부착되더라도 사용자에게 큰 불편이 없을 정도로 크기가 그 다지 크지 않으며 무게도 무겁지 않다.
표 1은 본 발명에 사용된 다축 복합 센서의 기술적인 특징을 나타낸 표이다. 이러한 기술적인 특징은 단지 본 발명의 이해를 위한 것으로서, 본 발명의 실시예가 여기에 한정되는 것으로 해석되어서는 않된다.
Figure pat00001
도 4는 위치 추적 및 자세 추정 과정을 나타낸 개념도이다. 본 발명의 일 실시예에 따른 위치 추적 및 자세 추정 과정에서는 칼만 필터를 이용하여 가속도계의 출력을 보정하고 자세를 추정한다. 위치 추적 및 자세 추정 알고리즘의 좌표계 표현은 피치(Pitch), 롤(Roll), 요(yaw)로 이루어 진 오일러 각을 이용한다.
동체의 자세는 각 각들의 연속적인 회전으로 표현이 가능하다. 먼저, 기준 좌표계로의 z축으로부터 요각을 회전하고, 회전된 y축에서의 회전을 통해 피치를 계산하고 다시 새로운 x축에서의 회전을 통해 롤각을 계산한다. 이러한 연속적인 자세 회전은 각각의 좌표 변환 행렬의 곱을 통하여 전체 자세의 좌표 변환 행렬을 계산할 수 있다.
다축 복합 센서의 위치 추정은 가속도 센서의 외부 가속도 측정과 자세 정보를 이용해 추정한다. 다축 복합 센서의 위치 추정 알고리즘은 외부 가속도 판정, 중력 추정 그리고 선형 가속도 추정의 3단계로 이루어진다. 외부 가속도 판정은 외부 가속도에 의한 측정치 오차를 개선하기 위해 먼저 측정된 가속도 센서 값에 외부 가속도 성분이 들어있는지 판정하는 것으로 수학식 1로 표현될 수 있다.
Figure pat00002
중력 추정은 측정된 가속도 센서 값에 외부 가속도 성분이 포함되어 있을 때 자세 정보와 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정해 내는 것으로 수학식 2로 표현될 수 있다.
Figure pat00003
선형 가속도 추정은 추정한 중력 가속도를 이용해 가속도 센서의 출력을 보상하는 것으로 외부 가속도
Figure pat00004
를 가속도 출력
Figure pat00005
와 2단계의 출력물인 중력 가속도 성분
Figure pat00006
로 보상한다. 이에 대한 수식은 다음의 수학식 3으로 표현될 수 있다.
Figure pat00007
마지막으로 가속도 센서의 출력 값에 중력 가속도 성분을 보상한 외부 가속도
Figure pat00008
는 자세정보
Figure pat00009
에 관한 역회전을 통해 좌표죽에 관한 선형 가속도를 계산한다. 이에 대한 수식은 다음 수학식 4로 표현될 수 있다.
Figure pat00010
도 5는 인체 모델링 프로세스를 나타낸다. 센서로부터 들어온 정보는 각 신뢰 부위 모델링에 활용되고 이 모델과 한국 표준체위를 바탕으로 구성한 가상 인체 모델을 활용해 비신뢰 부위의 자세를 추정한다. 신뢰 부위와 비신뢰 부위 추정이 완료되면 인체 공학적인 오류를 확인하기 위해 인접 부위의 차각 계산을 통해 관절 제한을 보정한다.
도 6은 신뢰부위에 부착된 센서들로부터 전달된 자세, 위치 정보를 이용해 신뢰 부위의 자세를 표기한 인체 모델이다. 본 발명에서 신뢰 부위는 센서가 부착된 신체 주요 부위(허리, 양 팔목, 발목)를 의미한다. 기존의 모션 캡쳐에서 활용하고 있는 인체 모델은 인체의 각 부위 정보를 3축 회전 정보와 3축 위치 정보로 이루어진다. 다축 복합 센서의 위치 추적 및 자세 추정 알고리즘을 통해 다축 복합 센서가 부착된 신뢰 부위의 위치, 자세 정보가 수집되면 PC 또는 게임기에서는 각 부위에 장착된 식별 정보와 위치, 자세 정보를 통해 신뢰부위의 모델링을 수행한다.
도 7은 비신뢰 부위의 자세 추정을 위한 가상 인체 모델로써, 25~29게의 한국인 남성 평균 치수를 기반으로 구성한다. 가상 인체 모델의 신체 치수는 비신뢰 부위 추정에 매우 중요하다.
도 8은 신뢰 부위간 연결과 비신뢰 부위를 나타는 인체 모델이다. 인체 구조적으로 서로 다른 두 신뢰 부위와 그 사이에 존재하는 비신뢰 부위는 서로 연결된 구조를 가지고 있으므로 이를 통해 비신뢰 부위의 추정이 가능하며, 다음과 같은 순서로 추정된다. 우선 다축 복합센서로부터 수집된 회전정보
Figure pat00011
는 수학식 5를 통해 신뢰 부위의 방향을 나타내는 방향 벡터
Figure pat00012
로 변환할 수 있다.
Figure pat00013
그리고 방향 벡터와 신뢰 부위의 길이
Figure pat00014
과 다축 복합센서의 위치정보 (x, y, z)를 이용해 비신뢰 부위와 인접한 위치
Figure pat00015
를 계산하며 이는 다음 수학식 6과 같이 표현될 수 있다.
Figure pat00016
다른 신뢰부위 또한 위 수학식 6과 동일한 방법으로 인접한 위치
Figure pat00017
를 계산한다. 두 인접한 위치를 이용한 방향 벡터를 계산하고 방향 벡터를 기반으로 비신뢰 부위의 자세를 추정한다. 이는 다음 수학식 7과 같이 표현될 수 있다.
Figure pat00018
도 9은 기존의 인체 모델링 방법과 이를 단순화한 인체 모델링을 도식화 한 것이다. 본 발명에서는 11개의 부위를 활용하는 보편적인 모션 캡쳐 방식이 아닌 몸체의 3개 부위를 1개로 단순화한 모델을 사용한다. 체험형 게임 환경의 특성상 정확한 부위 모델링 보다는 골격 수준의 모델링으로도 충분히 활용이 가능하므로 모션의 정확도는 보다 떨어지나 체험형 게임의 목적에 충분히 부합할 수 있는 8개 부위로 단순화한 인체 모델을 활용한다.
도 10은 관절 제한 보정을 위한 프로세스를 나타낸다. 관절 제한 보정을 위해서는 인접한 부위간의 자세의 차각을 계산하여 각 관절의 정확한 관절각의 범위를 비교한다. 차각은 몸체를 자세를 기준으로 몸체에서 멀어지는 방향을 계산하여 구한다.
도 11은 인체 모델의 기본자세 및 부위별 관절 제한 값을 나타낸다. 기본 자세는 모든 부위의 자세 정보가 (0, 0, 0)임을 의미하며, 인접한 두 부위 간 차각 계산 및 관절각 보정은 다음과 같은 과정으로 진행된다. 인접한 두 부위의 좌표가
Figure pat00019
의 경우 두 부위 중 몸체에 가까운 부위(P1이라 가정)의 기본 자세
Figure pat00020
를 확인하고, P2
Figure pat00021
만큼 회전시켜
Figure pat00022
를 구한다. 이 때
Figure pat00023
는 다음 수학식 8과 같이 표현될 수 있다.
Figure pat00024
구한
Figure pat00025
값을 도 11의 부위별 관절 제한 범위를 비교하고, 범위를 벗어난 경우 값은 변경하지 않고 범위의 한계치로 보이도록 보정한다.
이상의 설명은 본 발명의 실시예에 불과할 뿐, 이 실시예에 의하여 본 발명의 기술 사상이 한정되는 것으로 해석되어서는 안된다. 본 발명의 기술 사상은 특허청구범위에 기재된 발명에 의해서만 특정되어야 한다. 따라서 본 발명의 기술 사상을 벗어나지 않는 범위에서 전술한 실시예는 다양한 형태로 변형되어 구현될 수 있다는 것은 당업자에게 자명하다.
100 : 실시간 모션 정보 획득 시스템
110 : 자세 추정 및 위치 추정 모듈
120 : 인체 모델링 모듈

Claims (12)

  1. 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 다축 복합 센서를 이용하여 신뢰 부위의 자세를 추정하고 위치를 추적하는 자세 추정 및 위치 추적 단계; 및
    추정된 상기 신뢰 부위의 자세 및 위치 정보를 이용하여 상기 신뢰 부위를 포함한 인체의 모델링을 수행하는 인체 모델링 단계를 포함하는 실시간 모션 정보 획득 방법.
  2. 제1항에 있어서, 상기 자세 추정 및 위치 추적 단계는
    칼만 필터를 이용하여 상기 다축 가속도 센서의 출력을 보정하여 자세를 추정하는 자세 추정 단계; 및
    상기 추정된 자세 정보와 상기 다축 복합 센서의 추정치를 이용하여 위치를 추정하는 위치 추정 단계를 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 방법.
  3. 제2항에 있어서, 상기 자세 추정 단계는
    기준 자표계로의 z축으로부터 요각을 회전하는 단계;
    회전된 y축에서의 회전을 통해 피치를 계산하는 단계; 및
    x축에서의 회전을 통해 롤각을 계산하는 단계를 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 방법.
  4. 제2항에 있어서, 상기 위치 추정 단계는
    상기 다축 가속도 센서의 측정치에 외부 가속도 성분이 포함되어 있는지를 판정하는 단계;
    상기 추정된 자세 정보와 상기 다축 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정하는 단계; 및
    추정된 상기 중력 가속도만의 성분을 이용하여 상기 다축 가속도 센서의 출력을 보상하여 선형 가속도를 추정하는 단계를 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 방법.
  5. 제1항에 있어서, 상기 인체 모델링 단계는
    추정된 상기 자세 및 위치 정보를 이용하여 상기 다축 복합 센서가 부착되어 있는 신뢰 부위의 모델링을 수행하는 단계; 및
    모델링된 신뢰 부위 사이의 연결 구조를 이용하여 상기 다축 복합 센서가 부착되어 있지 않은 비신뢰 부위의 자세 및 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 방법.
  6. 제5항에 있어서,
    비신뢰 부위의 자세 및 위치를 추정한 이후에 인접 부위의 차각 계산을 통해 관절 제한 보정을 수행하는 단계를 더 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 방법.
  7. 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서가 통합된 다축 복합 센서를 이용하여 신뢰 부위의 자세 및 위치를 추정하는 자세 추정 및 위치 추적 모듈; 및
    추정된 상기 신뢰 부위의 자세 및 위치 정보를 이용하여 상기 신뢰 부위를 포함한 인체의 모델링을 수행하는 인체 모델링 모듈을 포함하는 실시간 모션 정보 획득 시스템.
  8. 제7항에 있어서, 상기 자세 추정 및 위치 추적 모듈은
    상기 다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서 각각의 초기화와 상기 센서 사이의 통신을 담당하는 디바이스 드라이버;
    다축 가속도 센서, 다축 각속도 센서, 및 다축 지자계 센서를 구동하고 측정된 데이터를 기록하는 센싱부;
    칼만 필터를 이용하여 상기 다축 가속도 센서의 출력을 보정하여 자세를 추정하고 상기 추정된 자세 정보와 상기 다축 복합 센서의 추정치를 이용하여 위치를 추정하는 데이터 융합부; 및
    상기 데이터 융합부에서 추정된 자세 정보와 위치 정보를 인체 모델링 모듈로 전송하는 제1 통신 모듈을 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 시스템.
  9. 제8항에 있어서,
    상기 데이터 융합부는 기준 자표계로의 z축으로부터 요각을 회전하고, 회전된 y축에서의 회전을 통해 피치를 계산하며, x축에서의 회전을 통해 롤각을 계산하여 자세를 추정하는 것을 특징으로 하는 실시간 모션 정보 획득 시스템.
  10. 제8항에 있어서,
    상기 데이터 융합부는 상기 다축 가속도 센서의 측정치에 외부 가속도 성분이 포함되어 있는지를 판정하고, 상기 추정된 자세 정보와 상기 다축 각속도 센서의 출력을 이용해 중력 가속도만의 성분을 추정하며, 그리고 추정된 상기 중력 가속도만의 성분을 이용하여 상기 다축 가속도 센서의 출력을 보상하여 선형 가속도를 추정하여 위치를 추정하는 것을 특징으로 하는 실시간 모션 정보 획득 시스템.
  11. 제7항에 있어서, 상기 인체 모델링 모듈은
    상기 자세 추정 및 위치 추적 모듈로부터 수신한 데이터를 수집하는 데이터 수집부;
    추정된 상기 자세 및 위치 정보를 이용하여 상기 다축 복합 센서가 부착되어 있는 신뢰 부위의 모델링을 수행하고, 모델링된 신뢰 부위 사이의 연결 구조를 이용하여 상기 다축 복합 센서가 부착되어 있지 않은 비신뢰 부위의 자세 및 위치를 추정하는 복합 자세 추정부; 및
    상기 복합 자세 추정부에서 구한 인체 모델링 정보를 전송하는 제2 통신부를 포함하는 것을 특징으로 하는 실시간 모션 정보 획득 시스템.
  12. 제11항에 있어서,
    상기 복합 자세 추정부는 비신뢰 부위의 자세 및 위치를 추정한 이후에 인접 부위의 차각 계산을 통해 관절 제한 보정을 더 수행하는 것을 특징으로 하는 실시간 모션 정보 획득 시스템.
KR1020100121290A 2010-12-01 2010-12-01 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템 KR20120059824A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100121290A KR20120059824A (ko) 2010-12-01 2010-12-01 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100121290A KR20120059824A (ko) 2010-12-01 2010-12-01 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20120059824A true KR20120059824A (ko) 2012-06-11

Family

ID=46610895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100121290A KR20120059824A (ko) 2010-12-01 2010-12-01 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20120059824A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101358859B1 (ko) * 2013-07-26 2014-02-06 몬트롤 주식회사 9축모션센서모듈을 통한 스마트기기연계형 사용자 모션 교정장치 및 방법
WO2018030734A1 (ko) * 2016-08-09 2018-02-15 주식회사 비플렉스 3d 시뮬레이션 방법 및 장치
KR20190112988A (ko) * 2018-03-27 2019-10-08 박재현 모션 인식 밴드를 이용한 재활치료환자의 신체 운동능력 측정 장치 및 방법
KR20200096236A (ko) * 2017-11-16 2020-08-11 블라스트 모션 인크. 센서 데이터의 접합부 응력 결정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101358859B1 (ko) * 2013-07-26 2014-02-06 몬트롤 주식회사 9축모션센서모듈을 통한 스마트기기연계형 사용자 모션 교정장치 및 방법
WO2018030734A1 (ko) * 2016-08-09 2018-02-15 주식회사 비플렉스 3d 시뮬레이션 방법 및 장치
CN109310913A (zh) * 2016-08-09 2019-02-05 株式会社比弗雷斯 三维模拟方法及装置
CN109414608A (zh) * 2016-08-09 2019-03-01 株式会社比弗雷斯 运动识别方法及装置
CN109414608B (zh) * 2016-08-09 2021-04-02 株式会社比弗雷斯 运动识别方法及装置
KR20200096236A (ko) * 2017-11-16 2020-08-11 블라스트 모션 인크. 센서 데이터의 접합부 응력 결정 방법
KR20190112988A (ko) * 2018-03-27 2019-10-08 박재현 모션 인식 밴드를 이용한 재활치료환자의 신체 운동능력 측정 장치 및 방법

Similar Documents

Publication Publication Date Title
CN106056664B (zh) 一种基于惯性和深度视觉的实时三维场景重构系统及方法
US10679360B2 (en) Mixed motion capture system and method
EP2728548B1 (en) Automated frame of reference calibration for augmented reality
CN104658012B (zh) 一种基于惯性与光学测量融合的运动捕捉方法
KR101080078B1 (ko) 통합센서 기반의 모션 캡쳐 시스템
KR101214227B1 (ko) 동작 추적 방법.
CN104197987A (zh) 一种组合式运动捕捉系统
EP2141632A2 (en) Motion capture apparatus and method
US20040176925A1 (en) Position/orientation measurement method, and position/orientation measurement apparatus
CN201431466Y (zh) 人体运动捕获三维再现系统
EP2939402B1 (en) Method and device for sensing orientation of an object in space in a fixed frame of reference
CN107330967B (zh) 基于惯性传感技术的骑师运动姿态捕捉及三维重建系统
Fang et al. Development of a wearable device for motion capturing based on magnetic and inertial measurement units
KR20120059824A (ko) 복합 센서를 이용한 실시간 모션 정보 획득 방법 및 시스템
JP2017119102A (ja) 運動解析装置、方法及びプログラム
CN108563220A (zh) 仿人足球机器人的运动规划
TW201415272A (zh) 擊球結果推論與姿勢修正之方法與裝置
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN109453505B (zh) 一种基于可穿戴设备的多关节追踪方法
US20180216959A1 (en) A Combined Motion Capture System
CN112041785A (zh) 跟踪手姿势的方法及其电子设备
CN104699987A (zh) 一种手臂惯性式动作捕捉数据融合方法
Yang et al. Rotation estimation for mobile robot based on single-axis gyroscope and monocular camera
CN106886288A (zh) 一种姿态动态捕捉方法及装置
JP6288858B2 (ja) 光学式モーションキャプチャにおける光学式マーカーの位置の推定方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application