KR20150065303A

KR20150065303A - 손목 궤적을 이용한 전신 동작 생성 장치 및 방법

Info

Publication number: KR20150065303A
Application number: KR1020130150461A
Authority: KR
Inventors: 이성희; 김혜진
Original assignee: 한국과학기술원
Priority date: 2013-12-05
Filing date: 2013-12-05
Publication date: 2015-06-15
Also published as: KR101547208B1

Abstract

본 발명은, 두 개의 말단작용체의 궤적으로서의 손목의 궤적을 이용해서 전신 동작을 합성할 수 있도록 하는 손목 궤적을 이용한 전신 동작 생성장치 및 방법에 관한 것으로,
상기 손목 궤적을 이용한 전신 동작 생성 장치는, 손목 궤적에 대응하는 자세(자세프레임)를 저장하는 모션 데이터베이스;와, 손목 궤적이 입력되는 입력부;와, 손목 궤적 입력을 이용하여 손목 궤적에 대응하는 자세들을 추출한 후, 발목궤적을 생성하는 발목궤적생성부;와, 상기 발목궤적생성부에서 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하여 비용최소화를 적용한 후 합성하여 전신동작을 생성하는 전신동작 생성부;를 포함하여 구성되어,
두 손목의 한점을 캡처한 두 개의 손목궤적 캡처 데이터를 이용하여 전신 동작을 재생하는 것에 의해 전신 동작의 캡처를 용이하고, 신속하며, 저비용으로 수행할 수 있도록 한다.

Description

손목 궤적을 이용한 전신 동작 생성 장치 및 방법{APPARATUS AND METHOD FOR RECONSTRUCTING WHOLE-BODY MOTION USING WRIST TRAJECTORIES}

본 발명은 저차원의 입력 정보를 가지고 동작을 캡처하는 퍼포먼스 캡처(performance capture)(또는 액션-캡처: action-capture)에 관한 것으로, 더욱 상세하게는, 각각의 손목의 한점에 대한 궤적인 두 손목의 궤적을 이용하여 전신 동작을 재구성할 수 있도록 하는 손목 궤적을 이용한 전신 동작 생성 장치 및 방법에 관한 것이다.

저차원의 입력을 사용해서 높은 자유도를 가지는 캐릭터 모델의 자연스러운 애니메이션을 생성하는 것은 컴퓨터 애니메이션의 중심 문제이다. 데이터-기반 처리(data-driven) 방법은 운동의 사전정보(motion prior)를 나타내는 기 저장된 모션데이터베이스를 사용하여 상술한 문제를 해결한다. 이때, 가장 매칭이 잘되는 운동의 자세(후보항)를 찾고 그들을 블랜딩(blending)하기 위한 절차를 위한 데이터베이스 검색의 중심적인 접근은 직접적이나 다양한 제약(제약항, 평탄화 항)을 충족시킬 수 없는데, 이는 모션 데이터베이스의 제한된 크기 때문이다.

이러한 이유로 종래의 연구자들은 모션 클립(clip)들을 삽입하거나 재배치하는 것, 또는 자세와 운동에 대한 통계적 모델링을 수행하는 등의 새로운 운동 생성을 위한 다양한 기술들을 제안했다.

이 중 데이터베이스 안의 운동 클립들 사이에 존재하는 자연스러운 전이(transitions)를 미리 정의한 모션 그래프 기반 방법(motion graph-based methods)은 새롭고 자연스러운 운동 클립들의 조합(permutation)을 생성할 수 있도록 하였다. 이러한 방법들은 이산 경로 찾기 문제(discrete path-finding problem)를 푸는 것에 의해, 부여된 제약 조건을 만족하기 위한 걷는 방향과 같은 서브 최적 운동 순서(sub-optimal motion sequence)를 효과적으로 찾는다. 그러나 모션 그래프(motion graph)는 데이터베이스에 존재하지 않는 새로운 자세를 생성하지 못하며, 이에 따라, 연속적이고, 퍼포먼스 캡처(performance capture) 안에서 주어지는 손과 발의 궤적과 같은 섬세한 화상을 위한 제약을 만족시키지 못하는 문제점을 갖는다.

반대로, 데이터베이스 내의 운동 클립들을 삽입하는 것에 의해 섬세한 화상을 위한 연속적인 제약을 만족시키는 새로운 운동을 생성할 수도 있다. 추가적으로, 모션 삽입 기술(motion interpolation technique)을 사용하여 모션 그래프를 증가시키는 것에 의해, 연속성(예, 목표 손 궤적)과 이산성(예, 목표 발자국) 제약들 모두를 만족하는 운동의 긴 순서를 생성할 수도 있다. 이 결과 Zhao와 Safonova는 모션 그래프 내에서의 좋은 연결성과 전이를 증가시키는 방법을 제안했다[L. Zhao, A. Safonova, Achieving good connectivity in motion graphs, Graphical Models 71 (4) (2009) 139152.]. 그러나 제안된 방법은 시각적인 아티펙트(artifacts)를 생성함이 없이 모션 삽입을 수행하기 위해 시간워핑(time warping)과 같은 모션 클립을 위한 방대한 사전처리 작업을 필요로 하므로 작업 처리에 자원 및 시간 등의 많은 비용을 필요로하는 문제점을 갖는다.

또한, 인간 자세 공간의 통계적 모델링을 통한 자연스러운 인간 동작 합성을 위한 공식의 수립에 대한 노력이 지속되어 왔다. 고차원, 고도의 비선형 인간 자세 공간을 모델링하기 위한 다양한 방법들은 지역 선형 모델(local linear moldel)[C. Bregler, S. Omohundro, Nonlinear image interpolation using manifold learning, Advances in Neural Information Processing Systems (1994) 973980.], 선형 동적 시스템(Linear Dynamic System)[Y. Li, T. Wang, H.-Y. Shum, Motion texture: a two-level statistical model for character motion synthesis, ACM Transactions on Graphics 21 (3) (2002) 465472.] 및 가우시안 프로세스 기반 모델(Gaussian Process-based models [M. Brand, A. Hertzmann, Style machines, in: Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques (SIGGRAPH 00), 2000, pp. 도 193-192.]들이 혼합 적용되어 왔다.

Chai와 Hodgins는 저차원(low dimensional)의 전신 동작 생성을 위해 말단 작용체(end-effector)와 골반에 부착된 6개에서 9개의 마커에 의한 자세 데이터베이스로부터 K-최근 자세를 수집하고, 저 차원의 제어 신호를 만족하는 자연스러운 전신동작을 결정하기 위한 지역 선형 인간 자세 공간(local linear human pose space)을 수립하여, 제어 입력으로 자연스러운 인간 자세를 합성하였다[J. Chai, J.K. Hodgins, Performance animation from low-dimensional control signals, ACM Transactions on Graphics 24 (3) (2005) 686696.].

Liu 등은 데이터베이스로부터 유사한 동작 클립들의 집합을 찾고, 최대사후분포(MAP: maximum a posteriori) 프레임웍(Framework) 하에서 이전에 합성된 동작으로부터 현재의 자세를 추정(estimating)하는 것에 의해, 전신 동작을 합성하는 온라인 상의 새로운 지역 선형 동적 동작 모델(local linear dynamic motion model)을 수립하는 것까지 확장시켰다[H. Liu, X. Wei, J. Chai, I. Ha, T. Rhee, Realtime human motion control with a small number of inertial sensors, in: ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games (I3D 2011), 2011, pp. 133140.].

Kruger 등은 방대한 모션 캡처 데이터 베이스 내에서 고속 지역 및 광역 유사성 검색을 수행하는 둔감한 인접 그래프(lazy neighborhood graph)를 제안했다[B. Kruger, J. Tautgest, A. Weber, A. Zinke, Fast local and global similarity searches in large motion capture databases, in: Proceedings of the 2010 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (SCA 10), 2010, pp. 110.].

Tautges 등은 손과 발에 부착된 4개의 가속도 센서로부터 얻어진 제어 시퀀스를 이용하여, 높은 시간적 일관성을 가지는 자세 후보들을 찾아내고, 노이즈를 가지는 가속도 데이터로부터 전신 동작을 합성할 수 있도록 하는 온라인 상의 둔감한 인접 그래프 모델(lazy neighborhood model)을 정의하는데 까지 Kruger 등의 방법을 더욱 발전시켰다[J. Tautges, A. Zinke, B. Kruger, J. Baumann, A. Weber, T. Helten, M. Muller, H. Seidel, B. Eberhardt, Motion reconstruction using sparse accelerometer data, ACM Transactions on Graphics 30 (3) (2011) 112.].

Tautges 등에 의해 발전된 방법은 효과적으로 지역 선형 자세 공간을 구성할 수 있는 데이터베이스로부터 높은 시간일관성을 가지고 자세를 찾을 수 있도록 하였고, 상술한 종래기술의 연구자들은 퍼포먼스 캡처가 극단적으로 작은 수의 센서로도 다소 가능하다는 것을 보여 주었으나, 이는 데이터베이스의 크기가 센서의 입력의 구별 능력을 보장할 수 있도록 충분히 작은 경우에만 달성될 수 있는 한계가 있었다.

또한, 손목 정보만의 저차원 입력(low dimensional input)을 이용하여 전신 동작을 합성하기 위해 Chai와 Hodgins의 지역 선형 인간 자세 공간(local linear human pose space)과 Tautges 등에 의한 온라인 상의 둔감한 인접 그래프(lazy neighborhood model)의 정의를 직접 적용하는 경우, 발에 대한 정보의 부족으로 인해 풋-스케이팅(foot-skating) 운동과 같이 불가능한 하체 운동이 생성되는 등 적합한 동작을 얻을 수 없는 문제점이 발생하였다.

GP(Gaussian Process) 기반 방법들은 자연스러운 자세의 삽입, 파라미터 조정(parameter-tuning)의 감소 등의 두드러진 장점을 가진다. 이러한 이유로 최근 저차원 입력(low dimensional input)을 이용하여 전신 동작을 합성하기 위한 다른 방법으로서 가우시안 프로세스(GP)와 관련된 방법들이 고차원 자세 공간(high dimesional pose space)을 저차원 잠재 공간(low-dimensional latent spaces)으로 감소시키는 강력한 수단으로 연구되어 왔다.

예를 들어, Grochow 등은 GP 잠재 가변 모델(GPLVM)[N.D. Lawrence, Probabilistic non-linear principal component analysis with gaussian process latent variable models, Journal of Machine Learning Research 6 (2005) 1783도 19도 19.]을 사용하여 운동의 유형을 유지시키는 역운동학 프로시져(inverse kinematics procedure)를 제안했다[K. Grochow, S.L. Martin, A. Hertzmann, Z. Popovic, Style-based inverse kinematics, ACM Transactions on Graphics 23 (3) (2004) 522531.].

Wang 등은 운동의 시간적 구조를 모델링하기 위한 GP 동적 모델(GP dynamic model)을 제안했다[J.M. Wang, D.J. Fleet, A. Hertzmann, Gaussian process dynamical models for human motion, IEEE Transactions on Pattern Analysis and Machine Intelligence 30 (2) (2008) 283298.].

Levine 등은 GPLVM의 잠재 공간 안에서 최적의 제어 정책을 프리컴퓨팅(precomputing) 하는 것에 의해, 사용자 지정 입력을 만족시키는 대화형 캐릭터 애니메이션을 생성하는 방법을 제안했다[S. Levine, J.M. Wang, A. Haraux, Z. Popovic , V. Koltun, Continuous character control with low-dimensional embeddings, ACM Transactions on Graphics 31 (4) (2012) 28:128:10.].

그러나 상술한 GP와 관련된 방법들의 경우 계산 및 훈련 비용으로 인해 데이터베이스를 작게 하는데 한계를 가진다.

또한, Min 등은 동작의 기하학적이고 시간적인 변화를 지원하기에 적합한 저차원 동작 모델을 제안했다. 제안된 모델은 자연스러운 동작을 합성하고, 연속적 및 이산적 제약 조건들을 만족시키는 것을 보였다[J. Min, Y.-L. Chen, J. Chai, Interactive generation of human animation with deformable motion models, ACM Transactions on Graphics 29 (1) (2009) 9:19:12.]. 그러나 Min 등에 의한 모델링 작업에서는 각 동작 카테고리 별로 동작 모델이 분리 구축될 필요가 있으며, 분리 구축된 동작 모델들이 다종 운동의 연속적인 재구성을 저해하는 문제점을 발생시켰다.

또한, 상술한 다종 운동의 연속적인 재구성이 저해되는 문제를 해결하기 위해, 그래프 웍(graph walk)과 통계적인 샘플링을 통해 구별되는 동작 모델들을 연결시키는 개선된 방법들이 제안되었다[J. Min, J. Chai, Motion graphs++: a compact model for semantic motion analysis and synthesis, ACM Transactions on Graphics 31 (6) (2012) 153:1153:12.].

또 다른 예로, Sylper와 Hodgins는 셔츠에 꿰매진 5개의 가속도계의 입력신호들을 사용해서 데이터베이스로부터 가장 잘 매칭되는 상체 동작 클립들을 찾아내는 퍼포먼스 캡처(performance capture) 방법을 제안했다[R. Slyper, J.K. Hodgins, Action capture with accelerometers, in: Proceedings of the 2008 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (SCA 08), 2008, pp. 193199.].

Yin과 Pai는 전신 동작의 특정 영역이 단지 발의 압력 분포 이미지로부터 추정될 수 있다는 것을 보였다[K. Yin, D.K. Pai, FootSee: an interactive animation system, in: Proceedings of the 2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (SCA 03), 2003, pp. 329338.]. Heck 등은 자연스러운 방법으로 동작 순서로부터 얻어진 상체 동작 데이터를 다른 동작 순서의 하체 이동과 결합시키는 방법을 제안했다[R. Heck, L. Kovar, M. Gleicher, Splicing upper-body actions with locomotion, Computer Graphics Forum 25 (3) (2006) 459466.]. 그러나 상술한 두 개의 방법들은 상체와 하체의 상관성을 수립하였을 뿐 손목에 의한 전신 동작의 재구성을 구현하지 못하는 문제점을 가진다.

상술한 바와 같이 퍼포먼스 캡처는 센서의 수가 작을수록 문제가 더욱 커지며, 특히, 말단 작용체에 대한 센서 데이터를 사용할 수 없는 경우 동작 캡처가 더욱 어려워지게 된다.

따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 오직 두 개의 말단작용체의 궤적으로서의 각각의 손목의 한점에 대한 손목 궤적을 이용해서 전신 동작을 합성할 수 있도록 하는 손목 궤적을 이용한 전신 동작 생성장치 및 방법을 제공하는 것을 목적으로 한다.

상술한 목적을 달성하기 위한 본 발명은, 저 차원(적은 수의) 입력에 의해 발생하는 불가능한 동작의 생성 문제를 해결하기 위해, 입력 손목 궤적에 대응하는 실현 가능한 발목 궤적 데이터를 구축하고, 지역 선형 인간 자세 공간(local linear human pose space) 방법을 사용한 전신 동작 생성을 위하여 저차원(low dimensional) 입력으로 손목 궤적과 발목 궤적을 입력으로 사용한다.

이에 따라 본 발명의 손목 궤적을 이용한 전신 동작 생성 장치는, 손목 궤적에 대응하는 자세(자세프레임)를 저장하는 모션 데이터베이스;와, 입력된 손목 궤적을 이용하여 상기 모션 데이터베이스로부터 상기 손목 궤적에 대응하는 자세 프레임들을 추출하여 자세서브집합을 생성하고, 각각의 자세 프레임들에서 발목궤적을 생성하는 발목궤적생성부;와, 상기 발목궤적생성부에서 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하여 최적의 자세프레임들을 추출한 후 합성하여 전신동작을 생성하는 전신동작 생성부;를 포함하여 구성되는 것을 특징으로 한다.

상기 모션 데이터베이스는, 상기 자세 프레임들에 대한 참조프레임을 생성하여 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 포함하는 골반정보를 추출하여 저장하는 모션 데이터베이스 전처리 과정이 수행된 것을 특징으로 한다.

상기 발목궤적생성부는 상기 손목 궤적에 대응하는 자세 프레임들에 포함된 발목위치들로 구성되는 발목 위치 클라우드를 생성하고, 생성된 발목 위치 클라우드를 이용하여 유향 비순환 그래프(directed acyclic graph)를 생성한 후, 상기 유향 비순환 그래프 내의 상기 발목 위치 클라우드들 사이에 최단 경로를 가지는 발목 위치 노드들을 추출하는 것에 의해 발목 궤적을 생성하도록 구성되는 것을 특징으로 한다.

상기 전신동작 생성부는, 손목 궤적과 발목 궤적에 대응하는 최인접 자세들을 모션 데이터베이스로부터 추출한 후 지역 선형 자세 공간을 생성하고, 주성분분석(principle component analysis)를 적용하여 선형 자세 공간에서 주성분을 뽑아 내는 지역모델링부;와, 상기 지역모델링부에서 도출된 주성분 벡터들로 이루어진 다양한 제약조건에서 비용최소화를 적용하여 전신 자세를 합성하는 동작합성부(220)를 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 전신 동작 생성장치는, 동작생성을 위해 캡처된 각각의 각 손목의 손목점에 대한 캡처 데이터에 평탄화필터를 적용하여 노이즈를 제거하는 손목궤적전처리를 수행하는 전처리부;를 더 포함하여 구성되는 것을 특징으로 한다.

또한, 상기 전신 동작 생성장치, 상기 전신동작 생성부에서 생성된 전신동작 데이터에 가우시안 노이즈 필터를 적용하여 평탄화하는 후처리를 수행하는 후처리부;를 더 포함하여 구성되는 것을 특징으로 한다.

본 발명의 손목 궤적을 이용한 전신 동작 생성 방법은, 전신 동작의 자세들을 데이터로 저장하는 모션 데이터베이스에 저장된 자세에 대한 참조프레임을 생성하고, 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 추출하는 모션 데이터베이스 전처리 과정;과, 동작자의 두 손의 특정 위치에 하나씩 부착된 두 개의 마커를 이용하여 왼손과 오른손의 손목 궤적을 캡처하는 손목궤적캡처과정;과, 손목 궤적 입력을 이용하여 손목 궤적에 대응하는 자세들을 추출한 후, 상기 모션 데이터베이스로부터 상기 손목 궤적에 대응하는 자세 프레임들을 추출하여 발목궤적을 생성하는 발목궤적생성과정;과, 상기 발목궤적생성과정에 의해 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하여 지역 선형 자세 공간을 생성하고, 다양한 제약조선에서 비용최소화를 적용한 후 합성하여 전신동작을 생성하는 동작생성과정;을 포함하여 이루어지는 것을 특징으로 한다.

상기 손목 궤적을 이용한 전신 동작 생성 방법은 또한, 전처리부가 상기 손목궤적캡처과정에 의해 입력된 손목 궤적 데이터에 평탄화필터를 적용하여 노이즈를 제거하는 손목 궤적전처리과정;을 더 포함하여 이루어지는 것을 특징으로 한다.

상기 발목궤적생성과정은, 입력된 손목 궤적 데이터의 손목 위치들을 가지는 자세들을 추출하여 자세서브집합을 생성하는 자세서브집합추출과정;을 더 포함하여 이루어지는 것을 특징으로 한다.

또한, 상기 발목궤적생성과정은, 상기 자세서브집합에서 발목위치들의 집합인 발목위치 클라우드들을 생성하는 발목위치클라우드생성단계;와, 추출된 발목위치 클라우드들을 포함하는 유향 비순환 그래프(DAG: directed acyclic graph)를 생성한 후, 비용 최소화를 적용하는 것에 의해 최단 경로를 가지는 발목위치들로 이루어지는 최적발목궤적을 추출하는 최적발목궤적생성단계;를 포함하여 이루어지는 것을 특징으로 한다.

상기 동작생성과정은, 입력된 손목 궤적 및 발목 궤적을 가지는 자세프레임들을 추출한 후, 지역 선형 자세 공간(local linear pose space)을 생성하는 자세의 지역적인 선형 모델링을 수행하는 것을 특징으로 한다.

또한, 상기 동작생성과정은, 상기 추출된 자세서브집합의 지역 선형 자세 공간에 대하여 주성분분석(principle component analysis)을 적용하여 선형 자세 공간에서 주성분 벡터를 추출하는 것을 특징으로 한다.

또한, 상기 동작생성과정은, 상기 추출된 주성분 벡터들로 이루어진 다양한 제약조건에서 비용최소화를 적용하여 전신 자세프레임들을 도출하여 합성하는 것을 특징으로 한다.

상기 손목 궤적을 이용한 전신 동작 생성 방법은, 합성된 전신 동작의 데이터에 가우스 노이즈를 적용하여 평탄화를 수행하는 평탄화과정을 더 포함하여 이루어지는 것을 특징으로 한다.

상술한 구성을 가지는 본 발명은 퍼포먼스 캡처를 위한 입력으로 두 개의 손목 위치의 3차원 정보만을 입력 제어 신호로 사용하여, 발목 궤적을 정확하게 추정한 후, 손목 궤적과 발목 궤적을 이용하여 최적의 자세 프레임을 도출한 후 전신 동작을 재구성하는 것에 의해 자연스러운 전신 동작을 신속하게 재생할 수 있도록 하는 효과를 제공한다.

또한, 본 발명은 퍼포먼스 캡처에 의해 재생된 동작의 캡처 대상과의 공간적 및 시간적 동일성의 신뢰도를 현저히 향상시킴은 물론, 퍼포먼스 캡처를 현저히 용이하게 수행할 수 있도록 한다.

도 1은 본 발명의 개념을 도식적으로 나타낸 도면,
도 2는 본 발명의 실시예에 따르는 손목 궤적을 이용한 전신 동작 생성 장치의 구성도,
도 3은 본 발명의 손목 궤적을 이용한 전신 동작 생성 방법의 처리과정을 나타내는 순서도,
도 4는 모션 데이터베이스의 전처리를 위해 선택된 참조프레임을 나타내는 도면,
도 5는 발목 궤적 생성을 나타내는 도면,
도 6은 이입력 손목 궤적에 따른 모션 데이터베이스의 손목위치와 손목 위치에 대응하는 자세집합으로부터 발목위치 클라우드를 생성하는 것을 나타내는 도면,
도 7은 최적 발목 궤적 생성의 처리과정을 나타내는 도면,
도 8은 본 발명의 실시예에 적용된 인간 모델을 나타내는 도면,
도 9는 정상보행(a), 옆으로 보행(b), 굽힘(c), 점프(d)에 포함되는 다양한 손목 궤적들에 본 발명을 적용하여 획득한 발목 궤적들을 나타내는 도면,
도 10은 보행 동작 중 3개의 서로 다른 시간 프레임에서의 발목 위치 클라우드들의 형태와 각 발목 점의 속도를 나타내는 도면,
도 11은 속도매트릭이 사용된 것과 사용되지 않은 경우를 비교한 결과를 나타내는 도면,
도 12는 유향 비순환 그래프 안에서 최적의 발목 궤적을 찾는 과정에서 에지에 대한 서로 다른 비용 함수들을 평가한 결과를 나타내는 도면,
도 13은 10개, 50개, 100개의 시간간격 프레임과 전체 시간간격 프레임을 이용한 발목 궤적 생성 결과를 비교한 도면,
도 14는 본 발명에 의해 골반의 위치와 방향이 얼마나 정확하게 추정되는지를 평가하기 위하여, 정상 보행 동작에 대한 실제 값과 본 발명에 의해 추정된 값을 비교한 결과를 나타내는 도면,
도 15는 다양한 입력 손목 궤적에 대하여 재구성된 동작들의 스냅샷을 나타내는 도면,
도 16은 유사한 팔 동작 패턴의 서로 다른 하체 동작을 구별의 예를 나타내는 도면,
도 17은, 도 15 및 도 16의 테스트 동작의 결합각 각각에 대한 제곱평균(RMS) 에러의 평균 항을 이용하여 동작 재구성의 정확성을 나타낸 도면,
도 18은 동작 재구성에러에 대한 노이즈레벨의 효과를 나타내는 도면이다.

본 발명은 두 개의 속몬 궤적으로부터 전신 동작 애니메이션을 합성하기 위한 새로운 데이터 기반처리(data driven) 방법을 제공한다.

다리 등의 다른 신체 부분들이 팔과는 좀더 또는 덜 독립적으로 운동할 수 있기 때문에, 두 손목의 위치를 이용하여 전신 동작을 합성하는 것은 불가능한 것으로 보일 수 있으며, 이러한 접근은 인간 동작의 전체 범위를 캡처할 수 없는 것으로 보일 수 있다.

그러나 제자리에서의 상체 운동, 이동, 전신 운동, 조깅, 점프 등의 대부분의 인간 운동은 팔의 운동으로부터 합리적으로 추정될 수 있기 때문에, 본 발명에 의해 인간의 운동이 캡처될 수 있다.

많은 인간의 활동에서 손은 인간의 다른 신체 부위에 비해 큰 기능과 의미론적 중요도를 가지며, 하체는 오직 손이 목표지점에 도달하는 것을 보조한다. 그러므로 본 발명은 전신의 운동을 정확히 측정하기 보다는, 입력된 손목 궤적으로부터 자연스러운 전신 동작을 재구성한다.

이를 위한 입력은 두 손목 위의 점의 3차원 손목 궤적이다. 이러한 궤적들은 외부에 설치된 스테레오 비젼 센서 또는 수행자 착용 카메라 등의 캡처 장치를 이용하여 측정될 수 있다. 본 발명에서 입력으로서의 손목 궤적은 손목의 특정 위치에 부착된 가상의 마커의 위치를 계산하고, 계속적으로 실측 데이터의 노이즈 특성 모델을 위한 가우시안 노이즈를 적용한 계산에 의해 얻을 수 있다.

근래의 추적기술의 발달은 카메라의 위치와 방향의 추정에 대한 정확도와 계산적 부담을 극단적으로 개선시켰다. 비젼 및 관성 센서를 가지는 이동 장치의 넓은 보급에 따라, 본 발명은 일반 대중이 두 개의 범용 이동 장치를 손에 쥐는 것에 의해, 특히, 캡처 부피(capture volume)의 제한을 가지는 모션 캡처 장치가 설치될 수 없는 외부 환경에서 인간의 운동을 캡처할 수 있도록 한다.

종래기술로서의 기존의 연구는 손과 발의 제어 신호를 이용해서, 자연스러운 운동을 생성하는데 있어 현저한 성능을 보였다. 그러나, 이러한 방법들은 오직 손의 운동이 입력으로 사용되는 경우에는 직접적으로 적용될 수 없었다. 이는 손과 발의 상관성이 매우 낮았고(특히 짧은 관찰시간의 경우), 입력으로서의 손의 자세에 너무나 많은 발의 구성이 관련되어 있기 때문이다. 그러므로 운동의 부드러움 측면에서 최적의 신체 운동을 결정하기 위한 이전의 방법들은 지면 상에서의 스케이팅 운동이나 공기 중에 두발로 떠있는 상태와 같은 부자연스러운 동작을 생성하는 문제점이 있었다. 이러한 결점들은 발 운동의 제약을 고려하는 것에 의해 설명될 수 있다. 즉, 발은 땅위에서 미끄러지지 않으며, 점핑 운동이 아닌 경우에는 적어도 하나는 지면에 접촉되어 있어야 한다. 부가하여, 운동을 합성하기 위한 시간 간격은 팔들과 다리들이 적절한 상호관계를 가질 수 있도록 충분히 길어야 한다(적어도 발의 한 스텝보다는 길어야 한다).

이런 문제를 풀기 위한 하나의 접근은 최적화 프로세스 내에서 발의 운동에 자연스러운 제약을 부가하는 것이다. 그러나 장기간의 전신 동작을 생성하기 위해 공간적이고 시간적인 최적화 문제를 푸는 것은 높은 계산량을 필요로 하며, 대화형 응용프로그램에는 적합하지 않다.

이러한 이유로, 본 발명은 새로운 2단계 방법을 제공한다.

먼저, 적당한 길이의 시간 동안 얻어진 손목 궤적을 사용하여, 데이터베이스 저장된 동작들의 순간 정보인 자세들의 정보로부터 손목궤적에 대응하는 자세정보들을 추출한 후 최적의 발목 궤적을 결정한다. 다음으로, Chai와 Hodgins에 의해 제안된 기술에 기초하여 각각의 타임스텝에서 최적의 전신 자세를 달성하기 위한 저차원 제어 신호로 입력된 손목 궤적과 추정된 발목 궤적을 적용한다. 이러한 2단계 접근 방법은 일정 길이의 시간 간격 내에서 시간-공간 최적화가 고속으로 수행될 수 있도록 한다. 이는 미지수의 차원이 낮고(즉, 발목 궤적) 네 개의 제어 입력을 사용하는 전신동작 재생을 위한 현존하는 고효율의 방법[Chai 와 Hodgins의 방법, Tautges 등의 방법]을 사용할 수 있기 때문이다.

이하, 본 발명의 실시예에 따르는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1은 본 발명의 개념을 도식적으로 나타낸 도면이다.

도 1과 같이 손목 궤적(HT)이 주어지면(도 1(a)) 적당한 발목 궤적(AT)을 얻을 수 있고(도 1(b)), 이에 따라 전신 동작이 합성된다(도 1(c) 및 (d)).

본 발명은 최적의 발목 궤적(AT)을 찾아내는 절차를 핵심 기술로 한다. 본 발명은 그래프 내에서 경로 찾는 문제와 같은 최적화 프로세스를 공식화했다. 모든 타임스텝 t(t=1,.....L)에서, 손목 위의 한 점을 사용해서 데이터베이스에서 K 최인접자세를 수집하고, 자세에 대응시켜서 K 개의 후보 발목 위치들을 구별한다. 다음으로, 각 노드 n^t _j(t=1...L, j=1...K)는 두 개의 발목의 위치를 나타내고 에지 (n^t-1 _j, n^t _k)는 모든 시간 t-1에서의 노드와 시간 t에서의 노드들을 연결(도 7)하는 유향 비순환 그래프(DAG: directed acyclic graph) G를 구성한다. 하나의 에지 (n^t ^-1 _j, n^t _k)의 비용(cost, 시간 또는 계산량)은 발목의 위치 n^t ^-1 _j에서 n^t _j까지의 전환의 가능성을 설명하는 것과 발의 스케이팅을 제한하는 것에 의해 결정된다. 이러한 DAG의 구성으로 인해, 최적화가 시간 복잡도 O(LK²) 안에서 매우 효율적으로 수행된다. 상기 시간 복잡도에서 O()는 알고리즘의 복잡도를 표현하는 함수로서 빅 오(BigO)라 하며, 최고차항의 차수가 빅-오가 되는 것을 의미한다. 일 예로 n²+2n+100 함수의 복잡도(연산 횟수의 복잡도)는 O(n²)가 된다. 즉 본 발명의 실시예에서는 LK²의 연산횟수가 필요하게 된다. 또한 DAG 내에서 최단 경로는 O(V+E) 이고, V =LK로 꼭지점들의 개수이며, E=LK²으로 에지(edges)들의 수를 나타낸다. 획득된 발목의 궤적들은 더욱 부드러워지며 전신 동작을 찾기 위한 제어 입력으로 사용된다.

전신 자세의 구성을 얻기 위해, 손목 정보를 가지고 전신 자세를 재구성하기 위한 주요구성을 부가한다. 결합각(각 관절점에서 관절들의 결합각도)를 추정할 뿐만 아니라 골반의 위치 및 방향을 최적화하여, 골반 운동에 대한 센서 데이터 없이 자연스러운 골반 운동을 생성할 수 있다. 종래기술의 방법들이 골반의 움직임을 직접 캡처하거나, 모션 데이터베이스로부터 추출된 골반 자세의 가중평균을 사용했지만, 본 발명은 상술한 바와 같이 손목의 위치를 이용하여 경사각을 추정하고, 골반의 위치와 방향을 추정한다는 점에서 종래기술의 발명들과 차이점을 가진다.

본 발명은 걷기, 급회전, 점프뿐만 아니라 제자리의 상체 운동과 같은 다양한 운동을 캡처할 수 있도록 한다.

도 2는 본 발명의 실시예에 따르는 손목 궤적을 이용한 전신 동작 생성 장치의 구성도이고, 도 3은 본 발명의 손목 궤적을 이용한 전신 동작 생성 방법의 처리과정을 나타내는 순서도이다.

도 2와 같이 상기 전신 동작 생성 장치(100)는, 손목 궤적에 대응하는 자세(자세프레임)를 저장하는 모션 데이터베이스(110), 손목 궤적이 입력되는 입력부(120), 입력된 손목궤적에 포함된 노이즈를 제거하는 전처리를 수행하는 전처리부(130), 전처리부(130)에 전처리된 손목 궤적 입력을 이용하여 손목 궤적에 대응하는 자세들을 추출한 후, 유향 비순환 그래프 내에서의 최단경로를 가지는 자세 프레임들을 추출하여 발목궤적을 생성하는 발목궤적생성부(140), 발목궤적생성부(140)에서 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하여 지역 선형 자세 공간을 생성하고, 주성분분석을 통해 주성분 벡터를 뽑아낸 후, 다양한 제약조건에서 비용최소화를 만족하는 자세 프레임을 합성하는 것에 의해 전신동작을 생성하는 전신동작 생성부(200), 전신동작 생성부(200)에서 생성된 전신동작을 평탄화하는 후처리를 수행하는 후처리부(300) 및 후처리된 최적 전신 동작을 프레임별로 연속적으로 출력하는 출력부(310)를 포함하여 구성된다.

상기 모션데이터베이스는(110)는 모션 데이터베이스 전처리 과정에 의해, 상기 손목 궤적에 대응하는 추출된 자세 프레임들에 대한 참조프레임을 생성하여 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 포함하는 골반정보를 각각의 자세프레임별로 저장한다.

상기 발목궤적생성부(140)는 상기 손목 궤적에 대응하는 자세 프레임들에 포함된 발목 위치들로 구성되는 발목 위치 클라우드를 생성하고, 생성된 발목 위치 클라우드를 이용하여 상기 유향 비순환 그래프(directed acyclic graph)를 생성한 후, 상기 유향 비순환 그래프(directed acyclic graph) 상에서 상기 발목 위치 클라우드들 사이에 최단 경로를 가지는 발목 위치 노드들을 추출하는 것에 의해 최적의 발목 궤적들을 생성한다.

상기 전신동작생성부(200)는 손목 궤적과 발목 궤적에 대응하는 최인접 자세들을 모션 데이터베이스(110)로부터 추출한 후 지역 선형 자세 공간을 생성하고, 주성분분석을 적용하여 선형 자세 공간에서 주성분을 뽑아내는 지역모델링부(210)와, 지역모델링부(210)에서 도출된 주성분 벡터들로 이루어진 다양한 제약조건에서 비용최소화를 적용하여 전신 자세 대상 프레임을 합성하는 동작합성부(220)를 포함하여 구성된다.

상술한 구성의 전신 동작 생성장치(100)는 각 구성 전체가, 또는 개별 구성들이, 손목 캡처 데이터가 입력되는 경우 전신 동작의 생성을 처리하도록 GPU 내의 전신 동작 캡처 모듈로 구성되거나, 단일칩의 DSP 칩 또는 전신 동작 처리 연산을 수행하도록 프로그램되는 펌웨어 등의 비휘발성 메모리 등으로 다양하게 구성될 수 있다.

다음으로, 도 3을 참조하여 본 발명의 손목 궤적을 이요한 전신 동작 생성 방법의 처리과정을 설명한다.

본 발명의 손목 궤적을 이용한 전신 동작 생성 방법은, 도 3에 도시된 바와 같이, 다양한 전신 자세들을 데이터로 저장하는 모션 데이터베이스(110)를 구축된 것을 가정한다.

이때 상기 모션 데이터베이스(110)에 저장된 자세 프레임들에 대하여는, 참조프레임을 생성하여 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 추출하여 저장하는 모션 데이터베이스 전처리 과정(S10)이 수행된다.

모션 데이터베이스(110)가 구축된 후, 두 손에 쥔 장치의 카메라 또는 다른 캡처 장치에 의해 캡처된 동작자의 왼손과 오른손의 손목 궤적을 상기 입력부(120)를 통해 입력받는 손목궤적캡처과정(S20)이 수행된다.

손목궤적캡처과정(S20)에 의해 손목 궤적이 입력되면, 전처리부(130)가 손목 궤적 데이터에 평탄화필터를 적용하여 노이즈를 제거함으로써, 지터링(jittering)을 제거하거나 최소화하는 손목궤적전처리과정(S30)을 수행한다.

이 후, 전처리된 손목궤적 데이터는 발목궤적 생성부(140)로 입력된다. 상기 발목궤적생성부(140)는 입력된 손목 궤적 데이터의 손목 위치들을 가지는 자세들을 추출하여 자세서브집합을 생성하는 자세서브집합추출과정(S40)을 수행한다.

상기 발목궤적생성부(140)는 상기 자세서브집합의 자세들로부터 발목궤적을 생성하는 발목궤적생성과정(S50)을 수행한다.

상기 발목궤적생성과정(S50)은 최적의 발목 궤적 생성을 위해 발목위치클라우드생성단계(S510)와 최적발목궤적생성단계(S520)의 서브 처리 과정을 포함한다.

먼저, 발목위치클라우드생성단계(S510)는 상기 발목궤적생성부(140)가 자세서브집합의 자세들로부터 [수학식 2]의 매트릭(metric)을 적용하여, 각각의 자세들 사이의 최인접자세들을 추출하고, 추출된 최인접자세들의 발목 위치들의 집합인 발목 위치 클라우드들을 생성한다.

그리고 상기 최적발목궤적생성단계(S520)는, 추출된 발목 위치 클라우드들을 포함하는 유향 비순환 그래프(DAG: directed acyclic graph)를 생성한 후, 비용 최소화를 적용하는 것에 의해 최단 경로를 가지는 발목 위치들로 이루어지는 최적발목궤적을 추출한다.

이때, 상기 유향 비순환 그래프 사이의 최단 경로 선택을 위한 비용 정보로는 가능한 경로를 도출하는 동작우선성과 발의 미끄러짐 등의 풋-스케이팅 동작 등을 제한하는 슬라이딩을 포함하는 제약 정보들이 된다.

이상과 같이, 발목궤적생성부(140)에 의해 발목 궤적이 추출되면, 입력된 손목 궤적과 추출된 발목 궤적 데이터가 전신동작생성부(200)로 입력되어 전신동작을 생성하는 동작생성과정이 수행된다.

상기 동작생성과정에서는, 먼저, 전신동작생성부(200)의 지역모델링부(210)가 손목궤적, 발목궤적을 가지는 자세프레임들을 추출한 후, 지역 선형 자세 공간(local linear pose space)을 생성하는 자세의 지역적인 선형 모데링을 수행한다. 여기서 상기 지역이란 용어는 전체 전신 동작 집합에서 추출한 서브 자세 집합을 의미한다. 이후 생성된 지역 선형 자세 공간의 주성분 벡터들로 이루어진 다양한 제약 조건에서 비용최소화를 적용하여 전신 자세 대상프레임을 결정한다.

상기 전신 자세 대상프레임 결정 과정을 구체적으로 설명하면, 상기 지역 선형 자세 공간은 추출된 자세서브집합들에 대하여 주성분분석(principle componert analysis)을 적용하여 구성된다.

상기 지역모델링부(210)에 의해 지역 선형 자세 공간이 생성되면, 동작합성부(220)는 지연 선형 자세 공간에서 최적 자세들의 연결을 설정하기 위해, 각각의 자세 프레임들의 최적의 연속성 관계를 비용 최소화를 적용하여 전신 자세에 최적인 자세 프레임들을 도출하여 합성한다. 상기 비용 최소화는 하기에 설명된 [수학식 10~ 12의 제약항, 우선항, 평탄화항 등의 제약 조건이 적용되는 것에 의해 수행된다.

상술한 처리과정에 의해 합성된 전신 동작의 데이터는, 후처리부(300)로 입력되고, 후처리부(300)는 각각의 전신 동작 자세 프레임들에 가우시안 노이즈를 적용하여 동작이 부드럽게 수행되도록 하는 평탄화과정(S70)을 수행한다.

평탄화작업이 수행된 전신 동작 자세 프레임들은 출력부(310)에서 프레임별로 연속 출력되는 것에 의해 캡처 대상 전신 동작의 영상으로 재현된다.

상술한 손목 궤적을 이용한 전신 동작 생성 방법의 전체 처리과정 또는 그룹된 처리과정이나 단일 처리과정들은은, 컴퓨터에서 실행되는 코드를 저장한 저장매체로 구현되거나, 내부에 상기 코드가 탑재되는 GPU, CPU, DSP, 펌웨어 등의 반도체 집으로 구현될 수 있다.

이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명의 구체적인 기술 구성들을 더욱 상세히 설명한다.

1. 본 발명의 전체 기술의 개관

1) 발목 궤적 생성(Ankle trajectory generation)]

가 시간 t에서 6차원 벡터를 생성하기 위하여 부착된 두 개의 손목점들의 3차원 위치인 경우, t 시간에서 두 개의 발목의 위치는

로 표시된다. 입력 손목 궤적들은

로 표시되며, 각각이 입력신호들이 된다.

(a) 발목 위치 클라우드(cloud) 생성

각각의 시간 간격 t=1,...,L에서, 주어진

에 가장 가까운 손목 위치의 K₁ 개의 예시 자세(example poses)들이 모션 데이터베이스(110)로부터 선택된다. 선택된 예시 자세들에 대응하는 발목 위치들

은 각 시간 간격에서의 발목 위치 클라우드(cloud)들을 형성한다.

(b) 발목 궤적 생성

시간 창

을 통해 생성된 모든 발목 위치 클라우드들로 구성되는 방향그래프(directed graph)를 구성하고, 그래프 내에서의 최단 거리를 찾는 것에 의해 최적의 발목 궤적

들을 결정한다.

2) 전신 동작 생성

각 시간 간격에서 전신 자세를 합성하기 위하여, 손목 궤적과 발목 궤적을 입력 제어 신호

들로 구성하여 사용한다.

(1) 지역 선형 자세 공간(locally linear pose space) 모델링

먼저, 제어신호

에 대응하는 K₂ 최인접 자세들의 집합 {m_k |k =1, ..., K₂}을 사용하여 인간 자세의 지역 선형 모델인 지역 선형 자세공간을 구성한다.

(2) 전신 자세 생성

지역 선형 모델은 제어신호에 맞게 조정되어 자연 스럽게 보이는 전신 자세(예, 골반의 위치 및 방향(orientation), 관절의 결합각)를 합성하기 위해 사용된다. 생성된 동작은 가능한 풋-스케이팅 아티펙트(foot-skating artifact)를 제거하고, 부드러움을 개선하기 위해 최종적으로 후처리 된다.

2. 모션 데이터베이스 전처리

모션 데이터베이스가 주어지면, 캡처를 효과적으로 수행하기 위해 데이터베이스 안의 각 자세들의 특징(featuer)들을 사전 계산한다. 상기 특징들은 각각의 자세들에서 손목과 발목의 위치 및 속도, 골반의 경사각과 높이 등의 정보를 포함한다. 도 4는 모션 데이터베이스의 전처리를 위해 선택된 참조프레임을 나타낸다. 각각의 특징들은 손목의 위치를 기초한 각 자세를 위해 정의된 참조 프레임(reference frame)들에 의해 측정된다(도 4 참조).

참조 프레임에서 x와 z 좌표들은 두 개의 손목 위치의 중간으로 설정하고, y좌표는 지상높이로 설정한다. 참조 프레임의 방향은, x축은 두 개의 손목 위치의 지면 투영 위치에 의해 생성된 선분에 평행하고, y축은 상방향 벡터와 동일하도록 정렬된다. 특정 참조프레임을 선택하는 이유는 손목 위치에 대한 데이터베이스로부터 K개의 최 인접 자세들을 찾기 위함이다.

모든 참조프레임에 대하여 표현되는 축의 경사각(참조 프레임의 y축과 골반 사이의 각도)과 골반의 높이, 손목 및 발목의 위치벡터

와 속도

들은 사전에 계산된다. 여기서 '

'는 미분을 나타내고 '

'는 그 양이 참조 프레임 안에서 표현된 것을 나타낸다. 손목 및 발목들의 속도들은 실제 프레임에 대하여 연속적인 자세들의 거리에 대한 미분으로 계산된 후 참조 프레임으로 변환된다. 골반의 높이와 경사각은 관절의 결합각과 함께 지역 선형 자세 공간(local linear pose space)을 모델링 하는데 사용된다. 손목들과 발목들의 위치 및 속도들은 입력 신호에 가까운 자세를 찾는데 사용된다.

3. 발목 궤적 생성

손목의 점을 이용하여 전신 자세를 구성하는 경우, 손목의 점에는 많은 전신 동작이 대응되므로, 하나의 프레임 기반으로 전신 동작을 구성하게 되면 시간적 일관성과 자연스러운 동작을 생성하는 것이 어려우나, 일정 길이의 시간에 걸쳐 손목 궤적을 조사하면, 손목 궤적에 매칭되는 타당한 전신 동작을 발견될 수 있다. 예를 들어, 손목의 위치가 공간의 특정 영역 내에서 연속적으로 움직인다면 제자리 상체 운동으로 인식될 수 있다. 손목위치가 장거리에 걸쳐 수평 이동하는 것은 보행 중인 것으로 해석될 수 있다.

따라서 충분히 긴 시간 동한 손목 궤적을 조사하는 것에 의해 타당한 발목 궤적을 구성할 수 있다. 이와 같이 얻어진 손목과 발목 궤적이 전신 동작을 재구성하는데 적용된다.

도 5는 발목 궤적 생성을 나타내는 도면이다. 어느 특정 순간에, 주어진 손목 위치와 유사한 손목 위치를 가지는 자세의 서브집합들을 모션 데이터베이스로부터 찾아낸다. 이 후, 서브 집합의 자세들로부터 왼쪽과 오른쪽 발의 위치에 대응하는 발목 위치들의 후보 집합을 추출한다. 이때 발목 위치들의 후보들은 서로 인접되어 위치되는 클라우드(cloud)를 형성한다. 이러한 발목 위치들의 클라우드들은 매 시간마다 발견되며, 위치 클라우드의 형상의 일시적인 변화가 얻어진다. 실현 가능한 발목 위치가 클라우드들의 이동으로부터 발견되고, 특정 시간 간격에서의 위치클라우드들로부터 시간 t에서의 최적의 발목 위치가 결정된다.

이 후 최적의 발목 궤적은 유향 비순환 그래프 내에서의 경로 찾기 문제(path finding problem)를 적용하여 찾는다. 구체적으로, 유향 비순환 그래프의 노드는 한 쌍의 후보 발목 위치를 나타낸다. t= 1,..., L로 표시되는 시간 간격을 고려하면, 각 시간 프레임에서 K 쌍의 후보 발목 위치를 찾을 수 있으며, 전체 LK 노드들이 얻어진다. 시간 t-1에서의 노드는 시간 t의 노드와만 연결되므로, 그래프는 하나의 유향 비순환 그래프(DAG: directed acyclic graph)로 구성된다. DAG 내에서 최단 경로를 찾는 것에 의해 최적의 발목 궤적이 매우 효율적으로 찾아진다.

3.1 전처리(Preprocessing)

캡처 장치에 의해 측정된 손목 위치 데이터의 노이즈를 평탄화 필터(smooth fileter)를 적용하여 제거하여 측정된 데이터 내에서의 지터링을 감소시킨다.

본 발명의 실시예에서 시간 t에서 손목들의 위치

는 [수학식 1]의 간단한 지수 평활법(expinential smoothing)을 이용하여 계산하였다.

[수학식 1]

여기서

는 시간 t에서 캡처 장치에 의해 측정된 손목의 위치, s는 평탄화 가중치(smoothing weight)를 나타낸다. 본 발명의 실시예에서 s=0.5를 적용하였다.

3.2 발목 위치 클라우드(ankle point clouds)

도 5는 입력 손목궤적을 이용하여 발목궤적을 생성하는 것을 나타내는 도면이고, 도 6은 입력 손목 궤적에 따른 모션 데이터베이스의 손목위치와 손목 위치에 대응하는 자세집합으로부터 발목위치 클라우드를 생성하는 것을 나타내는 도면.

각 시간 간격에서의 발목 위치 클라우드들은 손목 위치 쌍들을 사용해서 모션 데이터베이스로부터 찾아지고 유향 비순환 그래프 내에서 최인접하는 K₁ 최인접 자세들 p_k(k= 1,....,K₁)에 의해 생성된다. 본 발명의 실시예에서는, 시간 t에서의 손목 위치벡터와 속도

가 주어지면, K₁ 최인접 자세들을 찾기 위해 [수학식 2]의 매트릭(metric)을 적용하였다.

[수학식 2]

여기서

과

는 입력 손목 점들에 대하여 정렬된 모션 데이터베이스에서 자세 p_n(n=1, ...,N)의 손목의 위치와 속도를 나타내며, N은 데이터베이스 내의 전체 자세들의 수를 나타낸다(도 6(a)). 상기

는 0~1 사이의 값을 가지는 것으로서, 동작자의 정지 시 손목 운동에 대하여는 위치항에 가중치를 부여하고, 동작자의 수평 이동 시에는 속도항에 높은 가중치를 부여하기 위한 동작 선택을 위한 가중치 항이다. 그리고 정렬은

에 의해 정의되는 참조 프레임과 일치시키기 위해 p_n의 참조 프레임을 변환하는 것에 의해 수행된다.

는 인접된 점들 사이의 수치미분(numerical differentiaion)에 의해 계산된다. 주어진 제어 입력에 대하여 모든 예시 자세들을 정렬하기보다는, 참조 프레임에 대한 입력 손목 점과 속도의 지역 좌표계를 계산해서

과

을 비교함으로써, 더 빠르게 [수학식 2]의 결과를 얻었다.

[수학식 2]의 첫 번째 항은 입력 제어 신호의 위치가 데이터베이스 내의 예시 자세의 정렬 위치와 어떻게 매치 되는지를 나타내고, 두 번째 항은 속도의 유사성을 비교하는 항이다. 두 번째 항은 유사한 손목 위치를 가지나 서로 다른 속도를 가지는 자세 사이의 차별성을 나타내는 항으로, 예시 발목 점을 찾았을 때 서로 다른 행동을 구별하는데 이용된다. 예를 들어, 움직이지 않는 서있는 자세를 고려하면, 입력 손목의 속도가 낮기 때문에, 걷거나 달리는 운동을 캡처하여 얻어지는 높은 속도를 가지는 발목 점은 그들의 손목 점의 속도가 높아야 하므로 선택되지 않을 가능성이 높아진다.

[수학식 2]에 의해 입력 손목 점에 최 인접하는 K₁ 개의 자세가 수집된 후에는, 시간 t = 1,..., L에서의 발목 위치 클라우드

가 구성된다(도 6(b)). 본 실시예에서

와 K₁은 각각 0.8과 1000으로 설정하였다.

3.3. 최적의 발목 궤적

도 7은 최적 발목 궤적 생성의 처리과정을 나타내는 도면이다.

시간 t= 1,...L 에서의 발목 위치 클라우드를 사용해서, 클라우드 내의 예시 점들로부터 최적의 발목 궤적을 찾아낸다. 이를 위해 각 노드들이 발목 위치 클라우드

를 나타내는 유향 비순환 그래프(DAG)를 구성한다. 에지(Edge)들은 시간 t-1에서 모든 노드들이 시간 t의 모든 노드들과 연결되도록 구성된다. 즉,

이고, 여기서 E는 그래프의 에지 집합을 나타낸다(도 7(a)).

그래프 내의 최단 경로를 찾는 것에 의해 최적의 발목 궤적을 결정하기 위해서, 그래프 안의 각 에지를 위한 적절한 비용(cost)를 한정하여야 한다. 이를 위해, 사전 정보(motion prior)와 슬라이딩(sliding)의 두 개의 항목을 고려한다. 발목 점(ankle point) 클라우드를 형성하는 것에 의해, 입력 손목 점들을 사용할 수 있는 발목 위치들을 수집한다. 다음 단계로 유향 비순환 그래프 내에서 발목의 궤적으로서의 가능한 경로가 어떻게 되는 지를 사전 정보를 고려하여 결정한다. 본 발명의 실시예에서는 하나의 에지(edge)

의 비용(cost)

는 [수학식 3]으로 표시된다.

[수학식 3]

여기서,

는 시간 간격의 지속을 나타내고,

는

이 다음 시간 간격에서 가능한 위치를 나타낸다. 따라서

는

와 시간 t에서의

의 가능한 위치 사이의 차이를 나타낸다.

가 작을수록

가

로 될 가능성이 높아 진다.

다음으로 발목 위치가 물리적으로 타당한지를 검토한다. 슬라이딩항(sliding term)은 비용식인 [수학식 4] 및 [수학식 5]에 의해 발의 미끄러짐 이동을 제한한다.

[수학식 4]

[수학식 5]

,

[수학식 5]에서

은 슬라이딩

가 참인 경우이고, 이외는 0이다. 또한,

는

내의 왼쪽 발목 부분을 나타낸다. 비용(cost)은 발목 점들 사이의 거리가 증가함에 따라 기하급수적으로 증가한다.

과

사이가 2cm를 초과하고,

과

의 높이 차가 0.14cm보다 작으면 슬라이딩

를 참으로 결정한다.

는

와 유사하게 정의된다. 공기 중에서 발이 미끄러지는 것을 앞에서 제한하였기 때문에 발목과 지면 사이의 거리는 검토하지 않았다.

결국, 에지

의 비용

은 [수학식 6]과 같이, 두 항의 가중합으로 결정된다.

[수학식 6]

여기서,

는

와

사이의 가중치를 조절한다. 본 실시예에서

= 0.5로 설정하였다.

마지막으로, 유향 비순환 그래프 내에서 최단 경로를 찾는 것에 의해, [수학식 7]로 표시되는 목적함수(objective function)을 최소화시키는 최적의 발목 궤적

을 결정한다.

[수학식 7]

알고리즘 1은 유향 비순환 그래프 내에서 최적 발목 궤적을 찾기 위한 의사코드를 나타낸다. 도 7(b)는 유향 비순환 그래프 내의 모든 경로들이 평가된 후의 결과를 나타내는 도면이다. 최소 비용의 경로가 선택되고 최적 노드들이 경로의 역추적에 의해 수집되는 것을 나타낸다.

[알고리즘 1] 발목 궤도 생성

획득된 궤적은 가우시안 필터에 의해 평탄화되고, 다음단계의 전신 동작 재구성을 위한 제어신호로 사용된다.

3.3.1. 서브 간격 안에서의 최적화(Optimization in sub-intervals)

동작자의 동작을 실시간으로 캡처할 수 있도록 하는 경우, 손목의 위치(position)가 실시간으로 시스템에 입력됨에 따라, 온라인으로 유향 비순환 그래프에 K₁ 개의 노드들을 추가할 수 있고 유향 비순환 그래프 내의 경로들에 대한 비용을 업데이트할 수 있다(알고리즘 1의 1에서 12라인). 그러나 최적의 경로는 모든 경로의 비용이 경로 역추적에 의해 획득된 후에 선택될 수 있기 때문에, 최적의 발목 궤적을 얻기 전에 캡처 대상 동작이 종료될 때까지 기다려야 한다.

이러한 문제점은 그래프를 일정 간격의 집합으로 분할한 후, 각각의 간격 내에서 최적의 발목 궤적을 찾는 것으로 해결된다. 즉, 손목 점들의 특정 시간 간격 L들이 얻어지면, 해당 간격에 대한 최적화를 수행하고, 이후의 최적 발목 경로를 구성하기 위하여 시간간격 L 동안의 손목 궤적의 입력을 대기한다. 도 13은 10개, 50개, 100개의 시간간격 프레임과 전체 시간간격 프레임을 이용한 발목 궤적 생성 결과를 비교한 도면으로서, 도 13과 같이 각각의 간격 기반 재구성은 서브 최적 결과를 생성하지만, 시간간격 L이 충분히 긴 경우에는 그래프 전체인 전역 경로로부터 획득된 최적 발목 경로의 결과와 크게 다르지 않게 된다. 이는 특정 시간 간격에서 주어진 손목 위치에 대한 최적의 발 동작이 충분히 긴 시간 간격 안에서 구별될 수 있기 때문이다.

연속적인 시간 간격 사이에서의 최적 경로의 연속성을 보장하기 위해, 최적 노드를 제외하고 시간 간격 +1의 초기 경계에서 노드들로부터 멀어지는 에지들을 제거하는 것에 의해 이전 시간 간격 에서의 최종 최적 경로가 다음 시간 간격 +1 내에서의 최적 경로의 첫 번째 노드가 되도록 한다(도 7(c)).

4. 동작 생성(Motion generation)

먼저, 지역 선형 자세 공간(locally linear pose space)과 감소된 포즈 벡터(reduced pose vector)로 이루어지는 감소된 선형공간을 구성하고, 다음으로, 주어진 제어 입력에 따라 최적 자세를 구하는 것에 의해 각 시간 간격에서의 전체 자세를 재구성한다.

4.1. 자세의 지역적인 모델링(Local modeling of poses)

제어 입력에 의해 수집된 예시 자세들을 가지고 지역 선형 모델을 구성한다. 전체 처리과정은 Chai와 Hodgins[J. Chai, J.K. Hodgins, Performance animation from low-dimensional control signals, ACM Transactions on Graphics 24 (3) (2005) 686696.]의 지역 선형 인간 자세 공간(local linear human pose space)[J. Chai, J.K. Hodgins, Performance animation from low-dimensional control signals, ACM Transactions on Graphics 24 (3) (2005) 686696.]에 기반하지만, 본 발명에서는 선형 모델 안에 골반을 포함시켰다.

발목 궤적 생성 단계 내에서 발목궤적이 얻어지기 때문에, 모션 데이터베이스로부터 예시 자세들을 찾을 수 있도록 하는 네 개의 제어신호들을 갖게 된다. 전체 K₂ 예시 자세들은 [수학식 8]의 질의 매트릭(query metric)에 의해 데이터베이스로부터 수집된다.

[수학식 8]

여기서,

,

및

들은 도 6(a)와 동일한 방법에 의해 입력 손목 점들에 대하여 정렬된 자세들에 대응하는 양들이다. [수학식 8]은 [수학식 2]와 유사하고, 발목 입력들에 대한 추가적인 항을 가진다.

는 [수학식 2]의

와 동일한 값들의 집합이다.

자세를 p = (z,q)표시하면, 골반정보는

로 표시된다. 여기서, SE는 'special euclidean group'의 약자이며, 3은 3차원을 의미한다. 즉, SE(3)은 3차원의 회전과 병진 운동을 의미한다. z_P 는 골반의 위치이고, z_R는 골반의 방향이며,

는 D 자유도의 결합각이다(본 실시예에서 D=54로 설정되었다). 자세 공간을 구성하기 위해, 자세에 대한 특성(feature) 벡터 집합을

로 표시한다. 여기서,

와 h는 각각 축 경사각(y축과 골반의 상방향 벡터사이의 각)과 골반의 높이다. 그리고

은 실수이고, 2+D는 자유도로서, 2+D개의 실수 자유도를 가지는 것을 나타낸다. 골반의 6자유도 사이에서, 높이와 경사각만을 선택한 것은, 다른 자유도들이 모션 데이터베이스 내의 자세 데이터의 특정 위치와 방향에 대하여 불변이기 때문이다.

감소된 선형 공간을 찾기 위해서, 주성분분석(principle component analysis)이 K₂개의 예시 자세들

에 대해 사용되었고, 하나의 자세는 저차원 감소 벡터

를 사용하여 [수학식 9]와 같이 표현된다.

[수학식 9]

여기서

는 K₂ 자세들의 평균 벡터이고,

는

개의 주성분으로 구성되며,

는 자세들의 감소 공간 벡터(reduced space vector)이다. [수학식 9]의 각 항들은 매트릭스로 표현되면, 'U'는 '주성분(principle component)'들로 이루어진 매트릭스가 된다. 본 실시예의 경우 K₂ = 200,

는 6으로 설정되었다.

4.2. 동작 합성(Motion synthesis)

선형 자세 공간을 구성한 후, 감소 벡터

와 골반의 자세

를 위한 최적 값을 찾아서 각 프레임

에서 전신 자세

를 결정한다. 감소 벡터

와 골반의 자세

를 위한 최적 값은 동작의 자연스러움과 제어 입력을 만족하도록 하는 것과 관련된 비용 항을 최소화시키는 최적화 문제로부터 얻어진다. 하기에서 각 비용항을 상세히 설명한다.

- 제약 항(The constraint terms)

각 항들에는 변수의 구조 및 종속성에 기인하는 제약이 적용된다. 먼저, z_R은 SO(3) 구조를 만족해야 한다. 단일 쿼터니온(quarternion)으로 표현되는 경우, zR은

을 만족해야 한다. 또한, 감소 자세 벡터(reduced pose vector) w에 의해 정의되는 골반의 경사 각

와 높이 h는 z과 부합되도록

과

이어야 한다. 여기서

와

는 z으로부터 계산된 값이다.

각 항들에 대한 제약조건을 결합하면, [수학식 10]의 제약조건식으로 된다.

[수학식 10]

본 실시예에서

로 설정하였다.

- 사전항(The prior term)[J. Chai, J.K. Hodgins, Performance animation from low-dimensional control signals, ACM Transactions on Graphics 24 (3) (2005) 686696.]

다음으로, [수학식 11]로 정의되는 사전항 식을 적용하여, 자세들이 K₂ 예시 자세들에 의한 정규분포를 갖도록 한다.

[수학식 11]

여기서,

는 K₂ 예시 자세들의 공분산 매트릭스(covariance matrix)이다([J. Chai, J.K. Hodgins, Performance animation from low-dimensional control signals, ACM Transactions on Graphics 24 (3) (2005) 686696.] 참조)

제어항(The control term)

[수학식 12]

여기서,

와

는 각각 주어진 감소벡터 w와 골반 자세 z에서의 x와 y를 나타내며, 순방향 운동학 연산(forward kinematics operation)에 의해 계산된다.

- 평탄화 항(The smoothness term)

평탄화 항은 결과 동작의 부드러움을 향상시킨다. 운동이 등속도로 이루어지는 이상적인 경우, 결합과 골반에 대하여

가 되며, 평탄화 항은 [수학식 13]으로 표시된다.

[수학식 13]

다음으로 목적함수(objective function)은 상술한 모든 항들의 가중 합으로 되어 [수학식 14]와 같이 표시된다.

[수학식 14]

[수학식 14]는 Levenberg-Marquardt 알고리즘[M.I.A. Lourakis, Levmar: Levenberg.Marquardt nonlinear least squares algorithms in C/C++,

, 2004.]에 의해 풀린다. w^t와 z^t를 최적화하기 위해 t가 2보다 큰 범위에서 t-1에서 최적 값을 t에서의 초기 값으로 사용한다. t=1에서의 초기값은 초기 추정 자세에 의해 결정된다. 초기 추정 자세는 데이터베이스로부터 x^t에 가장 가까운 자세로 선택된다. 본 실시예에서는

= 1.0,

= 0.8, 그리고

= 0.2로 설정하였다.

5.3. 후처리(Post-processing)

추정된 발목 궤적이 충분히 부드럽지 않을 경우에는 최종 합성 모션이 조금씩 요동(jitter)치게 된다. 또한 급회전 등의 경우와 같은 급작한 동작을 수행하는 경우에는, 캡처되어 생성된 동작이 풋-스케이팅(foot-skating) 동작을 포함할 수 있다.

이에 따라 전신 동작이 생성된 후에는 지터링(jittering)와 풋-스케이팅 아티펙트(foot-skating artifact)를 제거하기 위한 후처리를 수행한다. 후처리로는 첫째, [L. Kovar, M. Gleicher, J. Schreiner, Footskate cleanup for motion capture editing, in: Proceedings of the 2002 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (SCA ’02), 2002,pp. 97.104.39]에서 제시된 방법에 의해 풋-스케이팅 아티펙트를 감소시킨다. 다음으로 지면에 부착되길 원하는 발의 지점을 구별한 후에, 역운동학(inverse kinematics)에 의해 발이 원하는 지점에 위치하도록 제약을 수행한다. 이 후, 결합 공간(관절 공간: joint space) 내에서 가우시안 필터를 적용하여 평탄화를 수행하는 것에 의해 동작의 부드러움을 증가시킨다.

5. 실시예

모션 데이터베이스를 전신동작 49,709 프레임(초당 30프레임으로 28분간 재생), 선자세서의 상체 운동 동작 15.317프레임, 팔이 자연스럽게 흔들리는 일반적인 보행동작 9350프레임, 다른 상체 운동을 포함하는 보행 동작 15.028 프레임, 달리기 2,655 프레임, 점프 2,011프레임, 옆으로 걷기 동작 2,635 프레임, 상체 굽히기 동작 857 프레임 및 뒷걸음 동작 2036 프레임을 저장하도록 구성하였다.

손목 점의 테스트 입력 궤적은 모션 데이터베이스와 별개로 캡처된 동작으로부터 얻었다. 테스트 동작의 집합들의 손목 점에 가상의 마커를 부착한 후 순방향 운동학(forward kinematics)을 적용하여 손목의 궤적을 얻었다. 이 후, 실험에서 노이즈 효과를 포함하도록 하기 위하여 손목 궤적에 표준 편차 0.5cm의 가우시안 노이즈를 추가하였다. 도 8은 본 발명의 실시예에 적용된 인간 모델을 나타내는 도면으로서, 본 발명의 실시예에서 모두 볼 조인트에 의해 연결되는 17개의 관절을 가지는 인간 모델을 사용하였다(도 8).

5.1. 발목 궤적 생성(Ankle trajectory generation)

도 9는 정상보행(a), 옆으로 보행(b), 굽힘(c), 점프(d)에 포함되는 다양한 손목 궤적들에 본 발명을 적용하여 획득한 발목 궤적들을 나타내는 도면이다.

도 10은 보행 동작 중 3개의 서로 다른 시간 프레임에서의 발목 위치 클라우드들의 형태와 각 발목 점의 속도를 나타내는 도면이다.

도 10에서 알 수 있는 바와 같이, 발목 위치 클라우드의 형태는 각각의 행동과 동일한 행동 안에서 손목의 위상에 따라 매우 다양하게 변한다.

도 10에서 최적의 발목 경로의 속도 벡터(빨간 선분)

는 자신과 다음 최적 노드가 형성하는 선분

과 동일선상에 놓이지 않을 수도 있음을 알 수 있다. 이는 다음 최적 노드

가 데이터베이스 내의 현재 노드와 연속적이지 않은 자세에 속한다는 것을 의미한다.

[수학식 2] 내의 속도매트릭은 높은 상관관계를 가지는 발목 점들의 후보를 찾는다. 도 11은 속도매트릭이 사용된 것과 사용되지 않은 경우를 비교한 결과를 나타내는 도면이다. 도 11에서 보여지는 것과 같이 속도매트릭이 적용된 경우 발목 점들이 서로 밀집배칙되며 결과 발목 궤적들이 부드러워지는 것을 알 수 있다.

도 12는 유향 비순환 그래프 안에서 최적의 발목 궤적을 찾는 과정에서 에지에 대한 서로 다른 비용 함수들을 평가한 결과를 나타내는 도면이다.

노드 사이의 거리

가 비용 함수

에 적용되면, 실제의 인간 보행 궤적이라기 보다는 유클리드 거리의 관점에서의 최단거리가 얻어진다(도 12(b) 참조). 만일 슬라이딩 항 없이 동작 사전 항(motion prior term)만이 사용된다면(도 12(c) 참조), 급회전 등의 경우, 도 12(d)의 발목 궤적과 같이 풋 스케이팅 아티펙트가 방지되지 않는다.

시간 간격을 고려할 때, 시간 간격이 너무 좁으면(도 13 참조), 발목과 손목 사이의 상관관계가 짧은 시간 동안 명확하지 않게 되므로 얻어진 궤적의 품질이 낮아진다. 그러나 시간 간격이 50 프레임 이상인 경우에는 서로 다른 윈도우 사이즈에 대한 결과들이 매우 유사하게 나타난다.

5.2. 골반 추정(pelvis estimation)

도 14는 본 발명에 의해 골반의 위치와 방향이 얼마나 정확하게 추정되는지를 평가하기 위하여, 정상 보행 동작에 대한 실제 값과 본 발명에 의해 추정된 값을 비교한 결과를 나타내는 도면이다.

추정된 골반 동작은 방향에서 작은 지터링을 가지는 정도를 제외하고는 실제 검증 자료와 유사한 패턴을 가지는 것으로 확인됐다.

5.3. 전신 동작 재구성(Whole body motion reconstruction)

도 15는 다양한 입력 손목 궤적에 대하여 재구성된 동작들의 스냅샷을 나타내는 도면이다. 1열은 보행, 2열은 점프, 3열은 달리기, 4열은 옆으로 보행, 5열은 손흔들림 포함 보행, 6열은 상체 굽힘, 7열은 뒷걸음 다음 앞걸음의 보행 동작들에 대하여 본 발명을 적용하여 재구성한 것을 나타내는 것으로, 모든 동작이 성공적으로 재구성되었다.

제안된 알고리즘 1은 [수학식 2]의 속도 매트릭에 의해 유사한 팔 동작 패턴의 서로 다른 하체 동작을 구별한다.

도 16은 유사한 팔 동작 패턴의 서로 다른 하체 동작을 구별의 예를 나타내는 도면이다. 도 16에서 1열은 서있는 자세에서의 인사동작, 2열은 보행동작에서 인사동작, 3열은 서있는 자세에서 수직방향 손 움직임 동작, 4열은 보행 자세에서 수직방향 손 움직임 동작을 나타내는 도면이다.

도 17은, 도 15 및 도 16의 테스트 동작의 결합각 각각에 대한 제곱평균(RMS) 에러의 평균 항을 이용하여 재구성의 정확성을 나타낸 도면이다.

정적인 동작(도 15의 4열, 도 16의 1열 및 3열)은 낮은 재구성 에러(reconstruction error)를 가지는 경향을 보였고, 점프 동작(도 15의 2열)은 가장 큰 에러를 가지는 것으로 나타났다. 그래프는 본 발명에 의해 발목의 궤적이 추정될 때, 평균 32% 정도 재구성 에러가 감소되는 것을 보인다.

도 18은 재구성에러에 대한 노이즈레벨의 효과를 나타내는 도면이다.

각 결합각에 대한 제곱평균 에러의 평균 값은 가우시안 노이즈의 표준 편차에 따라 선형적으로 증가하거나 감소하는 경향을 보였다.

Chai와 Hodgins의 지역 선형 인간 자세 공간(local linear human pose space) 방법은 손목과 발목 점 모두를 입력 신호로 주어지는 경우에만 적용되는 것으로, 발목 궤적이 사용되지 않는 경우에는 풋-스케이팅 이나 갑작스러운 동작 변화와 같은 부자연 스러운 하체 동작을 생성하는 문제점을 가지는 점에서 본 발명과 차이를 가진다.

또한, 본 발명은 Tautges 등이 고안한 가속도 센서 데이터를 이용한 자세 후보 도출 방식과 달리, 가속도센서 데이터 대신에 손목 위치를 입력 신호로 사용하였다.

그러고 Tautges 등의 방법은 지역 선형 모델 내에서의 시간적 일관성을 개선시켰지만, 입력 손목 동작이 단일 행동을 찾을 수 있도록 충분하게 식별되는 경우에만 전신 동작을 성공적으로 재구성한다. 그러나 하나의 입력 손목 신호에 대하여 두 개 이상의 행동들이 찾아지는 경우에는, 캡처 대상 동작이 아닌 다른 행동으로 재생시킬 수 있는 문제점을 가진다. 본 발명은 발목 궤적 생성 절차가 캡처 대상 동작을 다른 동작으로 생성되는 것을 방지하는 점에서 Tautges 등의 방법과 차이를 가진다.

본 발명의 실시예에서 최적 발목 궤적을 생성하기 위한 계산 시간이, kd-트리(kd-tree)와 같은 K₁ 예(example)들을 찾기 위한 고속 알고리즘을 사용하지 않고도, 프레임당 대략 100mm초의 짧은 시간이 소요된다. 그리고 손목과 발목 궤적을 이용하여 전신 동작을 재구성하는데 소요되는 계산 시간은 대략 350mm초의 짧은 시간으로 대화형 프로그램에 적용 가능한 수준이다.

100: 전신 동작 생성 장치 110: 모션 데이터베이스
120: 입력부 130: 전처리부
140: 발목궤적생성부 200: 전신동작 생성부
210: 지역모델링부 220: 동작합성부
300: 후처리부 310: 출력부
HT: 손목궤적 LHT: 왼 손목 궤적
RHT: 오른 손목궤적 AT: 발목 궤적
RAT: 오른 발목 궤적 LAT: 왼 발목 궤적
HC: 손목 위치 클라우드 LHT: 왼 손목 위치 클라우드
RHT: 오른 손목 위치 클라우드 AC: 발목 위치 클라우드
LAC: 왼 발목 위치 클라우드 RAC: 오른 발목 위치 클라우드

Claims

손목 궤적에 대응하는 자세(자세프레임)를 저장하는 모션 데이터베이스;와,
입력된 손목 궤적을 이용하여 상기 모션 데이터베이스로부터 상기 손목 궤적에 대응하는 자세 프레임들을 추출하여 발목궤적을 생성하는 발목궤적생성부;와,
상기 발목궤적생성부에서 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하여 지역 선형 자세 공간을 형성하고, 제약 조건들에서 비용 최소화를 적용한 후 합성하여 전신동작을 생성하는 전신동작 생성부;를 포함하여 구성되는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
청구항 1에 있어서, 상기 모션 데이터베이스는,
상기 자세 프레임들에 대한 참조프레임을 생성하여 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 추출하여 저장하는 모션 데이터베이스 전처리 과정이 수행된 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
청구항 1에 있어서, 상기 발목궤적생성부는
상기 손목 궤적에 대응하는 자세 프레임들에 포함된 발목위치들로 구성되는 발목 위치 클라우드를 생성하고,
생성된 발목 위치 클라우드를 이용하여 유향 비순환 그래프(directed acyclic graph)를 생성한 후, 상기 유향 비순환 그래프 내의 상기 발목 위치 클라우드들 사이에 최단 경로를 가지는 발목 위치 노드들을 추출하는 것에 의해 발목 궤적을 생성하도록 구성되는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
청구항 1에 있어서, 상기 전신동작 생성부는
손목 궤적과 발목 궤적에 대응하는 최인접 자세들을 모션 데이터베이스로부터 추출한 후 지역 선형 자세 공간을 생성하고, 주성분분석을 적용하여 선형 자세 공간에서 주성분을 뽑아내는 지역모델링부;와,
상기 지역모델링부에서 도출된 성분 벡터들로 이루어진 제약조건에서 비용최소화를 적용하여 전신 자세 대상 프레임들을 합성하는 동작합성부(220)를 포함하여 구성되는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
청구항 1에 있어서,
동작생성을 위해 각각의 손목에 부착되는 마커에서 캡처된 두 손목점에 대한 캡처 데이터에 평탄화필터를 적용하여 노이즈를 제거하는 손목궤적전처리를 수행하는 전처리부;를 더 포함하여 구성되는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
청구항 1에 있어서,
상기 전신동작 생성부에서 생성된 전신동작 데이터에 가우시안 노이즈를 적용하여 평탄화하는 후처리를 수행하는 후처리부;를 더 포함하여 구성되는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성장치.
전신 동작의 자세들을 데이터로 저장하는 모션 데이터베이스에 저장된 자세에 대한 참조프레임을 생성하고, 참조프레임에 포함된 자세로부터 골반의 높이, 수직 방향에 대한 경사각을 추출하는 모션 데이터베이스 전처리 과정;과,
동작자의 두 손의 특정 위치에 하나씩 부착된 두 개의 마커를 이용하여 왼손과 오른손의 손목 궤적을 캡처하는 손목궤적캡처과정;과,
손목 궤적 입력을 이용하여 손목 궤적에 대응하는 자세들을 추출한 후, 상기 모션 데이터베이스로부터 상기 손목 궤적에 대응하는 자세 프레임들을 추출하여 발목궤적을 생성하는 발목궤적생성과정;과,
상기 발목궤적생성과정에 의해 생성된 손목 궤적과 발목 궤적에 대응하는 최인접자세집합을 추출하고, 비용최소화를 적용한 후 합성하여 전신동작을 생성하는 동작생성과정;을 포함하여 이루어지는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 7에 있어서,
전처리부가 상기 손목궤적캡처과정에 의해 입력된 손목 궤적 데이터에 평탄화필터를 적용하여 노이즈를 제거하는 손목 궤적전처리과정;을 더 포함하여 이루어지는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 7에 있어서, 상기 발목궤적생성과정은,
입력된 손목 궤적 데이터의 손목 위치들을 가지는 자세들을 추출하여 자세서브집합을 생성하는 자세서브집합추출과정;을 더 포함하여 이루어지는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 9에 있어서, 상기 발목궤적생성과정은,
상기 자세서브집합에서 발목위치들의 집합인 발목위치 클라우드들을 생성하는 발목위치클라우드생성단계;와,
추출된 발목위치 클라우드들을 포함하는 유향 비순환 그래프(DAG: directed acyclic graph)를 생성한 후, 비용 최소화를 적용하는 것에 의해 최단 경로를 가지는 발목위치들로 이루어지는 최적발목궤적을 추출하는 최적발목궤적생성단계;를 포함하여 이루어지는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 7에 있어서, 상기 동작생성과정은,
입력된 손목궤적, 발목궤적을 가지는 자세프레임들을 추출한 후, 지역 선형 자세 공간(local linear pose space)을 생성하는 자세의 지역적인 선형 모델링을 수행하는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 11에 있어서, 상기 동작생성과정은,
상기 지역 선형 자세 공간의 각각의 자세들 사이에 상기 지역 선형 자세 공간은 추출된 자세서브집합들에 대하여 주성분분석(principle componert analysis)을 적용하여 선형 자세 공간에서 주성분을 추출하는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 12에 있어서, 상기 동작생성과정은,
상기 추출된 주성분 벡터들로 이루어진 다양한 제약조건에서 비용 최소화를 적용하여 전신 자세프레임들을 도출하여 합성하는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.
청구항 7에 있어서,
합성된 전신 동작의 데이터에 가우스 노이즈를 적용하여 평탄화를 수행하는 평탄화과정을 더 포함하여 이루어지는 것을 특징으로 하는 손목 궤적을 이용한 전신 동작 생성방법.