KR101898512B1 - 생체역학적 관찰 기반의 연령별 보행 모션 변환 제공 방법 및 그 장치 - Google Patents

Abstract

본 발명의 실시 예에 따른 모션 변환 장치는, 기본 모션 데이터가 입력되는 기본 데이터 입력부; 입력된 기본 모션 데이터의 전처리를 통해 파라미터를 획득하는 전처리부; 상기 전처리된 파라미터와 연령 입력 정보에 기초하여, 생체역학적 관찰 기반의 보행 동작 변환 처리를 수행하는 모션 변환부; 및 상기 변환 처리된 모션을 출력하는 출력부를 포함한다.

Description

생체역학적 관찰 기반의 연령별 보행 모션 변환 제공 방법 및 그 장치{A METHOD FOR PROVIDING AGE-RELATED GAIT MOTION TRASNFORMATION BASED ON BIOMECHANICAL OBSERVATIONS AND AN APPRATUS USING IT}

본 발명은 모션 변환 제공 장치 및 그 방법에 관한 것이다. 보다 구체적으로, 본 발명은 생체역학적 관찰 기반의 연령별 보행 모션 변환 처리를 제공하는 그 방법 및 장치에 관한 것이다.

인간의 보행 동작을 자동으로 생성하는 연구는 그동안 활발히 수행되어 왔다. 특히, 최근 데이터 처리 기술의 발달로, 인체의 움직임을 데이터화하여 합성하는 데이터 기반 모션 재생방식이 대두되고 있다. 현재 이러한 방식은 행동 타입에 따른 인체 각 부위의 속도 및 회전각을 정확히 측정하고, 재생가능하게 변환할 것을 전제로 향후 온라인 방식으로 실시간으로 합성된 인체 모션을 제공하는 인터페이스로 구현하는 것을 목표로 하고 있다.

특히, 이와 같은 인터페이스는 현재 컴퓨터 애니메이션이나 영화, 게임에 등장하는 가상 캐릭터들에 적용될 수 있나, 연령에 따른 변화를 적용하여야 하는 문제점이 대두되고 있다. 예를 들어, 한 캐릭터가 스토리에 따라 점점 늙어가는 것을 볼 수 있다. 때때로 젊어지기도 한다. 이럴 경우, 바뀐 연령에 맞게 외형이나 동작도 적절하게 바뀌어야 할 필요성이 있다.

이를 해결하기 위해, 현재 연령에 따라서 캐릭터를 시뮬레이션하는 연구가 활발하게 진행되어 왔으나, 대부분은 얼굴 노화 시뮬레이션에 초점을 맞추고 있고, 동작에 대해서는 많은 논의가 진행되지는 않은 상태이다.

이러한 이유로 현재까지의 기술은 키프레이밍이나 모션 캡쳐 등의 기본적 방법들을 이용하고 있으며, 이는 사람이 직접 작업함에 따라 시간이 많이 걸린다는 단점과, 한 사람의 연령 든 동작을 바로 캡쳐할 수 없는 점, 타겟 연령에 맞게 계속 반복적으로 캡쳐해야한다는 점의 문제점들을 내포하고 있는 실정이다.

따라서, 캐릭터의 움직임에 운동학적 특성을 적용하면서 다른 연령을 반영할 수 있는 자동적 변환이 절실히 필요한 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 기본 동작 데이터 입력만으로도, 자연스러운 연령별 보행 동작에 대응하는 모션 변환 데이터를 생성할 수 있으며, 이에 따라 인체의 연령에 따른 보행 동작의 보다 풍부하고 자연스러운 퀄리티의 모션이 자동적으로 변환 처리 가능한 생체역학적 관찰 기반의 연령별 보행 모션 변환 제공 방법 및 그 장치를 제공하는데 그 목적이 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 보행 모션 변환 장치에 있어서, 입력된 기본 동작 데이터에 대응하는 전처리를 수행하는 전처리부; 연령 입력부; 상기 연령 입력부에 대한 연령 입력에 따라 생체역학적 관찰 기반의 보행 동작 변환 처리를 단계적으로 수행하는 모션 변환부; 및 상기 변환 처리된 모션을 출력하는 출력부를 포함한다.

또한, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 보행 모션 변환 방법에 있어서, 입력된 기본 동작 데이터에 대응하는 전처리를 수행하는 단계; 연령을 입력받는 단계; 상기 연령 입력부에 대한 연령 입력에 따라 생체역학적 관찰 기반의 보행 동작 변환 처리를 수행하는 단계; 및 상기 변환 처리된 모션을 출력하는 단계를 포함한다.

한편, 상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은 상기 방법을 실행시키기 위한 프로그램으로 기록되어 컴퓨터가 읽을 수 있는 기록 매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 기본 동작 데이터 입력만으로도, 자연스러운 연령별 보행 동작에 대응하는 모션 변환 데이터를 생성할 수 있으며, 이에 따라 인체의 연령에 따른 보행 동작의 보다 풍부하고 자연스러운 퀄리티의 모션이 자동적으로 변환 처리 가능한 생체역학적 관찰 기반의 연령별 보행 모션 변환 제공 방법 및 그 장치를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템과 모션 변환 장치를 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 연령에 따른 동작 모션을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 타이밍 조절을 설명하기 위한 그래프이다.
도 4는 본 발명의 실시 예에 따른 관절 각 최적화를 설명하기 위한 그래프이다.
도 5 내지 도 7은 본 발명의 실시 예에 따른 모션 변환의 테스트 결과를 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 통상의 기술자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 따른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이며, 도 2는 본 발명의 실시 예에 따른 연령에 따른 동작 모션을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 시스템은 모션 변환 장치(100)를 구성할 수 있으며, 기본 동작 데이터에 기반하여, 연령 입력에 따라 모션 변환된 동작 데이터를 출력할 수 있다. 이를 위해, 모션 변환 장치(100)는 기본 데이터 입력부(110), 전처리부(120), 연령 입력부(150), 모션 변환부(130) 및 출력부(140)를 포함한다.

기본적으로, 본 발명의 실시 예에 따른 모션 변환 장치(100)는 기본적인 동적 모션을 연령 정보 입력에 따라 생체역학 기반으로 변환하여, 연령에 맞는 자연스러운 모션으로 출력할 수 있다.

이를 위해, 기본 데이터 입력부(110)를 통해 원본 모션이 입력되면, 전처리부(120)는 주어진 캐릭터의 보행 동작을 각 보행(GAIT, 게잇) 사이클 단위로 분리할 수 있다.

그리고, 모션 변환부(130)는 연령 입력부(150)를 통해 입력된 연령 정보를 이용하여, 자세 변형부(131), 타이밍 조절부(132), 관절각 최적화부(133), 풋 스케이팅 교정부(134)의 각 모션 변형 모듈을 이용한 단계적 모션 변형을 처리하여 최종적으로 연령에 맞는 동작 데이터를 생성하고, 출력부(140)를 통해 디스플레이 장치 또는 외부 장치로 출력할 수 있다.

본 발명의 실시 예에서, 단계적 모션 변형은 총 4단계로 설명될 수 있다.

자세 변형부(131), 타이밍 조절부(132) 및 관절각 최적화부(133)에서는 1~3단계 처리를 수행하여, 연령 입력에 대응하는 동작 변형시 캐릭터의 관절을 회전할 각도 또는 속도 등을 산출할 수 있다.

보다 구체적으로, 자세 변형부(131)에서는 자세 변형(Postural Deformation) 처리를 수행하여, 동작 데이터의 척추 정보를 연령에 맞게 변형할 수 있다.

그리고, 타이밍 조절부(132)는 타이밍 조절(Timing Adjustment) 처리를 수행하여, 연령에 따라 속도와, 두 발이 모두 땅에 닿아있는 구간인 이중 지지 구간(Double support phase)의 시간 정보를 조절할 수 있다.

이후, 관절각 최적화부(133)는 관절 각 최적화(Joint angle optimization)를 수행하여, 관절의 각도를 최적화된 각도로 조절할 수 있다.

여기서, 관절각 최적화부(133)는 최적화 문제의 목적함수를 총 세 가지의 에너지 텀으로 구성된 함수로 정의하고, 이에 대응하는 최적화 값을 산출함으로써 최적화된 관절 각 정보를 산출할 수 있다. 예를 들어, 목적함수는 해당 관절의 각도를 연령에 맞게 조절하는 텀(Ea)과, 기존 모션에서 크게 벗어나지 않도록 하는 텀(Ep), 마지막으로 연속된 프레임에서의 변화가 부드럽게 이어지도록 하는 텀(Es)을 포함할 수 있으며 이는 보다 구체적으로 후술하도록 한다.

한편, 풋 스케이팅 교정부(134)는 보행 데이터를 구현시 발이 미끄러지는 듯한 현상이 나타날 수 있는 풋 스케이팅(Foot-skating) 문제를 역 운동학(Inverse Kinematics) 방식을 이용하여 교정 처리할 수 있다.

이에 따라, 출력부(140)를 통해 출력되는 보행 데이터에서는 입력 연령 정보에 맞추어 기본 모션 데이터 대비 적절히 굽어진 허리와, 줄어든 보폭, 변형된 각 관절의 각도 등이 반영된 보행 데이터가 출력될 수 있다.

이에 따라, 본 발명의 실시 예에 따른 모션 변환 장치(100), 다양한 동작 모션 데이터로의 실험결과 평균적으로 32.14 frames / sec 로 실시간 수행 능력을 나타냄으로써, 실시간 변환 처리가 가능하게 될 수 있다.

이하에서는 이를 구현하기 위한 모션 변환 장치(100)의 전반적인 동작을 보다 구체적으로 설명하도록 한다.

먼저, 기본 데이터 입력부(110)를 통해 원래의 기본 동작 데이터가 입력되면, 전처리부(120)는 기본 동작 데이터로부터 보행주기(GAIT CYCLE)를 추출하고, 이중 지지 구간의 지속 시간 및 각 관절의 피크 각도를 포함하여 각 보행주기에서 관찰 할 수 있는 기능에 대한 다양한 파라미터 정보를 획득할 수 있다.

여기서, 보행주기는 발 중 하나가 지면과 접촉하는 순간부터 같은 발이 다시 지면에 접촉 할 때까지의 주기로서 정의될 수 있다.

그리고, 연령 입력부(150)를 통해 연령 정보가 입력되고, 전처리부(120)를 통해 보행주기 정보 및 이에 대응하는 파라미터 정보가 획득되면, 모션 변환부(130)는 보행주기 정보 및 파라미터 정보에 따라, 각 모듈들을 순차적으로 처리하는 모션 변환 프로세스를 수행할 수 있다.

예를 들어, 도 2를 참조하면, 경추, 경흉추 및 흉추로 이어지는 인체의 관절은 연령이 증가함에 따라 그 각도가 증가할 수 있다. 이에 따라, 먼저 자세 변형부(131)는 입력된 연령에 따라 캐릭터의 척추 자세를 변형시키는 처리를 수행할 수 있다.

이후 설명될 데이터 처리에 앞서, 동작 데이터의 파라미터 정의는 아래 수학식 1과 같이 정의될 수 있다.

여기서,

는 3차원 벡터일 수 있으며, 유닛 쿼터니온

은 루트 관절의 변환 방향을 나타내며,

는 j번째 관절의 방향을 나타낼 수 있다. 여기서,

일 수 있으며, Nj는 관절의 개수를 나타낼 수 있다.

자세 변형부(131)는 상기 파라미터에 따라 모션 변환 프로세스의 첫 번째 처리를 수행하며, 입력 된 나이에 따라 캐릭터의 자세를 변형할 수 있다.

많은 생체 역학 연구가 중립 자세의 특성을 분석하고 척추 만곡을 이용한 노화에 따른 자세 변화를 알려주고 있다. 특히, 사람이 나이를 먹을수록 척추가 앞으로 휘는 경향이 있다. 노인들은 머리 자세를 앞쪽으로 취하게 되며, 젊은 사람의 것과 비교하여 하부 경추 굴곡 각도와 상부 경추 연장 각도가 증가될 수 있다.

이와 같은 생체역학적 관찰에 기초하여, 자세 변형부(131)는 경추, 경흉추 및 흉추로 구성되는 척추 관절을 회전시켜 자세 데이터를 변형시킬 수 있다.

이를 위해, 자세 변형부(131)는 하기 수학식 2에 개시된 바와 같은 처리를 수행할 수 있다.

여기서,

는 도 2에 도시된 바와 같이, 연령에 따라 회전시킬 j번째 척추 관절의 각도를 나타낼 수 있다. 그리고,

는 하기 표 1에 도시된 바와 같이, 연령에 대한 관절의 각도 변화 테이블에 따른 각도 변화 값을 나타낼 수 있다.

잘 알려진 Boyle의 논문 등을 참조하면, 광범위한 연령의 척추에 대한 정보를 얻기 위해 172 개의 방사선 사진이 분석된 바 있다. 이에 따라, 연령에 따라 선형적으로 변화하는 분석 데이터가 획득될 수 있으며, 자세 변형부(131)는 분석 데이터에 기초한 표 1과 같은 테이블을 생성하고, 이를 이용한 선형 변환 처리를 수행할 수 있다.

그리고, d_age는 입력된 연령 정보와 기본 모션 데이터의 연령 정보간 차이를 나타낼 수 있다.

q_t ^j와 q_t ^j'는 j번째 척추 관절의 시간 t에 대한 기본 방향과, 회전된 방향을 나타낼 수 있다. n_s는 척추 관절의 회전 축을 나타낼 수 있으며, 이는 시상면에 수직인 방향으로서, 페이퍼(paper)로부터 나오는 방향을 나타낼 수 있다.

한편, 타이밍 조절부(132)는 보행 속도 및 이중 지지 페이즈에 대한 연령에 따른 타이밍 조절을 처리할 수 있다.

인간의 보행 속도는 성별이나 장애에 상관없이 노화에 따라 선형 적으로 감소한다. 이 관찰에 기초하여, 노령의 인간에 대한 평균 보행 속도와, 참조 데이터의 보행 속도 간의 선형 보간 처리를 이용하여, 보행 속도의 연간 감소율이 계산될 수 있다. Prince의 연구에 따르면, 연간 감소율은 0.1 % ~ 0.7 % 범위의 합리적인 값으로 선택될 수 있으며, 타이밍 조절부(132)는 계산에 적절한 연간 감소율로서 0.3 %로 설정하는 것이 바람직할 수 있다.

타이밍 조절부(132)는 상기 설정된 연간 감소율을 이용하여, 기본 데이터의 루트 궤도를 변환함으로써 보행 속도를 조정할 수 있다.

보행 속도 조정을 위한 파라미터로서, y 축 상의 좌표와, 이에 대한 지면에 투영된 루트 관절의 루트 위치 좌표는 하기 수학식 3에 도시된 바와 같다.

여기서, zxPt^0'는 시간 t 및에서 루트 관절이 투영된 위치일 수 있으며, α~ N(0.003, 0.0013^2)는 보행 속도의 생체역학적 관찰에 의해 산출된 연간 감소율을 나타낼 수 있다.

한편, 도 3은 본 발명의 실시 예에 따른 타이밍 조절을 설명하기 위한 그래프로서, 도 3 (a)는 원래의 위상과 관절의 궤적을 나타내며, 도 3 (b)는 조정 된 위상과 관절의 궤적을 나타낸다.

타이밍 조절부(132)는 도 3에 도시된 바와 같은 이중 지지 페이즈에서의 타이밍 조절을 수행할 수 있다.

도 3에서는 노화에 따른 이중 지지 페이즈 및 단일 지지 페이즈간 위상이 조정되는 것을 도시하고 있으며, 빨간색 점선은 두 단계 사이의 경계를 나타낼 수 있다. 이에 따라, 각 단계별 페이즈는 변경되지만 전체주기의 기간은 동일하게 유지될 수 있다.

보다 구체적으로, 이와 같은 이중 지지 페이즈는 보행 사이클에서 양쪽 발이지면에 접촉하는 시간으로 정의될 수 있다. 노령에 이르면 인간은 안정성을 위해 늘어난 이중 지지 페이즈에 의존하는 경향이 있는 반면, 보행주기의 전체 지속 기간은 변하지 않는 특징을 갖는다.

따라서, 도 3을 참조하면, 개념적으로 관절 궤적 Ψ^j를 도시하고 있으며, 특정 관절 j의 각도, 속도 또는 위치와 같은 임의의 특성 파라미터일 수 있다. 궤적 Ψ^j 의 모양을 조정된 위상에 따라 적절히 수정하기 위해, 타이밍 조절부(132)는 각 페이즈에서 Ψ^j 에 시간 왜곡을 적용할 수 있다.

앞서 설명된 연령 차이 값 d_age와, 새로운 이중 지지 구간에 필요한 프레임 수를 n^d'라 하면, 이는 하기 수학식 4와 같이 산출될 수 있다.

여기서, n^d와 n^c는 각각 이중 지지 구간 및 보행 사이클과 연관된 프레임들의 개수를 나타낼 수 있으며, r^d는 그 프레임 비율을 나타낼 수 있다. ~r^d는 관련 논문(David A Winter, Aftab E Patla, James S Frank, and Sharon E Walt. Biomechanical walking pattern changeselb91 in the fit and healthy elderly. Physical therapy, 70(6):340-347, 1990.))에서 산출되는 연간 증가율 β~ N(0.1475, 0.002^2) 일 수 있으며, r^d와 ~r^d간 비율이 변수로서 적용될 수 있다.

도 4는 본 발명의 실시 예에 따른 관절 각 최적화를 설명하기 위한 그래프이다.

도 4에 도시된 바와 같이, 관절각 최적화부(133)는 각도 변화 및 매개 변수의 보간에 따라, 관절 각 최적화 처리를 수행할 수 있다.

대부분의 생체 역학적 연구는 주로 각 관절의 피크 확장 또는 굴곡 각도가 노화에 따라 변화하는 것에 초점을 맞추고 있다. 특히 Kerrigan et al.에 따르면, 인간이 나이가 들어감에 따라, 발목 관절 각과, 고관절 확장 각과, 전방 골반 기울기가 보행 운동에 통계적으로 유의한 영향을 미치는 것으로 나타났다. 구체적으로, 노인들은 족저 발목근의 강도가 낮기 때문에 청년들보다 족저 발목 관절 각도가 작은 경향이 있다.

유사하게, 고령자의 고관절 피크 굴곡 각은 고관절의 굴곡근 구축(근육 수축, hip flexor contracture)으로 인해 줄어들 수 있다. 고관절 굴근 구축은 또한 전방 골반 기울기를 유발하기 때문에, 고관절이 최고 확장 각도에 있을 때 골반이 더 앞쪽으로 기울어지게 된다.

그러나, 이러한 개별적 기능을 각 관절에 적용해도 시각적으로 자연스러운 동작이 생성되는 것은 아닐 수 있다. 모든 관찰을 반영하면서 자연스러운 노화 된 운동의 표현을 보장하기 위해, 관절각 최적화부(133)는 전신 최적화 문제를 목적 함수로 수식화하여, 이에 대한 연산에 따라 자연스러운 동작을 최적화 산출하게 할 수 있다.

여기서, 관절각 최적화부(133)는 해당 관절의 각도를 나이에 맞게 조절하는 텀(Ea)과, 기존 모션에서 크게 벗어나지 않도록 하는 텀(Ep), 마지막으로 연속된 프레임에서의 변화가 부드럽게 이어지도록 하는 텀(Es)으로 구성된 목적 함수를 설정하고 이에 대응하는 각 가중치에 따른 최적화 값을 산출할 수 있다. 목적 함수는 수학식 5에 도시된 바와 같다.

여기서, w는 각 텀의 가중치를 나타낼 수 있으며,

는 논문 "Andrew Witkin and Zoran Popovic. Motion warping. In Proceedings of the 22nd

annual conference on Computer graphics and interactive techniques, pages 105-108. ACM, 1995.)"과 논문 "Jehee Lee and Sung Yong Shin. A hierarchical pproach to interactive motion editing for human-like figures. In Proceedings

of the 26th annual conference on Computer graphics and interactive techniques, pages 39-48. ACM Press/Addison-Wesley Publishing Co., 1999."에서 설명되는 두 움직임 사이의 차이를 나타내는 변위 맵을 나타낼 수 있다.

이에 따른 변위 맵은 다음의 수학식 6과 같이 정의될 수 있다.

여기서, 벡터

와 지수 맵

는 루트 관절의 병진 및 회전 변위일 수 있으며,

는 j번째 관절의 회전 변위를 나타낼 수 있다. M(t)는 타이밍 조절부(132)를 통해 이중 지지 페이즈 변환까지 처리된 모션 데이터를 나타낼 수 있다.

새로운 모션

는 병진 및 회전 변위에 따라 획득될 수 있으며, 최적화된 연산 결과를 포함할 수 있다. 그리고, M(t)'의 요소는 하기와 같은 수학식 7에 따라 업데이트될 수 있다.

연령과 관련된 관절 각 제약 (Ea)에 있어서, 도 4는 관절 체의 각 관절별 연속적 피크 각도 상에 보행 사이클에 따라 주기적으로 반복되는 동작을 나타낸다.

도 4의 상단을 참조하면, 시간 경과에 따른 관절 각도 변화의 예를 확인할 수 있다. 검정 점들은 관절이 최대 확장(extention) 신축 각을 갖는 프레임을 나타내고 있으며, 이를 '피크 프레임(peak frame)'으로 부를 수 있다.

각 프레임에서 원하는 각도 변화를 얻기 위해, 먼저 관절각 최적화부(133)는 각 피크 프레임별 원하는 각도 변화를 하기 수학식 8과 같이 계산할 수 있다.

수학식 1과 유사하게,

은 연간 각도 변화를 나타내며, 이는 생체역학적 관찰기반 연구에 따라 미리 설정된 표 2와 같은 참조 데이터로부터 획득될 수 있다. 인간 관절의 주기적 패턴이 서로 다른 진폭에 대하여도 유사한 경향을 나타내기 때문에,

를 도메인으로 설정할 수 있다.

이에 따라, 관절각 최적화부(133)는

의 피크 프레임에서의 각도 변화를 이용하여, 각 인접한 피크 프레임 사이의 각 프레임의 각도 변화를 하기 수학식 9와 같이 산출할 수 있다.

여기서, 는 두개의 연속적 피크 프레임 사이에서 선형 보간된 각도 변화를 나타낼 수 있으며, 이는 도 4 상단의 적색 화살표로 표시된 부분으로 도시될 수 있다.

는 선형 보간을 위한 파라미터일 수 있다.

도 4에 도시된 바와 같이,

와

는 i번째 피크 각도 변화와, 그 다음 피크 프레임의 피크 각도 변화를 나타낼 수 있다. 그리고, 자세 변형부(131)에서의 처리와 유사하게, 관절각 최적화부(133)는 하기 수학식 10을 연산하여, 원하는 방향

를 산출할 수 있다.

여기서,

는 j번째 팔다리 관절의 방향을 나타낼 수 있으며, n_l은 팔다리 관절의 회전 축을 나타낼 수 있고, 이는 시상면에 수직인 방향일 수 있다. n_l의 방향은 전술한 n_s의 방향에 반대일 수 있다.

이에 따라, 관절각 최적화부(133)는 연령에 따른 관절각 최적화 변수 텀 E_A를 산출할 수 있으며, 이는 수학식 11과 같이 획득될 수 있다.

여기서,

는 변위 맵 xt에 의해 업데이트된 j번째 관절의 방향을 나타낸다. J = (ankle; hip; shoulder; root) 는 미리 설정된 관절 집합을 나타낼 수 있다. 상부 팔다리의 스윙 모션을 자연스럽게 처리하기 위해, 관절각 최적화부(133)는 하부 팔다리의 변화 각에 일정 비율 대응되는 상부 팔다리의 스윙 레인지를 설정할 수 있다. 이 선택은 간단하지만 실제로는 상당히 잘 작동하는 측면이 있다.

한편, 관절각 최적화부(133)는 Ep 텀 연산에 따라, 큰 변위에 대한 페널티 적용을 처리할 수 있다. 변환에 따른 모션이 원래 모션과 너무 많이 어긋나면 원래 모션의 특성이 손실될 수 있으므로 각 시간 t 마다 일정 값 이상 큰 변위는 피해야 한다. 이에 따라, 관절각 최적화부(133)는 타이밍 조절부(132)로부터 변형된 모션으로부터의 큰 변위를 다음과 같이 페널티 처리할 수 있다.

또한, 관절각 최적화부(133)는 연속된 시간적 부드러움을 형성하는 텀 Es를 연산 처리할 수 있다. 두 개의 연속 된 프레임에 대한 불규칙한 변화는 또한 비정상적이거나 불연속적인 움직임을 일으킬 수 있다. 이를 피하기 위해, 관절각 최적화부(133)는 다음과 같이 Es 텀의 연산을 처리하여, 시간 변위의 차이를 최소화할 수 있다.

한편, 풋 스케이팅 교정부(134)는 관절각 최적화부(133)로부터 출력된 최적화된 동작 데이터로부터 풋 스케이팅 교정을 처리한다.

운동 학적 레벨에서의 동작 변환은 풋 스케이팅 아티팩트를 발생시킬 수 있다. 따라서, 본 발명의 실시 예에 따른 풋 스케이팅 교정부(134)는 역 동역학을 적용하여 이를 해결할 수 있다.

이를 위해, 풋 스케이팅 교정부(134)는 먼저, 발이 지면과 접촉하는 모든 연속 프레임을 선택한다. 이 프레임 범위 내의 각 발 위치는 접촉 프레임의 평균 발 위치로 고정될 수 있다. 그리고, 풋 스케이팅 교정부(134)는 접촉 범위의 두 경계에서 인접한 동작을 부드럽게 상호 연결하기 위해, 경계에서 양 방향으로 0.3 초의 동작 혼합 윈도우를 적용할 수 있다. 이에 따라, 풋 스케이팅 교정부(134)는 일관된 자연스러운 모션 변환 결과 데이터를 출력부(140)를 통해 출력할 수 있게 된다.

도 5 내지 도 6은 본 발명의 실시 예에 따른 모션 변환의 테스트 결과를 설명하기 위한 도면들이다.

도 5 내지 도 7을 참조하면, 먼저 기본 데이터를 위해, 먼저 23세 사람의 보행 동작을 캡처하여 모션 데이터를 준비하였다. 그는 정상적인 걷기와 걷기, 슬프고 술 취하는 등 다양한 스타일로 걷는 것과 같은 다양한 방식으로 걷도록 지시 받았다.

모션은 8 대의 120Hz Mx-40 카메라가 있는 Vicon 모션 캡처 시스템을 사용하여 캡처하였다. 그리고, 28 개 관절과 84개 DoF로 구성된 뼈대 캐릭터를 생성하였으며, 모든 대상 변경된 모션은 초당 24 프레임으로 재생하였다. 연산 시간 결과는 하기 표 3에 도시된 바와 같다.

본 발명의 실시 예에 따른 실험 결과, 모션 변환 장치(100)는 다양한 입력 연령에 따라 보행 동작을 빠르게 변환함을 확인할 수 있다.

표 3은 연령 관련 모션을 생성하는 모션 변환의 전체 프로세스에 대한 총 계산 시간을 보여주며, 특히 마지막 행은 걷는 동안 계속 노화되는 캐릭터의 변환 및 재생 타이밍을 나타내고 있다. 평균적으로 시스템은 초당 32.14 프레임을 계산하여 실시간 성능을 얻을 수 있음을 확인할 수 있다.

도 5는 실험 결과 화면으로서, 서로 다른 연령대와 관련된 보행 동작의 비교를 나타낸다. 왼쪽 열은 23세 남자의 포착 모션을 보여주고 오른쪽 열은 모션 변환 장치(100)를 사용하여 합성된 80세 노인의 보행 모션을 나타낸다. 노화된 효과를 보다 명확하게 나타내기 위해 노란색 점선이 삽입되었다. 선은 첫 번째와 두 번째 행에서는 지면(ground)에 수직이고 세 번째 행에서는 종아리와 수직임을 확인할 수 있다.

보다 구체적으로 도 5를 참조하면, 첫 번째 열은 노화에 따른 척추의 자세 변화의 효과를 나타낸다. 비뚤어진 척추 자세가 오른쪽에 명확히 나타나 있다. 두 번째 줄은 엉덩이의 피크 확장 각도에서의 고관절 변화를 나타낸다. 두 번째 줄에서는, 엉덩이 고관절의 확장 각도 감소와 전방 골반 경사의 증가 효과를 동시에 관찰할 수 있다. 두 번째 줄의 왼쪽 그림에서 빨간색 시계 반대 방향과 빨간색 시계 방향 화살표는 감소 된 피크 엉덩이 확장 각과 증가 된 전방 골반 기울기를 각각 나타낸다. 그 결과, 노화된 캐릭터의 보폭은 젊은 캐릭터의 보폭보다 짧아지게 된다.

세 번째 행은 피크 발목 족저각에서의 발목 관절을 나타내며, 노화된 캐릭터와 관련된 각도가 젊은 캐릭터와 관련된 각도보다 감소함을 확인할 수 있다. 여기에서 우리는 노화에 따라 발목의 최대 족저각도가 감소하는 것을 확인할 수 있다. 관절의 각 값의 궤적은 도 7에 도시되어 있다.

도 6은 여러 프레임에 걸쳐 서로 다른 입력 연령에 해당하는 출력을 나타내고 있으며, 각 행과 열은 다양한 나이의 모션과 보행에 따라, 동일한 인스턴스에 대해 생성 된 모션을 각각 나타내고 있다.

첫 번째 행의 움직임은 23세의 남자의 캡쳐된 기본 동작 데이터를 나타내고 있다. 나머지 행은 입력 연령에 따라 50, 80 및 100의 순서로 출력된 결과를 나타내고 있다. 도 6에서는 평균 20 ~ 80 세의 생체 역학 연구를 이용한 바 있으나, 본 발명의 실시 예는 이 연령대를 넘어선 연령에도 적용될 수 있다. 이는 종종 과장이 정확도보다 가치있는 애니메이션 용도에 매우 유용 할 수 있다.

이와 같이, 기본 동작 데이터만 획득하면, 특정 연령을 초과하는 배우를 모집하는 것이 불가능한 상황이나, 노동 집약적인 기존의 키 프레임 또는 모션 캡처보다 훨씬 쉬운 대안이 될 수 있다.

특히, 도 6과 같이, 이 그림은 전방으로 구부러진 척추, 감소 된 최대 발목 하부 대칭 및 엉덩이 확장 각과 같은 많은 연령 관련 특징의 자동 발생을 명확하게 보여주고 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (15)

1. 모션 변환 장치에 있어서,
   기본 모션 데이터가 입력되는 기본 데이터 입력부;
   입력된 기본 모션 데이터의 전처리를 통해 파라미터를 획득하는 전처리부;
   상기 전처리된 파라미터와 연령 입력 정보에 기초하여, 생체역학적 관찰 기반의 보행 동작 변환 처리를 수행하는 모션 변환부; 및
   상기 변환 처리된 모션을 출력하는 출력부를 포함하며,
   상기 모션 변환부는
   자세 변환 동작, 보행 속도 및 이중지지구간 시간의 조정 동작, 관절각 최적화 동작, 및 풋 스케이팅 동작을 순차적으로 수행하는 단계적 모션 변형을 처리하는 것을 특징으로 하는 생체역학적 관찰 기반의 모션 변환 장치.
2. 제1항에 있어서,
   상기 전처리부는
   상기 기본 모션 데이터에 대한 캐릭터의 보행 동작을 보행(GAIT, 게잇) 사이클 단위로 분리하고, 이에 대응하는 파라미터를 획득하는
   생체역학적 관찰 기반의 모션 변환 장치.
3. 제1항에 있어서,
   상기 모션 변환부는
   상기 기본 모션 데이터의 척추 정보를 상기 연령 입력 정보에 대응하여 변형하는 자세 변형부를 포함하는
   생체역학적 관찰 기반의 모션 변환 장치.
4. 제1항에 있어서,
   상기 모션 변환부는
   상기 연령 입력 정보에 대응하여 상기 기본 모션 데이터의 동작 타이밍을 조절하는 타이밍 조절부를 포함하는
   생체역학적 관찰 기반의 모션 변환 장치.
5. 제4항에 있어서,
   상기 타이밍 조절부는 상기 연령 입력 정보에 따른 보행 속도를 조절하는
   생체역학적 관찰 기반의 모션 변환 장치.
6. 제4항에 있어서,
   상기 타이밍 조절부는 상기 연령 입력 정보에 따라, 캐릭터의 두 발이 모두 땅에 닿아있는 구간인 이중 지지 구간의 시간 정보를 조절하는
   생체역학적 관찰 기반의 모션 변환 장치.
7. 제4항에 있어서,
   상기 모션 변환부는
   목적 함수에 따라 최적화된 관절 각을 산출하는 관절각 최적화부를 포함하는
   생체역학적 관찰 기반의 모션 변환 장치.
8. 제7항에 있어서,
   상기 목적 함수는 가중치에 따라 관절 각도를 연령 입력 정보에 따라 조절하는 제1 변수 텀(Ea)과, 변환된 모션이 기본 모션 데이터로부터 일정 크기 이상의 차이를 방지하기 위한 제2 변수 텀(Ep) 및 연속된 프레임에서의 변화를 부드럽게 처리하기 위한 제3 변수 텀(Es)을 포함하는
   생체역학적 관찰 기반의 모션 변환 장치.
9. 제1항에 있어서,
   상기 모션 변환부로부터 변환 출력된 데이터의 풋 스케이팅을 역 운동학 방식으로 교정하는 풋 스케이팅 교정부를 더 포함하는
   생체역학적 관찰 기반의 모션 변환 장치.
10. 모션 변환 방법에 있어서,
    기본 모션 데이터가 입력되는 단계;
    입력된 기본 모션 데이터의 전처리를 통해 파라미터를 획득하는 단계;
    상기 전처리된 파라미터와 연령 입력 정보에 기초하여, 생체역학적 관찰 기반의 보행 동작 변환 처리를 수행하는 단계; 및
    상기 보행 동작 변환 처리된 모션을 출력하는 단계를 포함하며,
    상기 보행 동작 변환 처리를 수행하는 단계는
    자세 변환 동작, 보행 속도 및 이중지지구간 시간의 조정 동작, 관절각 최적화 동작, 및 풋 스케이팅 동작을 순차적으로 수행하는 단계적 모션 변형을 처리하는 것을 특징으로 하는
    생체역학적 관찰 기반의 모션 변환 방법.
11. 제10항에 있어서,
    상기 획득하는 단계는,
    상기 기본 모션 데이터에 대한 캐릭터의 보행 동작을 보행(GAIT, 게잇) 사이클 단위로 분리하고, 이에 대응하는 파라미터를 획득하는 단계를 포함하는
    생체역학적 관찰 기반의 모션 변환 방법.
12. 제10항에 있어서,
    상기 보행 동작 변환 처리를 수행하는 단계는,
    상기 기본 모션 데이터의 척추 정보를 상기 연령 입력 정보에 대응하여 변형하는 단계를 포함하는
    생체역학적 관찰 기반의 모션 변환 방법.
13. 제12항에 있어서,
    상기 보행 동작 변환 처리를 수행하는 단계는,
    상기 변형하는 단계 이후에, 상기 연령 입력 정보에 대응하여 상기 기본 모션 데이터의 동작 타이밍을 조절하되, 상기 연령 입력 정보에 따른 보행 속도 또는 상기 연령 입력 정보에 따라, 캐릭터의 두 발이 모두 땅에 닿아있는 구간인 이중 지지 구간의 시간 정보를 조절하는 단계를 더 포함하는
    생체역학적 관찰 기반의 모션 변환 방법.
14. 제13항에 있어서,
    상기 보행 동작 변환 처리를 수행하는 단계는,
    상기 조절하는 단계 이후에, 목적 함수에 따라 최적화된 관절 각을 산출하되, 상기 목적 함수는 가중치에 따라 관절 각도를 연령 입력 정보에 따라 조절하는 제1 변수 텀(Ea)과, 변환된 모션이 기본 모션 데이터로부터 일정 크기 이상의 차이를 방지하기 위한 제2 변수 텀(Ep) 및 연속된 프레임에서의 변화를 부드럽게 처리하기 위한 제3 변수 텀(Es)을 포함하는
    생체역학적 관찰 기반의 모션 변환 방법.
15. 제14항에 있어서,
    상기 보행 동작 변환 처리된 모션의 풋 스케이팅을 역 운동학 방식으로 교정하는 단계를 더 포함하는
    생체역학적 관찰 기반의 모션 변환 방법.

Images