KR101902192B1

KR101902192B1 - 3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치

Info

Publication number: KR101902192B1
Application number: KR1020160027250A
Authority: KR
Inventors: 김도형; 김재홍; 윤영우; 장민수; 박천수; 신성웅
Original assignee: 한국전자통신연구원
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2018-10-01
Also published as: KR20170104322A

Abstract

3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치가 개시된다. 본 발명에 따른 3차원 기반의 유사 안무 검색 방법은 사용자가 입력하는 3차원 입력 동작에서 골격 정보를 추출하여 골격 정보 시퀀스를 생성하는 단계; 상기 관절을 기반으로 상기 골격 정보 시퀀스를 자세기술자 시퀀스로 변환하고, 상기 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출하는 단계; 복수개의 안무 동작들과 상기 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 상기 매칭거리를 저장하여 매칭거리 매트릭스를 생성하는 단계; 및 상기 매칭거리 매트릭스를 기반으로 복수개의 후보구간들을 추출하고, 상기 복수개의 후보구간들 중 어느 하나의 유사 안무를 검색하는 단계를 포함한다.

Description

3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치 {METHOD FOR SEARCHING SIMILAR CHOREOGRAPHY BASED ON THREE DIMENSIONS AND APPARATUS USING THE SAME}

본 발명은 안무 동작들간의 유사도를 판별하여 유사 안무를 검색하기 위한 3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치에 관한 것이다.

모션 캡처(motion capture)란, 애니메이션 등에서 캐릭터의 자연스러운 움직임을 표현하기 위해 사람의 몸에 센서를 부착하거나, 적외선을 이용하는 등의 방법으로 인체의 움직임을 디지털 형태로 변환하는 작업을 의미한다. 이와 같은 모션 캡처는 신체의 여러 부위에 센서를 부착한 뒤에 센서의 3차원 위치 값을 획득하고, 획득한 정보를 기반으로 가상의 캐릭터가 인간과 같이 자연스러운 동작으로 움직이게 하는 목적으로 주로 활용된다. 인간의 실제적인 동작을 모사하고자 하는 영화, 게임, 애니메이션 등의 분야와 인간의 동작을 정밀하게 분석하고자 하는 의료, 재활, 체육 등 실로 다양한 분야에서 많은 양의 모션 캡처 데이터를 획득하고 있다.

최근에는 모션 캡처 데이터가 상당량 확보되어짐에 따라 비용 절감을 위해 새로운 모션 캡처 데이터를 획득하지 않고 기존의 모션 캡처 데이터를 수정해서 새로운 분야에 다시 적용하려는 시도가 증가하고 있다. 이러한 재사용 목적을 위해서는 대용량 DB에서 원하는 모션 구간을 찾아 낼 수 있는 검색 방법이 필수적으로 요구되며, 이에 따라 빠르고 정확한 모션 검색 방법의 중요성이 점차 강조되고 있다.

예를 들어, K-POP 댄스, 발레, 무용 등의 안무 동작에 대해서도 앞서 언급한 다양한 목적으로 방대한 양의 모션 캡처 데이터가 구축되고 있다.

이러한 대용량의 안무 DB에서 사용자가 원하는 안무 구간을 검색하기 위한 방법은 크게 3가지가 존재한다.

첫 번째로 곡명, 안무가명, 단위동작 명 등의 텍스트 질의어로 모션 캡처 DB 내에서 원하는 안무 구간을 검색하는 방법이다. 그러나, 이러한 텍스트 기반 검색을 위해서는 DB 내에 있는 모든 단위 동작에 대해서 이름을 부여하는 색인(indexing) 과정이 선행되어야 하는 어려움이 있다. 또한, 발레나 무용 등은 단위 동작의 전문 명칭이 존재하지만, K-POP 댄스의 경우에는 단위 동작에 대한 명칭조차 없어 질의어로 안무 구간을 검색하는 것이 원천적으로 불가능하다.

두 번째로는 사용자가 스케치 또는 간단한 캐릭터 등의 방법을 통해 특정 자세를 설정하고, 설정된 자세와 유사한 자세를 시스템이 제시하는 방법이다. 사용자는 시스템과 상호작용하면서 특정 자세를 점점 구체화 할 수 있으며, 비교적 간편하고 직관적으로 모션 캡처 데이터를 검색할 수 있다. 하지만, 이러한 방법은 특정 자세를 생성하기는 용이하나 일련의 연속된 자세(pose)로 구성된 동작(motion)을 생성하기가 쉽지 않다는 문제점이 있어, 안무 구간 검색의 정확도에서 한계가 있다.

마지막으로, 3차원(또는 2차원) 카메라로 캡처된 안무 동작을 질의 동작으로 생성하고, 이를 입력으로 안무 구간을 검색하는 방법이 최근 제안되고 있다. 마이크로소프트 키넥트(Microsoft Kinect) 등의 저가형 3차원 카메라 앞에서 사용자가 직접 검색하고자 하는 동작을 취할 수 있기 때문에 검색 동작의 생성이 용이하고 매우 직관적이다. DB내에 있는 검색 대상 안무 데이터는 모션 캡처 기술에 의해 정밀하게 캡처된 3차원 관절 위치인데 반하여, 저가형 3D 카메라로 획득한 영상에서 추정된 관절의 3차원 정보는 그 정밀도가 상대적으로 낮아, 이러한 차이점을 극복하고 검색 정확도에 있어 신뢰성을 확보하는 것이 기술의 관건이다.

한국 공개 특허 제10-2014-0092536호, 2014년 7월 24일 공개(명칭: 깊이맵 센서를 이용한 3차원 캐릭터 가상공간 내비게이션 동작 합성 및 제어 방법)

본 발명의 목적은 3차원 안무 동작 간의 유사도 산출 시 3차원 안무 동작을 구성하는 핵심 동작들의 순서보다 핵심 동작들 자체를 엄격하게 고려하여 보다 효과적으로 유사 안무를 검색하는 것이다.

또한, 본 발명의 목적은 사용자가 검색하고자 하는 안무를 보다 정확하게 검색하여 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 기반의 유사 안무 검색 방법은, 사용자가 입력하는 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치정보를 포함하는 골격 정보 시퀀스를 생성하는 단계; 상기 관절을 기반으로 상기 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세기술자 시퀀스로 변환하고, 상기 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출하는 단계; 안무 모션캡처 데이터베이스에 저장된 복수개의 안무 동작들과 상기 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 상기 매칭거리를 저장하여 매칭거리 매트릭스를 생성하는 단계; 및 상기 매칭거리 매트릭스를 기반으로 상기 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출하고, 상기 복수개의 후보구간들 중 상기 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색하는 단계를 포함한다.

또한, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 장치는, 사용자로부터 3차원 입력 동작을 입력 받고, 상기 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치정보를 포함하는 골격 정보 시퀀스를 생성하는 입력부; 상기 관절을 기반으로 상기 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세기술자 시퀀스로 변환하는 자세 기술부; 상기 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출하는 핵심자세 추출부; 안무 모션캡처 데이터베이스에 저장된 복수개의 안무 동작들과 상기 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 상기 매칭거리를 저장하여 매칭거리 매트릭스를 생성하는 매칭부; 상기 매칭거리 매트릭스를 기반으로 상기 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출하는 후보구간 추출부; 및 상기 복수개의 후보구간들 중 상기 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색하는 유사 안무 검색부를 포함한다.

본 발명에 따르면, 3차원 안무 동작 간의 유사도 산출 시 3차원 안무 동작을 구성하는 핵심 동작들의 순서보다 핵심 동작들 자체를 엄격하게 고려하여 보다 효과적으로 유사 안무를 검색할 수 있다.

또한, 본 발명은 사용자가 검색하고자 하는 안무를 보다 정확하게 검색하여 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법을 나타낸 동작 흐름도이다.
도 2는 본 발명의 일실시예에 따른 자세 기술자를 저장하는 방식을 나타낸 도면이다.
도 3 내지 도 6은 본 발명의 일실시예에 따른 핵심자세들을 추출하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 매칭거리를 계산하는 과정을 나타낸 도면이다.
도 8은 본 발명의 일실시예에 따른 후보구간들을 선정하는 과정을 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 후보구간들 중 유사 안무를 검색하는 과정을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 장치를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법을 나타낸 동작 흐름도이다.

본 발명은 검색하고자 하는 안무 동작을 직접 생성하여 원하는 안무 구간을 검색하는 방법에 관한 것으로, 특히 두 개의 안무 동작간의 유사도를 판별하는 방법에 초점을 두고 있다.

예를 들어, 짧게는 몇 분에서 길게는 몇 시간의 순차 데이터로 구성된 안무들을 저장하는 데이터베이스에서 검색대상이 되는 안무 데이터는 대략 10초이내의 특정한 안무 구간에 해당될 수 있다. 즉, 사용자가 입력한 몇 초 단위의 안무 동작과 가장 유사한 안무 구간을 전체 데이터베이스에서 검색해야 하는 것이다.

이 때, 비교할 두 안무 동작이 유사하다는 것에 대한 판별 기준이 필요할 수 있다. 즉, 어떤 동작의 어떤 점이 비슷해야 유사도가 높다고 판정할 수 있는가의 문제일 수 있다.

일반적으로는 동작검색 또는 행동인식에 있어서 두 동작의 유사도를 판별하는 기준은 유사한 자세가 동일한 순서로 발생하는지 여부일 수 있다. 예를 들어, 일상 행동인식에서 문을 열고 들어와 의자에 앉는 동작과 의자에 앉아 있다가 서서 문을 열고 나가는 동작은 다른 동작으로 분류될 수 있다. 따라서, 모든 동작검색 및 행동인식 방법은 동작을 구성하는 특정 자세들의 형상과 그 자세들의 발생 순서를 비교하여 두 동작의 유사도를 판별하는 접근 방식을 취할 수 있다.

하지만, 본 발명의 대상이 되는 안무 동작의 경우에는 발생 순서까지 비교하는 유사도 판별 기준과는 다른 기준이 적용되어야 할 수 있다. 이 때, 검색 대상이 되는 구간 안무는 몇 개의 핵심 동작(key motion)으로 구성될 수 있다.

예를 들어, 구간 안무 A는 두 손을 앞으로 차례대로 내밀고, 양손을 좌우로 몇 차례 흔든 뒤 두 손으로 입을 가지를 3개의 핵심동작으로 구성되어 있다고 가정할 수 있다.

이 때, 핵심동작의 순서를 비교하는 판별기준을 적용하면, A와 유사한 안무는 3개의 핵심동작이 존재하고, 이들 핵심동작이 순차적으로 발생한 안무가 해당될 수 있다. 즉, 핵심동작이 모두 존재하더라도 그 순서가 다르면 다른 안무로 분류될 수 있다. 그러나 이러한 판별기준을 이용한다면 두 개의 안무가 비슷한 핵심동작들의 집합으로 구성되더라도 동작들의 순서가 다르므로 유사도가 낮게 산출되는 문제가 발생할 수 있다.

하지만 안무 동작간의 유사성을 판별함에 있어서는 그 안무 동작을 구성하는 핵심동작들의 유사성이 핵심동작들의 배치 순서보다 훨씬 중요한 요소일 수 있다. 다시 말해서, 정확한 안무 검색을 위해서는 비록 핵심동작들의 순서가 다르다고 할 지라도 안무를 구성하는 핵심동작들 자체가 비슷하다면 높은 유사도를 제공할 수 있어야 한다.

따라서, 본 발명에서는 이와 같은 문제점을 해결할 수 있는 3차원 기반의 유사 안무 검색 방법을 제공하고자 한다.

도 1을 참조하면, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 사용자가 입력하는 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치정보를 포함하는 골격 정보 시퀀스를 생성한다(S110).

이 때, 사용자가 입력하는 3차원 입력 동작은 3차원 깊이 영상에 상응할 수 있다. 또한, 기존에 알려진 다양한 골격정보 추출방법을 적용하여 매 프레임마다 관절의 위치 정보를 포함하는 골격정보를 획득할 수 있다.

이 때, 관절의 위치 정보는 1차 관절과 2차 관절의 3차원 위치좌표 x, y, z에 상응할 수 있다. 이 때, 1차 관절이란 몸통 관절에 연결된 5 개의 관절을 의미할 수 있으며, 2차 관절은 1차 관절에 연결된 4개의 관절을 의미할 수 있다. 따라서, 총 9개의 관절에 대한 위지정보를 골격정보로 획득할 수 있다.

또한, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 관절을 기반으로 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세기술자 시퀀스로 변환하고, 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출한다(S120).

즉, 매 프레임마다 골격정보를 기반으로 자세기술자를 저장함으로써 골격정보 시퀀스를 자세기술자 시퀀스로 변환할 수 있다.

이 때, 자세기술자는 골격정보에 포함된 9개의 관절을 기반으로 해당 프레임의 해당하는 자세를 기술한 것일 수 있다.

이 때, 자세기술자 시퀀스는 복수개의 자세들을 포함하고 있으므로, 이를 분석하여 해당 안무 구간에서의 대표적인 자세에 해당되는 복수개의 핵심자세(key pose)들을 추출할 수 있다.

이 때, 핵심자세는 클러스터링 기법을 통하여 추출이 가능할 수 있다.

또한, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 안무 모션캡처 데이터베이스에 저장된 복수개의 안무 동작들과 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 매칭거리를 저장하여 매칭거리 매트릭스를 생성한다(S130).

이 때, 안무 모션캡처 데이터베이스에 저장된 모든 안무 동작들에 대해서 복수개의 핵심자세들 각각의 매칭거리를 계산할 수 있다.

이 때, 매칭거리는 비교하려는 두 자세에 해당하는 골격 정보에서 몸통관절이나 1차관절의 위치를 부모관절로 인식하고, 부모관절에 연결된 관절들을 벡터 값으로 비교하여 매칭거리를 계산할 수 있다.

예를 들어, pose1의 오른쪽 팔꿈치(right elbow1)에서 시작해서 오른쪽 손목(right wrist1)에서 끝나는 오른쪽 아래팔 분절과, pose2의 오른쪽 팔꿈치(right elbow2)에서 시작해서 오른쪽 손목(right wrist2)에서 끝나는 오른쪽 아래팔 분절의 매칭거리를 산출하는 방법을 설명하면 다음과 같다.

먼저, 3차원 공간에서 pose1과 pose2의 오른쪽 아래팔 분절은 부모관절의 위치를 원점으로 하여 각각 벡터 A와 벡터 B로 나타낼 수 있다.

이 때, 벡터 A와 벡터 B가 이루는 벡터의 사잇각을 [수학식 1]에 의해 0도에서 180도 사이의 해당하는 값으로 계산할 수 있다.

[수학식 1]

이 때, 본 발명에서는 벡터의 사잇각을 이용하여 두 분절간의 매칭거리를 [수학식 2]와 같이 계산할 수 있다.

[수학식 2]

매칭거리 = (1 - cosθ)/2

예를 들어, 벡터 A와 벡터 B의 방향이 완전히 일치하여 사잇각에 해당하는 θ의 값이 0에 상응하는 경우에 두 벡터 간의 매칭거리는 0에 상응할 수 있다. 또한, 벡터 A와 벡터 B의 방향이 정반대 방향으로 사잇각에 해당하는 θ의 값이 180에 상응하는 경우에 두 벡터 간의 매칭거리는 1에 상응할 수 있다.

이 때, 자세기술자에 기술된 9개의 관절에 대해서는 9개의 분절이 존재하게 때문에, 각 분절마다 매칭거리가 산출될 수 있다. 따라서, 최종적으로는 9개의 분절에서 각각 산출된 매칭거리를 모두 합하여 9로 나눈 값이 pose1과 pose2 사이의 매칭거리에 상응할 수 있다.

또한, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 매칭거리 매트릭스를 기반으로 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출하고, 복수개의 후보구간들 중 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색한다(S140).

이 때, 매칭거리 매트릭스의 X축은 안무 모션캡처 데이터베이스에 저장된 안무 동작들에 상응할 수 있으며, Y축은 매칭거리에 상응할 수 있다.

이 때, 후보구간들을 선정하기 위해서는 매칭거리 매트릭스의 모든 부분을 타임 윈도우(time window)로 스캔하면서, 해당 구간에서의 최소 매칭거리들의 합에 상응하게 구간매칭거리를 설정할 수 있다.

이 때, 핵심자세가 발생한 순서는 고려하지 않고, 구간매칭거리를 설정할 수 있다.

이후, 구간별로 산출된 구간매칭거리의 값이 작은 순서대로 정렬하고, 정렬된 구간들 중 상위 몇 개의 구간들을 복수개의 후보구간들로 선정할 수 있다.

이 때, 후보구간의 개수는 사용자가 자유롭게 설정할 수 있다.

이와 같은 매칭거리 매트릭스를 통해 고속으로 복수개의 후보구간들을 선정함으로써 본 발명에 따른 유사 안무 검색 시 고확장성을 확보할 수 있다.

또한, 핵심동작이란, 어느 하나의 핵심자세를 중심으로 전후 자세들을 포함하는 약 2~3초에 해당하는 동작에 상응할 수 있다. 즉, 유사 안무 구간을 검색함에 있어서, 하나의 프레임에서 획득한 자세 정보는 여러 프레임으로 구성된 동작 정보에 비해서 그 분별력이 떨어질 수 있다. 따라서, 핵심동작과 같이 핵심자세를 중심으로 자세의 변화정보를 포함하는 비교대상을 통해 유사 안무를 검색함으로써 분별력을 크게 향상시킬 수 있다.

이 때, 후보구간들을 선정할 때에는 자세 간의 매칭거리를 간단한 방법으로 빠르게 산출하고, 유사 안무를 검색할 때에는 동작 간의 매칭거리를 정확하게 산출함으로써, 보다 빠르고 정확하게 유사 안무를 검색하는 효과를 기대할 수 있다.

이 때, 핵심동작과 복수개의 후보구간들 사이의 매칭거리는 Dynamic Time Warping(DTW) 방법을 통하여 산출할 수 있다. 이 때, unbounded DTW(or subsequence DTW) 방법을 사용하여 후보구간 내에서 핵심동작과 가장 유사한 부분열을 추출하고, 핵심동작과 부분열 사이의 매칭거리를 산출할 수 있다.

이와 같이 안무 동작을 구성하는 몇 개의 핵심동작들을 추출하고, 핵심동작들과 후보구간들을 매칭하는 경우에만 자세의 순서를 고려하여 매칭을 수행하기 때문에 핵심동작들 간의 배치 순서에 의해 분별력이 감소되는 문제를 방지할 수 있다. 즉, 실제적이고도 정확한 안무 검색이 가능할 수 있다.

또한, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 유사 안무 검색 과정에서 발생되는 다양한 정보를 저장한다.

실시예에 따라, 정보를 저장하는 저장모듈은 유사 안무 검색 장치와 독립적으로 구성되어 유사 안무 검색을 위한 기능을 지원할 수 있다. 이 때, 저장모듈은 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

이와 같은 3차원 기반의 유사 안무 검색 방법을 통해 3차원 안무 동작 간의 유사도 산출 시 3차원 안무 동작을 구성하는 핵심 동작들의 순서보다 핵심 동작들 자체를 엄격하게 고려하여 보다 효과적으로 유사 안무를 검색할 수 있다.

또한, 사용자가 검색하고자 하는 안무를 보다 정확하게 검색하여 제공할 수 있다.

또한, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 방법은 댄스 게임이나 애니메이션, 전문 안무가들이 댄스 안무를 창작할 때 활용할 수 있는 안무 구상 지원 시스템, 향후 법제화가 예상되는 안무 저작권 검색 시스템 그리고 안무 이외의 동작 검색 및 행동인식 분야에서 다양하게 적용하여 활용할 수 있다.

도 2는 본 발명의 일실시예에 따른 자세 기술자를 저장하는 방식을 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 자세기술자 시퀀스는 사용자로부터 입력된 3차원 입력 동작에서 도 2와 같은 골격 정보를 추출하여 골격 정보 시퀀스를 생성할 수 있다.

이 때, 본 발명에서는 도 2와 같이 3차원 입력 동작에서 추출된 골격 정보 중에서 네모로 표시된 1차 관절과 세모로 표시된 2차 관절의 3차원 위치좌표 x, y, z의 시퀀스를 자세를 나타낼 수 있는 자세기술자로 저장할 수 있다.

이 때, 1차 관절이란 동그라미로 표시된 몸통 관절에 연결된 5 개의 관절을 의미할 수 있으며, 2차 관절은 1차 관절에 연결된 4개의 관절을 의미할 수 있다. 따라서, 총 9개의 관절에 대해 3 개의 위치정보를 갖는 자세기술자가 저장될 수 있다.

이 때, 매 프레임마다 도 2와 같은 자세기술자를 저장함으로써 사용자가 입력한 3차원 입력 동작에 대한 골격 정보 시퀀스를 자세기술자 시퀀스로 변환할 수 있다.

도 3 내지 도 6은 본 발명의 일실시예에 따른 핵심자세들을 추출하는 과정을 나타낸 도면이다.

도 3 내지 도 6을 참조하면, 본 발명의 일실시예에 따른 핵심자세들을 추출하는 과정은 먼저 자세기술자 시퀀스를 분석하여 해당 안무 구간에서 대표적인 자세에 해당하는 핵심자세(key pose)를 추출할 수 있다.

예를 들어, 도 3 내지 도 6에서 나타낸 자세기술자 시퀀스들은 사용자가 입력한 3차원 입력 동작의 영상에서 6프레임마다의 자세를 자세기술자로 변환하여 나타낸 것일 수 있다.

이 때, 도 3에 도시된 자세기술자 시퀀스가 나타내는 안무는 오른팔을 오른쪽으로 뻗으면서 왼팔은 머리쪽으로 향하고 왼다리를 펴는 동작에 상응할 수 있다. 이 때, 도 3에 도시된 동작을 구성하는 6개의 자세기술자들 중에서 해당 안무의 대표적인 자세를 나타내는 자세기술자의 자세를 핵심자세(310)로 추출할 수 있다. 이 때, 핵심자세(310)는 클러스터링 기법을 통하여 추출이 가능할 수 있다.

도 3과 동일한 방법으로 각각 도 4, 도 5 및 도 6에서도 표현하려는 안무를 가장 잘 나타낸 자세기술자의 자세를 핵심자세(410, 510, 610)로 추출할 수 있다.

도 7은 본 발명의 일실시예에 따른 매칭거리를 계산하는 과정을 나타낸 도면이다.

도 7을 참조하면, 본 발명의 일실시예에 따라 pose1과 pose2에 해당하는 두 자세 간의 매칭거리를 계산하기 위해서는 먼저 3차원 공간에서 두 자세의 부모관절의 위치를 원점으로 하여 pose1과 pose2를 각각 벡터로 나타낼 수 있다.

이 때, 1차관절의 부모관절은 몸통관절에 상응할 수 있고, 2차관절의 부모관절은 1차관절에 상응할 수 있다.

예를 들어, pose1의 오른쪽 팔꿈치(right elbow1)에서 시작해서 오른쪽 손목(right wrist1)에서 끝나는 오른쪽 아래팔 분절과, pose2의 오른쪽 팔꿈치(right elbow2)에서 시작해서 오른쪽 손목(right wrist2)에서 끝나는 오른쪽 아래팔 분절의 매칭거리를 산출하는 방법을 도 7을 기반하여 설명하면 다음과 같다.

먼저, 도 7과 같이 3차원 공간에서 두 자세의 오른쪽 아래팔 분절은 부모관절의 위치를 원점으로 하여 각각 벡터 A(710)와 벡터 B(720)로 나타낼 수 있다.

이 때, 벡터 A(710)와 벡터 B(720)가 이루는 벡터의 사잇각을 [수학식 1]에 의해 0도에서 180도 사이의 해당하는 값으로 계산할 수 있다.

[수학식 1]

[수학식 2]

매칭거리 = (1 - cosθ)/2

예를 들어, 벡터 A(710)와 벡터 B(720)의 방향이 완전히 일치하여 사잇각에 해당하는 θ의 값이 0에 상응하는 경우에 두 벡터 간의 매칭거리는 0에 상응할 수 있다. 또한, 벡터 A(710)와 벡터 B(720)의 방향이 정반대 방향으로 사잇각에 해당하는 θ의 값이 180에 상응하는 경우에 두 벡터 간의 매칭거리는 1에 상응할 수 있다.

이 때, 자세기술자에 기술된 9개의 관절에 대해서는 9개의 분절이 존재하게 때문에, 각 분절마다 도 7과 동일한 방법으로 매칭거리가 산출될 수 있다. 따라서, 최종적으로는 9개의 분절에서 각각 산출된 매칭거리를 모두 합하여 9로 나눈 값이 pose1과 pose2 사이의 매칭거리에 상응할 수 있다.

이 후, pose1와 pose2 사이의 매칭거리는 매칭거리 매트릭스에 저장되어 향후 후보구간들을 선정하기 위해 사용될 수 있다.

도 8은 본 발명의 일실시예에 따라 후보구간들을 선정하는 과정을 나타낸 도면이다.

도 8을 참조하면, 본 발명의 일실시예에 따라 후보구간들을 선정하는 과정은 매칭거리 매트릭스를 분석하여 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 선정할 수 있다.

예를 들어, 도 8에 도시된 매칭거리 매트릭스에는 key pose1부터 key pose4까지 4개의 핵심자세들과 안무 모션캡처 데이터베이스에 저장된 안무 동작들과의 매칭거리를 나타내고 있다.

먼저, 후보구간들을 선정하기 위해서는 도 8에 점선으로 도시된 타임 윈도우(time window)를 안무 모션캡처 데이터베이스의 처음부터 끝까지 순차적으로 스캔 할 수 있다. 이 때, 타임 윈도우 내에서 각 핵심자세의 최소 매칭거리들의 합을 계산하여 산출된 값을 그 구간의 구간매칭거리로 설정할 수 있다.

이 때, 핵심자세가 발생한 순서는 전혀 고려하지 않을 수 있다.

이 후, 안무 모션캡처 데이터베이스에 저장된 모든 안무 동작들에 대해서 스캔을 마치면 각 구간별로 산출된 구간매칭거리의 값이 작은 순서대로 정렬하고, 정렬된 구간들 중 상위 몇 개의 구간을 후보구간으로 선정할 수 있다.

이와 같이 매칭거리 매트릭스를 통해 고속으로 복수개의 후보구간들을 선정함으로써 본 발명에 따른 유사 안무 검색 장치의 고확장성을 확보할 수 있다.

도 9는 본 발명의 일실시예에 따른 후보구간들 중 유사 안무를 검색하는 과정을 나타낸 도면이다.

도 9를 참조하면, 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 복수개의 후보구간들을 모두 비교하여 가장 유사한 하나의 후보 구간을 유사 안무로 검색하여 출력할 수 있다.

이 때, 핵심동작이란 어느 하나의 핵심자세를 중심으로 전후 자세들을 포함하는 약 2~3초에 해당되는 동작에 상응할 수 있다. 즉, 유사 안무 구간을 검색함에 있어서, 하나의 프레임에서 획득한 자세 정보는 여러 프레임으로 구성된 동작 정보에 비해서 그 분별력이 떨어질 수 있다. 따라서, 핵심동작과 같이 핵심자세를 중심으로 자세의 변화정보를 포함하는 비교대상을 통해 유사 안무를 검색함으로써 분별력을 크게 향상시킬 수 있다.

즉, 후보구간들을 선정할 때에는 자세 간의 매칭거리를 간단한 방법으로 빠르게 산출하는 것이 핵심인 반면에 최종적으로 유사 안무를 검색할 때에는 동작 간의 매칭거리를 정확하게 산출하는 것이 핵심일 수 있다. 이와 같은 구성을 통해서 보다 빠르고 정확하게 유사 안무를 검색하는 것이 가능할 수 있다.

이 때, 도 9와 같이 핵심자세(910)에 핵심자세 이전 자세(911)와 핵심자세 이후 자세(912)를 포함한 핵심동작과 하나의 후보구간(920) 사이의 매칭거리는 Dynamic Time Warping(DTW) 방법을 통하여 산출할 수 있다. 이 때, unbounded DTW(or subsequence DTW)(930)방법을 사용하여 후보구간(920) 내에서 핵심동작과 가장 유사한 부분열을 추출하고, 핵심동작과 부분열 사이의 매칭거리를 산출할 수 있다.

이와 같은 방법으로 나머지 핵심자세들에 대한 핵심동작들에 대해서도 부분열과 매칭거리를 산출할 수 있다. 따라서, 사용자가 입력한 3차원 입력 동작의 핵심동작들과 어느 하나의 후보구간과의 매칭거리는, 각 핵심동작들에 의해 산출된 매칭거리들에 합에 상응할 수 있다.

도 10은 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 장치를 나타낸 블록도이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 3차원 기반의 유사 안무 검색 장치는 입력부(1010), 자세 기술부(1020), 핵심자세 추출부(1030), 안무 모션캡처 데이터베이스(1040), 매칭부(1050), 후보구간 추출부(1060), 유사 안무 검색부(1070) 및 저장부(1080)를 포함한다.

입력부(1010)는 사용자로부터 3차원 입력 동작을 입력 받고, 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치정보를 포함하는 골격 정보 시퀀스를 생성한다.

자세 기술부(1020)는 관절을 기반으로 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세 기술자 시퀀스로 변환한다.

핵심자세 추출부(1030)는 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출한다.

안무 모션캡처 데이터베이스(1040)는 복수개의 핵심자세들과 비교하기 위한 복수개의 안무 동작들을 포함할 수 있다.

매칭부(1050)는 안무 모션캡처 데이터베이스(1040)에 저장된 복수개의 안무 동작들과 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 매칭거리를 저장하여 매트릭스를 생성한다.

[수학식 1]

[수학식 2]

매칭거리 = (1 - cosθ)/2

후보구간 추출부(1060)는 매칭거리 매트릭스를 기반으로 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출한다.

유사 안무 검색부(1070)는 복수개의 후보구간들 중 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색한다.

이 때, 핵심동작이란, 어느 하나의 핵심자세를 중심으로 전후 자세들을 포함하는 약 2~3초에 해당하는 동작에 상응할 수 있다. 즉, 유사 안무 구간을 검색함에 있어서, 하나의 프레임에서 획득한 자세 정보는 여러 프레임으로 구성된 동작 정보에 비해서 그 분별력이 떨어질 수 있다. 따라서, 핵심동작과 같이 핵심자세를 중심으로 자세의 변화정보를 포함하는 비교대상을 통해 유사 안무를 검색함으로써 분별력을 크게 향상시킬 수 있다.

저장부(1080)는 상술한 바와 같이 본 발명의 일실시예에 따른 유사 안무 검색 과정에서 발생되는 다양한 정보를 저장한다.

실시예에 따라, 저장부(1080)는 유사 안무 검색 장치와 독립적으로 구성되어 유사 안무 검색을 위한 기능을 지원할 수 있다. 이 때, 저장부(1080)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 3차원 기반의 유사 안무 검색 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 3차원 기반의 유사 안무 검색 장치를 이용하여 3차원 안무 동작 간의 유사도 산출 시 3차원 안무 동작을 구성하는 핵심 동작들의 순서보다 핵심 동작들 자체를 엄격하게 고려하여 보다 효과적으로 유사 안무를 검색할 수 있다.

도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 11을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 11에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

이상에서와 같이 본 발명에 따른 3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

310, 410, 510, 610, 910: 핵심자세 710: 벡터 A
720: 벡터 B 911: 핵심자세의 이전 자세
912: 핵심자세의 이후 자세 920: 후보구간들
930: unbounded DTW 1010: 입력부
1020: 자세 기술부 1030: 핵심자세 추출부
1040: 안무 모션캡처 데이터베이스 1050: 매칭부
1060: 후보구간 추출부 1070: 유사안무 검색부
1080: 저장부 1100: 컴퓨터 시스템
1110: 프로세서 1120: 버스
1130: 메모리 1131: 롬
1132: 램 1140: 사용자 입력 장치
1150: 사용자 출력 장치 1160: 스토리지
1170: 네트워크 인터페이스 1180: 네트워크

Claims

사용자가 입력하는 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치정보를 포함하는 골격 정보 시퀀스를 생성하는 단계;
상기 관절을 기반으로 상기 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세기술자 시퀀스로 변환하고, 상기 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출하는 단계;
안무 모션캡처 데이터베이스에 저장된 복수개의 안무 동작들과 상기 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 상기 매칭거리를 저장하여 매칭거리 매트릭스를 생성하는 단계; 및
상기 매칭거리 매트릭스를 기반으로 상기 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출하고, 상기 복수개의 후보구간들 중 상기 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색하는 단계
를 포함하고,
상기 검색하는 단계는
상기 매칭거리 매트릭스의 전체를 타임 윈도우(time window)에 상응하는 간격으로 스캔하는 단계;
상기 복수개의 핵심자세들이 발생한 순서는 고려하지 않고, 상기 타임 윈도우에 해당하는 구간에서의 최소 매칭거리들을 합하여 복수개의 구간들 각각에 대해 구간매칭거리를 설정하는 단계; 및
상기 구간매칭거리가 작은 순서대로 상기 복수개의 구간들을 정렬한 뒤, 상위에서부터 기설정된 후보개수에 상응하는 상기 복수개의 후보구간들을 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
청구항 1에 있어서,
상기 관절의 위치정보는
몸통관절에 연결된 5개의 1차 관절 및 상기 1차 관절에 연결된 4개의 2차 관절 중 적어도 하나에 상응하는 3차원 위치좌표를 포함하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
청구항 2에 있어서,
상기 매칭거리 매트릭스를 생성하는 단계는
비교하려는 두 개의 자세들 각각에 대해 상기 몸통관절 및 상기 1차 관절 중 적어도 하나를 부모관절로 인식하고, 상기 부모관절과 상기 부모관절에 연결된 관절이 나타내는 벡터에 의한 사잇각을 기반으로 상기 매칭거리를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
청구항 3에 있어서,
상기 매칭거리를 산출하는 단계는
상기 1차 관절과 상기 2차 관절에 상응하는 9개의 분절 각각에 대해 산출된 상기 매칭거리의 평균 값을 상기 비교하려는 두 개의 자세들에 대한 매칭거리로 산출하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
삭제
삭제
청구항 2에 있어서,
상기 추출하는 단계는
상기 매 프레임마다 상기 골격 정보 시퀀스를 기반으로 자세기술자를 저장하여 상기 골격 정보 시퀀스를 상기 자세기술자 시퀀스로 변환하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
청구항 7에 있어서,
상기 자세기술자는
상기 1차 관절 및 상기 2차 관절 중 적어도 하나를 기반으로 해당 프레임의 자세를 기술한 것에 상응하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
청구항 1에 있어서,
상기 복수개의 핵심동작들은
상기 복수개의 핵심자세들을 기준으로 기설정된 프레임만큼 전후 자세들을 포함하는 동작에 상응하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 방법.
사용자로부터 3차원 입력 동작을 입력 받고, 상기 3차원 입력 동작에서 골격 정보를 추출하여 매 프레임마다 관절의 위치 정보를 포함하는 골격 정보 시퀀스를 생성하는 입력부;
상기 관절을 기반으로 상기 골격 정보 시퀀스를 복수개의 자세들에 상응하는 자세기술자 시퀀스로 변환하는 자세 기술부;
상기 자세기술자 시퀀스에서 복수개의 핵심자세들을 추출하는 핵심자세 추출부;
안무 모션캡처 데이터베이스에 저장된 복수개의 안무 동작들과 상기 복수개의 핵심자세들을 비교하여 유사도를 알 수 있는 매칭거리를 산출하고, 상기 매칭거리를 저장하여 매칭거리 매트릭스를 생성하는 매칭부;
상기 매칭거리 매트릭스를 기반으로 상기 복수개의 핵심자세들이 모여있다고 판단되는 복수개의 후보구간들을 추출하는 후보구간 추출부; 및
상기 복수개의 후보구간들 중 상기 복수개의 핵심자세들에 상응하는 복수개의 핵심동작들과 가장 유사한 어느 하나의 유사 안무를 검색하는 유사 안무 검색부
를 포함하고,
상기 유사 안무 검색부는
상기 매칭거리 매트릭스의 전체를 타임 윈도우(time window)에 상응하는 간격으로 스캔하고, 상기 복수개의 핵심자세들이 발생한 순서는 고려하지 않고, 상기 타임 윈도우에 해당하는 구간에서의 최소 매칭거리들을 합하여 복수개의 구간들 각각에 대해 구간매칭거리를 설정하고, 상기 구간매칭거리가 작은 순서대로 상기 복수개의 구간들을 정렬한 뒤, 상위에서부터 기설정된 후보개수에 상응하는 상기 복수개의 후보구간들을 추출하는 것을 특징으로 하는 3차원 기반의 유사 안무 검색 장치.