KR102557953B1 - 안무 분석 시스템 - Google Patents

안무 분석 시스템 Download PDF

Info

Publication number
KR102557953B1
KR102557953B1 KR1020230034818A KR20230034818A KR102557953B1 KR 102557953 B1 KR102557953 B1 KR 102557953B1 KR 1020230034818 A KR1020230034818 A KR 1020230034818A KR 20230034818 A KR20230034818 A KR 20230034818A KR 102557953 B1 KR102557953 B1 KR 102557953B1
Authority
KR
South Korea
Prior art keywords
unit
motion
choreography
momentum
avatar
Prior art date
Application number
KR1020230034818A
Other languages
English (en)
Inventor
김범조
Original Assignee
주식회사 케이에이씨미디어그룹
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이에이씨미디어그룹 filed Critical 주식회사 케이에이씨미디어그룹
Priority to KR1020230034818A priority Critical patent/KR102557953B1/ko
Application granted granted Critical
Publication of KR102557953B1 publication Critical patent/KR102557953B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Graphics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨터 그래픽 기술을 활용한 인체의 동작, 특히 안무의 분석 기술이 개시된다. 아바타 모델은 각 관절별로 질량점을 포함하며, 안무 동작에 따라 각 관절점들의 각 운동량을 산출하여 안무 동작에 따른 운동량을 산출할 수 있다. 안무 동작에서 단위 동작이 식별되고, 운동량은 단위 동작별로 산출될 수 있다. 안무에서 각 동작별로 관절의 작동 변위의 크기가 분석될 수 있다. 이러한 관절별 운동량이나 작동 변위의 크기는 단위 동작 별로 가시적인 정보로 출력될 수 있다.

Description

안무 분석 시스템 {Choreography Analysis System}
컴퓨터 그래픽 기술을 활용한 인체의 동작, 특히 안무의 분석 기술이 개시된다.
2017.12.29.자 출원되어 등록된 특허제1,962,045호는 안무 동작에서 몸통 및 사지의 움직임을 분석하는 기술을 개시하고 있다. 이 기술은 관절점의 위치 데이터로부터 몸통의 특징 벡터를 추출하고, 안무자와 학습자의 몸통 벡터들의 움직임을 비교하여 학습자가 안무자의 동작을 얼마나 정확히 따라하는지 평가한다. 이러한 기술들은 안무를 분석함에 있어서 동작을 분석하는데 그치고 있다.
제안된 발명은 특정한 안무를 연출할 때 관절별로 어느 정도 운동량이 소요되는지 분석할 수 있는 안무 분석 시스템을 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 특정한 안무를 연출할 때 시간적인 흐름에 따라 동작별로 소요되는 운동량을 분석할 수 있는 안무 분석 시스템을 제공하는 것을 목적으로 한다.
제안된 발명은 특정한 안무를 연출할 때 관절별 움직임의 크기를 분석할 수 있는 안무 분석 시스템을 제공하는 것을 목적으로 한다.
나아가 제안된 발명은 특정한 안무를 연출할 때 관절 움직임의 시간적인 흐름에 따른 변화를 분석할 수 있는 안무 분석 시스템을 제공하는 것을 목적으로 한다.
일 양상에 따르면, 아바타 모델은 각 관절별로 질량점을 포함하며, 안무 동작에 따라 각 관절점들의 각 운동량을 산출하여 안무 동작에 따른 운동량을 산출할 수 있다.
추가적인 양상에 따르면, 안무 동작에서 단위 동작이 식별되고, 운동량은 단위 동작별로 산출될 수 있다.
추가적인 양상에 따라, 안무에서 각 동작별로 관절의 작동 변위의 크기가 분석될 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 운동량을 단위 동작 별로 가시적인 정보로 출력할 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 작동 변위의 크기를 단위 동작 별로 가시적인 정보로 출력할 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 운동량은 가동 연결부별로 히트맵으로 표현될 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 작동 변위의 크기는 가동 연결부별로 히트맵으로 표현될 수 있다.
추가적인 양상에 따라, 사용자의 신체 정보로부터 자동으로 모델을 생성하여, 자신의 아바타를 통해 안무를 분석할 수 있다.
제안된 발명에 따라, 특정한 안무를 연출할 때 관절별 운동량을 산출함으로써 시간별 칼로리의 소모나 운동량, 나아가 한 곡을 시연할 때 전체적인 칼로리의 소모나 운동량을 정량적으로 평가할 수 있다. 이는 특히 학생들에게 발레나 댄스를 가르칠 때 운동 효과를 고려하여 적절한 곡이나 안무를 선택하도록 계획하는데 도움을 줄 수 있다.
제안된 발명에 따라, 특정한 안무를 연출할 때 어느 동작에서 어느 관절에 무리가 가는지 분석하도록 지원함으로써 시연자의 연령이나 수준에 적합한 안무를 선택하는데 도움을 줄 수 있을 뿐 아니라, 학습자의 연령이나 운동 능력에 적합하게 안무를 편집하는 것을 도와줄 수 있다.
음악과 안무에 따라 동적으로 움직이는 아바타의 관절에 시각적인 정보로 운동량이 표시됨으로써, 사용자들은 안무, 음악의 어느 부분에서 어느 관절에 무리가 가는지를 시각적으로 확인할 수 있다.
나아가 사용자의 신체 정보로부터 자동으로 모델을 생성하여 자신의 아바타를 통해 안무를 분석할 수 있다. 이에 따라 자신의 몸무게와 팔, 다리 등 부위별 체지방의 분포를 반영하여 안무 동작시 칼로리 소모량이나 관절의 부담을 가늠해볼 수 있다.
도 1은 일 실시예에 따른 안무 분석 시스템의 구성을 도시한 블록도이다.
도 2는 아바타 모델의 일 예를 시각화하여 표현한다.
도 3은 아바타 모델을 구성하는 기본 단위인 뼈대의 한 예를 도시한다.
도 4는 아바타 모델을 구성하는 기본 단위인 뼈대의 또 다른 예를 도시한다.
도 5는 예시적인 뼈대에서 작동 변위의 크기를 산출하는 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 안무 분석 시스템의 정보 출력에 관련된 구성을 도시한다.
도 7은 일 실시예에 따른 안무 분석 시스템이 출력하는 가동 연결부별 운동량의 시각화 정보의 일부를 예시적으로 도시한다.
도 8은 일 실시예에 따른 안무 분석 시스템이 출력하는 가동 연결부별 운동량의 히트맵 출력의 한 예를 도시한다.
도 9는 제안된 안무 분석 시스템의 일부를 구성할 수 있는 아바타 생성부의 일 실시예의 구성을 도시한다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시예 내에서 또는 타 실시예의 구성 요소들과 다양한 조합이 가능한 것으로 이해된다. 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 명세서 및 청구범위에 사용된 용어는 기재 내용 혹은 제안된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
<청구항 1 발명의 설명>
일 양상에 따르면, 아바타 모델은 각 관절별로 질량점을 포함하며, 안무 동작에 따라 각 관절점들의 각 운동량을 산출하여 안무 동작에 따른 운동량을 산출할 수 있다. 도 1은 이러한 양상이 적용된 일 실시예에 따른 안무 분석 시스템의 구성을 도시한 블록도이다. 도시된 바와 같이, 일 실시예에 따른 안무 분석 시스템은 모델링 데이터 저장부(310)와, 안무 컨텐츠 재생부(110)와, 모델 동작 생성부(130)와, 아바타 운동량 분석부(170)를 포함한다. 모델링 데이터 저장부(310)는 컴퓨팅 장치의 기억 요소(storage element), 예를 들면 컴퓨팅 요소(computing element)가 접근 가능한 하드 디스크 혹은 고상 디스크(Solid State Disk)의 저장공간 중 일부로 구현된다.
도 2는 모델링 데이터 저장부(310)에 저장되는 아바타 모델의 일 예를 시각화하여 표현한다. 아바타 모델은 3차원 객체 데이터로 메모리 상에 저장되며, 도 2는 예시적인 간단한 아바타 모델의 데이터를 이해하는데 도움을 주기 위해 시각화하여 표시한 것이다. 일 실시예에서, 모델링 데이터는 그 가동 연결부(11,13,15)를 통해 상호 간에 연결되고 질량과 길이를 가진 뼈대들을 포함한다.
도 3은 이러한 아바타 모델을 구성하는 기본 단위인 뼈대의 한 예를 도시한다. 일 실시예에 따른 뼈대는 2개의 가동 연결부들(10-1, 10-3)을 포함한다. 각각의 가동 연결부들(10-1, 10-3)은 다른 뼈대의 가동 연결부와 연결된다. 속이 빈 원으로 표시된 가동 연결부(10-1)은 다른 가동 연결부와 연결되는 기능만을 가진 단순 가동 연결부를 표시한다. 속이 칠해진 원으로 표시된 가동 연결부(10-3)는 다른 가동 연결부와 연결되면서, 질량을 가진 질량점 가동 연결부를 표시한다. 여기서 질량점은 부피는 0이고 질량만을 가지는 객체를 말한다. 가동 연결부(10-1)와 가동 연결부(10-3)를 연결하는 가지(10-2)의 길이로 이 뼈대의 길이가 표시된다. 데이터 관점에서 가동연결부(10-1)는 속성 정보와 공간 좌표를 가지며, 가동 연결부(10-3)는 속성 정보와 가동연결부(10-1)에 대한 상대 좌표, 그리고 질량 정보를 포함할 수 있다.
도 4는 아바타 모델을 구성하는 기본 단위인 뼈대의 또 다른 예를 도시한다. 도시된 예에서, 이중원으로 표시된 가동 연결부(20-1)는 다른 가동 연결부와 연결되면서, 측정된 공간 좌표를 가지는 마크(Mark)가 할당된 가동 연결부를 표시한다. 마크는 모션 캡쳐에서 카메라를 통해 공간 좌표를 인식하기 위해 사용되는 식별표지이며, 기준점인 관절점에 부착 고정된다.
속이 칠해진 원을 2개의 원이 둘러싸는 형태로 표현된 가동 연결부(20-3)는 마크가 부착되고, 다른 가동 연결부와 연결되면서, 질량을 가진 마크가 할당된 질량점 가동 연결부를 표시한다. 가동 연결부(20-1)와 가동 연결부(20-3)를 연결하는 가지(20-2)의 길이로 이 뼈대의 길이가 표시된다. 데이터 관점에서 가동연결부(20-1)는 마크에 관련된 속성 정보와 공간 좌표를 가지며, 가동 연결부(20-3)는 마크에 관련된 속성 정보와 가동연결부(20-1)에 대한 상대 좌표, 그리고 질량 정보를 포함할 수 있다.
도 2의 예로 돌아가서, 아바타 모델을 구성하는 기본 단위인 뼈대들이 연결될 때 서로 가동 연결부를 공유하는 것으로 표현되고 있다. 즉, 가동 연결부(13-1)는 뼈대(11)의 타단 가동 연결부이면서 뼈대(13)의 일단 가동 연결부를 표시한다. 뼈대(11)의 타단으로서 가동연결부(13-1)는 질량을 가진다.
다시 도 1로 돌아가서, 모델링 데이터 저장부(310)는 예시한 바와 같은 아바타 모델의 모델링 데이터가 저장된다. 안무 동작 생성부(110)는 아바타 모델의 뼈대들 중 적어도 일부에 설정된 동작기준점들 각각의 시간별 위치정보로부터 아바타 모델의 3차원 움직임 정보를 생성한다. 일 실시예에서, 안무 동작 생성부(110)는 컴퓨팅 장치의 기억 요소에 저장된 안무 컨텐츠(330)를 읽어 들여 재생한다. 안무 컨텐츠(330)는 아바타 모델의 뼈대들 중 적어도 일부에 설정된 동작 기준점들 각각의 시간별 공간 상의 위치좌표들을 포함할 수 있다. 예를 들어 동작 기준점은 뼈대의 가동 연결부들마다 설정될 수 있다. 이러한 안무 컨텐츠(330)는 동작 기준점에 대응하는 관절 위치에 마크를 부착하고 시연하는 댄서를 촬영한 카메라를 포함하는 동작 캡쳐(motion capture) 시스템을 통해 생성될 수 있다.
안무 컨텐츠(330)는 모델링 데이터 저장부(310)에 저장된 아바타 모델의 가동 연결부에 비해 더 많은 수의 동작 기준점에 대한 데이터일 수도 있다. 이 경우 안무 동작 생성부(110)는 안무 컨텐츠(330)에서 아바타 모델의 가동 연결부에 대응하는 동작 기준점들의 데이터만을 추출하여 출력한다. 또 다른 예로, 안무 컨텐츠(330)는 모델링 데이터 저장부(310)에 저장된 아바타 모델의 가동 연결부에 비해 더 적은 수의 동작 기준점에 대한 데이터일 수도 있다. 이 경우 안무 동작 생성부(110)는 안무 컨텐츠(330)에서 아바타 모델의 가동 연결부에 대응하는 동작 기준점들의 데이터를 추출하고, 아바타 모델의 나머지 가동 연결부들은 그 각각의 속성을 반영하여 그 주변의 가동 연결부의 움직임으로부터 공간 상의 위치 좌표를 산출하여 추출한 데이터와 함께 출력할 수 있다. 여기서 가동 연결부의 속성 정보는 관절의 움직임의 방향이나 범위에 대한 제한 정보를 포함할 수 있다.
아바타 운동량 분석부(530)는 안무 동작 생성부(110)에서 생성된 아바타 모델의 각 뼈대들의 3차원 움직임 정보로부터 각 뼈대들 중 적어도 일부의 가동 연결부별 운동량을 산출하여 출력한다. 회전체에서 운동량, 즉 각 운동량은 질량과 반지름 및 선속도의 곱으로 표현된다. 예를 들어 도 2에서 뼈대(15)가 가동 연결부(15-1)을 중심으로 특정한 평면을 따라 회전할 때 그 각 운동량은 질량점인 가동 연결부(17-1)의 질량과, 뼈대(15)의 길이 및 가동 연결부(17-1)의 선속도의 곱으로 구할 수 있다. 각 운동량은 벡터량이므로 관절의 윗부분에서 각운동량은 그 아래 연결된 뼈대들의 각 운동량의 합으로 계산할 수 있다. 예를 들어 도 2에서 뼈대(13)가 가동 연결부(13-1)를 중심으로 특정한 평면을 따라 회전하고 가동 연결부(15-1)는 정지해 있을 때 때 그 각운동량은 뼈대(13)의 길이와, 질량점인 가동 연결부(15-1)의 질량과, 그 선속도의 곱으로 표현되는 각 운동량과, 뼈대(13)의 길이와 뼈대(15)의 길이의 합과, 질량점인 가동 연결부(17-1)의 질량과, 가동 연결부(17-1)의 선속도의 곱으로 표현되는 각 운동량의 합이다.
복수의 관절점들이 동시에 움직일 때, 예를 들어 도 2에서 가동 연결부(13-1)와 가동 연결부(15-1)가 모두 움직일 때 각 운동량의 계산은 각 가동 연결부의 공간 상의 위치 좌표의 변화치를 보간(interpolated)하여 추정한 미소 변동분들 위치들을 기준으로 개별 가동 연결부에 위치하는 것으로 모델링되는 질량점들의 질량과 선속도와 기준 가동 연결부로부터의 거리의 곱의 합으로 산출할 수 있다.
여기서 Ri는 기준이 되는 가동 연결부에서 뼈대들을 통해 연결된 질량점 mi 가 위치한 곳까지 거리 벡터이다. 속도 벡터 v i 는 질량점 mi가 위치한 가동 연결부의 공간 좌표의 변동분을 시간 변동분으로 나누어 산출할 수 있다. 예를 들어 양 팔과 양 다리, 그리고 머리에 대해 이러한 방법을 적용함으로써 안무의 단위 증분당 각 운동량을 계산할 수 있다.
<청구항 2 발명의 설명>
추가적인 양상에 따르면, 안무 동작에서 단위 동작이 식별되고, 운동량은 단위 동작별로 산출될 수 있다. 도 1의 실시예에서, 일 실시예에 따른 안무 분석 시스템은 단위동작 식별부(510)를 더 포함할 수 있다. 단위 동작 식별부(510)는 안무 동작 생성부(110)에서 출력되는 각 동작 기준점들 중 적어도 일부의 각각의 시간별 위치정보로부터 단위 동작을 구분한다. 가장 간단한 예에서, 단위 동작 식별부(510)는 일정한 시간 단위로 단위 동작을 구분할 수 있다. 또 다른 예로, 단위 동작 식별부(510)는 동작 기준점들 중 일부, 예를 들면 팔꿈치들이나 무릎들 중 하나의 동작 기준점의 1회의 움직임이 시작되고 종료되는 시점, 즉 기준점 단위 구간들을 검출하여 이 기준점 단위 구간들을 중심으로 단위 동작을 구분할 수 있다. 제안된 발명에서, 단위 동작은 운동을 분석하는 단위라는 측면에서 컨텐츠 측면에서 단위 동작처럼 정교하게 구분될 필요는 없다. 그러나 컨텐츠 측면에서 사람들이 흔히 느끼는 단위 동작으로 구분할 경우 렌더링되어 시각화되는 영상과 매치시킬 수 있다는 점에서 장점이 있다.
<청구항 3 발명의 설명>
추가적인 양상에 따라, 안무 분석 시스템은 안무 컨텐츠를 분석할 뿐 아니라 이를 시각화하여 재생할 수 있다. 이러한 양상에 따라, 도 1에 도시된 일 실시예에 따른 안무 분석 시스템은 오디오 재생부(930)와, 렌더링부(950)를 더 포함할 수 있다. 오디오 재생부(930)는 안무 동작 생성부(110)에서 생성되는 동작 영상에 동기화하여 음악을 재생한다. 렌더링부(950)는 안무 동작 생성부(110)에서 출력되는 아바타 모델의 3차원 움직임 정보로부터 아바타 모델의 동작 영상을 생성하여 출력한다. 이 같은 오디오 재생과 렌더링 기술은 멀티미디어 분야의 일반적인 기술이므로 상세한 설명은 생략한다.
<청구항 4 발명의 설명>
추가적인 양상에 따라, 안무에서 각 동작별로 관절의 작동 변위의 크기가 분석될 수 있다. 이러한 양상에 따라, 도 1에 도시된 일 실시예에 따른 안무 분석 시스템은 아바타 동작범위 분석부(550)를 더 포함할 수 있다. 아바타 동작범위 분석부(550)는 안무 동작 생성부(110)에서 생성된 아바타 모델의 각 뼈대들의 3차원 움직임 정보로부터 각 뼈대들의 가동연결부 중 적어도 일부의 단위 동작별 작동 변위의 크기를 산출하여 출력한다. 이러한 작동 변위의 크기는 하나의 가동 연결부를 중심으로 그 가동 연결부에 연결된 다른 가동 연결부의 회전 방향을 포함하는 평면을 정의하고, 그 평면 상에서 그 다른 가동 연결부의 회전량을 각도로 산출할 수 있다. 도 5는 예시적인 뼈대에서 작동 변위의 크기를 산출하는 과정을 설명하기 위한 도면이다. 가동 연결부(30-2)는 가동 연결부(30-1)를 중심으로 가동 연결부(30-2')의 위치로 회전한다. 평면 A는 가동 연결부의 처음 위치(30-2)와, 가동 연결부의 나중 위치(30-2')와, 회전 중심인 가동 연결부(30-1)의 3점에 의해 정의되는 평면이다. 작동 변위의 크기를 고려함에 있어서 곡면을 따라 뼈대가 움직이는 경우에도 최종적인 작동 변위를 산출한다는 관점에서는 평면으로 가정하고 산출해도 상관이 없음을 알 수 있다. 관절별 작동 변위는 노약자나 관절 손상을 겪은 사람에게 특정한 관절에 초점을 맞추어 적합한 안무를 선택하거나 안무의 어느 부분이 시연에 무리가 오는지를 알려주는데 도움을 줄 수 있다.
<청구항 5, 6 발명의 설명>
추가적인 양상에 따라, 아바타 모델의 관절별 운동량을 단위 동작 별로 가시적인 정보로 출력할 수 있다. 도 6은 일 실시예에 따른 안무 분석 시스템의 정보 출력에 관련된 구성을 도시한다. 이러한 양상에 따라, 안무 분석 시스템은 운동량 정보 표시부(710)를 더 포함할 수 있다. 운동량 정보 표시부(710)는 아바타 운동량 분석부(530)에서 출력되는 단위 동작별 가동 연결부별 운동량을 시간축에 대해 가시적인 그래프 정보로 생성하여 출력할 수 있다. 도 7은 이러한 양상에 따라 일 실시예에 따른 안무 분석 시스템이 출력하는 가동 연결부별 운동량의 시각화 정보의 일부를 예시적으로 도시한다. 도시된 바와 같이, 현재 재생되는 음악의 흐름에 따라 각 관절별 단위 동작별 운동량의 크기를 시간의 흐름에 따라 표시한다. 시간이 흐르면 좌표축은 고정되지만 관절별 단위동작 파트는 화면이 스크롤되면서 위로 올라가고 새로운 단위 동작에 대한 관절별 운동량의 크기가 계속 표시될 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 작동 변위의 크기를 단위 동작 별로 가시적인 정보로 출력할 수 있다. 이러한 양상에 따라, 안무 분석 시스템은 동작범위 정보 표시부(730)를 더 포함할 수 있다. 동작범위 정보 표시부(730)는 아바타 동작범위 분석부(550)에서 출력되는 단위 동작별 가동연결부별 작동 변위의 크기를 시간축에 대해 가시적인 그래프 정보로 생성하여 출력할 수 있다. 관절별 작동 변위의 크기도 도 7에 예시한 운동량과 유사한 사용자 인터페이스를 통해 출력될 수 있다.
<청구항 7,8 발명의 설명>
추가적인 양상에 따라, 아바타 모델의 관절별 운동량은 가동 연결부별로 히트맵으로 표현될 수 있다. 이러한 양상에 따라, 안무 분석 시스템은 운동량 정보 히트맵 표시부(750)를 더 포함할 수 있다. 운동량 정보 히트맵 표시부(750)는 아바타 운동량 분석부(530)에서 출력되는 단위 동작별 가동 연결부별 운동량을 가동연결부 부위의 컬러로 표시하여 출력할 수 있다. 도 8은 이러한 양상에 따라 일 실시예에 따른 안무 분석 시스템이 출력하는 가동 연결부별 운동량의 히트맵 출력의 한 예를 도시한다. 도시된 바와 같이, 안무에 따라 동작하는 시각화된 아바타의 관절 부위에 컬러 표지가 부착되어 표시된다. 예시적인 도면에서는 관절 모델이지만, 표면 모델들을 부가하여 리얼한 아바타 모델로 연출할 수도 있다. 각 관절부위의 컬러는 그 관절의 운동량의 크기를 나타낸다. 예를 들어 붉은 색 계열은 운동량이 기준치 이상임을 나타내고, 녹색 계열은 운동량이 기준치 이하임을 나타내며, 그 채도는 운동량의 강도를 나타낼 수 있다. 음악과 안무에 따라 동적으로 움직이는 아바타의 관절에 시각적인 정보로 운동량이 표시됨으로써, 사용자들은 안무, 음악의 어느 부분에서 어느 관절에 무리가 가는지를 시각적으로 확인할 수 있다.
추가적인 양상에 따라, 아바타 모델의 관절별 작동 변위의 크기를 가동 연결부별로 히트맵으로 표현될 수 있다. 이러한 양상에 따라, 안무 분석 시스템은 동작 범위 정보 히트맵 표시부(770)를 더 포함할 수 있다. 동작범위정보 히트맵 표시부(770)는 아바타 운동량 분석부(530)에서 출력되는 단위 동작별 가동 연결부별 작동 변위의 크기를 가동연결부 부위의 컬러로 표현하여 출력할 수 있다. 이러한 히트맵은 전술한 도 8과 유사하게 출력될 수 있다. 음악과 안무에 따라 동적으로 움직이는 아바타의 관절에 시각적인 정보로 관절별 작동 변위의 크기가 표시됨으로써, 사용자들은 안무, 음악의 어느 부분에서 어느 관절에 무리가 가는지를 시각적으로 확인할 수 있다.
<청구항 9,10 발명의 설명>
추가적인 양상에 따라, 사용자의 신체 정보로부터 자동으로 아바타 모델을 생성하여, 자신의 아바타를 통해 안무를 분석할 수 있다. 도 9는 제안된 안무 분석 시스템의 일부를 구성할 수 있는 아바타 생성부의 일 실시예의 구성을 도시한다.
도시된 실시예에서, 모델 생성부(200)는 사용자가 입력한 개인의 신체 체형 데이터로부터 아바타 모델을 생성하여 저장한다. 일 실시예에서, 모델 생성부(200)는 별도의 서버에서 컴퓨터 프로그램으로 구현될 수 있다.
일 실시예에 있어서, 모델 생성부(200)는 뼈대길이 산출부(210)를 포함할 수 있다. 뼈대길이 산출부(210)는 다중 카메라에서 출력되는 다시점 영상들에서 각 관절점들의 좌표를 추출하고, 각 관절점 간의 거리를 계산하여 모델링 데이터 저장부(310)에 각 뼈대들의 길이 정보로 저장한다. 다시점 영상에서 관절점들을 추출하는 기술은 비젼 처리 분야나 인공 지능 분야에서 알려진 기술이다. 이때 절대적인 길이는 사용자가 입력한 자신의 키 정보로부터 비율로 환산될 수 있다.
일 실시예에 따른 모델 생성부(200)는 표면모델 생성부(250)를 더 포함할 수 있다. 표면모델 생성부(250)는 다시점 영상으로부터 신체 표면을 모델링한다. 이 신체 표면 모델이 뼈대길이 산출부(210)에서 생성된 3차원 뼈대 모델(skeleton model)과 결합되어 안무 컨텐츠의 정보에 따라 동작하는 아바타가 생성될 수 있다. 이러한 기술은 신체 스캔(body scan) 분야에서 알려진 기술이다.
일 양상에 따라, 일 실시예에 따른 모델 생성부(200)는 체중분포 산출부(230)를 더 포함할 수 있다. 체중분포 산출부(230)는 사용자가 입력한 체중과 부위별 신체질량지수로부터 각 뼈대들의 질량을 산출한다. 신체 부위별 신체 질량지수는 측정 장치로부터 직접 입력될 수도 있다. 부위별 신체질량지수(Body Mass Index)로부터 추정되는 근육량과 체지방율로부터 각 뼈대들이 차지하는 체중의 비율이 산출될 수 있다. 이때 뼈대길이 산출부(210)에서 산출한 뼈대의 길이와 표면모델 생성부(250)에서 생성된 3차원 모델로부터 각 뼈대에 관련된 신체 부위의 부피를 계산하여 이를 체중 분포 계산에 반영할 수 있다. 즉 신체 질량 지수로부터 계산된 값과 신체 부위의 길이와 부피를 비교하여 신체 질량 지수의 값이 부정확하다고 판단되는 경우 이를 보정하여 뼈대의 무게를 계산할 수 있다. 이렇게 산출된 뼈대별 질량 정보는 모델링 데이터 저장부(310)에 저장될 수 있다.
사용자는 먼저 신체질량지수 측정 장비에서 키와 체중을 포함하는 개인 정보를 입력하고, 다중 카메라가 설치된 스캔룸에서 자신의 신체를 스캔한다. 이렇게 획득된 영상과 데이터들은 서버로 전송되어 사용자의 3차원 아바타 모델이 생성되어 저장된다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다.
110 : 안무 동작 생성부
200 : 아바타 모델 생성부
210 : 뼈대길이산출부 230 : 체중분포 산출부
250 : 표면모델 생성부
310 : 모델링 데이터 저장부 330 : 안무 컨텐츠
510 : 단위동작 식별부 530 : 아바타 운동량 분석부
550 : 아바타 동작범위 분석부
710 : 운동량 정보 표시부 730 : 동작범위정보 표시부
750 : 운동량 정보 히트맵 표시부 770 : 동작범위정보 히트맵 표시부
911 : 사용자 조작부 915 : 표시 제어부
930 : 오디오 재생부
950 : 렌더링부

Claims (10)

  1. 컴퓨팅 요소와 기억 요소를 가진 정보처리컴퓨팅 장치에서 구현되는 안무 분석 시스템에 있어서, 상기 시스템이 :
    그 가동 연결부를 통해 상호 간에 연결되고 질량과 길이를 가진 뼈대들을 포함하는 아바타 모델이 저장된 모델링 데이터 저장부와
    상기 아바타 모델의 뼈대들 중 적어도 일부에 설정된 동작기준점들 각각의 시간별 위치정보로부터 아바타 모델의 3차원 움직임 정보를 생성하는 안무 동작 생성부와;
    상기 안무 동작 생성부에서 생성되는 동작 영상에 동기화하여 음악을 재생하는 오디오 재생부와;
    안무 동작 생성부에서 출력되는 아바타 모델의 3차원 움직임 정보로부터 아바타 모델의 동작 영상을 생성하여 출력하는 렌더링부와;
    상기 안무 동작 생성부에서 출력되는 각 동작 기준점들 중 적어도 일부의 각각의 시간별 위치정보로부터 단위 동작을 구분하는 단위동작 식별부와;
    상기 안무 동작 생성부에서 생성된 아바타 모델의 각 뼈대들의 3차원 움직임 정보로부터 각 뼈대들 중 적어도 일부의 가동 연결부별 운동량을 산출하여 출력하되, 질량점인 가동 연결부의 질량과, 뼈대의 길이 및 가동 연결부의 선속도의 곱으로 각 가동 연결부별 운동량을 산출하는 아바타 운동량 분석부와;
    상기 아바타 운동량 분석부에서 출력되는 단위 동작별 가동 연결부별 운동량을 시간축에 대해 가시적인 그래프 정보로 생성하여 출력하되, 시간의 흐름에 대해 좌표축은 고정하고 단위 동작 파트는 스크롤하면서 새로운 단위 동작에 대한 관절별 운동량의 크기를 연속적으로 표시하는 운동량정보 표시부;
    를 포함하는 안무 분석 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 상기 안무 분석 시스템은 :
    상기 안무 동작 생성부에서 생성된 아바타 모델의 각 뼈대들의 3차원 움직임 정보로부터 각 뼈대들의 가동연결부 중 적어도 일부의 단위 동작별 작동 변위의 크기를 산출하여 출력하는 아바타 동작범위 분석부;
    를 더 포함하는 안무 분석 시스템.
  5. 삭제
  6. 청구항 4에 있어서, 상기 안무 분석 시스템은 :
    상기 아바타 동작범위 분석부에서 출력되는 단위 동작별 가동연결부별 작동 변위의 크기를 시간축에 대해 가시적인 그래프 정보로 생성하여 출력하는 동작범위 정보 표시부;
    를 더 포함하는 안무 분석 시스템.
  7. 청구항 1에 있어서, 상기 안무 분석 시스템은 :
    상기 아바타 운동량 분석부에서 출력되는 단위 동작별 가동연결부별 운동량을 가동연결부 부위의 컬러로 표시하여 출력하는 운동량정보 히트맵 표시부;
    를 더 포함하는 안무 분석 시스템.
  8. 청구항 4에 있어서, 상기 안무 분석 시스템은 :
    상기 아바타 운동량 분석부에서 출력되는 단위 동작별 가동연결부별 작동 변위의 크기를 가동연결부 부위의 컬러로 표현하여 출력하는 동작범위정보 히트맵 표시부;
    를 더 포함하는 안무 분석 시스템.
  9. 청구항 1에 있어서, 상기 안무 분석 시스템은 :
    사용자가 입력한 개인의 신체 체형 데이터로부터 아바타 모델을 생성하여 저장하는 아바타 모델 생성부
    를 더 포함하는 안무 분석 시스템.
  10. 청구항 9에 있어서, 상기 아바타 모델 생성부는 체중과 부위별 신체질량지수로부터 각 뼈대들의 질량을 산출하는 체중분포 산출부; 를 포함하는 안무 분석 시스템.
KR1020230034818A 2023-03-16 2023-03-16 안무 분석 시스템 KR102557953B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230034818A KR102557953B1 (ko) 2023-03-16 2023-03-16 안무 분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230034818A KR102557953B1 (ko) 2023-03-16 2023-03-16 안무 분석 시스템

Publications (1)

Publication Number Publication Date
KR102557953B1 true KR102557953B1 (ko) 2023-07-20

Family

ID=87426151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230034818A KR102557953B1 (ko) 2023-03-16 2023-03-16 안무 분석 시스템

Country Status (1)

Country Link
KR (1) KR102557953B1 (ko)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090007669A (ko) * 2008-12-24 2009-01-20 (주)사이클론 소프트 3차원 댄스 온라인 게임 방법
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR101270151B1 (ko) * 2012-08-16 2013-05-31 임기현 아바타 춤동작 제작기능을 제공하는 아바타 서비스 시스템
KR101859549B1 (ko) * 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법
KR101937040B1 (ko) * 2017-07-20 2019-01-09 윤흥식 온라인 기반의 사용자 운동량 추정 방법
KR101962045B1 (ko) * 2017-12-29 2019-03-25 포항공과대학교 산학협력단 안무 평가 장치 및 방법
KR20210090498A (ko) * 2020-01-10 2021-07-20 주식회사 리모 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램
KR20220065495A (ko) * 2020-11-13 2022-05-20 대한민국(국립재활원장) 아바타를 이용한 환자의 운동능력 평가 방법 및 운동능력 평가 장치
KR102469575B1 (ko) * 2022-03-03 2022-11-22 주식회사 아스포즈 운동량 측정을 기반으로 하는 스크린 클라이밍 시스템
KR20230005693A (ko) * 2021-07-01 2023-01-10 상명대학교산학협력단 태그를 사용한 운동관리 헬스케어 서비스 시스템
KR20230026228A (ko) * 2021-08-17 2023-02-24 삼성전자주식회사 안무 학습 정보를 제공하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
KR20230061876A (ko) * 2021-10-29 2023-05-09 고선균 모션인식 기반의 운동관리시스템 및 운동관리방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100002803A (ko) * 2008-06-30 2010-01-07 삼성전자주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
KR20090007669A (ko) * 2008-12-24 2009-01-20 (주)사이클론 소프트 3차원 댄스 온라인 게임 방법
KR101270151B1 (ko) * 2012-08-16 2013-05-31 임기현 아바타 춤동작 제작기능을 제공하는 아바타 서비스 시스템
KR101937040B1 (ko) * 2017-07-20 2019-01-09 윤흥식 온라인 기반의 사용자 운동량 추정 방법
KR101859549B1 (ko) * 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법
KR101962045B1 (ko) * 2017-12-29 2019-03-25 포항공과대학교 산학협력단 안무 평가 장치 및 방법
KR20210090498A (ko) * 2020-01-10 2021-07-20 주식회사 리모 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램
KR20220065495A (ko) * 2020-11-13 2022-05-20 대한민국(국립재활원장) 아바타를 이용한 환자의 운동능력 평가 방법 및 운동능력 평가 장치
KR20230005693A (ko) * 2021-07-01 2023-01-10 상명대학교산학협력단 태그를 사용한 운동관리 헬스케어 서비스 시스템
KR20230026228A (ko) * 2021-08-17 2023-02-24 삼성전자주식회사 안무 학습 정보를 제공하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법
KR20230061876A (ko) * 2021-10-29 2023-05-09 고선균 모션인식 기반의 운동관리시스템 및 운동관리방법
KR102469575B1 (ko) * 2022-03-03 2022-11-22 주식회사 아스포즈 운동량 측정을 기반으로 하는 스크린 클라이밍 시스템

Similar Documents

Publication Publication Date Title
US8217995B2 (en) Providing a collaborative immersive environment using a spherical camera and motion capture
US8615383B2 (en) Immersive collaborative environment using motion capture, head mounted display, and cave
CA2662318C (en) Immersive collaborative environment using motion capture, head mounted display, and cave
Kennaway Synthetic animation of deaf signing gestures
KR20160093131A (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
CN104271066A (zh) 具有不用手的控制的混合图像/场景再现器
Capece et al. A low-cost full body tracking system in virtual reality based on microsoft kinect
Müller et al. The virtual reality arthroscopy training simulator
KR20010095900A (ko) 3차원 모션캡쳐 분석시스템 및 그 방법
Beacco et al. Footstep parameterized motion blending using barycentric coordinates
KR102557953B1 (ko) 안무 분석 시스템
Thalmann et al. Virtual reality software and technology
CN113268626A (zh) 数据处理方法、装置、电子设备及存储介质
Dayrit et al. Remagicmirror: Action learning using human reenactment with the mirror metaphor
KR20200078858A (ko) 근골격 구조에 기반한 3d 캐릭터의 스키닝 가중치 계산 방법
Magnenat-Thalmann et al. Virtual reality software and technology
Paloc et al. Virtual reality surgical training and assessment system
Pinho et al. A user interface model for navigation in virtual environments
WO2023026529A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
Baca Application of computer animation techniques for presenting biomechanical research results
Li et al. Computer-aided teaching software of three-dimensional model of sports movement based on kinect depth data
Noor et al. Review on 3d facial animation techniques
Magnoux et al. Dynamic Cutting of a Meshless Model for Interactive Surgery Simulation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant