KR102412553B1 - 인공지능 기반 댄스 동작 비교 방법 및 장치 - Google Patents

인공지능 기반 댄스 동작 비교 방법 및 장치 Download PDF

Info

Publication number
KR102412553B1
KR102412553B1 KR1020210187898A KR20210187898A KR102412553B1 KR 102412553 B1 KR102412553 B1 KR 102412553B1 KR 1020210187898 A KR1020210187898 A KR 1020210187898A KR 20210187898 A KR20210187898 A KR 20210187898A KR 102412553 B1 KR102412553 B1 KR 102412553B1
Authority
KR
South Korea
Prior art keywords
dance
motion
joint
angle
user
Prior art date
Application number
KR1020210187898A
Other languages
English (en)
Inventor
이상기
Original Assignee
주식회사 큐랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐랩 filed Critical 주식회사 큐랩
Priority to KR1020210187898A priority Critical patent/KR102412553B1/ko
Application granted granted Critical
Publication of KR102412553B1 publication Critical patent/KR102412553B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공지능 기반 댄스 동작 비교 방법에 관한 것으로서, 보다 구체적으로는 컴퓨터에 의해 각 단계가 수행되는 댄스 트레이닝을 위한 댄스 동작 비교 방법으로서, 레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되, (1) 상기 댄스 트레이닝을 하는 사용자의 모습을 카메라가 촬영한 영상 데이터를 입력받는 단계; (2) 상기 영상 데이터에서 사용자를 인식하고, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 단계; (3) 상기 관절 좌표를 이용해 관절의 각도를 산출하며, 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 단계; 및 (4) 상기 단계 (3)의 비교 결과에 기초해 동작 일치율을 산출하는 단계를 포함하며, 상기 단계 (3)에서는, 상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 인공지능 기반 댄스 동작 비교 장치에 관한 것으로서, 보다 구체적으로는 댄스 트레이닝을 위한 댄스 동작 비교 장치로서, 레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되, 상기 댄스 트레이닝을 하는 사용자의 모습을 카메라가 촬영한 영상 데이터를 입력받는 입력부; 인공지능 기반의 포즈 추정 모델을 이용해 상기 영상 데이터에서 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 관절 추출부; 상기 관절 좌표를 이용해 관절의 각도를 산출하며, 상기 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 동작 비교부; 및 상기 동작 비교부의 비교 결과에 기초해 동작 일치율을 산출하는 결과 산출부를 포함하며, 상기 동작 비교부는, 상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 인공지능 기반 댄스 동작 비교 방법 및 장치에 따르면, 댄스 트레이닝을 하는 사용자의 댄스 동작을 레퍼런스 댄스 동작과 실시간으로 비교하되, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 추정함으로써 영상 데이터에서 관절을 정확하게 획득할 수 있고, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교함으로써, 사용자의 신체 조건이 다를 때에도 정확하게 동작 일치율을 산출할 수 있다.

Description

인공지능 기반 댄스 동작 비교 방법 및 장치{METHOD AND APPARATUS FOR COMPARING DANCE MOTION BASED ON AI}
본 발명은 댄스 동작 비교 방법 및 장치에 관한 것으로서, 보다 구체적으로는 인공지능 기반 댄스 동작 비교 방법 및 장치에 관한 것이다.
한류의 확산에 따라 K-Pop 아카데미 이외에도, 유튜브(Youtube) 등의 영상 스트리밍 서비스를 이용하여 직접 K-Pop 댄스를 트레이닝하고자 하는 사용자가 증가하고 있다. 그러나 이러한 동영상을 이용한 댄스 트레이닝 방식은 사용자가 업로드된 동영상에서 아이돌(Idol)의 댄스 동작을 단순히 따라 하는 것에 불과하므로, 제대로 된 댄스 트레이닝이 이루어질 수 없다는 문제점이 있다. 사용자는 아무런 피드백 없이 동영상을 통해 일방적으로만 영상 정보를 전달받으면서, 현재 자신이 추고 있는 댄스 동작이 얼마나 정확한지 또는 어느 부분이 일치하지 않는지를 스스로 판단해야 하기 때문이다.
특히, 동영상을 이용한 댄스 트레이닝 방식에서 사용자는 자신의 동작에 대해 아무런 피드백을 받을 수 없으므로, 사용자가 댄스 트레이닝을 지속하기가 매우 어렵다는 문제점이 있다. 댄스 트레이닝을 지속할 수 있도록 돕는 전문 강사 없이 사용자는 동영상만을 보며 정해진 동작을 반복해야 하므로, 댄스 트레이닝에 따른 성취감을 전혀 느낄 수 없기 때문이다.
이와 같은 문제를 해결하기 위해, 등록특허 제10-1989447호(발명의 명칭: 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템, 등록 일자: 2019년 06월 10일)가 개시된 바 있다.
선행기술에 따르면, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라 하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있으며, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있으며, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있다. 그러나 선행기술에서는, 모션 인식 카메라를 이용해 동작을 감지하기 때문에 키넥트 등 특수 카메라를 사용해야 하고, 이를 지원하는 별도의 소프트웨어도 필요한 한계가 있다.
한편, 최근 급격히 발전하고 있는 인공지능 기술은 영상 처리 분야에 도입되어 매우 우수한 성능을 보이며, 이에 대한 활발한 연구개발이 이루어지고 있다. 이러한 인공지능 기술을 사용해 영상을 처리하여 영상에 촬영된 객체를 검출하고, 얼굴이나 사람의 포즈 등을 인식할 수도 있다.
따라서 이러한 인공지능 기술을 댄스 트레이닝에 활용하면, 댄스 동작을 보다 정밀하게 분석하고 비교할 수 있는 기술을 개발할 수 있을 것으로 기대된다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 댄스 트레이닝을 하는 사용자의 댄스 동작을 레퍼런스 댄스 동작과 실시간으로 비교하되, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 추정함으로써 영상 데이터에서 관절을 정확하게 획득할 수 있고, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교함으로써, 사용자의 신체 조건이 다를 때에도 정확하게 동작 일치율을 산출할 수 있는, 인공지능 기반 댄스 동작 비교 방법 및 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 댄스 동작 비교 방법은,
컴퓨터에 의해 각 단계가 수행되는 댄스 트레이닝을 위한 댄스 동작 비교 방법으로서,
레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되,
(1) 상기 댄스 트레이닝을 하는 사용자의 모습을 카메라가 촬영한 영상 데이터를 입력받는 단계;
(2) 상기 영상 데이터에서 사용자를 인식하고, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 단계;
(3) 상기 관절 좌표를 이용해 관절의 각도를 산출하며, 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 단계; 및
(4) 상기 단계 (3)의 비교 결과에 기초해 동작 일치율을 산출하는 단계를 포함하며,
상기 단계 (3)에서는,
상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 레퍼런스 댄스 동작은,
모션 캡처한 전문 댄서의 동작을 기초로 제작된 캐릭터의 동작일 수 있다.
바람직하게는, 상기 단계 (2)에서는,
코, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎, 및 좌우 발목을 포함하는 관절 좌표를 연결해 뼈대를 추출할 수 있다.
더욱 바람직하게는, 상기 비연결 관절의 각도는,
좌측 손목, 좌측 어깨 및 우측 발목으로 구성되는 각도 및 좌측 손목, 우측 손목 및 좌측 발목으로 구성되는 각도를 포함할 수 있다.
바람직하게는, 상기 단계 (4)에서는,
상기 단계 (3)에서 비교한 관절의 각도별 일치율을 결합해 동작 일치율을 산출하되, 댄스 동작의 특성에 따라 미리 설정된 관절의 각도별 가중치를 적용해 상기 동작 일치율을 산출할 수 있다.
바람직하게는, 상기 단계 (4) 이후에는,
(5) 사용자의 연속된 댄스 동작이 촬영된 상기 영상 데이터에서, 상기 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 상기 동작 일치율이 가장 높은 댄스 동작을 상기 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 상기 가장 높은 동작 일치율을 최종 동작 일치율로 결정할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 인공지능 기반 댄스 동작 비교 장치는,
댄스 트레이닝을 위한 댄스 동작 비교 장치로서,
레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되,
상기 댄스 트레이닝을 하는 사용자의 모습을 카메라가 촬영한 영상 데이터를 입력받는 입력부;
인공지능 기반의 포즈 추정 모델을 이용해 상기 영상 데이터에서 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 관절 추출부;
상기 관절 좌표를 이용해 관절의 각도를 산출하며, 상기 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 동작 비교부; 및
상기 동작 비교부의 비교 결과에 기초해 동작 일치율을 산출하는 결과 산출부를 포함하며,
상기 동작 비교부는,
상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 결과 산출부는,
사용자의 연속된 댄스 동작이 촬영된 상기 영상 데이터에서, 상기 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 상기 동작 일치율이 가장 높은 댄스 동작을 상기 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 상기 가장 높은 동작 일치율을 최종 동작 일치율로 결정할 수 있다.
본 발명에서 제안하고 있는 인공지능 기반 댄스 동작 비교 방법 및 장치에 따르면, 댄스 트레이닝을 하는 사용자의 댄스 동작을 레퍼런스 댄스 동작과 실시간으로 비교하되, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 추정함으로써 영상 데이터에서 관절을 정확하게 획득할 수 있고, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교함으로써, 사용자의 신체 조건이 다를 때에도 정확하게 동작 일치율을 산출할 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 구현을 위한 시스템 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 장치의 세부적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 구현을 위한 키포인트 맵핑을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서 비교를 위해 사용하는 관절의 각도를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서 관절의 각도를 정의하는 화면을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서, 동작 일치율을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서, 타임 프레임 설정에 따른 댄스 동작 매칭을 설명하기 위해 도시한 도면.
도 9 내지 도 11은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법이 구현된 댄스 동작 비교 장치의 화면을 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 구현을 위한 시스템 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법은, 카메라(200)로부터 사용자의 댄스 영상을 전달받아 분석하고, 레퍼런스 댄스 동작과 사용자의 댄스 동작을 비교하는 댄스 동작 비교 장치(100)에 의해 구현될 수 있다. 보다 구체적으로, 댄스 트레이닝 콘텐츠를 제공하는 댄스 트레이닝 시스템은, 카메라(200), 댄스 동작 비교 장치(100) 및 댄스 트레이닝 제공 장치(300)를 포함하여 구성될 수 있으며, 댄스 트레이닝 제공 장치(300)가 댄스 트레이닝 콘텐츠를 사용자에게 제공하면서, 댄스 동작 비교 장치(100)가 분석 및 비교한 레퍼런스 댄스 동작과의 동작 일치율을 기반으로 다양한 피드백을 제공할 수 있다. 예를 들어, 동작 일치율에 따라 “Perfect”, “Good”, “Bad” 등의 텍스트 피드백을 제공하거나, 일치율이 낮은 신체 부분을 표시해 알려줄 수 있고, 동작 일치율을 기준값과 비교해 난이도를 자동 조절할 수도 있다.
도 2는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 장치(100)의 세부적인 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 장치(100)는, 레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되, 댄스 트레이닝을 하는 사용자의 모습을 카메라(200)가 촬영한 영상 데이터를 입력받는 입력부(110); 인공지능 기반의 포즈 추정 모델을 이용해 영상 데이터에서 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 관절 추출부(120); 관절 좌표를 이용해 관절의 각도를 산출하며, 레퍼런스 댄스 동작에서 산출된 관절의 각도와 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 동작 비교부(130); 및 동작 비교부(130)의 비교 결과에 기초해 동작 일치율을 산출하는 결과 산출부(140)를 포함하여 구성될 수 있다.
여기서, 동작 비교부(130)는, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교할 수 있다. 뼈대로 연결된 연결 관절의 각도만 비교하는 경우, 사용자의 키 등 신체 조건에 따라 같은 동작에서도 각도가 크게 차이 나게 되어 댄스 동작의 일치율 산출에 오차가 발생할 수 있다. 따라서 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 장치(100)의 동작 비교부(130)는, 연결 관절의 각도뿐만 아니라, 비연결 관절의 각도를 추가로 비교해 신체 조건의 차이를 극복하고 정확하게 댄스 동작을 비교할 수 있다.
또한, 결과 산출부(140)는, 사용자의 연속된 댄스 동작이 촬영된 영상 데이터에서, 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 동작 일치율이 가장 높은 댄스 동작을 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 가장 높은 동작 일치율을 최종 동작 일치율로 결정할 수 있다. 따라서 연속적인 댄스 동작 시에 카메라 영상 처리나 사용자의 반응 속도에 따른 시간 지연을 효과적으로 고려할 수 있다.
도 3은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법은, 컴퓨터에 의해 각 단계가 수행되는 댄스 트레이닝을 위한 댄스 동작 비교 방법으로서, 레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되, 댄스 트레이닝을 하는 사용자의 모습을 카메라(200)가 촬영한 영상 데이터를 입력받는 단계(S110), 인공지능 기반의 포즈 추정 모델을 이용해 관절 좌표를 획득하고 관절 좌표를 연결해 뼈대를 추출하는 단계(S120), 레퍼런스 댄스 동작에서 산출된 관절의 각도와 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 단계(S130) 및 비교 결과에 기초해 동작 일치율을 산출하는 단계(S140)를 포함하여 구현될 수 있으며, 타임 프레임 내에서 동작 일치율이 가장 높은 댄스 동작을 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고 최종 동작 일치율을 결정하는 단계(S150)를 더 포함하여 구현될 수 있다.
본 발명은 인공지능 기반 댄스 동작 비교 방법에 관한 것으로서, 메모리 및 프로세서를 포함한 하드웨어에서 기록되는 소프트웨어로 구성될 수 있다. 예를 들어, 본 발명의 인공지능 기반 댄스 동작 비교 방법은, 개인용 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, PDA, 스마트폰, 태블릿 PC 등에 저장 및 구현될 수 있다. 이하에서는 설명의 편의를 위해, 각 단계를 수행하는 주체가 생략될 수 있다.
도 4는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 구현을 위한 키포인트 맵핑을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서는, 포즈 추정 모델로 포즈넷을, 알고리즘 구현 엔진으로 유니티(Unity)를 사용할 수 있다. 보다 구체적으로, 포즈넷을 사용해 추정되는 관절 키포인트와 유니티 애니메이터의 키포인트를 맵핑할 수 있다. 포즈넷은 코, 양 눈, 양 귀로 얼굴에서만 5개의 키포인트를 추정하는데, 본 발명에서는 5개의 키포인트 중 코만 사용해 유니티의 Head와 맵핑할 수 있다. 또한, 포즈넷의 Shoulder는 유니티의 Upper Arm, 포즈넷의 Elbow는 유니티의 Lower Arm, 포즈넷의 Wrist는 유니티의 Hand, 포즈넷의 Hip은 유니티의 Upper Leg, 포즈넷의 Knee는 유니티의 Lower Leg, 포즈넷의 Ankle은 유니티의 Foot과 각각 맵핑할 수 있다. 이와 같이, 포즈넷에서 추출되는 관절 포인트를 유니티의 15개 포인트로 맵핑하여, 유니티를 사용한 실시간 댄스 동작 비교가 가능하도록 구성할 수 있다.
이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법의 각 단계에 대해 상세히 설명하도록 한다.
단계 S110에서는, 입력부(110)에서, 댄스 트레이닝을 하는 사용자의 모습을 카메라(200)가 촬영한 영상 데이터를 입력받을 수 있다. 여기서, 카메라(200)는 일반적인 2차원 영상을 촬영하는 카메라(200)로, 웹캠, 노트북이나 휴대전화 등에 구비된 카메라(200) 등을 모두 포함할 수 있다. 또한, 단계 S110에서 입력받는 영상 데이터는 복수의 프레임으로 구성되는 동영상 데이터일 수 있고, 댄스 트레이닝을 하는 사용자의 모습을 실시간으로 입력받을 수 있다.
단계 S120에서는, 관절 추출부(120)가, 영상 데이터에서 사용자를 인식하고, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출할 수 있다. 여기서, 인공지능 기반의 포즈 추정 모델은, 포즈넷(PoseNet), 오픈포즈(OpenPose) 등일 수 있다. 보다 구체적으로, 단계 S120에서는, 코, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎, 및 좌우 발목을 포함하는 관절 좌표를 연결해 뼈대를 추출할 수 있다. 즉, 단계 S120에서는, 도 4의 설명에서 전술한 바와 같이 유니티 애니메이터의 키포인트와 맵핑된 관절의 좌표를 추출하고, 해당 관절들을 연결해 스켈레톤을 생성할 수 있다.
단계 S130에서는, 동작 비교부(130)에서, 관절 좌표를 이용해 관절의 각도를 산출하며, 레퍼런스 댄스 동작에서 산출된 관절의 각도와 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교할 수 있다. 여기서, 레퍼런스 댄스 동작은, 모션 캡처한 전문 댄서의 동작을 기초로 제작된 캐릭터의 동작일 수 있다.
보다 구체적으로, 단계 S130에서는, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교할 수 있다. 즉, 뼈대로 서로 연결된 연결 관절들 사이의 각도뿐만 아니라 뼈대로 연결되어 있지 않은 비연결 관절들 사이의 각도도 비교하여 각도 비교에 대한 교차 검증을 함으로써, 사용자의 신체 조건에 따른 각도 차이를 극복하고 레퍼런스 댄스 동작과 정확하게 비교할 수 있다. 여기서, 비연결 관절의 각도는, 좌측 손목, 좌측 어깨 및 우측 발목으로 구성되는 각도 및 좌측 손목, 우측 손목 및 좌측 발목으로 구성되는 각도를 포함할 수 있다.
도 5는 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서 비교를 위해 사용하는 관절의 각도를 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서 관절의 각도를 정의하는 화면을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서는, 뼈대로 서로 연결되어 있지 않은 우측 어깨와 좌측 발목, 우측 손목과 좌측 손목, 좌측 손목과 우측 발목, 발꿈치와 골반 등의 비연결 관절을 잇는 선분을 추가하고, 기존 뼈대와 추가된 선분들 중 2개로 구성되는 각도를 레퍼런스 댄스 동작에서 대응되는 각도와 비교할 수 있다.
예를 들어, 도 5 및 도 6에 도시된 바와 같이, 코와 좌우 어깨 포인트 비율, 좌측/우측의 발꿈치-어깨-골반 각도, 좌측/우측의 어깨-팔꿈치-손목 각도, 좌측 손목-좌측 어깨-우측 발목 각도, 우측 손목-우측 어깨-좌측 발목 각도, 좌측 손목-우측 손목-좌측 발목 각도, 우측 손목-좌측 손목-우측 발목 각도, 좌측/우측 골반-무릎-발목 각도, 좌측/우측 팔꿈치-손목-골반 각도, 좌측/우측 어깨-팔꿈치-골반 각도를 비교 대상 각도로 구성하고, 레퍼런스 댄스 동작과 사용자의 댄스 동작 사이에서 비교 대상 각도를 서로 비교할 수 있다.
여기서, 동일방향(좌측 또는 우측) 어깨-골반-무릎 각도의 경우, 일반인 기준으로는 각도 형성(동작)에 어려움이 있고 동작 범위가 작아 동작 구분이 모호하여 정확한 비교가 어렵다. 따라서 좌측 팔 부위-우측 다리 부위(좌측 손목-좌측 어깨-우측 발목)로 확장하여 비연결 관절의 각도를 비교 대상 각도에 추가함으로써, 댄스 동작을 정확하게 비교할 수 있다.
또한, 좌측 손목-우측 손목-좌측 발목 각도의 경우 좌측 손목-좌측 어깨-우측 발목 각도와 병행해 비교할 경우 이중 위치 검증을 할 수 있어서, 댄스 동작 비교의 정확도를 높일 수 있다.
단계 S140에서는, 결과 산출부(140)에서, 단계 S130의 비교 결과에 기초해 동작 일치율을 산출할 수 있다. 보다 구체적으로, 단계 S140에서는 비교 대상 각도별 일치율을 평균한 평균 일치율을 동작 일치율로 산출할 수 있다. 또한, 단계 S140에서는, 단계 S130에서 비교한 관절의 각도별 일치율을 결합해 동작 일치율을 산출하되, 댄스 동작의 특성에 따라 미리 설정된 관절의 각도별 가중치를 적용해 동작 일치율을 산출할 수도 있다. 예를 들어, 동작 범위가 큰 부위는 가중치를 높게 할 필요가 있고, 목과 어깨의 각도는 동작 범위가 작아 대부분 일치율이 높게 나오기 때문에 가중치를 낮게 할 필요가 있으며, 서 있는 자세 등 무의미한 동작의 일치율은 비중을 낮추어야 한다. 단계 S140에서는 이와 같은 댄스 동작의 특성을 반영해 댄스 동작 별로 비교 대상 각도별 가중치를 미리 설정하고, 단계 S130의 각도별 비교 결과를 가중 평균하여 동작 일치율을 산출할 수 있다.
도 7은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서, 동작 일치율을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서는, 우측에 도시된 레퍼런스 댄스 동작과 좌측에 도시된 사용자의 댄스 동작을 비교함에 있어서, 연결 관절로 이루어지는 각도와 비연결 관절로 이루어지는 각도의 비교를 통하여 관절을 대칭으로 상/하 반전 동작에 대한 비교 정확도를 높일 수 있다. 예를 들어, 팔의 방향이 어깨 축을 기준으로 반전 위치에 있으면, 연결 관절의 각도는 겨드랑이 각도만 다르게 되어 평균 일치율에 큰 영향을 줄 수 없으나, 비연결 관절의 각도를 사용할 경우 추가로 2개의 각도가 다르게 되어 평균 일치율을 크게 낮추게 되어 보다 정확한 동작 일치율을 산출할 수 있다.
단계 S150에서는, 결과 산출부(140)에서, 사용자의 연속된 댄스 동작이 촬영된 영상 데이터에서, 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 동작 일치율이 가장 높은 댄스 동작을 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 가장 높은 동작 일치율을 최종 동작 일치율로 결정할 수 있다. 즉, 댄스는 연속된 동작으로 구성되는데, 댄스 트레이닝 시에 사용자가 레퍼런스 댄스 동작을 육안으로 확인하고 따라 하는 과정이나 카메라(200) 영상 처리 시간으로 인하여 시간 지연이 발생할 수 있다. 따라서 단계 S150에서는, 시퀀셜 데이터인 영상 데이터에 타임 프레임을 설정하고, 타임 프레임 내의 동작 일치율을 비교해 최종 동작 일치율을 판정할 수 있다.
도 8은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서, 타임 프레임 설정에 따른 댄스 동작 매칭을 설명하기 위해 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서는, t0의 레퍼런스 캐릭터 동작을 dt의 타임 프레임 내에서 이루어진 사용자의 동작 중에서 가장 높은 일치율을 기준으로 판정 결정을 할 수 있다. 이때, 타임 프레임 내의 사용자 동작은 큐로 구현되어 시간의 흐름에 따라서 오래된 동작이 삭제되며 유지될 수 있다. 여기서, 타임 프레임의 길이를 사용해 난이도를 조절할 수 있으며, 타임 프레임의 길이를 늘이면 일치율이 올라가게 된다. 예를 들어, 타임 프레임은 0.3초 이상 2초 이하가 적당하며, 바람직하게는 0.5초 이상 1초 이하로 할 수 있다. 타임 프레임을 너무 길게 설정하면 미스 매치 동작이 많아져도 동작 일치율이 높아지게 되므로, 2초를 초과하여 설정하는 것은 바람직하지 않다.
도 9 내지 도 11은 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법이 구현된 댄스 동작 비교 장치(100)의 화면을 예를 들어 도시한 도면이다. 본 발명의 일실시예에 따른 인공지능 기반 댄스 동작 비교 방법에서는, 댄스 트레이닝 제공 장치(300)에 의해 도 9에 도시된 바와 같이 모션 캡처한 전문 댄서의 동작을 기초로 제작된 캐릭터에 의해 레퍼런스 댄스 동작이 제공될 수 있다. 이때, 카메라(200)는 복수의 사용자가 동시에 댄스 트레이닝하는 영상 데이터를 수집해 댄스 동작 비교 장치(100)에 제공할 수 있으며, 사용자 간 중첩이나 이동에 의한 관절 인식 오류를 막기 위해 좌측, 중앙, 우측으로 사용자 인식 영역을 설정할 수 있다.
도 10 및 도 11에 도시된 바와 같이, 댄스 동작 비교 장치(100)는 카메라(200)에서 수집된 영상 데이터를 사용해 레퍼런스 댄스 동작과 각각의 사용자의 댄스 동작을 비교하여, 사용자별로 동작 일치율을 산출할 수 있다. 이때, 포즈 추정 모델은 하나의 영상에서 복수의 사용자를 인식하고 사용자별로 관절 좌표를 획득할 수 있으므로, 동시에 여러 사용자의 댄스 동작을 실시간으로 비교할 수 있다. 도 11의 우측 빨간색 박스에서 확인할 수 있는 바와 같이, 타임 프레임(Time Window)은 1초로 설정할 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 인공지능 기반 댄스 동작 비교 방법 및 장치에 따르면, 댄스 트레이닝을 하는 사용자의 댄스 동작을 레퍼런스 댄스 동작과 실시간으로 비교하되, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 추정함으로써 영상 데이터에서 관절을 정확하게 획득할 수 있고, 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교함으로써, 사용자의 신체 조건이 다를 때에도 정확하게 동작 일치율을 산출할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 댄스 동작 비교 장치
110: 입력부
120: 관절 추출부
130: 동작 비교부
140: 결과 산출부
200: 카메라
300: 댄스 트레이닝 제공 장치
S110: 댄스 트레이닝을 하는 사용자의 모습을 카메라가 촬영한 영상 데이터를 입력받는 단계
S120: 인공지능 기반의 포즈 추정 모델을 이용해 관절 좌표를 획득하고 관절 좌표를 연결해 뼈대를 추출하는 단계
S130: 레퍼런스 댄스 동작에서 산출된 관절의 각도와 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 단계
S140: 비교 결과에 기초해 동작 일치율을 산출하는 단계
S150: 타임 프레임 내에서 동작 일치율이 가장 높은 댄스 동작을 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고 최종 동작 일치율을 결정하는 단계

Claims (8)

  1. 컴퓨터에 의해 각 단계가 수행되는 댄스 트레이닝을 위한 댄스 동작 비교 방법으로서,
    레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되,
    (1) 상기 댄스 트레이닝을 하는 사용자의 모습을 카메라(200)가 촬영한 영상 데이터를 입력받는 단계;
    (2) 상기 영상 데이터에서 사용자를 인식하고, 인공지능 기반의 포즈 추정 모델을 이용해 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 단계;
    (3) 상기 관절 좌표를 이용해 관절의 각도를 산출하며, 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 단계;
    (4) 상기 단계 (3)의 비교 결과에 기초해 동작 일치율을 산출하는 단계; 및
    (5) 사용자의 연속된 댄스 동작이 촬영된 상기 영상 데이터에서, 상기 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 상기 동작 일치율이 가장 높은 댄스 동작을 상기 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 상기 가장 높은 동작 일치율을 최종 동작 일치율로 결정하는 단계를 포함하며,
    상기 단계 (2)에서는,
    코, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎, 및 좌우 발목을 포함하는 관절 좌표를 연결해 뼈대를 추출하고,
    상기 단계 (3)에서는,
    상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하되,
    상기 비연결 관절의 각도는,
    뼈대로 연결되어 있지 않은 비연결 관절을 잇는 선분을 추가하고, 뼈대와 추가된 선분 중 추가된 선분을 적어도 하나 포함하여 구성되는 각도이며, 좌측 손목, 좌측 어깨 및 우측 발목으로 구성되는 각도 및 좌측 손목, 우측 손목 및 좌측 발목으로 구성되는 각도를 포함하는 것을 특징으로 하는, 인공지능 기반 댄스 동작 비교 방법.
  2. 제1항에 있어서, 상기 레퍼런스 댄스 동작은,
    모션 캡처한 전문 댄서의 동작을 기초로 제작된 캐릭터의 동작인 것을 특징으로 하는, 인공지능 기반 댄스 동작 비교 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 단계 (4)에서는,
    상기 단계 (3)에서 비교한 관절의 각도별 일치율을 결합해 동작 일치율을 산출하되, 댄스 동작의 특성에 따라 미리 설정된 관절의 각도별 가중치를 적용해 상기 동작 일치율을 산출하는 것을 특징으로 하는, 인공지능 기반 댄스 동작 비교 방법.
  6. 삭제
  7. 댄스 트레이닝을 위한 댄스 동작 비교 장치(100)로서,
    레퍼런스 댄스 동작에 따라 댄스 트레이닝을 하는 사용자의 댄스 동작을 실시간으로 분석하되,
    상기 댄스 트레이닝을 하는 사용자의 모습을 카메라(200)가 촬영한 영상 데이터를 입력받는 입력부(110);
    인공지능 기반의 포즈 추정 모델을 이용해 상기 영상 데이터에서 사용자 신체의 관절 좌표를 획득하고, 미리 설정된 관절에 해당하는 관절 좌표를 연결해 뼈대를 추출하는 관절 추출부(120);
    상기 관절 좌표를 이용해 관절의 각도를 산출하며, 상기 레퍼런스 댄스 동작에서 산출된 관절의 각도와 상기 사용자의 댄스 동작에서 산출된 관절의 각도를 서로 비교하는 동작 비교부(130); 및
    상기 동작 비교부(130)의 비교 결과에 기초해 동작 일치율을 산출하는 결과 산출부(140)를 포함하며,
    상기 관절 추출부(120)는,
    코, 좌우 어깨, 좌우 팔꿈치, 좌우 손목, 좌우 골반, 좌우 무릎, 및 좌우 발목을 포함하는 관절 좌표를 연결해 뼈대를 추출하고,
    상기 동작 비교부(130)는,
    상기 뼈대로 연결된 연결 관절의 각도 및 뼈대로 연결되어 있지 않은 비연결 관절의 각도를 비교하되,
    상기 비연결 관절의 각도는,
    뼈대로 연결되어 있지 않은 비연결 관절을 잇는 선분을 추가하고, 뼈대와 추가된 선분 중 추가된 선분을 적어도 하나 포함하여 구성되는 각도이며, 좌측 손목, 좌측 어깨 및 우측 발목으로 구성되는 각도 및 좌측 손목, 우측 손목 및 좌측 발목으로 구성되는 각도를 포함하며,
    상기 결과 산출부(140)는,
    사용자의 연속된 댄스 동작이 촬영된 상기 영상 데이터에서, 상기 레퍼런스 댄스 동작을 기준으로 미리 설정된 타임 프레임 내에 포함된 복수 개의 사용자의 댄스 동작 중에서, 상기 동작 일치율이 가장 높은 댄스 동작을 상기 레퍼런스 댄스 동작과 매칭되는 사용자의 댄스 동작으로 판정하고, 상기 가장 높은 동작 일치율을 최종 동작 일치율로 결정하는 것을 특징으로 하는, 인공지능 기반 댄스 동작 비교 장치(100).
  8. 삭제
KR1020210187898A 2021-12-26 2021-12-26 인공지능 기반 댄스 동작 비교 방법 및 장치 KR102412553B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210187898A KR102412553B1 (ko) 2021-12-26 2021-12-26 인공지능 기반 댄스 동작 비교 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210187898A KR102412553B1 (ko) 2021-12-26 2021-12-26 인공지능 기반 댄스 동작 비교 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102412553B1 true KR102412553B1 (ko) 2022-06-24

Family

ID=82215975

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210187898A KR102412553B1 (ko) 2021-12-26 2021-12-26 인공지능 기반 댄스 동작 비교 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102412553B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630828B1 (ko) 2023-02-06 2024-01-31 주식회사 에이아이태권도 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치
KR20240048876A (ko) 2022-10-07 2024-04-16 주식회사 맥케이 모션 유사도 산출 방법 및 모션 유사도 산출 시스템
KR102671284B1 (ko) * 2022-12-27 2024-06-03 주식회사 큐랩 댄스 서비스 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096473A (ko) * 2015-02-05 2016-08-16 한국전자통신연구원 동작 평가 시스템 및 방법
KR20180103280A (ko) * 2017-03-09 2018-09-19 석원영 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템
KR102201050B1 (ko) * 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
KR102258128B1 (ko) * 2020-11-18 2021-05-31 주식회사 큐랩 인공지능 기반의 영상 인식을 이용한 댄스 트레이닝을 위한 사용자 모션 분석 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160096473A (ko) * 2015-02-05 2016-08-16 한국전자통신연구원 동작 평가 시스템 및 방법
KR20180103280A (ko) * 2017-03-09 2018-09-19 석원영 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템
KR102201050B1 (ko) * 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
KR102258128B1 (ko) * 2020-11-18 2021-05-31 주식회사 큐랩 인공지능 기반의 영상 인식을 이용한 댄스 트레이닝을 위한 사용자 모션 분석 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240048876A (ko) 2022-10-07 2024-04-16 주식회사 맥케이 모션 유사도 산출 방법 및 모션 유사도 산출 시스템
KR102671284B1 (ko) * 2022-12-27 2024-06-03 주식회사 큐랩 댄스 서비스 시스템
KR102630828B1 (ko) 2023-02-06 2024-01-31 주식회사 에이아이태권도 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치

Similar Documents

Publication Publication Date Title
KR102412553B1 (ko) 인공지능 기반 댄스 동작 비교 방법 및 장치
CN110139115B (zh) 基于关键点的虚拟形象姿态控制方法、装置及电子设备
US10431000B2 (en) Robust mesh tracking and fusion by using part-based key frames and priori model
Wang et al. Geometric pose affordance: 3d human pose with scene constraints
Liu et al. Human pose estimation in video via structured space learning and halfway temporal evaluation
US9058663B2 (en) Modeling human-human interactions for monocular 3D pose estimation
KR102594938B1 (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
CN105426827A (zh) 活体验证方法、装置和系统
KR102238085B1 (ko) 동작분석 장치 및 방법
Singh et al. Action recognition in cluttered dynamic scenes using pose-specific part models
KR102258128B1 (ko) 인공지능 기반의 영상 인식을 이용한 댄스 트레이닝을 위한 사용자 모션 분석 방법
CN110163046B (zh) 人体姿态识别方法、装置、服务器及存储介质
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
US11568617B2 (en) Full body virtual reality utilizing computer vision from a single camera and associated systems and methods
CN113114924A (zh) 图像拍摄方法、装置、计算机可读存储介质及电子设备
KR20210039875A (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
Wang Research on the evaluation of sports training effect based on artificial intelligence technology
KR102438488B1 (ko) 3d 마커리스 모션 캡처 기반 3d 아바타 생성 장치 및 방법
CN115205744A (zh) 一种针对花样滑冰运动的智能运动辅助方法及装置
WO2022260589A1 (zh) 触碰动画显示方法、装置、设备及介质
KR20210146265A (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102347692B1 (ko) 움직임 정보 기반의 신체 자세 피드백 서비스 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR102347693B1 (ko) 영상 정보로부터 추출한 움직임 정보 기반의 빅데이터 서비스 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant