KR101989447B1 - 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템 - Google Patents

증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템 Download PDF

Info

Publication number
KR101989447B1
KR101989447B1 KR1020170170792A KR20170170792A KR101989447B1 KR 101989447 B1 KR101989447 B1 KR 101989447B1 KR 1020170170792 A KR1020170170792 A KR 1020170170792A KR 20170170792 A KR20170170792 A KR 20170170792A KR 101989447 B1 KR101989447 B1 KR 101989447B1
Authority
KR
South Korea
Prior art keywords
user
feedback
model
skeleton
unit
Prior art date
Application number
KR1020170170792A
Other languages
English (en)
Inventor
이상기
Original Assignee
주식회사 큐랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 큐랩 filed Critical 주식회사 큐랩
Priority to KR1020170170792A priority Critical patent/KR101989447B1/ko
Application granted granted Critical
Publication of KR101989447B1 publication Critical patent/KR101989447B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 관한 것으로서, 보다 구체적으로는 증강현실을 출력하는 출력부를 포함하는 댄스 트레이닝을 위한 댄스 모션 피드백 시스템에 있어서, 모션 인식 카메라 모듈을 통해 사용자의 댄스 동작을 감지하는 동작 감지부; 상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작으로부터 사용자 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부; 상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 레퍼런스 모델의 레퍼런스 스켈레톤 데이터와 비교하는 동작 비교부; 상기 동작 비교부에서 비교한 결과를 이용하여, 상기 사용자 스켈레톤 데이터와 상기 레퍼런스 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하는 피드백 제공부; 상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어하는 모델 제어부; 및 상기 모델 제어부에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력하고, 상기 피드백 제공부에서 제공하는 피드백을 상기 가상 사용자 모델에 합성하여 출력하는 출력부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있다.
또한, 본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있다.

Description

증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템{DANCE MOTION FEEDBACK SYSTEM PROVIDING VIDEO FEEDBACK TO USER USING AUGMENTED REALITY}
본 발명은 댄스 모션 피드백 시스템에 관한 것으로서, 보다 구체적으로는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 관한 것이다.
일반적으로 한류(韓流)는 한국의 대중문화가 해외로 전파되어 대중적으로 소비되고 있는 현상을 말한다. 한류는 한류 생성기(1997년 내지 2000년) 및 한류 심화 2기(2000년대 중반)를 넘어, 한류 다양화의 3기(2000년 중반 이후)를 맞이하고 있다. 특히, 한류 3기에서 한류는 드라마, 음악, 영화, 게임 등의 콘텐츠를 소비하는 문화에서 직접 참여하거나 체험하고자 하는 문화로까지 발전하고 있다.
문화체육관광부는 ‘보는 한류’에서 ‘체험하는 한류’로 한류의 흐름이 변화됨에 따라, 2016년에 세계 20개 문화원에 강사를 파견하여 K-Pop 아카데미를 개설하고, K-Pop을 직접 전파하는 사업을 진행한 바 있다. 그러나 사업 대상 국가가 매우 제한적이고, 파견할 수 있는 전문 인력이나 예산이 매우 부족한 실정이다. 또한, K-Pop 아카데미가 설립된 국가라 하더라도 K-Pop 아카데미를 통해 K-Pop을 체험할 수 있는 수강생이 극히 제한적이라는 문제점이 있다.
한편, 한류의 확산에 따라 K-Pop 아카데미 이외에도, 유튜브(Youtube) 등의 영상 스트리밍 서비스를 이용하여 직접 K-Pop 댄스를 트레이닝하고자 하는 사용자가 증가하고 있다. 그러나 이러한 동영상을 이용한 댄스 트레이닝 방식은 사용자가 업로드 된 동영상에서 아이돌(Idol)의 댄스 동작을 단순히 따라하는 것에 불과하므로, 제대로 된 댄스 트레이닝이 이루어질 수 없다는 문제점이 있다. 사용자는 아무런 피드백 없이 동영상을 통해 일방적으로만 영상 정보를 전달받으면서, 현재 자신이 추고 있는 댄스 동작이 얼마나 정확한지 또는 어느 부분이 일치하지 않는지를 스스로 판단해야 하기 때문이다.
또한, 사용자가 댄스 동작을 스스로 판단하기 위해서는 자신의 댄스 동작을 눈으로 확인해야 하므로 전면 거울이 설치된 장소가 필요하다는 문제점이 있다. 그러나 가정에서 동영상을 통해 댄스 트레이닝을 하고자 하는 사용자가 전면 거울이 설치된 장소를 마련하는 것은 사실상 어려우며, 장소를 마련한다고 하더라도 비용이 소요된다는 한계점이 있다.
특히, 동영상을 이용한 댄스 트레이닝 방식에서 사용자는 자신의 동작에 대해 아무런 피드백을 받을 수 없으므로, 사용자가 댄스 트레이닝을 지속하기가 매우 어렵다는 문제점이 있다. 댄스 트레이닝을 지속할 수 있도록 돕는 전문 강사 없이 사용자는 동영상만을 보며 정해진 동작을 반복해야 하므로, 댄스 트레이닝에 따른 성취감을 전혀 느낄 수 없기 때문이다.
이에 따라 사용자가 K-Pop 댄스 트레이닝을 중도에 포기해버리는 경우가 점점 증가하고 있는 실정이다.
한편, 관련된 선행기술로, 대한민국 공개특허 제10-2015-0008345호 ‘온라인 댄스 강의 시스템’ 등이 제시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템은,
증강현실을 출력하는 출력부를 포함하는 댄스 트레이닝을 위한 댄스 모션 피드백 시스템에 있어서,
모션 인식 카메라 모듈을 통해 사용자의 댄스 동작을 감지하는 동작 감지부;
상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작으로부터 사용자 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부;
상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 레퍼런스 모델의 레퍼런스 스켈레톤 데이터와 비교하는 동작 비교부;
상기 동작 비교부에서 비교한 결과를 이용하여, 상기 사용자 스켈레톤 데이터와 상기 레퍼런스 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하는 피드백 제공부;
상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어하는 모델 제어부; 및
상기 모델 제어부에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력하고, 상기 피드백 제공부에서 제공하는 피드백을 상기 가상 사용자 모델에 합성하여 출력하는 출력부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 스켈레톤 데이터 추출부는,
상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작으로부터 골격을 기반으로 관절과 뼈로 구성되는 사용자 스켈레톤 데이터를 추출할 수 있다.
더욱 바람직하게는, 상기 동작 비교부는,
상기 스켈레톤 데이터 추출부에서 추출한 스켈레톤 데이터를 이용하여 스켈레톤 모델을 생성하고, 상기 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교할 수 있다.
더욱더 바람직하게는, 가상 사용자 모델은,
실루엣 상에 상기 스켈레톤 모델이 중첩되어 표현될 수 있다.
더욱더 바람직하게는, 상기 피드백 제공부는,
상기 스켈레톤 모델 상에 표현되는 각도 및 색 중 적어도 어느 하나를 이용하여 피드백을 제공할 수 있다.
더욱더 바람직하게는, 상기 피드백 제공부는,
상기 스켈레톤 모델 상에 표현되는 텍스트를 이용하여 피드백을 제공할 수 있다.
바람직하게는, 상기 모델 제어부는,
상기 레퍼런스 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 레퍼런스 모델을 생성하여 제어할 수 있다.
바람직하게는, 상기 모델 제어부는,
상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작을 실시간으로 반영하여 상기 가상 사용자 모델을 제어할 수 있다.
본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있다.
또한, 본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 스켈레톤 데이터 추출부(120)에서 사용자 스켈레톤 데이터를 추출하는 모습을 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 동작 비교부(130)에서 스켈레톤 데이터를 비교하는 모습을 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 출력되는 가상 사용자 모델을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 피드백이 제공되는 모습을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 피드백이 제공되는 모습을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 출력되는 레퍼런스 모델을 도시한 도면.
이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템은, 댄스 트레이닝을 위한 댄스 모션 피드백 시스템에 있어서, 동작 감지부(110), 스켈레톤 데이터 추출부(120), 동작 비교부(130), 피드백 제공부(140), 모델 제어부(150), 및 출력부(160)를 포함할 수 있다. 이하에서는, 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템(100)의 각각의 구성에 대해 상세히 설명하기로 한다.
동작 감지부(110)는, 모션 인식 카메라 모듈을 통해 사용자의 댄스 동작을 감지할 수 있다. 동작 감지부(110)는, 모션 인식 카메라 모듈을 통해 입력되는 영상에서 사용자의 신체를 트래킹하여 사용자의 댄스 동작을 감지할 수 있다. 따라서 동작 감지부(110)는, 별도의 마커(Marker) 없이도 사용자의 댄스 동작을 감지할 수 있다. 그러나 실시예에 따라서는, 동작 감지부(110)는, 보다 정확한 댄스 동작 감지를 위해 마커를 인식하여 사용자의 댄스 동작을 감지할 수 있다. 실시예에 따라서는, 동작 감지부(110)는, 미리 등록된 사용자의 신체 부위를 마커로 인식하여 사용자의 댄스 동작을 감지할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 스켈레톤 데이터 추출부(120)에서 사용자 스켈레톤 데이터를 추출하는 모습을 도시한 도면이다. 도 2에 도시된 바와 같이, 스켈레톤 데이터 추출부(120)는, 동작 감지부(110)에서 감지한 사용자의 댄스 동작으로부터 사용자 스켈레톤 데이터(Skeleton Data)를 추출할 수 있다. 이때, 스켈레톤 데이터 추출부(120)는, 동작 감지부(110)에서 감지한 사용자의 댄스 동작으로부터 골격을 기반으로 관절과 뼈로 구성되는 사용자 스켈레톤 데이터를 추출할 수 있다. 여기서, 사용자 스켈레톤 데이터는, 복수의 관절(Joint)과 뼈(Bone)로 구성되어며, 복수의 관절과 뼈가 하나의 집합으로 설정된 데이터일 수 있다. 도 2의 (a)에 도시된 바와 같이, 스켈레톤 데이터 추출부(120)는, 사용자의 댄스 동작 이미지에서 사용자의 골격을 인식하고, 골격을 기반으로 관절과 뼈를 추출할 수 있다. 그리고 도 2의 (b)를 참조하면, 스켈레톤 데이터 추출부(120)는, 사용자 스켈레톤 데이터에서 관절에 대한 공간상의 x, y, z값을 추출함으로써 사용자 스켈레톤 데이터를 추출할 수 있다. 즉, 스켈레톤 데이터 추출부(120)는, 각각의 관절을 3차원적으로 인식해서 공간상의 좌표를 추출할 수 있다. 예를 들어, Z축 상에 동작 감지부(110)가 위치한다고 가정하면, 해당 좌표 상에서 각각의 관절과 동작 감지부(110) 간의 거리를 측정할 수 있다. 이때, X축은 거리가 각도적인 측면과 함께 고려되어 측정되고, Y축은 거리가 높이적인 측면과 고려되어 측정될 수 있다. Z축은 일직선상에서 동작 감지부(110)와의 거리일 수 있다.
한편, 실시예에 따라서는, 스켈레톤 데이터 추출부(120)에서 추출하는 스켈레톤 데이터의 관절과 뼈의 개수는 20개의 관절과 19개의 뼈로 구성될 수 있다. 그러나 전술한 실시예로 한정되는 것은 아니며, 관절과 뼈의 개수는 다양하게 설정될 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 동작 비교부(130)에서 스켈레톤 데이터를 비교하는 모습을 도시한 도면이다. 도 3에 도시된 바와 같이, 동작 비교부(130)는, 스켈레톤 데이터 추출부(120)에서 추출한 사용자 스켈레톤 데이터를 레퍼런스 모델의 레퍼런스 스켈레톤 데이터와 비교할 수 있다. 여기서, 레퍼런스 모델은, 전문 댄스 강사일 수 있다. 또한, 레퍼런스 스켈레톤 데이터는, 동작 감지부(110)와 스켈레톤 데이터 추출부(120)를 통해 레퍼런스 모델의 댄스 동작을 스켈레톤 데이터로 추출한 데이터일 수 있다. 따라서 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템은, 동작 비교부(130)를 통해 사용자 스켈레톤 데이터와 레퍼런스 스켈레톤 데이터의 일치도에 따라 사용자가 정확한 동작으로 댄스를 추고 있는지 여부를 판단할 수 있다.
한편, 레퍼런스 모델과 사용자는 성별이나 체형이 서로 다를 수 있다. 이러한 성별과 체형의 차이점으로 인해, 사용자가 정확하게 댄스 동작을 하고 있는 경우에도 사용자 스켈레톤 데이터와 레퍼런스 스켈레톤 데이터가 일치하지 않을 수 있다. 이때, 동작 비교부(130)는, 스켈레톤 데이터 추출부(120)에서 추출한 스켈레톤 데이터를 이용하여 스켈레톤 모델(Skeleton Model)을 생성하고, 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교할 수 있다. 여기서, 스켈레톤 모델은, 스켈레톤 데이터를 이용하여 모델링한 모델로서, 사용자의 신체를 주요 골격으로 추상화한 모델일 수 있다. 즉, 스켈레톤 모델은 복수의 관절과 뼈로 구성될 수 있으며, 스켈레톤 모델에서 관절과 뼈의 개수는 스켈레톤 데이터 추출부(120)에서 추출한 스켈레톤 데이터의 관절과 뼈의 개수에 해당할 수 있다. 따라서 동작 비교부(130)는, 사용자 스켈레톤 데이터를 이용하여 사용자의 스켈레톤 모델을 생성하고, 레퍼런스 스켈레톤 데이터를 이용하여 레퍼런스 모델의 레퍼런스 스켈레톤 모델을 생성할 수 있다. 이때, 스켈레톤 모델은 사용자의 신체를 골격과 뼈로 구성한 모델에 해당하므로, 사용자와 레퍼런스 모델 간에 성별이나 체형에서 차이가 있는 경우에도 스켈레톤 모델의 스케일(Scale)을 조절하여 서로 근사시킬 수 있다. 동작 비교부(130)는, 스케일을 조절하여 레퍼런스 모델의 스켈레톤 모델을 사용자의 스켈레톤 모델과 일치시킨 후, 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교하면 사용자 스켈레톤 데이터와 레퍼런스 스켈레톤 데이터 간의 댄스 동작을 보다 정확하게 비교할 수 있다. 따라서 동작 비교부(130)는, 사용자의 스켈레톤 모델과 레퍼런스 모델의 스켈레톤 모델을 이용하여 각각의 뼈대에서 각도 차이를 비교할 수 있다.
피드백 제공부(140)는, 동작 비교부(130)에서 비교한 결과를 이용하여 사용자 스켈레톤 데이터와 레퍼런스 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공할 수 있다. 이때, 동작 비교부(130)에서 스켈레톤 모델을 이용하여 레퍼런스 모델과의 각도 차이를 비교하는 경우, 스켈레톤 모델의 각각의 뼈대에서 레퍼런스 모델과의 각도가 일치한다면 동작 비교부(130)는 사용자가 정확한 동작으로 댄스를 추고 있다고 판단할 수 있다. 그러나 레퍼런스 모델과의 각도가 일치하지 않는다면, 동작 비교부(130)는, 사용자가 정확하지 않은 동작으로 댄스를 추고 있다고 판단할 수 있다. 따라서 피드백 제공부(140)는, 사용자 스켈레톤 데이터와 레퍼런스 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하여 사용자가 보다 정확한 동작으로 춤을 출 수 있도록 피드백을 제공할 수 있다. 피드백 제공부(140)가 피드백을 제공하는 구체적인 구성에 대해서는 후술하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 출력되는 가상 사용자 모델을 도시한 도면이다. 도 4에 도시된 바와 같이, 모델 제어부(150)는, 스켈레톤 데이터 추출부(120)에서 추출한 사용자 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어할 수 있다. 모델 제어부(150)는, 그래픽 이미지로 구현한 가상 사용자 모델을 렌더링하고 후술하는 출력부(160)에 제공함으로써, 출력부(160)에서 출력되는 증강현실에 가상 사용자 모델이 출력될 수 있다. 이때, 도 4를 참조하면, 가상 사용자 모델은, 실루엣 상에 스켈레톤 모델이 중첩되어 표현될 수 있다. 후술하는 바와 같이, 피드백 제공부(140)에서 제공하는 피드백은 스켈레톤 모델 상에서 표현되므로, 증강현실에서 스켈레톤 모델이 표현될 필요가 있다. 따라서 모델 제어부(150)는, 가상 사용자 모델을 텍스쳐가 입혀진 그래픽 이미지로 렌더링하는 것이 아니라, 가상 사용자 모델을 실루엣으로 표현하고, 그 내부에 스켈레톤 모델을 중첩한 그래픽 이미지로 표현할 수 있다.
출력부(160)는, 모델 제어부(150)에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력할 수 있다. 이때, 모델 제어부(150)는, 동작 감지부(110)에서 감지한 사용자의 댄스 동작을 실시간으로 반영하여 가상 사용자 모델을 제어할 수 있다. 따라서 출력부(160)는, 동작 감지부(110)에서 감지한 사용자의 댄스 동작을 실시간으로 반영한 증강현실을 출력할 수 있다. 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에서는, 사용자의 댄스 동작을 실시간으로 감지하고, 이를 그래픽 이미지로 구현하여 증강현실 내에 출력할 수 있다. 따라서 사용자는 출력부(160)에서 출력되는 가상 사용자 모델을 보면서 자신의 댄스 동작을 실시간으로 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 피드백이 제공되는 모습을 도시한 도면이다. 출력부(160)는, 피드백 제공부(140)에서 제공하는 피드백을 가상 사용자 모델에 합성하여 출력할 수 있다. 이때, 도 5에 도시된 바와 같이, 피드백 제공부(140)는, 스켈레톤 모델 상에 표현되는 각도 및 색 중 적어도 어느 하나를 이용하여 피드백을 제공할 수 있다. 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템은, 스켈레톤 모델을 이용하여 각각의 뼈대에서 레퍼런스 모델과의 각도 차이를 비교하므로, 각도에 대한 피드백을 제공할 수 있다. 따라서 피드백 제공부(140)는, 사용자의 스켈레톤 모델을 기준으로 레퍼런스 모델의 스켈레톤 모델과 일치하지 않는 부분에 대한 각도를 제공할 수 있다. 그러면 출력부(160)는, 피드백 제공부(140)에서 제공한 각도를 가상 사용자 모델에 합성하여 출력할 수 있다.
또는, 피드백 제공부(140)는, 스켈레톤 모델 상에 표현되는 색으로 피드백을 제공할 수 있다. 스켈레톤 모델 상에서 피드백이 각도로 제공되는 경우, 사용자가 각도를 한 눈에 확인하기 어려울 수도 있다. 따라서 피드백 제공부(140)는, 스켈레톤 모델을 표현하는 색과 다른 색을 이용하여 보다 직관적인 피드백을 제공할 수 있다. 즉, 피드백 제공부(140)는, 사용자의 스켈레톤 모델을 기준으로 레퍼런스 모델의 스켈레톤 모델과 일치하지 않는 부분을 다른 색으로 표현하여 피드백을 제공할 수 있다. 그러면 출력부(160)는, 피드백 제공부(140)에서 제공한 색을 가상 사용자 모델에 합성하여 출력할 수 있다.
바람직하게는, 피드백 제공부(140)는, 각도 및 색 모두를 이용하여 피드백을 제공할 수 있다. 도 5에 도시된 바와 같이, 피드백 제공부(140)가 스켈레톤 모델 상에서 각도를 다른 색으로 표현하여 피드백을 제공한다면, 사용자가 보다 쉽게 레퍼런스 모델과 일치하지 않는 부분이 어디인지 확인할 수 있다. 도 5의 예시를 참조하면, 증강현실 내에 표현되는 가상 사용자 모델에서 왼쪽 어깨 및 왼쪽 다리에 대한 각도가 표현되고 있으므로, 사용자는 현재 왼쪽 어깨 및 왼쪽 다리에 대한 댄스 동작이 레퍼런스 모델과 일치하지 않음을 확인할 수 있다. 따라서 사용자는 출력부(160)를 통해 피드백 제공부(140)에서 제공한 피드백을 확인하고, 왼쪽 어깨 및 왼쪽 다리에 대한 댄스 동작을 정확하게 교정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 피드백이 제공되는 모습을 도시한 도면이다. 도 6에 도시된 바와 같이, 피드백 제공부(140)는, 스켈레톤 모델 상에 표현되는 텍스트를 이용하여 피드백을 제공할 수 있다. 실시예에 따라서는, 피드백 제공부(140)는, 텍스트를 이용하여 사용자에게 피드백을 제공할 수 있다. 즉, 피드백 제공부(140)는, 사용자의 스켈레톤 모델을 기준으로 레퍼런스 모델의 스켈레톤 모델과 일치하지 않는 부분에 텍스트를 표현하여 피드백을 제공할 수 있다. 그러면 출력부(160)는, 피드백 제공부(140)에서 제공한 텍스트를 가상 사용자 모델에 합성하여 출력할 수 있다.
도 6의 예시를 참조하면, 증강현실 내에 표현되는 가상 사용자 모델에서 왼쪽 어깨에 ‘WRONG’이라는 텍스트가 표현되고 있으므로, 사용자는 현재 왼쪽 어깨에 대한 댄스 동작이 레퍼런스 모델과 일치하지 않음을 확인할 수 있다. 따라서 사용자는 출력부(160)를 통해 피드백 제공부(140)에서 제공한 피드백을 확인하고, 왼쪽 어깨에 대한 댄스 동작을 정확하게 교정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템의 출력부(160)에서 출력되는 가상 레퍼런스 모델을 도시한 도면이다. 도 7에 도시된 바와 같이, 모델 제어부(150)는, 레퍼런스 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 레퍼런스 모델을 생성하여 제어할 수 있다. 모델 제어부(150)는, 그래픽 이미지로 구현한 가상 레퍼런스 모델을 렌더링하고 출력부(160)에 제공함으로써, 출력부(160)에서 출력되는 증강현실에 가상 사용자 모델 및 가상 레퍼런스 모델이 함께 출력될 수 있다. 따라서 사용자는 증강현실을 통해 가상 레퍼런스 모델과 함께 춤을 추는 것처럼 느낄 수 있으며, 가상 레퍼런스 모델의 댄스 동작을 따라하며 보다 쉽게 댄스 동작을 익힐 수 있다. 동시에, 출력부(160)를 통해 가상 레퍼런스 모델과 일치하지 않는 부분에 대한 피드백이 제공되므로, 사용자는 가상 레퍼런스 모델과 함께 춤을 추는 도중에도 실시간으로 동작을 교정할 수 있다.
한편, 실시예에 따라서는, 가상 레퍼런스 모델은, 가상 사용자 모델과 달리 실루엣으로 표현될 필요가 없으므로, 아이돌을 형상화한 캐릭터로 표현될 수도 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있다. 또한, 본 발명에서 제안하고 있는 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템에 따르면, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 청구범위에 의하여 정해져야 할 것이다.
100: 댄스 모션 피드백 시스템
110: 동작 감지부
120: 스켈레톤 데이터 추출부
130: 동작 비교부
140: 피드백 제공부
150: 모델 제어부
160: 출력부

Claims (8)

  1. 증강현실을 출력하는 출력부를 포함하는 댄스 트레이닝을 위한 댄스 모션 피드백 시스템에 있어서,
    모션 인식 카메라 모듈을 통해 사용자의 댄스 동작을 감지하는 동작 감지부;
    상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작으로부터 사용자 스켈레톤 데이터를 추출하는 스켈레톤 데이터 추출부;
    상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 레퍼런스 모델의 레퍼런스 스켈레톤 데이터와 비교하는 동작 비교부;
    상기 동작 비교부에서 비교한 결과를 이용하여, 상기 사용자 스켈레톤 데이터와 상기 레퍼런스 스켈레톤 데이터가 일치하지 않는 부분에 대한 피드백을 제공하는 피드백 제공부;
    상기 스켈레톤 데이터 추출부에서 추출한 상기 사용자 스켈레톤 데이터를 그래픽 이미지로 구현한 가상 사용자 모델을 생성하여 제어하는 모델 제어부; 및
    상기 모델 제어부에서 생성한 가상 사용자 모델을 포함하는 증강현실을 출력하고, 상기 피드백 제공부에서 제공하는 피드백을 상기 가상 사용자 모델에 합성하여 출력하는 출력부를 포함하며,
    상기 모델 제어부는,
    상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작을 실시간으로 반영하여 상기 가상 사용자 모델을 제어하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  2. 제1항에 있어서, 상기 스켈레톤 데이터 추출부는,
    상기 동작 감지부에서 감지한 상기 사용자의 댄스 동작으로부터 골격을 기반으로 관절과 뼈로 구성되는 사용자 스켈레톤 데이터를 추출하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  3. 제2항에 있어서, 상기 동작 비교부는,
    상기 스켈레톤 데이터 추출부에서 추출한 스켈레톤 데이터를 이용하여 스켈레톤 모델을 생성하고, 상기 스켈레톤 모델 상에서 각각의 뼈대와의 각도를 비교하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  4. 제3항에 있어서, 가상 사용자 모델은,
    실루엣 상에 상기 스켈레톤 모델이 중첩되어 표현되는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  5. 제4항에 있어서, 상기 피드백 제공부는,
    상기 스켈레톤 모델 상에 표현되는 각도 및 색 중 적어도 어느 하나를 이용하여 피드백을 제공하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  6. 제4항에 있어서, 상기 피드백 제공부는,
    상기 스켈레톤 모델 상에 표현되는 텍스트를 이용하여 피드백을 제공하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  7. 제1항에 있어서, 상기 모델 제어부는,
    상기 레퍼런스 스켈레톤 데이터를 이용하여 그래픽 이미지로 구현한 가상 레퍼런스 모델을 생성하여 제어하는 것을 특징으로 하는, 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템.
  8. 삭제
KR1020170170792A 2017-12-12 2017-12-12 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템 KR101989447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170792A KR101989447B1 (ko) 2017-12-12 2017-12-12 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170792A KR101989447B1 (ko) 2017-12-12 2017-12-12 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템

Publications (1)

Publication Number Publication Date
KR101989447B1 true KR101989447B1 (ko) 2019-06-14

Family

ID=66846282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170792A KR101989447B1 (ko) 2017-12-12 2017-12-12 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템

Country Status (1)

Country Link
KR (1) KR101989447B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100904A1 (ko) * 2019-11-20 2021-05-27 (주)데브언리밋 안무 연습 보조 방법 및 장치
KR20210066483A (ko) 2019-11-28 2021-06-07 디노플러스 (주) 딥러닝 기반 한류 모션 학습시스템
KR20210066482A (ko) 2019-11-28 2021-06-07 디노플러스 (주) 합성곱 신경망 기반 한류 모션 교육시스템
KR20210155600A (ko) * 2020-06-16 2021-12-23 한국기술교육대학교 산학협력단 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템
KR20210157241A (ko) * 2020-06-19 2021-12-28 주식회사 크레스프리 엣지 컴퓨팅 시스템에서 개인 정보를 보호하기 위한 방법 및 장치
KR20220027621A (ko) * 2020-08-27 2022-03-08 주식회사 맥케이 인체 포즈 분석 장치 및 그 방법
KR20230087397A (ko) 2021-12-09 2023-06-16 주식회사 에이치엔에이치 스켈레톤 포인트 기반 서비스 제공 장치 및 방법
KR20240002907A (ko) 2022-06-30 2024-01-08 김기대 댄싱방 시스템 및 활용 방법
KR20240008589A (ko) 2022-07-12 2024-01-19 디엘유투 주식회사 댄스 교육 장치 및 이의 동작 방법
KR20240077590A (ko) 2022-11-23 2024-06-03 주식회사지능디자인 딥러닝 기반의 한국 전통문화 춤 학습 모델 생성 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116740A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
KR20170082907A (ko) * 2016-01-07 2017-07-17 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140116740A (ko) * 2013-03-25 2014-10-06 삼성전자주식회사 안무 영상을 표시하는 디스플레이 장치 및 표시 방법
KR20170082907A (ko) * 2016-01-07 2017-07-17 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021100904A1 (ko) * 2019-11-20 2021-05-27 (주)데브언리밋 안무 연습 보조 방법 및 장치
KR20210066483A (ko) 2019-11-28 2021-06-07 디노플러스 (주) 딥러닝 기반 한류 모션 학습시스템
KR20210066482A (ko) 2019-11-28 2021-06-07 디노플러스 (주) 합성곱 신경망 기반 한류 모션 교육시스템
KR102502195B1 (ko) 2020-06-16 2023-02-21 한국기술교육대학교 산학협력단 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템
KR20210155600A (ko) * 2020-06-16 2021-12-23 한국기술교육대학교 산학협력단 사용자 정의 제스처 모델을 이용한 가상훈련 콘텐츠의 동작 방법 및 시스템
KR20210157241A (ko) * 2020-06-19 2021-12-28 주식회사 크레스프리 엣지 컴퓨팅 시스템에서 개인 정보를 보호하기 위한 방법 및 장치
KR102366700B1 (ko) * 2020-06-19 2022-02-25 주식회사 크레스프리 엣지 컴퓨팅 시스템에서 개인 정보를 보호하기 위한 방법 및 장치
KR20220027621A (ko) * 2020-08-27 2022-03-08 주식회사 맥케이 인체 포즈 분석 장치 및 그 방법
KR102412457B1 (ko) 2020-08-27 2022-06-23 주식회사 맥케이 인체 포즈 분석 장치 및 그 방법
KR20230087397A (ko) 2021-12-09 2023-06-16 주식회사 에이치엔에이치 스켈레톤 포인트 기반 서비스 제공 장치 및 방법
KR20240002907A (ko) 2022-06-30 2024-01-08 김기대 댄싱방 시스템 및 활용 방법
KR20240008589A (ko) 2022-07-12 2024-01-19 디엘유투 주식회사 댄스 교육 장치 및 이의 동작 방법
KR20240077590A (ko) 2022-11-23 2024-06-03 주식회사지능디자인 딥러닝 기반의 한국 전통문화 춤 학습 모델 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
KR101989447B1 (ko) 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템
US11132533B2 (en) Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US8805016B2 (en) Method for augmenting a real scene
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
KR101966040B1 (ko) 댄스 게임 장치 및 이를 이용한 댄스 게임 방법
KR101979750B1 (ko) 댄스 트레이닝 콘텐츠 저작 시스템
KR20200006064A (ko) 모션 캡처된 가상의 손을 이용한 증강 현실 학습 시스템 및 방법
US20150301596A1 (en) Method, System, and Computer for Identifying Object in Augmented Reality
US9317956B2 (en) Apparatus and method for providing mixed reality contents for learning through story-based virtual experience
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
KR101909693B1 (ko) 증강현실 기반의 가상 피트니스 트레이너가 제공되는 피트니스 시스템
Hackl et al. HoloKeys-an augmented reality application for learning the piano.
JP6165815B2 (ja) 学習システム、学習方法、プログラム、記録媒体
Martín-Gutiérrez et al. AR_Dehaes: an educational toolkit based on augmented reality technology for learning engineering graphics
KR20190074911A (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR20010095900A (ko) 3차원 모션캡쳐 분석시스템 및 그 방법
KR102366102B1 (ko) 3차원 캐릭터 기반 실감형 인터렉티브 운동 컨텐츠 제공 시스템
KR20180106572A (ko) 가상현실 제공장치 및 그 방법
WO2021230101A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20070298396A1 (en) Computer executable dynamic presentation system for simulating human meridian points and method thereof
US11450033B2 (en) Apparatus and method for experiencing augmented reality-based screen sports match
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
JP6892478B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
KR100863055B1 (ko) 영상분석에 기반한 태권도 학습시스템
KR20180085328A (ko) 댄스 게임 장치 및 이를 이용한 댄스 게임 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant