KR102671284B1 - 댄스 서비스 시스템 - Google Patents

Abstract

본 발명은 댄스 서비스 시스템에 관한 것으로서, 보다 구체적으로는 댄스 콘텐츠를 이용해 댄스 트레이닝을 하는 사용자의 댄스 동작과 레퍼런스 동작을 비교해 피드백을 제공하는 댄스 서비스 시스템으로서, 댄스 콘텐츠를 제공하는 댄스 콘텐츠 제공 장치; 다수의 사용자가 동시에 댄스 동작을 할 때, 다수의 사용자 모습을 일반 카메라로 촬영한 영상을 이용해 각 사용자의 댄스 동작을 실시간으로 분석하여 객체 정보를 획득하는 영상 분석 장치; 및 상기 영상 분석 장치에서 분석된 객체 정보를 레퍼런스 동작과 비교해 비교 결과를 산출하는 댄스 동작 비교 장치를 포함하며, 상기 영상 분석 장치는, 댄스 동작을 하는 복수의 사용자 모습이 촬영된 영상을 입력받는 입력부; 상기 입력부에서 입력받은 영상에서 복수 개의 인체 위치를 특정하는 객체 인식부; 상기 객체 인식부에서 특정한 인체 위치에서 얼굴 부분을 인식하여, 사용자를 식별하는 얼굴 인식부; 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적(Multi-Object Tracking, MOT) 모델을 이용해, 상기 입력부에서 입력받은 영상에 촬영된 복수의 사용자를 추적하는 다중 객체 추적부; 및 상기 얼굴 인식부에서 식별된 사용자의 정보와 상기 다중 객체 추적부에서 추적된 객체 정보를 매칭하여 상기 댄스 동작 비교 장치에 전달하는 정보 매칭부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 댄스 서비스 시스템에 따르면, 다수의 사용자가 촬영된 댄스 영상에서 인체 위치를 특정하고 얼굴을 인식해 사용자를 식별하며, 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적 모델을 이용하여 식별된 각각의 사용자를 추적함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때, 다수의 사용자 각각의 댄스 모션을 정확하게 구분해 분석할 수 있다.
또한, 본 발명에서 제안하고 있는 댄스 서비스 시스템에 따르면, 다수의 사용자 각각의 얼굴을 인식해 식별된 사용자별로 댄스 동작 비교 결과 등을 포함하는 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때 댄스 콘텐츠 화면으로는 충분히 확인하기 어려운 개인화 정보를, 얼굴인식을 통해 사용자별로 저장하여 제공할 수 있다.

Description

댄스 서비스 시스템{DANCE SERVICE SYSTEM}

본 발명은 댄스 서비스 시스템에 관한 것으로서, 보다 구체적으로는 댄스 콘텐츠를 이용해 댄스 트레이닝을 하는 사용자의 댄스 동작과 레퍼런스 동작을 비교해 피드백을 제공하는 댄스 서비스 시스템에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

한류의 확산에 따라 K-Pop 아카데미 이외에도, 유튜브(Youtube) 등의 영상 스트리밍 서비스를 이용하여 직접 K-Pop 댄스를 트레이닝하고자 하는 사용자가 증가하고 있다. 그러나 이러한 동영상을 이용한 댄스 트레이닝 방식은 사용자가 업로드된 동영상에서 댄스 동작을 단순히 따라 하는 것에 불과하므로, 제대로 된 댄스 트레이닝이 이루어질 수 없다는 문제점이 있다. 사용자는 아무런 피드백 없이 동영상을 통해 일방적으로만 영상 정보를 전달받으면서, 현재 자신이 추고 있는 댄스 동작이 얼마나 정확한지 또는 어느 부분이 일치하지 않는지를 스스로 판단해야 하기 때문이다.

특히, 동영상을 이용한 댄스 트레이닝 방식에서 사용자는 자신의 동작에 대해 아무런 피드백을 받을 수 없으므로, 사용자가 댄스 트레이닝을 지속하기가 매우 어렵다는 문제점이 있다. 댄스 트레이닝을 지속할 수 있도록 돕는 전문 강사 없이 사용자는 동영상만을 보며 정해진 동작을 반복해야 하므로, 댄스 트레이닝에 따른 성취감을 전혀 느낄 수 없기 때문이다.

이와 같은 문제를 해결하기 위해, 등록특허 제10-1989447호(발명의 명칭: 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템, 등록 일자: 2019년 6월 10일)가 개시된 바 있다.

선행기술에 따르면, 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라 하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있으며, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있으며, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원할 수 있다. 그러나 선행기술에서는, 모션 인식 카메라를 이용해 동작을 감지하기 때문에 키넥트 등 특수 카메라를 사용해야 하고, 한 번에 한 명씩의 사용자만 사용할 수 있다.

댄스 트레이닝 서비스는, 유치원, 어린이집, 초등학교 등에서 원생이나 학생을 대상으로 서비스될 수 있는데, 이에 따라 여러 명의 사용자가 동시에 사용하는 경우가 빈번하다. 이 상황에서 한 번에 한 명씩의 사용자만 사용해야 하는 서비스는 제약이 크고, 여러 사용자가 혼재되어 정확한 댄스 트레이닝 결과를 얻기 어려운 한계가 있다. 따라서 이를 극복하기 위한 기술의 개발이 필요하다.

전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지 기술이라 할 수는 없다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 다수의 사용자가 촬영된 댄스 영상에서 인체 위치를 특정하고 얼굴을 인식해 사용자를 식별하며, 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적 모델을 이용하여 식별된 각각의 사용자를 추적함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때, 다수의 사용자 각각의 댄스 모션을 정확하게 구분해 분석할 수 있는, 댄스 서비스 시스템을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 다수의 사용자 각각의 얼굴을 인식해 식별된 사용자별로 댄스 동작 비교 결과 등을 포함하는 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때 댄스 콘텐츠 화면으로는 충분히 확인하기 어려운 개인화 정보를, 얼굴인식을 통해 사용자별로 저장하여 제공할 수 있는, 댄스 서비스 시스템을 제공하는 것을 그 목적으로 한다.

다만, 본 발명이 이루고자 하는 기술적 과제는 상기한 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있고, 명시적으로 언급하지 않더라도 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 이에 포함됨은 물론이다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 댄스 서비스 시스템은,

댄스 콘텐츠를 이용해 댄스 트레이닝을 하는 사용자의 댄스 동작과 레퍼런스 동작을 비교해 피드백을 제공하는 댄스 서비스 시스템으로서,

댄스 콘텐츠를 제공하는 댄스 콘텐츠 제공 장치;

다수의 사용자가 동시에 댄스 동작을 할 때, 다수의 사용자 모습을 일반 카메라로 촬영한 영상을 이용해 각 사용자의 댄스 동작을 실시간으로 분석하여 객체 정보를 획득하는 영상 분석 장치; 및

상기 영상 분석 장치에서 분석된 객체 정보를 레퍼런스 동작과 비교해 비교 결과를 산출하는 댄스 동작 비교 장치를 포함하며,

상기 영상 분석 장치는,

댄스 동작을 하는 복수의 사용자 모습이 촬영된 영상을 입력받는 입력부;

상기 입력부에서 입력받은 영상에서 복수 개의 인체 위치를 특정하는 객체 인식부;

상기 객체 인식부에서 특정한 인체 위치에서 얼굴 부분을 인식하여, 사용자를 식별하는 얼굴 인식부;

딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적(Multi-Object Tracking, MOT) 모델을 이용해, 상기 입력부에서 입력받은 영상에 촬영된 복수의 사용자를 추적하는 다중 객체 추적부; 및

상기 얼굴 인식부에서 식별된 사용자의 정보와 상기 다중 객체 추적부에서 추적된 객체 정보를 매칭하여 상기 댄스 동작 비교 장치에 전달하는 정보 매칭부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 다중 객체 추적부는,

상기 복수의 사용자를 추적해 사용자별 스켈레톤 정보를 추출할 수 있다.

바람직하게는,

상기 식별된 사용자별로 상기 댄스 동작 비교 장치의 비교 결과를 포함하는 사용자의 댄스 동작과 관련된 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공하는 정보 제공 장치를 더 포함할 수 있다.

더욱 바람직하게는, 상기 개인화 정보는,

댄스 트레이닝 진척도, 스테이지 기록 및 상기 다중 객체 추적부에서 추적한 사용자의 모습을 저장한 댄스 모습 추적 영상을 포함할 수 있다.

더더욱 바람직하게는, 상기 개인화 정보는,

상기 다중 객체 추적부에서 추적한 사용자의 모습으로부터 산출한 운동량 정보를 더 포함할 수 있다.

바람직하게는, 영상 분석 장치는,

상기 객체 인식부에서 특정한 인체의 위치에서 인체에 해당하는 부분을 배경으로부터 분리하는 객체 분할(Segmentation)을 수행하는 세그멘테이션부를 더 포함할 수 있다.

더욱 바람직하게는, 상기 댄스 콘텐츠 제공 장치는,

상기 댄스 콘텐츠를 제공하면서, 상기 세그멘테이션부에서 수행된 객체 분할 결과 및 영상 합성 기술을 이용해, 상기 영상에서 배경으로부터 분리된 사용자의 인체 부분을 상기 댄스 콘텐츠에 실시간으로 합성해 제공할 수 있다.

바람직하게는, 상기 영상 분석 장치는,

20명 이하의 사용자가 동시에 댄스 동작을 할 때, 실시간으로 상기 영상을 분석해 객체 정보를 획득할 수 있다.

본 발명에서 제안하고 있는 댄스 서비스 시스템에 따르면, 다수의 사용자가 촬영된 댄스 영상에서 인체 위치를 특정하고 얼굴을 인식해 사용자를 식별하며, 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적 모델을 이용하여 식별된 각각의 사용자를 추적함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때, 다수의 사용자 각각의 댄스 모션을 정확하게 구분해 분석할 수 있다.

또한, 본 발명에서 제안하고 있는 댄스 서비스 시스템에 따르면, 다수의 사용자 각각의 얼굴을 인식해 식별된 사용자별로 댄스 동작 비교 결과 등을 포함하는 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때 댄스 콘텐츠 화면으로는 충분히 확인하기 어려운 개인화 정보를, 얼굴인식을 통해 사용자별로 저장하여 제공할 수 있다.

더불어, 본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도 1은 본 발명의 일실시예에 따른 댄스 서비스 시스템의 구성을 도시한 도면.
도 2 및 도 3은 본 발명의 일실시예에 따른 댄스 서비스 시스템을 이용한 댄스 트레이닝 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 댄스 서비스 시스템에서, 영상 분석 장치의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 댄스 서비스 시스템에서, 사용자 모습이 합성된 댄스 콘텐츠 화면을 예를 들어 도시한 도면.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.

도 1은 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)은, 댄스 콘텐츠를 이용해 댄스 트레이닝을 하는 사용자의 댄스 동작과 레퍼런스 동작을 비교해 피드백을 제공하는 댄스 서비스 시스템(10)으로서, 댄스 콘텐츠 제공 장치(100), 영상 분석 장치(200) 및 댄스 동작 비교 장치(300)를 포함하여 구성될 수 있으며, 정보 제공 장치(400)를 더 포함하여 구성될 수 있다.

도 2 및 도 3은 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)을 이용한 댄스 트레이닝 모습을 예를 들어 도시한 도면이다. 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)에서는, 도 2에 도시된 바와 같이 화면에 사용자의 실루엣이 실시간으로 합성되어 혼합현실 영상으로 댄스 콘텐츠가 제공될 수 있으며, 사용자가 댄스 콘텐츠의 난이도 등을 선택해 댄스 콘텐츠를 실행할 수 있다. 댄스 콘텐츠가 실행되면, 도 3에 도시된 바와 같이 레퍼런스 동작을 하는 캐릭터(가상 댄스 트레이너)와 사용자의 실시간 댄스 모습이 함께 표시될 수 있다. 이때, 사용자의 댄스 동작과 가상 댄스 트레이너의 레퍼런스 동작을 비교해, 도 3에 사용자 실루엣의 어깨, 팔, 골반 등에 분홍색으로 표시된 바와 같이, 동작이 잘못된 부분을 알려주는 피드백을 제공할 수 있다. 이하에서는, 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)의 각 구성요소에 대해 상세히 설명하도록 한다.

댄스 콘텐츠 제공 장치(100)는, 댄스 콘텐츠를 제공할 수 있다. 여기서, 댄스 콘텐츠는 K-Pop 등 음악에 맞추어 댄스 트레이닝을 할 수 있도록 음악과 레퍼런스 동작 정보 등을 포함하여 구성되며, 사용자와의 상호작용을 통해 사용자의 댄스 동작에 대한 피드백을 제공할 수 있다. 또한, 댄스 콘텐츠 제공 장치(100)는, 댄스 콘텐츠에 따른 댄스 트레이닝 결과를 점수나 별점 등으로 수치화하여 제공할 수 있다. 특히, 댄스 콘텐츠 제공 장치(100)가 제공하는 댄스 콘텐츠는, 2명 이상 20명 이하의 다수의 사용자가 동시에 댄스 트레이닝을 할 수 있는 콘텐츠일 수 있다.

영상 분석 장치(200)는, 다수의 사용자가 동시에 댄스 동작을 할 때, 다수의 사용자 모습을 일반 카메라로 촬영한 영상을 이용해 각 사용자의 댄스 동작을 실시간으로 분석하여 객체 정보를 획득할 수 있다. 즉, 영상 분석 장치(200)는, 키넥트나 깊이 카메라 등의 특수 카메라가 아닌 일반 컬러 카메라에서 촬영한 영상을 분석해 댄스 트레이닝을 하는 다수의 사용자의 댄스 동작을 추적하고, 댄스 콘텐츠에서 사용자와의 상호작용을 위해 필요한 각종 정보를 획득할 수 있다.

이때, 영상 분석 장치(200)는, 20명 이하의 사용자가 동시에 댄스 동작을 할 때, 실시간으로 영상을 분석해 객체 정보를 획득할 수 있다. 보다 구체적으로, 영상 분석 장치(200)는, 댄스 콘텐츠를 동시에 이용하는 2명 이상 20명 이하의 다수의 사용자를 각각 식별하고, 식별된 사용자의 댄스 동작을 각각 분석함으로써, 하나의 카메라로 다수의 사용자를 댄스 동작을 분석할 수 있다. 영상 분석 장치(200)의 세부적인 구성에 대해서는 추후 도 4를 참조하여 상세히 설명하도록 한다.

댄스 동작 비교 장치(300)는, 영상 분석 장치(200)에서 분석된 객체 정보를 레퍼런스 동작과 비교해 비교 결과를 산출할 수 있다. 즉, 댄스 동작 비교 장치(300)는, 댄스 콘텐츠마다 저장된 레퍼런스 동작과 사용자의 댄스 동작을 비교하고, 동작 일치율 등을 비교 결과로 출력할 수 있다. 이때, 댄스 동작의 비교 시에는 관절의 각도를 비교할 수 있으며, 예를 들어, 등록특허 제10-2412553호(발명의 명칭: 인공지능 기반 댄스 동작 비교 방법 및 장치)의 댄스 동작 비교 기술을 사용할 수 있다.

정보 제공 장치(400)는, 식별된 사용자별로 댄스 동작 비교 장치(300)의 비교 결과를 포함하는 사용자의 댄스 동작과 관련된 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공할 수 있다. 즉, 정보 제공 장치(400)는, 개별 사용자가 자신의 아이디, 비밀번호, 인증서, 생체정보, 얼굴인식 등을 이용해 접속해 자신의 댄스 트레이닝 정보를 요청하면, 해당 사용자의 개인화 정보를 제공할 수 있다.

여기서, 개인화 정보는, 댄스 트레이닝 진척도, 스테이지 기록 및 추후 상세히 설명할 다중 객체 추적부(250)에서 추적한 사용자의 모습을 저장한 댄스 모습 추적 영상 등을 포함할 수 있다. 개인화 정보는, 다중 객체 추적부(250)에서 추적한 사용자의 모습으로부터 산출한 운동량 정보를 더 포함할 수 있다. 이와 같이, 개인화 정보는, 다수의 사용자의 댄스 콘텐츠를 동시에 이용할 때, 도 2 및 도 3에 도시된 바와 같은 댄스 콘텐츠 화면으로는 충분히 제공받기 어려운 각각의 사용자 개인의 댄스 트레이닝 정보, 댄스 콘텐츠 이용 히스토리, 댄스 트레이닝 결과 등의 개인화 정보를 제공할 수 있다.

도 4는 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)에서, 영상 분석 장치(200)의 세부적인 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)의 영상 분석 장치(200)는, 입력부(210), 객체 인식부(220), 얼굴 인식부(240), 다중 객체 추적부(250) 및 정보 매칭부(260)를 포함하여 구성될 수 있으며, 세그멘테이션부(230)를 더 포함하여 구성될 수 있다.

입력부(210)는, 댄스 동작을 하는 복수의 사용자 모습이 촬영된 영상을 입력받을 수 있다. 여기서, 입력부(210)가 입력받는 영상은 일반적인 2차원 컬러 영상을 촬영하는 카메라로 촬영된 것으로, 웹캠, 스마트 폰 카메라, 랩톱 또는 PC에 탑재된 카메라 등을 이용해 촬영된 영상일 수 있다. 댄스 콘텐츠 제공 장치(100)는, 2명 이상 20명 이하의 다수의 사용자가 동시에 댄스 트레이닝을 할 수 있는 댄스 콘텐츠를 제공하므로, 입력부(210)가 입력받는 영상은 복수의 사용자 모습이 촬영된 영상일 수 있다. 즉, 다수의 사용자 각각마다 영상을 입력받는 것이 아니라, 댄스 콘텐츠를 이용하는 다수의 사용자의 댄스 트레이닝 모습을 촬영한 하나의 영상을 입력받을 수 있다. 이때, 영상은 복수의 프레임으로 구성되는 동영상 데이터일 수 있고, 댄스 트레이닝을 하는 다수의 사용자 모습을 실시간으로 입력받을 수 있다.

객체 인식부(220)는, 입력부(210)에서 입력받은 영상에서 복수 개의 인체 위치를 특정할 수 있다. 보다 구체적으로, 객체 인식부(220)는 입력된 영상 프레임에서 후보 영역을 추출하고, 추출한 후보 영역을 분류(Classification)해 인체로 분류된 영역을 인체 위치로 특정할 수 있다. 여기서, 객체 인식부(220)는 인공지능/머신러닝 기반의 객체 추출 모델을 사용할 수 있는데, 보다 구체적으로는 Faster R-CNN을 사용할 수 있다. 객체 인식부(220)는, 20fps 이상의 속도로 영상 속의 인체 위치를 최대 20명까지 검출하되, 48% 이상의 객체 정확도로 검출할 수 있다.

세그멘테이션부(230)는, 객체 인식부(220)에서 특정한 인체의 위치에서 인체에 해당하는 부분을 배경으로부터 분리하는 객체 분할(Segmentation)을 수행할 수 있다. 객체 분할은 입력받은 영상에 촬영된 다양한 배경에서 사용자의 실루엣을 추출하고 배경으로부터 인체를 분리할 수 있는 기술로, 기술적으로 Instance Segmentation, 인체 추출에 대해서는 Human Segmentation 등의 용어를 사용한다. 세그멘테이션부(230)는 인공지능/머신러닝 기반의 객체 분할 모델을 이용해, 입력부(210)로부터 입력받은 영상에서 사용자의 이미지를 배경으로부터 분리하는 객체 분할을 수행할 수 있는데, Mask R-CNN을 이용할 수 있다. 세그멘테이션부(230)는 영상 속에서 최대 20명까지 정확도 90% 이상으로 인체를 분할할 수 있다.

또한, 세그멘테이션부(230)는, 배경에서 분리한 사용자의 인체 이미지를 혼합현실 환경에서 사용할 수 있도록 가공할 수 있다. 보다 구체적으로, 댄스 콘텐츠 제공 장치(100)는, 댄스 콘텐츠를 제공하면서, 세그멘테이션부(230)에서 수행된 객체 분할 결과 및 영상 합성 기술을 이용해, 영상에서 배경으로부터 분리된 사용자의 인체 부분을 댄스 콘텐츠에 실시간으로 합성해 제공할 수 있다.

도 5는 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)에서, 사용자 모습이 합성된 댄스 콘텐츠 화면을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)에서는, 영상에서 사용자의 실루엣을 배경과 분리하여, 사용자의 인체 이미지 부분을 추출해 댄스 콘텐츠에 실시간으로 합성하여 제공함으로써, 가상의 댄스 콘텐츠 배경과 사용자의 모습이 결합한 혼합현실을 제공할 수 있다.

얼굴 인식부(240)는, 객체 인식부(220)에서 특정한 인체 위치에서 얼굴 부분을 인식하여, 사용자를 식별할 수 있다. 얼굴 인식부(240)는, 입력받은 영상에서 얼굴 부분을 탐지하고, 얼굴 부분을 잘라서(crop) 군집 분석(Clustering), 유사도 검출(Similarity Detection), 분류(Classification) 등을 수행함으로써, 얼굴인식을 통한 사용자 식별을 할 수 있다. 보다 구체적으로, 얼굴 인식부(240)는 등록 사용자의 얼굴 이미지가 저장된 얼굴 DB와 인식한 얼굴을 비교함으로써 등록 사용자를 식별할 수 있다.

특히, 얼굴 인식부(240)는 다수의 사용자가 플레이하는 환경에서 개별 사용자를 식별하기 위한 구성으로서, 식별된 개별 사용자의 개인별 성취도 등 개인화 정보를 저장하고 관리할 수 있다. 얼굴 인식부(240)는, 영상 속에서 최대 20명까지 오거부율 0.5% 이하로 얼굴을 인식할 수 있다.

다중 객체 추적부(250)는, 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적(Multi-Object Tracking, MOT) 모델을 이용해, 입력부(210)에서 입력받은 영상에 촬영된 복수의 사용자를 추적할 수 있다. 특히, 다중 객체 추적부(250)는, 다수의 사용자가 플레이하는 환경에서 복수의 사용자를 추적하기 위한 구성으로, 실시간성을 보장하기 위해 One-Shot MOT 모델을 기반으로 하여 댄스 트레이닝에서 개별 사용자의 모션을 추적할 수 있다. 다중 객체 추적부(250)는, 사용자 라벨링, 사용자별 이동궤적 등의 객체 정보를 출력할 수 있다. 다중 객체 추적부(250)는, 영상 속에서 최대 20명까지 60% 이상의 정확도로 사용자별 이동궤적을 추적할 수 있다.

유치원, 어린이집, 초등학교 등에서 원생이나 학생을 대상으로 댄스 서비스를 운영할 때, 여러 명의 사용자가 동시에 댄스 동작을 하면, 사용자의 위치 변화 등으로 인해 각 사용자별로 댄스 트레이닝 진척도, 점수 산출 등이 어렵다. 본 발명의 일실시예에 따른 댄스 서비스 시스템(10)은 다중 객체 추적부(250)를 포함함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때 하나의 영상에 촬영된 복수의 사용자를 추적하는 다중 객체 추적을 통해, 사용자를 추적하면서 해당 사용자의 댄스 동작을 분석하고 댄스 트레이닝 진척도, 점수 산출 등을 할 수 있다.

한편, 다중 객체 추적부(250)는, 복수의 사용자를 추적해 사용자별 스켈레톤 정보를 추출할 수 있다. 즉, 다중 객체 추적부(250)가 출력하는 객체 정보는, 사용자별 이동궤적 외에 영상 프레임별 사용자별 스켈레톤 정보를 더 포함할 수 있다. 다중 객체 추적부(250)가 추출한 스켈레톤 정보는, 댄스 동작 비교 장치(300)에 전달되어 사용자의 댄스 모션과 레퍼런스 동작을 비교하는 데 사용될 수 있다. 이때, 댄스 동작 비교 장치(300)는, 스켈레톤 정보, 객체 추적에 따른 궤적 정보 등을 조합하여, 댄스 동작뿐만 아니라 동선 변화가 포함된 댄스 콘텐츠에서 동선 변화 등 종합적인 안무를 비교할 수 있다.

실시예에 따라서, 영상 분석 장치(200)는, 다중 객체 추적부(250)에서 추적한 사용자의 모습으로부터 운동량 정보를 산출할 수 있다. 예를 들어, 다중 객체 추적부(250)가 추적한 개별 사용자의 궤적 정보를 이용해 운동량 정보를 산출할 수 있다. 또한, 레퍼런스 동작에 따라 댄스 동작을 제대로 했을 때의 레퍼런스 운동량을 댄스 콘텐츠별로 미리 저장해 두고, 댄스 동작 비교 장치(300)에서의 비교 결과에 따라 결정되는 가중치를 레퍼런스 운동량에 적용해 개별 사용자의 운동량을 산출할 수도 있다.

정보 매칭부(260)는, 얼굴 인식부(240)에서 식별된 사용자의 정보와 다중 객체 추적부(250)에서 추적된 객체 정보를 매칭하여 댄스 동작 비교 장치(300)에 전달할 수 있다. 즉, 정보 매칭부(260)는, 다중 객체 추적부(250)에서 추적된 객체 정보와 식별된 사용자를 매칭하여 사용자별로 정보를 매칭 관리할 수 있다. 예를 들어, 추적된 객체 정보에 매칭된 사용자 정보를 태그하고, 댄스 동작 비교 장치(300)의 비교 결과가 태그된 사용자 정보에 따라 사용자별로 저장되도록 할 수 있다. 정보 제공 장치(400)는, 사용자 정보에 따라 사용자별로 저장된 데이터를 개인화 정보로 사용자에게 제공할 수 있다.

전술한 바와 같이, 본 발명에서 제안하고 있는 댄스 서비스 시스템(10)에 따르면, 다수의 사용자가 촬영된 댄스 영상에서 인체 위치를 특정하고 얼굴을 인식해 사용자를 식별하며, 딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적 모델을 이용하여 식별된 각각의 사용자를 추적함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때, 다수의 사용자 각각의 댄스 모션을 정확하게 구분해 분석할 수 있다. 또한, 본 발명에서 제안하고 있는 댄스 서비스 시스템(10)에 따르면, 다수의 사용자 각각의 얼굴을 인식해 식별된 사용자별로 댄스 동작 비교 결과 등을 포함하는 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공함으로써, 다수의 사용자가 동시에 댄스 콘텐츠를 이용할 때 댄스 콘텐츠 화면으로는 충분히 확인하기 어려운 개인화 정보를, 얼굴인식을 통해 사용자별로 저장하여 제공할 수 있다.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 본 발명의 특징에 따른 댄스 서비스 시스템
100: 댄스 콘텐츠 제공 장치
200: 영상 분석 장치
210: 입력부
220: 객체 인식부
230: 세그멘테이션부
240: 얼굴 인식부
250: 다중 객체 추적부
260: 정보 매칭부

Claims (8)

1. 2명 이상 20명 이하의 다수의 사용자가 동시에 댄스 트레이닝을 할 수 있는 댄스 콘텐츠를 이용해 댄스 트레이닝을 하는 사용자의 댄스 동작과 레퍼런스 동작을 비교해 피드백을 제공하는 댄스 서비스 시스템(10)으로서,
   댄스 콘텐츠를 제공하는 댄스 콘텐츠 제공 장치(100);
   상기 댄스 콘텐츠를 동시에 이용하는 2명 이상 20명 이하의 다수의 사용자가 동시에 댄스 동작을 할 때, 다수의 사용자 모습을 하나의 일반 카메라로 촬영한 영상을 이용해 다수의 사용자를 각각 식별하고, 식별된 사용자의 댄스 동작을 각각 실시간으로 분석하여 객체 정보를 획득하는 영상 분석 장치(200); 및
   상기 영상 분석 장치(200)에서 분석된 객체 정보를 레퍼런스 동작과 비교해 비교 결과를 산출하는 댄스 동작 비교 장치(300)를 포함하며,
   상기 댄스 콘텐츠 제공 장치(100)는,
   상기 댄스 콘텐츠에 따른 댄스 트레이닝 결과를 점수나 별점으로 수치화하여 제공하며,
   상기 영상 분석 장치(200)는,
   댄스 동작을 하는 복수의 사용자 모습이 촬영된 영상을 입력받는 입력부(210);
   상기 입력부(210)에서 입력받은 영상에서 복수 개의 인체 위치를 특정하는 객체 인식부(220);
   Mask R-CNN을 이용해, 상기 객체 인식부(220)에서 특정한 인체의 위치에서 인체에 해당하는 부분을 배경으로부터 분리하는 객체 분할(Segmentation)을 수행하는 세그멘테이션부(230);
   상기 객체 인식부(220)에서 특정한 인체 위치에서 얼굴 부분을 인식하여, 다수의 사용자가 플레이하는 환경에서 개별 사용자를 식별하는 얼굴 인식부(240);
   딥러닝 기반으로 검출과 추적을 동시에 수행하는 One-Shot 다중 객체 추적(Multi-Object Tracking, MOT) 모델을 이용해, 상기 입력부(210)에서 입력받은 영상에 촬영된 복수의 사용자를 추적하며, 사용자 라벨링 및 사용자별 이동궤적으로 구성되는 객체 정보를 출력하는 다중 객체 추적부(250); 및
   상기 얼굴 인식부(240)에서 식별된 사용자의 정보와 상기 다중 객체 추적부(250)에서 추적된 객체 정보를 매칭하여, 상기 다중 객체 추적부(250)에서 추적된 객체 정보에 매칭된 사용자 정보를 태그하여 상기 댄스 동작 비교 장치(300)에 전달하는 정보 매칭부(260)를 포함하며,
   상기 얼굴 인식부(240)는,
   상기 입력받은 영상에서 얼굴 부분을 탐지하고, 얼굴 부분을 잘라서(crop) 군집 분석(Clustering), 유사도 검출(Similarity Detection) 및 분류(Classification)를 수행해 얼굴인식을 통한 사용자 식별을 하며,
   상기 다중 객체 추적부(250)는,
   상기 복수의 사용자를 추적해 사용자별 스켈레톤 정보를 추출하며,
   상기 댄스 동작 비교 장치(300)는,
   상기 스켈레톤 정보와 객체 추적에 따른 사용자별 이동 궤적의 정보를 조합하여, 댄스 동작뿐만 아니라 동선 변화가 포함된 댄스 콘텐츠에서 동선 변화를 포함하는 종합적인 안무를 비교하며,
   상기 얼굴 인식부(240)에서 식별된 사용자별로 상기 댄스 동작 비교 장치(300)의 비교 결과를 포함하는 사용자의 댄스 동작과 관련된 개인화 정보를 저장하고, 사용자 요청에 따라 해당 사용자의 개인화 정보를 제공하는 정보 제공 장치(400)를 더 포함하고,
   상기 정보 제공 장치(400)는,
   상기 정보 매칭부(260)에서 태그된 사용자 정보에 따라 사용자별로 저장된 데이터를 개인화 정보로 사용자에게 제공하며,
   상기 개인화 정보는,
   다수의 사용자가 상기 댄스 콘텐츠를 동시에 이용할 때, 댄스 콘텐츠 화면으로는 충분히 제공받기 어려운 각각의 사용자 개인의 댄스 트레이닝 진척도, 스테이지 기록, 상기 다중 객체 추적부(250)에서 추적한 사용자의 모습을 저장한 댄스 모습 추적 영상, 및 상기 다중 객체 추적부(250)에서 추적한 사용자의 모습으로부터 산출한 운동량 정보를 포함하며,
   상기 운동량 정보는,
   레퍼런스 동작에 따라 댄스 동작을 제대로 했을 때의 레퍼런스 운동량을 댄스 콘텐츠별로 미리 저장해 두고, 상기 댄스 동작 비교 장치(300)에서의 비교 결과에 따라 결정되는 가중치를 상기 레퍼런스 운동량에 적용해 개별 사용자에 대해 산출되며,
   상기 댄스 콘텐츠 제공 장치(100)는,
   상기 댄스 콘텐츠를 제공하면서, 상기 세그멘테이션부(230)에서 수행된 객체 분할 결과 및 영상 합성 기술을 이용해, 상기 영상에서 배경으로부터 분리된 사용자의 인체 부분을 상기 댄스 콘텐츠에 실시간으로 합성해 제공하며,
   상기 영상 분석 장치(200)는,
   2명 이상 20명 이하의 사용자가 동시에 댄스 동작을 할 때, 실시간으로 상기 영상을 분석해 객체 정보를 획득하는 것을 특징으로 하는, 댄스 서비스 시스템(10).
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제

Images