KR20210066482A - 합성곱 신경망 기반 한류 모션 교육시스템 - Google Patents

Abstract

화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 인식하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것으로서, 센서부를 이용하여 모션 추적 대상의 신호를 감지하고, 모션 추적부에서 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하며, 동작 인식부에서 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어함으로써, 여럿이 뭉쳐서 댄스를 추는 경우에도 특정인의 모션만을 추적할 수 있게 된다.

Description

합성곱 신경망 기반 한류 모션 교육시스템{Korean wave motion education system based on convolutional neural network}

본 발명은 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것으로, 특히 화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 인식하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것이다.

한류 댄스는 대표적인 군무스타일로 다수의 아이돌이 조직적으로 협업하여 그룹댄스를 춘다.

한류 스타의 댄스를 배우고 싶어도 그룹이 서로 뭉쳐서 춤을 춤에 따라 자기가 선호하는 스타의 댄스를 따라 춤을 추기 어려운 문제가 있다.

스마트폰 카메라 영상을 이용하여 댄서의 자세를 분석하는 경우, 턴 아웃 자세(발 안쪽을 보이게 하는 자세)를 명확하게 인식하지 못하는 문제가 발생한다.

또한, 여러 명의 아이돌 그룹 특성상 서로 간에 모습이 가려 특정 스타의 동작을 지속적으로 보기 어려운 문제도 있다.

한편, 댄스 모션 피드백을 제공해주어 사용자가 학습을 할 수 있도록 해주는 종래기술이 대한민국 등록특허 10-1989447호에 개시되어 있다.

등록특허는 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있도록 한다. 또한, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원한다.

그러나 이러한 등록특허는 여러 명이 동시에 뭉쳐서 춤을 추는 경우, 특정인만을 지정하여 해당 특정인만의 모션을 추적하여 별도로 재생하는 것은 불가능한 단점이 있다.

대한민국 등록특허 10-1989447(2019.06.10. 등록)(증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템)

따라서 본 발명은 상기와 같은 일반적인 스마트폰을 이용한 모션 추적방법과 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 화면에 나타난 그룹 중 댄스를 추는 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 저장하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템을 제공하는 데 그 목적이 있다.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"은, 모션 추적 대상의 신호를 감지하는 센서부; 상기 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하는 모션 추적부; 상기 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부; 상기 동작 인식부에서 인식된 동작 정보를 화면에 표출해주는 표시부를 포함하는 것을 특징으로 한다.

상기에서 모션 추적부는 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부; 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부; 상기 휴면 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부; 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부; 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴면 스켈레톤 구현부를 포함하는 것을 특징으로 한다.

상기 관절 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하는 것을 특징으로 한다.

상기 동작 인식부는 추정한 인간 스켈레톤 정보와 안무 데이터베이스 저장된 안무 정보를 기초로 합성곱 신경망으로 처리하여 안무 동작을 인식하는 것을 특징으로 한다.

상기에서 동작 인식부는 3D 모션 트래킹 기반의 와이트랙 시스템을 이용하여 보이지 않는 사람의 동작을 인식하는 것을 특징으로 한다.

본 발명에 따르면 화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 추출하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있는 효과가 있다.

도 1은 본 발명에 따른 합성곱 신경망 기반 한류 모션 교육시스템의 구성도,
도 2는 도 1의 합성곱 신경망 기반 한류 모션 교육시스템의 실시 예 구성도이다.

이하 본 발명의 바람직한 실시 예에 따른 합성곱 신경망 기반 한류 모션 교육시스템을 첨부된 도면을 참조하여 상세하게 설명한다.

이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

도 1은 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"의 구성도로서, 모션 추적 대상의 신호를 감지하는 센서부(10), 상기 센서부(10)에 의해 획득한 신호를 이용하여 선택된 대상의 모션만을 추적하는 모션 추적부(20), 상기 모션 추적부(20)에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부(40), 상기 동작 인식부(40)에서 인식된 동작 정보를 화면에 표출해주는 표시부(50)를 포함한다.

상기 모션 추적부(20)는 도 2에 도시한 바와 같이, 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부, 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부, 상기 휴면 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부, 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부, 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴면 스켈레톤 구현부를 포함한다.

상기 관절 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정한다.

또한, 상기 동작 인식부(40)는 추정한 인간 스켈레톤 정보와 안무 데이터베이스 저장된 안무 정보를 기초로 3D 모션 트래킹 기반의 와이트랙 시스템을 이용한 합성곱 신경망으로 처리하여 안무 동작을 인식한다.

이와 같이 구성된 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"의 동작을 구체적으로 설명하면 다음과 같다.

먼저, 센서부(10)는 모션 추적 대상을 센싱한다. 여기서 모션 추적 대상은 여럿이 뭉쳐서 춤을 추는 댄스 그룹이라고 할 수 있다. 센서부(10)는 전파를 보낸 후 생체에서 반사되는 신호를 감지해 사람을 인식한다. 장애물을 투과하여 감지할 수 있는 매개체로 전자기파를 이용한다.

모션 추적부(20)는 상기 센서부(10)에 의해 감지된 신호로 인체 영상을 구현한다.

즉, 모션 추적부(20)는 감지된 신호로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출한다. 이어, 추출한 깊이 영상으로부터 사람을 추출하고, 추출한 사람으로부터 관절을 추정한다. 이렇게 사람을 추출함으로써 그룹으로 댄스를 추는 경우에도 특정인의 모션을 추적할 수 있다. 여기서 관절 추적은 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하여, 자세 추정 결과를 보조한다. 이렇게 관절 추정 알고리즘을 적용함으로써, 스마트폰의 카메라를 이용하여 한류 댄스 교육을 수행하는 동안 발생하는 턴 아웃 자세(발 안쪽을 보이게 하는 자세)의 잘못된 인식을 감소시킨다. 이어, 추정한 관절 정보로부터 골격을 추출하고, 추출한 골격 정보를 기초로 인간 스켈레톤을 구현한다.

다음으로, 동작 인식부(40)는 상기 모션 추적부(20)에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어한다.

여기서 동작 인식(40)은 추정한 인간 스켈레톤 정보와 안무 데이터베이스 (30)에 저장된 안무 정보를 기초로 3D 모션 트래킹 기반의 와이트랙 시스템인 합성곱 신경망으로 처리하여 안무 동작을 인식한다. 3D 모션 트래킹 기반의 와이트랙 시스템을 이용함으로써 보이지 않는 사람의 동작을 인식한다.

여기서 와이트랙 시스템은 인간의 동작을 3차원적으로 감지하는 시스템으로서, 기존의 동작인식 기술과는 다른 방식인 벽이나 장애물 등을 투과하는 방법으로 동작을 감지할 수 있다.

즉, 벽이나 장애물 뒤에 있는 사람이나 동물의 움직임을 3차원적으로 감지할 수 있다는 의미이다. 와이트랙은 전파를 보낸 후 생체에서 반사되는 신호를 감지해 인식하기 때문에, 기존의 엑스박스 키넥트처럼 동작인식센서나 카메라 장치, 혹은 웨어러블 장비 없이도 사람의 동작을 3D로 인식할 수 있다는 점이 특징이다.

연구팀은 장애물을 투과하여 감지할 수 있는 매개체로 전자기파를 이용했는데, 벽으로 둘러싸인 방이라도 Wi-Fi나 LTE를 사용할 수 있듯이 전자기파는 가시광선이 투과할 수 없는 벽이나 장애물 등을 손쉽게 투과할 수 있다.

이때 사용하는 전자기파는 Wi-Fi의 100분의 1에 불과할 정도로 매우 약해서 인체에 대한 유해성의 걱정 없이도 인간의 몸을 스캔할 수 있는 반면에, 96.9%에 달하는 정확도를 가지고 있어 이를 통해 트래킹 기술을 구현하는 것으로 알려졌다.

와이트랙 시스템은 여러 개의 안테나로 구성되어 있는데, 목표물을 향해 전자기파를 발사하는 한 개의 안테나와 반사된 전파 신호를 받는 수신기 역할을 하는 안테나들로 구성되어 있다.

그리고 이렇게 반사된 신호를 여러 곳에서 측정해서 3차원적으로 재구성하는데, 와이트랙 시스템의 정확도는 10 ~ 20cm 정도 수준이라서 손을 들거나 다리를 드는 등의 일반적인 신호 동작은 대부분 감지할 수 있다.

이로써 댄스 그룹과 같이 여럿이 뭉쳐서 댄스를 추는 경우에도 각각의 대상을 개별적으로 추적할 수 있으며, 아울러 개별 대상의 모션을 인식함으로써, 해당 특정인의 댄스만을 추적하여 모션 교육용 정보를 획득할 수 있게 된다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.

10: 센서부
20: 모션 추적부
30: 안무 데이터베이스
40: 동작 인식부
50: 표시부

Claims (5)

1. 모션 추적 대상의 신호를 감지하는 센서부;
   상기 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하는 모션 추적부;
   상기 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부;
   상기 동작 인식부에서 인식된 동작 정보를 화면에 표출해주는 표시부를 포함하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
   
2. 청구항 1에서, 상기 모션 추적부는 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부; 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부; 상기 휴면 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부; 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부; 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴면 스켈레톤 구현부를 포함하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
   
3. 청구항 2에서, 상기 관절 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
   
4. 청구항 1에서, 상기 동작 인식부는 추정한 인간 스켈레톤 정보와 안무 데이터베이스 저장된 안무 정보를 기초로 합성곱 신경망으로 처리하여 안무 동작을 인식하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
   
5. 청구항 1에서, 상기 동작 인식부는 3D 모션 트래킹 기반의 와이트랙 시스템을 이용하여 보이지 않는 사람의 동작을 인식하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
   
   
   
   
   
   

Images