KR102455345B1 - Korean wave motion education system based on convolutional neural network - Google Patents

Korean wave motion education system based on convolutional neural network Download PDF

Info

Publication number
KR102455345B1
KR102455345B1 KR1020190155772A KR20190155772A KR102455345B1 KR 102455345 B1 KR102455345 B1 KR 102455345B1 KR 1020190155772 A KR1020190155772 A KR 1020190155772A KR 20190155772 A KR20190155772 A KR 20190155772A KR 102455345 B1 KR102455345 B1 KR 102455345B1
Authority
KR
South Korea
Prior art keywords
motion
unit
information
dance
tracking
Prior art date
Application number
KR1020190155772A
Other languages
Korean (ko)
Other versions
KR20210066482A (en
Inventor
김장호
Original Assignee
디노플러스 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디노플러스 (주) filed Critical 디노플러스 (주)
Priority to KR1020190155772A priority Critical patent/KR102455345B1/en
Publication of KR20210066482A publication Critical patent/KR20210066482A/en
Application granted granted Critical
Publication of KR102455345B1 publication Critical patent/KR102455345B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Image Analysis (AREA)

Abstract

화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 인식하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것으로서, 센서부를 이용하여 모션 추적 대상의 신호를 감지하고, 모션 추적부에서 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하며, 동작 인식부에서 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어함으로써, 여럿이 뭉쳐서 댄스를 추는 경우에도 특정인의 모션만을 추적할 수 있게 된다.It relates to a convolutional neural network-based Hallyu motion education system that recognizes dance information by tracking only the selected specific person when a specific person is selected from the dance group displayed on the screen, and then reproduces and educates only the dance of a specific person. The motion tracking unit detects the signal of the tracking target, the motion tracking unit tracks the motion of the selected target using the signal acquired from the sensor unit, the motion recognition unit recognizes the motion of the motion tracked by the motion tracking unit, and the recognized motion By controlling the expression of information, it is possible to track only the motion of a specific person even when several people dance together.

Description

합성곱 신경망 기반 한류 모션 교육시스템{Korean wave motion education system based on convolutional neural network}Korean wave motion education system based on convolutional neural network

본 발명은 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것으로, 특히 화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 인식하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템에 관한 것이다.The present invention relates to a convolutional neural network-based Hallyu motion education system. In particular, when a specific person is selected from a dance group displayed on the screen, only the selected specific person is tracked to recognize dance information, and only the dance of a specific person can be reproduced and educated later. It is about a Korean wave motion education system based on multiplication neural networks.

한류 댄스는 대표적인 군무스타일로 다수의 아이돌이 조직적으로 협업하여 그룹댄스를 춘다. Hallyu dance is a representative group dance style, in which a number of idols systematically collaborate to perform a group dance.

한류 스타의 댄스를 배우고 싶어도 그룹이 서로 뭉쳐서 춤을 춤에 따라 자기가 선호하는 스타의 댄스를 따라 춤을 추기 어려운 문제가 있다.Even if you want to learn the dance of a Hallyu star, there is a problem in that it is difficult to dance to the dance of your favorite star as the group dances together.

스마트폰 카메라 영상을 이용하여 댄서의 자세를 분석하는 경우, 턴 아웃 자세(발 안쪽을 보이게 하는 자세)를 명확하게 인식하지 못하는 문제가 발생한다.When the posture of a dancer is analyzed using a smartphone camera image, a problem arises in that a turn-out posture (a posture showing the inside of the foot) cannot be clearly recognized.

또한, 여러 명의 아이돌 그룹 특성상 서로 간에 모습이 가려 특정 스타의 동작을 지속적으로 보기 어려운 문제도 있다.In addition, there is a problem that it is difficult to continuously see the movements of a specific star because of the characteristics of several idol groups.

한편, 댄스 모션 피드백을 제공해주어 사용자가 학습을 할 수 있도록 해주는 종래기술이 대한민국 등록특허 10-1989447호에 개시되어 있다.On the other hand, a prior art that provides dance motion feedback so that a user can learn is disclosed in Korean Patent Registration No. 10-1989447.

등록특허는 증강현실을 통해 사용자에게 영상으로 피드백이 제공됨으로써, 사용자가 댄스 동작을 따라하며 정확하게 댄스를 습득할 수 있고, 사용자가 추고 있는 댄스 동작이 정확한지 판단할 수 있도록 한다. 또한, 사용자의 모션 영상에 실시간으로 피드백을 제공함으로써, 사용자가 댄스를 추고 있는 동안에도 실시간으로 피드백을 제공할 수 있고, 증강현실에 표현되는 영상 정보를 이용하여 사용자가 댄스 동작을 스스로 교정할 수 있도록 지원한다.The registered patent allows the user to learn the dance accurately by following the dance motion by providing feedback as an image to the user through augmented reality, and to determine whether the dance motion the user is dancing is accurate. In addition, by providing feedback to the user's motion image in real time, feedback can be provided in real time even while the user is dancing, and the user can self-correct the dance movement using image information expressed in augmented reality. support to

그러나 이러한 등록특허는 여러 명이 동시에 뭉쳐서 춤을 추는 경우, 특정인만을 지정하여 해당 특정인만의 모션을 추적하여 별도로 재생하는 것은 불가능한 단점이 있다.However, these registered patents have a disadvantage in that, when several people dance together at the same time, it is impossible to designate only a specific person and track the motion of the specific person and reproduce it separately.

대한민국 등록특허 10-1989447(2019.06.10. 등록)(증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템)Republic of Korea Patent Registration 10-1989447 (registered on June 10, 2019) (Dance motion feedback system that provides video feedback to users using augmented reality)

따라서 본 발명은 상기와 같은 일반적인 스마트폰을 이용한 모션 추적방법과 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 화면에 나타난 그룹 중 댄스를 추는 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 저장하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있도록 한 합성곱 신경망 기반 한류 모션 교육시스템을 제공하는 데 그 목적이 있다.Therefore, the present invention is proposed to solve the problems occurring in the motion tracking method using a general smart phone as described above and in the prior art. The purpose is to provide a convolutional neural network-based Hallyu motion education system that stores and trains only the dance of a specific person later.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"은, 모션 추적 대상의 신호를 감지하는 센서부; 상기 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하는 모션 추적부; 상기 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부; 상기 동작 인식부에서 인식된 동작 정보를 화면에 표출해주는 표시부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the "convolutional neural network-based Hallyu motion education system" according to the present invention includes: a sensor unit for detecting a signal of a motion tracking target; a motion tracking unit for tracking the motion of the selected target using the signal obtained from the sensor unit; a motion recognition unit for recognizing the motion of the motion tracked by the motion tracking unit and controlling the expression of the recognized motion information; and a display unit for displaying the motion information recognized by the motion recognition unit on a screen.

상기에서 모션 추적부는 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부; 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부; 상기 휴먼 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부; 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부; 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴먼 스켈레톤 구현부를 포함하는 것을 특징으로 한다.The motion tracking unit includes: a depth image extractor for detecting a depth from the photographed dance motion image, and extracting a depth image based on the sensed depth; a human extractor for extracting a person from the depth image extracted by the depth image extractor; a joint tracking unit for estimating a joint from a person extracted from the human extraction unit; a skeletal extraction information stabilizing unit for extracting a skeleton from the estimated joint information; It is characterized in that it comprises a human skeleton realization unit for implementing a human skeleton based on the skeleton information extracted through the skeleton extraction information stabilization unit.

상기 관절 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하는 것을 특징으로 한다.The joint tracking unit is characterized by estimating the joint by a joint estimation algorithm using the body boundary of the two-dimensional RGB image.

상기 동작 인식부는 추정한 인간 스켈레톤 정보와 안무 데이터베이스에 저장된 안무 정보를 기초로 합성곱 신경망으로 처리하여 안무 동작을 인식하는 것을 특징으로 한다.The motion recognition unit is characterized in that it recognizes the choreography motion by processing it with a convolutional neural network based on the estimated human skeleton information and the choreography information stored in the choreography database.

상기에서 동작 인식부는 3D 모션 트래킹 기반의 와이트랙 시스템을 이용하여 보이지 않는 사람의 동작을 인식하는 것을 특징으로 한다.In the above, the motion recognition unit is characterized in that it recognizes the motion of an invisible person using the Y-Track system based on 3D motion tracking.

본 발명에 따르면 화면에 나타난 댄스 그룹 중 특정인을 선택하면 선택된 특정인만 추적하여 댄스 정보를 추출하고, 추후 특정인의 댄스만을 재생하여 교육할 수 있는 효과가 있다.According to the present invention, if a specific person is selected from among the dance groups displayed on the screen, only the selected specific person is tracked to extract dance information, and then only the dance of the specific person can be reproduced for education.

도 1은 본 발명에 따른 합성곱 신경망 기반 한류 모션 교육시스템의 구성도,
도 2는 도 1의 합성곱 신경망 기반 한류 모션 교육시스템의 실시 예 구성도이다.1 is a block diagram of a convolutional neural network-based Hallyu motion education system according to the present invention;
FIG. 2 is a block diagram of an embodiment of the Korean wave motion education system based on the convolutional neural network of FIG. 1 .

이하 본 발명의 바람직한 실시 예에 따른 합성곱 신경망 기반 한류 모션 교육시스템을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, a convolutional neural network-based Hallyu motion education system according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present invention described below should not be construed as being limited to conventional or dictionary meanings, and the inventor may appropriately define the concept of terms in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents and It should be understood that there may be variations.

도 1은 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"의 구성도로서, 모션 추적 대상의 신호를 감지하는 센서부(10), 상기 센서부(10)에 의해 획득한 신호를 이용하여 선택된 대상의 모션만을 추적하는 모션 추적부(20), 상기 모션 추적부(20)에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부(40), 상기 동작 인식부(40)에서 인식된 동작 정보를 화면에 표출해주는 표시부(50)를 포함한다.1 is a block diagram of a “convolutional neural network-based Hallyu motion education system” according to the present invention, using a sensor unit 10 that detects a signal of a motion tracking target, and a signal obtained by the sensor unit 10 A motion tracking unit 20 that tracks only the motion of a selected target, a motion recognition unit 40 that recognizes the motion of the motion tracked by the motion tracking unit 20, and controls the expression of the recognized motion information, the operation It includes a display unit 50 that displays the motion information recognized by the recognition unit 40 on the screen.

상기 모션 추적부(20)는 도 2에 도시한 바와 같이, 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부, 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부, 상기 휴먼 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부, 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부, 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴먼 스켈레톤 구현부를 포함한다.As shown in FIG. 2 , the motion tracking unit 20 detects a depth from a photographed dance motion image, and extracts a depth image based on the detected depth. A human extraction unit for extracting a person from a depth image, a joint tracking unit for estimating a joint from a person extracted from the human extraction unit, a skeleton extraction information stabilization unit for extracting a skeleton from the estimated joint information, and the skeleton extraction information stabilization unit It includes a human skeleton implementation unit that implements a human skeleton based on the extracted skeleton information.

상기 관절 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정한다.The joint tracking unit estimates the joint using a joint estimation algorithm using the body boundary of the two-dimensional RGB image.

또한, 상기 동작 인식부(40)는 추정한 인간 스켈레톤 정보와 안무 데이터베이스에 저장된 안무 정보를 기초로 3D 모션 트래킹 기반의 와이트랙 시스템을 이용한 합성곱 신경망으로 처리하여 안무 동작을 인식한다.In addition, the motion recognition unit 40 recognizes the choreography by processing it with a convolutional neural network using the Y-Track system based on 3D motion tracking based on the estimated human skeleton information and the choreography information stored in the choreography database.

이와 같이 구성된 본 발명에 따른 "합성곱 신경망 기반 한류 모션 교육시스템"의 동작을 구체적으로 설명하면 다음과 같다.The operation of the "Convolutional Neural Network-based Hallyu Motion Education System" according to the present invention configured as described above will be described in detail as follows.

먼저, 센서부(10)는 모션 추적 대상을 센싱한다. 여기서 모션 추적 대상은 여럿이 뭉쳐서 춤을 추는 댄스 그룹이라고 할 수 있다. 센서부(10)는 전파를 보낸 후 생체에서 반사되는 신호를 감지해 사람을 인식한다. 장애물을 투과하여 감지할 수 있는 매개체로 전자기파를 이용한다.First, the sensor unit 10 senses a motion tracking target. Here, the motion tracking target may be a dance group in which several people dance together. The sensor unit 10 recognizes a person by detecting a signal reflected from the living body after transmitting the radio wave. Electromagnetic waves are used as a medium that can penetrate and detect obstacles.

모션 추적부(20)는 상기 센서부(10)에 의해 감지된 신호로 인체 영상을 구현한다.The motion tracking unit 20 implements a human body image with the signal detected by the sensor unit 10 .

즉, 모션 추적부(20)는 감지된 신호로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출한다. 이어, 추출한 깊이 영상으로부터 사람을 추출하고, 추출한 사람으로부터 관절을 추정한다. 이렇게 사람을 추출함으로써 그룹으로 댄스를 추는 경우에도 특정인의 모션을 추적할 수 있다. 여기서 관절 추적은 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하여, 자세 추정 결과를 보조한다. 이렇게 관절 추정 알고리즘을 적용함으로써, 스마트폰의 카메라를 이용하여 한류 댄스 교육을 수행하는 동안 발생하는 턴 아웃 자세(발 안쪽을 보이게 하는 자세)의 잘못된 인식을 감소시킨다. 이어, 추정한 관절 정보로부터 골격을 추출하고, 추출한 골격 정보를 기초로 인간 스켈레톤을 구현한다.That is, the motion tracking unit 20 detects a depth from the sensed signal and extracts a depth image based on the sensed depth. Then, a person is extracted from the extracted depth image, and a joint is estimated from the extracted person. By extracting people in this way, it is possible to track the motion of a specific person even when dancing as a group. Here, the joint tracking is a joint estimation algorithm using the body boundary of the two-dimensional RGB image to estimate the joint and assist the posture estimation result. By applying the joint estimation algorithm in this way, erroneous recognition of a turn-out posture (a posture that shows the inside of the foot) that occurs while performing Hallyu dance training using a smartphone camera is reduced. Next, a skeleton is extracted from the estimated joint information, and a human skeleton is implemented based on the extracted skeleton information.

다음으로, 동작 인식부(40)는 상기 모션 추적부(20)에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어한다.Next, the motion recognition unit 40 recognizes the motion of the motion tracked by the motion tracking unit 20 and controls the expression of the recognized motion information.

여기서 동작 인식(40)은 추정한 인간 스켈레톤 정보와 안무 데이터베이스 (30)에 저장된 안무 정보를 기초로 3D 모션 트래킹 기반의 와이트랙 시스템인 합성곱 신경망으로 처리하여 안무 동작을 인식한다. 3D 모션 트래킹 기반의 와이트랙 시스템을 이용함으로써 보이지 않는 사람의 동작을 인식한다.Here, the motion recognition 40 recognizes the choreography by processing it with a convolutional neural network that is a Y-Track system based on 3D motion tracking based on the estimated human skeleton information and the choreography information stored in the choreography database 30 . It recognizes the motion of an invisible person by using the Y-Track system based on 3D motion tracking.

여기서 와이트랙 시스템은 인간의 동작을 3차원적으로 감지하는 시스템으로서, 기존의 동작인식 기술과는 다른 방식인 벽이나 장애물 등을 투과하는 방법으로 동작을 감지할 수 있다.Here, the Y-Track system is a system that three-dimensionally detects human motion, and can sense motion by penetrating a wall or obstacle, which is different from the existing motion recognition technology.

즉, 벽이나 장애물 뒤에 있는 사람이나 동물의 움직임을 3차원적으로 감지할 수 있다는 의미이다. 와이트랙은 전파를 보낸 후 생체에서 반사되는 신호를 감지해 인식하기 때문에, 기존의 엑스박스 키넥트처럼 동작인식센서나 카메라 장치, 혹은 웨어러블 장비 없이도 사람의 동작을 3D로 인식할 수 있다는 점이 특징이다.This means that the movement of people or animals behind walls or obstacles can be detected in three dimensions. Since Y-Track detects and recognizes signals reflected from the body after transmitting radio waves, it is characterized by being able to recognize human motion in 3D without a motion recognition sensor, camera device, or wearable equipment like the existing Xbox Kinect. .

연구팀은 장애물을 투과하여 감지할 수 있는 매개체로 전자기파를 이용했는데, 벽으로 둘러싸인 방이라도 Wi-Fi나 LTE를 사용할 수 있듯이 전자기파는 가시광선이 투과할 수 없는 벽이나 장애물 등을 손쉽게 투과할 수 있다.The research team used electromagnetic waves as a medium that can penetrate and detect obstacles. Just as Wi-Fi or LTE can be used in a room surrounded by walls, electromagnetic waves can easily penetrate walls or obstacles where visible light cannot penetrate. .

이때 사용하는 전자기파는 Wi-Fi의 100분의 1에 불과할 정도로 매우 약해서 인체에 대한 유해성의 걱정 없이도 인간의 몸을 스캔할 수 있는 반면에, 96.9%에 달하는 정확도를 가지고 있어 이를 통해 트래킹 기술을 구현하는 것으로 알려졌다.The electromagnetic wave used at this time is so weak that it is only one-hundredth that of Wi-Fi, so it can scan the human body without worrying about harm to the human body. is known to do

와이트랙 시스템은 여러 개의 안테나로 구성되어 있는데, 목표물을 향해 전자기파를 발사하는 한 개의 안테나와 반사된 전파 신호를 받는 수신기 역할을 하는 안테나들로 구성되어 있다.The Y-Track system consists of several antennas, one antenna that emits electromagnetic waves toward the target and one antenna that acts as a receiver to receive the reflected radio signal.

그리고 이렇게 반사된 신호를 여러 곳에서 측정해서 3차원적으로 재구성하는데, 와이트랙 시스템의 정확도는 10 ~ 20cm 정도 수준이라서 손을 들거나 다리를 드는 등의 일반적인 신호 동작은 대부분 감지할 수 있다.And the reflected signal is measured in various places and reconstructed in three dimensions. The accuracy of the Y-Track system is about 10 to 20 cm, so it can detect most general signal motions such as raising hands or legs.

이로써 댄스 그룹과 같이 여럿이 뭉쳐서 댄스를 추는 경우에도 각각의 대상을 개별적으로 추적할 수 있으며, 아울러 개별 대상의 모션을 인식함으로써, 해당 특정인의 댄스만을 추적하여 모션 교육용 정보를 획득할 수 있게 된다.Accordingly, even when a group of people dances together as in a dance group, each object can be individually tracked, and by recognizing the motion of each object, only the dance of the specific person can be tracked to obtain information for motion education.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.Although the invention made by the present inventor has been described in detail according to the above embodiment, the present invention is not limited to the above embodiment and it is common knowledge in the art that various changes can be made without departing from the gist of the present invention. self-evident to those who have

10: 센서부
20: 모션 추적부
30: 안무 데이터베이스
40: 동작 인식부
50: 표시부10: sensor unit
20: motion tracking unit
30: Choreography Database
40: motion recognition unit
50: display unit

Claims (5)

모션 추적 대상의 신호를 감지하는 센서부;
상기 센서부에서 획득한 신호를 이용하여 선택된 대상의 모션을 추적하는 모션 추적부;
상기 모션 추적부에 의해 추적된 모션의 동작을 인식하고, 인식한 모션 정보의 표출을 제어하는 동작 인식부;
상기 동작 인식부에서 인식된 동작 정보를 화면에 표출해주는 표시부를 포함하고,
상기 동작 인식부는 3D 모션 트래킹 기반의 와이트랙 시스템을 이용하여 보이지 않는 사람의 동작을 인식하며,
상기 모션 추적부는 2차원 RGB 이미지의 신체 경계선을 활용한 관절 추정 알고리즘으로 관절을 추정하여, 자세 추정 결과를 보조하되, 스마트폰의 카메라를 이용하여 한류 댄스 교육을 수행하는 동안 발생하는 발 안쪽을 보이게 하는 자세인 턴 아웃 자세의 잘못된 인식을 감소시키며,
상기 모션 추적부는 댄스 그룹과 같이 여럿이 뭉쳐서 댄스를 추는 경우에도 개별 대상의 모션을 인식하여 특정인의 댄스만을 추적하여 모션 교육용 정보를 획득하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
a sensor unit for detecting a signal of a motion tracking target;
a motion tracking unit for tracking the motion of the selected target using the signal obtained from the sensor unit;
a motion recognition unit for recognizing the motion of the motion tracked by the motion tracking unit and controlling the expression of the recognized motion information;
and a display unit for displaying the motion information recognized by the motion recognition unit on a screen,
The motion recognition unit recognizes the motion of an invisible person using the Y-Track system based on 3D motion tracking,
The motion tracking unit estimates the joints with a joint estimation algorithm using the body boundary line of the two-dimensional RGB image, assists the posture estimation result, but shows the inside of the foot that occurs during Hallyu dance training using a smartphone camera It reduces the false perception of the turn-out posture, which is a
The motion tracking unit recognizes the motion of an individual object even when a group dances in a group like a dance group, and tracks only the dance of a specific person to obtain information for motion education.
 청구항 1에서, 상기 모션 추적부는 촬영된 댄스 동작 영상으로부터 깊이를 감지하고, 감지한 깊이를 기초로 깊이 영상을 추출하는 깊이 영상 추출부; 상기 깊이 영상 추출부에서 추출한 깊이 영상으로부터 사람을 추출하는 휴먼 추출부; 상기 휴먼 추출부로부터 추출한 사람으로부터 관절을 추정하는 관절 추적부; 상기 추정한 관절 정보로부터 골격을 추출하는 골격추출정보 안정화부; 상기 골격추출정보 안정화부를 통해 추출한 골격 정보를 기초로 인간 스켈레톤을 구현하는 휴먼 스켈레톤 구현부를 포함하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.
The method according to claim 1, wherein the motion tracking unit is a depth image extractor for detecting a depth from the photographed dance motion image, and extracting the depth image based on the sensed depth; a human extractor for extracting a person from the depth image extracted by the depth image extractor; a joint tracking unit for estimating a joint from a person extracted from the human extraction unit; a skeletal extraction information stabilizing unit for extracting a skeleton from the estimated joint information; A convolutional neural network-based Hallyu motion education system, characterized in that it comprises a human skeleton realizing unit that implements a human skeleton based on the skeleton information extracted through the skeleton extraction information stabilization unit.
 삭제delete 청구항 1에서, 상기 동작 인식부는 추정한 인간 스켈레톤 정보와 안무 데이터베이스에 저장된 안무 정보를 기초로 합성곱 신경망으로 처리하여 안무 동작을 인식하는 것을 특징으로 하는 합성곱 신경망 기반 한류 모션 교육시스템.






The system according to claim 1, wherein the motion recognition unit recognizes the choreography motion by processing it with a convolutional neural network based on the estimated human skeleton information and the choreography information stored in the choreography database.






 삭제delete
KR1020190155772A 2019-11-28 2019-11-28 Korean wave motion education system based on convolutional neural network KR102455345B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190155772A KR102455345B1 (en) 2019-11-28 2019-11-28 Korean wave motion education system based on convolutional neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155772A KR102455345B1 (en) 2019-11-28 2019-11-28 Korean wave motion education system based on convolutional neural network

Publications (2)

Publication Number Publication Date
KR20210066482A KR20210066482A (en) 2021-06-07
KR102455345B1 true KR102455345B1 (en) 2022-10-18

Family

ID=76374556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155772A KR102455345B1 (en) 2019-11-28 2019-11-28 Korean wave motion education system based on convolutional neural network

Country Status (1)

Country Link
KR (1) KR102455345B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540960A (en) 2013-10-09 2016-12-28 マサチューセッツ インスティテュート オブ テクノロジー Motion tracking by wireless reflection of body
KR102037997B1 (en) 2019-01-23 2019-10-29 한국방송공사 Electronic apparatus and method for generating contents

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066094A (en) * 2005-08-31 2007-03-15 Matsushita Electric Ind Co Ltd Posture estimation device and posture estimation method
KR101989447B1 (en) 2017-12-12 2019-06-14 주식회사 큐랩 Dance motion feedback system providing video feedback to user using augmented reality
KR101936692B1 (en) * 2017-12-18 2019-01-10 주식회사 쏘그웨어 Dance training apparatus and method using automatic generation of dance key motion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540960A (en) 2013-10-09 2016-12-28 マサチューセッツ インスティテュート オブ テクノロジー Motion tracking by wireless reflection of body
KR102037997B1 (en) 2019-01-23 2019-10-29 한국방송공사 Electronic apparatus and method for generating contents

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MITSCAIL, Witrack: 3D Motion Tracking Through Walls Using Wireless Signals*
등록특허공보 제10-1936692호(2019.1.10. 공고) 1부.*
일본 공개특허공보 특개2007-066094호(2007.3.15. 공개) 1부.*

Also Published As

Publication number Publication date
KR20210066482A (en) 2021-06-07

Similar Documents

Publication Publication Date Title
US8639020B1 (en) Method and system for modeling subjects from a depth map
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
CN109815776B (en) Action prompting method and device, storage medium and electronic device
CN110448870B (en) Human body posture training method
CN106033601B (en) The method and apparatus for detecting abnormal case
KR102106135B1 (en) Apparatus and method for providing application service by using action recognition
Xiao et al. 3D human postures recognition using kinect
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
CN105339867A (en) Object display with visual verisimilitude
Shu et al. Application of extended Kalman filter for improving the accuracy and smoothness of Kinect skeleton-joint estimates
KR102258128B1 (en) User motion analysis method for dance training using ai-based image recognition
CN104353240A (en) Running machine system based on Kinect
US20160321955A1 (en) Wearable navigation assistance for the vision-impaired
CN111639574B (en) Sitting posture correcting method, electronic equipment and storage medium
CN105824417B (en) human-object combination method adopting virtual reality technology
WO2018052714A3 (en) Video to radar
Baek et al. Dance experience system using multiple kinects
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
KR102455345B1 (en) Korean wave motion education system based on convolutional neural network
Bologna et al. Toward local and global perception modules for vision substitution
Gomez et al. Spatial awareness and intelligibility for the blind: audio-touch interfaces
US20230122636A1 (en) Apparatus and method for localisation and mapping
WO2023120770A1 (en) Method and apparatus for interaction between cognitive mesh information generated in three-dimensional space and virtual objects
WO2018062251A1 (en) Information processing device
KR20150044243A (en) Electronic learning apparatus and method for controlling contents by hand avatar

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant