WO2021100904A1 - 안무 연습 보조 방법 및 장치 - Google Patents

안무 연습 보조 방법 및 장치 Download PDF

Info

Publication number
WO2021100904A1
WO2021100904A1 PCT/KR2019/015974 KR2019015974W WO2021100904A1 WO 2021100904 A1 WO2021100904 A1 WO 2021100904A1 KR 2019015974 W KR2019015974 W KR 2019015974W WO 2021100904 A1 WO2021100904 A1 WO 2021100904A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
choreography
user
difference
executed
Prior art date
Application number
PCT/KR2019/015974
Other languages
English (en)
French (fr)
Inventor
정규민
Original Assignee
(주)데브언리밋
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)데브언리밋 filed Critical (주)데브언리밋
Priority to PCT/KR2019/015974 priority Critical patent/WO2021100904A1/ko
Publication of WO2021100904A1 publication Critical patent/WO2021100904A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to a method and apparatus for assisting choreography practice, and more particularly, to a method and apparatus for assisting the user's choreography practice by comparing and analyzing the user's movement and reference choreography information.
  • K-pop Korean music
  • interest in music can be expressed in terms of interest in the singer who sang the music, the aspect of singing along with the music, and the aspect of imitating the choreography of the music.
  • people who are interested in music may want to sing the music similar to the original song, and may want to dance similarly to the choreography of the music. For this, if they want to sing music similar to the original song, people can practice by checking the pitch and beat using a device such as a karaoke machine.
  • a device such as a karaoke machine.
  • it is difficult to practice compared to the song because the guidance of an expert (choreographer) may be required to check the accuracy and beat of the movement.
  • An object of the present invention for solving the above problems is to provide a choreography practice assistant method.
  • Another object of the present invention for solving the above problems is to provide a choreography practice assist device.
  • a choreography practice assistant method for achieving the above object includes the steps of providing reference choreography information according to a user's request to the user, and the operation of the user according to the reference choreography information through a photographing device. Acquiring an image, extracting motion information from the motion image, deriving difference information by comparing the motion information and the reference choreography information, and providing the difference information to the user. .
  • the step of extracting motion information from the motion image may include extracting the motion information from the motion image using a previously learned artificial neural network.
  • the step of deriving difference information by comparing the motion information and the reference choreography information includes: deriving first angle information for the user's joint from the motion information, and a second angle for the choreography from the reference choreography information. It may include deriving information and comparing the first angle information and the second angle information to derive difference information.
  • the step of deriving difference information by comparing the first angle information and the second angle information includes deriving difference information when the difference between the first angle information and the second angle information is greater than or equal to a threshold value. I can.
  • the providing of the difference information to the user may include providing the difference information by overlaying the difference information on the reference choreography information.
  • the photographing device may include one RGB camera.
  • it may further include obtaining unique information from the user, obtaining use history information of the user based on the unique information, and adding the difference information and the reference choreography information to the use history information. have.
  • the reference choreography information may include reference choreography information previously provided by the user based on the use history information.
  • it may further include deriving vulnerability information of the user based on the usage history information and providing the vulnerability information to the user.
  • the step of deriving the user's vulnerability information based on the use history information includes: deriving previous difference information for the reference choreography information identical to the reference choreography information based on the use history information, and the difference information and It may include the step of deriving vulnerability information based on the previous difference information.
  • a choreography practice assistant apparatus for achieving the other object includes a photographing apparatus, a processor, and a memory in which at least one instruction executed through the processor is stored, and the At least one command is executed to provide the user with reference choreography information according to a user's request, and is executed to obtain a motion image of the user according to the reference choreography information through the photographing device, and operate from the motion image It is executed to extract information, is executed to derive difference information by comparing the operation information and the reference choreography information, and may be executed to provide the difference information to the user.
  • the at least one command may be executed to extract the motion information from the motion image using a previously learned artificial neural network.
  • the at least one command is executed to derive first angle information for the user's joint from the motion information, and executed to derive second angle information for the choreography from the reference choreography information, and the first angle It may be executed to derive difference information by comparing the information and the second angle information.
  • the at least one command may be executed to derive difference information when a difference between the first angle information and the second angle information is greater than or equal to a threshold value.
  • the at least one command may be executed to provide the difference information by overlaying it on the reference choreography information.
  • the photographing device may include one RGB camera.
  • the at least one command is executed to obtain unique information from the user, and is executed to obtain use history information of the user based on the unique information, and the difference information and the reference choreography information are used as the use history information. Can be run to add to.
  • the reference choreography information may include reference choreography information previously provided by the user based on the use history information.
  • the at least one command may be executed to derive vulnerability information of the user based on the usage history information, and may be executed to provide the vulnerability information to the user.
  • the at least one command is executed to derive previous difference information for reference choreography information that is the same as the reference choreography information based on the usage history information, and provides vulnerability information based on the difference information and the previous difference information. It can be implemented to derive.
  • information about a user's practice motion is accumulated to provide information on a weak motion or the like for each user.
  • FIG. 1 is a conceptual diagram illustrating a choreography practice assist device according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining an extended example of a choreography practice assist device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a choreography practice assistant apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart of a choreography practice assistant method according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
  • the term “and/or” includes a combination of a plurality of related described items or any of a plurality of related described items.
  • An embodiment of the present invention relates to a choreography practice assistant method, and may assist the user in choreography practice by comparing and analyzing the user's movement and reference choreography information.
  • one embodiment of the present invention can be applied to posture exercises related to weight training, posture exercises related to sports, and yoga posture exercises, and the scope of the present invention is not limited thereto.
  • FIG. 1 is a conceptual diagram illustrating a choreography practice assist device according to an embodiment of the present invention.
  • a choreography practice assistant apparatus may recognize a user's motion, and compare and analyze the recognized motion information and reference choreography information.
  • an embodiment may provide a reference choreography to induce a user's motion.
  • An embodiment may visually provide a reference choreography to a user. That is, reference choreography information may be provided through the display 110.
  • the reference choreography information may include a choreography image, and may further include text describing a point of the choreography.
  • the choreography image may include a still image and/or a video of the choreography, may be an original choreography image of music or a changed choreography image, and may be a choreography image of a choreographer or singer.
  • a choreographer or singer's choreography image may be separately photographed and used.
  • an embodiment may store reference choreography information, and may provide it according to setting or a user's request.
  • an exemplary embodiment may provide reference choreography information and music information of a corresponding choreography.
  • music and choreography may be provided in sync with the user so that the user can practice the choreography according to the music, and for this purpose, music information and sync information may be stored together with the reference choreography information.
  • the music information may include a sound source.
  • an exemplary embodiment may include information on K-pop, but may also include information on various music around the world.
  • the information on K-pop may include a K-pop sound source, reference choreography information of the sound source, and sync information.
  • a user's motion may be recognized, and a photographing device 120 such as a camera may be used.
  • the photographing device may be one RGB (Red-Green-Blue) camera.
  • RGB Red-Green-Blue
  • a motion image of a user may be acquired through the photographing device.
  • the motion image may be an RGB image depending on the RGB camera, and may include a still image and/or a moving image of the user's motion.
  • An embodiment may include the display 110 and/or the photographing device 120 for the above-described operation, and may operate in conjunction with an external display and/or a camera.
  • the display and photographing device may exist in various locations.
  • the photographing device may be located on the lower, upper, left, or right side of the display, and may be located on the top, side, front, rear, or bottom of a space where a user practice choreography.
  • the user may practice the choreography according to the reference choreography provided through the display, and the user's motion may be recognized through the photographing device.
  • a recognized user's motion and a reference choreography may be compared and analyzed, and the analysis result may be provided to the user.
  • artificial intelligence AI may be used to extract motion information for comparative analysis from motion images acquired through the photographing device, and may also be used for comparative analysis.
  • artificial intelligence may refer to a learned artificial neural network, and artificial intelligence and artificial neural networks may be used interchangeably.
  • artificial intelligence can be implemented through various machine learning techniques.
  • various machine learning techniques may be used to learn artificial neural networks.
  • deep learning may be used, and learning may be performed by a supervised learning method, an unsupervised learning method, or a reinforcement learning method.
  • at least one of a deep neural network (DNN), a convolutional neural network (CNN), and a recurrent neural network (RNN) may be used as the artificial neural network. That is, in an embodiment, the artificial intelligence may be implemented based on various learning methods or artificial neural networks, and thus is not limited to the above.
  • the artificial intelligence may learn motion images of various people as a training set, and may learn only motion images of a specific user as a training set.
  • artificial intelligence may continuously learn based on accumulated motion images as a user uses the choreography practice assistant device according to an exemplary embodiment, and the accuracy of extracting motion information may be continuously improved.
  • difference information may be derived by comparing motion information extracted from a motion image with reference choreography information.
  • the comparison may be performed by time, and accordingly, the difference information may also appear by time. That is, according to an exemplary embodiment, motion information and reference choreography information may be compared according to time according to a music playback time, and difference information may be derived.
  • the derived difference information may be provided to a user after music playback is terminated. Alternatively, an embodiment may compare them in real time, derive difference information, and provide immediately.
  • the difference information may be provided to the user by overlaying the reference choreography information, through which the user can easily grasp the difference between the reference choreography and his or her own motion.
  • An embodiment may store usage history information for each user.
  • the usage history information may be stored and used based on the user's unique information. A detailed description of this will be described later with reference to FIG. 2.
  • the choreography previously practiced may be continuously provided, or the vulnerability information may be provided by analyzing the user's vulnerability.
  • the choreography practice assistant device can query the user whether to continue providing the choreography when the user has previously practiced choreography, and can obtain the user's response to continue providing the choreography previously practiced or provide a new choreography. have.
  • the user's vulnerability information may include information on a specific action in which difference information is frequently derived in choreography for the same music, and includes information on a specific action in which difference information is frequently derived in similar choreography. You may.
  • similar choreography can be classified by artificial intelligence.
  • the time information from which the difference information is derived can be determined as the time information from which the difference information is derived for a certain time back and forth based on the time at which the difference information is derived. Based on the overlapping time, a certain amount of time back and forth can be determined as a vulnerable part, and this can be provided as vulnerability information. For example, if difference information is derived at 1 minute and 11 seconds during the first practice and 1 minute and 13 seconds at the second practice, difference information is derived during the first practice.
  • Time information can be determined from 1 minute 09 seconds to 1 minute 13 seconds by adding 2 seconds back and forth, and the time information from which difference information was derived during the second practice is 1 minute 11 seconds by adding 2 seconds back and forth. It can be determined up to 15 seconds.
  • the vulnerable part can be determined from 1 minute 10 seconds to 1 minute 16 seconds by adding 3 seconds back and forth based on 1 minute and 13 seconds where the time information from which the two difference information was derived, and the information during this time is It can be provided to the user as information.
  • the above-described time and time information are only examples for convenience of description, and are not limited thereto.
  • the difference information may include a difference in motion between the user's motion information and the reference choreography information, and the difference in motion may be derived by comparing based on a specific time.
  • the difference in motion may be derived based on information on the joint point, and the information on the joint point may include information on the degree of bending of the joint or the angle of the joint.
  • the angle of the user's joint may be derived based on the user's motion information
  • the angle of the joint in the reference choreography may be derived based on the reference choreography information
  • the two angles may be compared.
  • Difference information can be derived.
  • the angle of the joint in the reference choreography may be stored in advance.
  • an embodiment may derive difference information by comparing first angle information for a user's joint derived from motion information and second angle information for a choreography derived from reference choreography information.
  • the threshold value may be a preset value, but may be set differently according to the type or genre of the choreography, or may be set differently according to the type of joint.
  • An embodiment may recommend new reference choreography information to the user based on the user's usage history information. For example, an embodiment may classify or specify other users having usage history information similar to the usage history information of the user, and recommend the reference choreography information practiced by the other user to the user. Alternatively, according to an exemplary embodiment, a genre of choreography practiced by the user may be classified or specified according to the user's usage history information, and reference choreography information of the same or similar genre may be recommended to the user. Such choreography recommendation may be performed through artificial intelligence, but is not limited thereto.
  • FIG. 2 is a view for explaining an extended example of a choreography practice assist device according to an embodiment of the present invention.
  • a choreography practice assist device may be extended to include at least one choreography practice assist device and at least one guide device.
  • an embodiment of the present invention may further include a guide device when there are a plurality of choreography practice assisting devices described with reference to FIG. 1.
  • one guide device 210 and three choreography practice auxiliary devices 221, 222, and 223 are connected.
  • the exemplary embodiment may be referred to as a choreography practice assisting system, but may be referred to as a choreography practice assisting device generically. have.
  • the user may be guided to a choreography practice assist device that can be used by the guide device 210.
  • information on available choreography practice aids may be provided. For example, if there are three choreography practice aids and two choreography practice aids are being used by different users, information on one choreography practice aid that is not being used by other users can be provided. have.
  • the user when there is no choreography practice assisting device usable by the guide device 210, the user may provide information that there is no choreography practice assisting device available, and wait according to the embodiment. You can also provide information about the time.
  • the information on the waiting time may be information on a choreography practice assisting device that is scheduled to be stopped most quickly among the plurality of choreography practice assisting devices, and information on a waiting time of the choreography practice assisting device.
  • the user may input his/her own information to the guide device 210, and the choreography practice assisting apparatus may obtain the user's usage history information based on the unique information.
  • the choreography practice assistant device may provide the user with information on the reference choreography previously practiced based on the user's usage history information, and may provide analysis information related to the user's vulnerability.
  • the unique information may include an ID and/or a password, and may be transmitted through a tag of an identification card having unique identification information.
  • the user's smart device 230 may also be utilized.
  • the guide device 210 may recognize the user's smart device 230 and obtain unique information of the user.
  • the guide device 210 may provide a welcome message when the user's smart device 230 enters a certain range of the guide device 210, and may provide information on an available choreography practice auxiliary device.
  • a choreography practice assistant device that can obtain the user's unique information from the smart device 230 may be provided with reference choreography information previously practiced based on the user's use history information.
  • the welcome message or information on the available choreography practice auxiliary device may be provided as a voice through a speaker connected to the choreography practice auxiliary device or a speaker of the smart device 230, and is provided in a text format through the smart device 230 It could be.
  • the smart device 230 may mean a device or device capable of communicating, portable, and computing, such as a smart phone, but is not limited thereto.
  • the guide device 210 may be omitted, and the operation of the guide device 210 may be performed through communication with the smart device 230 through a server.
  • FIG. 3 is a block diagram of a choreography practice assistant apparatus according to an embodiment of the present invention.
  • the choreography practice auxiliary device 300 may include at least one processor 310, a memory 320, and a storage device 330.
  • the processor 310 may execute a program command stored in the memory 320 and/or the storage device 330.
  • the processor 310 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor in which the methods according to the present invention are performed.
  • the memory 320 and the storage device 330 may be formed of a volatile storage medium and/or a nonvolatile storage medium.
  • the memory 320 may be composed of read only memory (ROM) and/or random access memory (RAM).
  • the memory 320 may store at least one instruction executed through the processor 310.
  • the at least one command is a command for providing reference choreography information according to a user's request to the user, a command for obtaining a motion image of the user according to the reference choreography information through a photographing device, and for extracting motion information from the motion image.
  • the command for extracting motion information from the motion image may include a command for extracting the motion information from the motion image using a previously learned artificial neural network.
  • the command for deriving difference information by comparing the motion information and the reference choreography information is a command for deriving first angle information for the user's joint from the motion information, and a second angle for the choreography from the reference choreography information It may include a command to derive information and a command to derive difference information by comparing the first angle information and the second angle information.
  • the command for deriving difference information by comparing the first angle information and the second angle information includes a command for deriving difference information when the difference between the first angle information and the second angle information is greater than or equal to a threshold value. I can.
  • the command for providing the difference information to the user may include a command for providing the difference information by overlaying the difference information on the reference choreography information.
  • the photographing device may include one RGB camera.
  • the at least one command is a command for obtaining unique information from the user, a command for obtaining use history information of a user based on the unique information, and adding the difference information and the reference choreography information to the use history information It may further include instructions.
  • the reference choreography information may include reference choreography information previously provided by the user based on the use history information.
  • the at least one command may further include a command for deriving vulnerability information of the user based on the usage history information and a command for providing the vulnerability information to the user.
  • the command for deriving the user's vulnerability information based on the use history information includes a command for deriving previous difference information for the same reference choreography information as the reference choreography information based on the use history information, and the difference information and It may include a command for deriving vulnerability information based on the previous difference information.
  • FIG. 4 is a flowchart of a choreography practice assistant method according to an embodiment of the present invention.
  • the choreography exercise assisting apparatus may obtain unique information from a user (S410).
  • the unique information may include an ID and/or a password input by the user, and may be input by the guide device or the user's smart device.
  • the choreography practice assist device may automatically recognize the smart device and may obtain the user's unique information from the smart device.
  • the unique information may be transmitted or obtained through the tag of the identification card by the user.
  • the choreography exercise assisting device may acquire the user's usage history information based on the unique information (S420). That is, the choreography practice assistant device may store usage history information for each user based on the unique information, and when the unique information of a specific user is obtained, it can extract or obtain the usage history information of a specific user based on this. have.
  • the usage history information may include choreography (or reference choreography information) previously practiced by the user, and may include previously derived difference information.
  • the use history information may include information on a point in time when the choreography practice has been previously stopped.
  • the choreography practice assistant apparatus may provide the user with reference choreography information according to the user's request (S430).
  • the user's request may be a request for previously practiced reference choreography information according to the use history information, or may be a request for new reference choreography information.
  • the choreography practice assistant device may provide information on the previously practiced reference choreography information and/or information on when it was stopped, based on the usage history information, and information on other new reference choreography information. Can provide.
  • the choreography practice assistant device may acquire a motion image of the user according to the reference choreography information through the photographing device (S440).
  • the photographing device may be one camera, and the camera may be an RGB camera.
  • a plurality of cameras may be used to improve the accuracy of motion information extracted from the motion image later, but the present invention is not limited thereto.
  • the user's motion image according to the reference choreography information may be an image of a motion performed by the user to view and follow the reference choreography information, and the image may include a moving picture and/or at least one still image.
  • the choreography exercise assisting apparatus may extract motion information from the motion image (S450).
  • the choreography practice assisting device may use artificial intelligence to extract motion information, and the artificial intelligence may be learned in advance, and the accuracy of extracting motion information may be gradually improved through continuous learning. A detailed description of this has been described above with reference to FIG. 1.
  • the choreography practice auxiliary apparatus may derive difference information by comparing motion information and reference choreography information (S460).
  • the motion information may include angle information about the user's joint
  • the reference choreography information may include angle information about the joint in the choreography.
  • the difference information may be derived by comparing the angle information of the user's joint and the angle information of the joint in the choreography, and determining that a difference has occurred when the difference is greater than or equal to a threshold value.
  • the angle information is an example, and the motion information may further include various information on the motion, and the reference choreography information may further include various information on the choreography.
  • various information on the choreography may be extracted or derived from the reference choreography information, but various information on the choreography may be stored as it is. That is, the reference choreography information may refer to various pieces of information about the choreography, or may refer to image information about the reference choreography.
  • the choreography practice auxiliary device may add the difference information and the reference choreography information to the use history information (S470).
  • the difference information may be added to the usage history information as a pair with the reference choreography information, or index information indicating each other may be added together.
  • the difference information and the reference choreography information may be used to further improve the performance of artificial intelligence. That is, it can be used as a training set for learning an artificial neural network or the like.
  • the choreography exercise assisting device may provide the difference information to the user (S480).
  • the choreography practice auxiliary device may be provided by overlaying the difference information on the reference choreography information provided to the user.
  • the difference information may be reflected and provided in real time during the choreography practice by the user, or may be provided after the choreography practice ends.
  • an embodiment of the present invention may further perform additional operations as described with reference to FIGS. 1 to 3 in addition to the operation described in FIG. 4.
  • the operation according to an embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
  • a computer-readable recording medium may be distributed over a network-connected computer system to store and execute computer-readable programs or codes in a distributed manner.
  • the computer-readable recording medium may include a hardware device specially configured to store and execute program commands, such as ROM, RAM, and flash memory.
  • the program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method can also be represented by a corresponding block or item or a feature of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer or electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
  • a programmable logic device eg, a field programmable gate array
  • the field programmable gate array may work with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

Abstract

본 발명은 사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하는 단계, 촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하는 단계, 상기 동작 영상으로부터 동작 정보를 추출하는 단계, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 단계 및 상기 차이 정보를 상기 사용자에게 제공하는 단계를 포함하는 안무 연습 보조 방법이 개시된다.

Description

안무 연습 보조 방법 및 장치
본 발명은 안무 연습 보조 방법 및 장치에 관한 것으로, 더욱 상세하게는 사용자의 움직임과 기준 안무 정보를 비교 분석하여 사용자의 안무 연습을 보조하는 방법 및 장치에 관한 것이다.
최근 문화 콘텐츠 측면에서 한류 열풍이 불고 있음에 따라 K-pop(한국 음악)에 대한 전세계적인 관심도 증가하고 있다. 일반적으로 음악에 대한 관심은 해당 음악을 부른 가수에 관심을 가지는 측면, 해당 음악을 따라 부르는 측면 및 해당 음악의 안무를 따라하는 측면 등으로 나타날 수 있다.
즉, 음악에 대한 관심을 가지는 사람들은 해당 음악을 원곡과 비슷하게 부르길 원하며, 해당 음악의 안무와 비슷하게 춤추기를 원할 수 있다. 이를 위해 음악을 원곡과 비슷하게 부르기를 원하는 경우, 사람들은 노래방 기계 등과 같은 장치를 이용하여 음정 및 박자 등을 체크하며 연습할 수 있다. 다만, 음악의 안무와 비슷하게 춤추기를 원하는 경우, 동작의 정확성 및 박자 등을 체크하기 위해서는 전문가(안무가)의 지도가 요구될 수 있으므로, 노래에 비하여 연습하기 어려운 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 안무 연습 보조 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 안무 연습 보조 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안무 연습 보조 방법은, 사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하는 단계, 촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하는 단계, 상기 동작 영상으로부터 동작 정보를 추출하는 단계, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 단계 및 상기 차이 정보를 상기 사용자에게 제공하는 단계를 포함할 수 있다.
여기서, 상기 동작 영상으로부터 동작 정보를 추출하는 단계는, 미리 학습된 인공신경망을 이용하여 상기 동작 영상으로부터 상기 동작 정보를 추출하는 단계를 포함할 수 있다.
여기서, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 단계는, 상기 동작 정보로부터 사용자의 관절에 대한 제1 각도 정보를 도출하는 단계, 상기 기준 안무 정보로부터 안무에 대한 제2 각도 정보를 도출하는 단계 및 상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 단계를 포함할 수 있다.
여기서, 상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 단계는, 상기 제1 각도 정보 및 상기 제2 각도 정보의 차이가 임계치 이상인 경우 차이 정보를 도출하는 단계를 포함할 수 있다.
여기서, 상기 차이 정보를 상기 사용자에게 제공하는 단계는, 상기 차이 정보를 상기 기준 안무 정보에 오버레이(overlay)하여 제공하는 단계를 포함할 수 있다.
여기서, 상기 촬영 장치는 하나의 RGB 카메라를 포함할 수 있다.
여기서, 상기 사용자로부터 고유 정보를 획득하는 단계, 상기 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득하는 단계 및 상기 차이 정보 및 상기 기준 안무 정보를 상기 사용 이력 정보에 추가하는 단계를 더 포함할 수 있다.
여기서, 상기 기준 안무 정보는, 상기 사용 이력 정보를 기반으로 상기 사용자가 이전에 제공받은 기준 안무 정보를 포함할 수 있다.
여기서, 상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 단계 및 상기 취약점 정보를 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.
여기서, 상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 단계는, 상기 사용 이력 정보를 기반으로 상기 기준 안무 정보와 동일한 기준 안무 정보에 대한 이전 차이 정보를 도출하는 단계 및 상기 차이 정보 및 상기 이전 차이 정보를 기반으로 취약점 정보를 도출하는 단계를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안무 연습 보조 장치는, 촬영 장치, 프로세서(processor) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은, 사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하도록 실행되고, 상기 촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하도록 실행되고, 상기 동작 영상으로부터 동작 정보를 추출하도록 실행되고, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하도록 실행되고, 상기 차이 정보를 상기 사용자에게 제공하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 미리 학습된 인공신경망을 이용하여 상기 동작 영상으로부터 상기 동작 정보를 추출하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 동작 정보로부터 사용자의 관절에 대한 제1 각도 정보를 도출하도록 실행되고, 상기 기준 안무 정보로부터 안무에 대한 제2 각도 정보를 도출하도록 실행되고, 상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 제1 각도 정보 및 상기 제2 각도 정보의 차이가 임계치 이상인 경우 차이 정보를 도출하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 차이 정보를 상기 기준 안무 정보에 오버레이(overlay)하여 제공하도록 실행될 수 있다.
여기서, 상기 촬영 장치는 하나의 RGB 카메라를 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 사용자로부터 고유 정보를 획득하도록 실행되고, 상기 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득하도록 실행되고, 상기 차이 정보 및 상기 기준 안무 정보를 상기 사용 이력 정보에 추가하도록 실행될 수 있다.
여기서, 상기 기준 안무 정보는, 상기 사용 이력 정보를 기반으로 상기 사용자가 이전에 제공받은 기준 안무 정보를 포함할 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하도록 실행되고, 상기 취약점 정보를 상기 사용자에게 제공하도록 실행될 수 있다.
여기서, 상기 적어도 하나의 명령은, 상기 사용 이력 정보를 기반으로 상기 기준 안무 정보와 동일한 기준 안무 정보에 대한 이전 차이 정보를 도출하도록 실행되고, 상기 차이 정보 및 상기 이전 차이 정보를 기반으로 취약점 정보를 도출하도록 실행될 수 있다.
본 발명에 따르면, 전문가(또는 안무가)의 지도 없이도 동작의 정확성 및 박자 등을 체크하며 연습할 수 있다.
본 발명에 따르면, 사용자의 연습 동작에 대한 정보가 누적되어 사용자별 취약한 동작 등에 대한 정보를 제공할 수 있다.
본 발명에 따르면, 인공 지능을 활용하여 하나의 카메라를 이용하여도 높은 정확도로 사용자의 동작을 추출하고 분석할 수 있다.
도 1은 본 발명의 일 실시예에 따른 안무 연습 보조 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 안무 연습 보조 장치의 확장 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 안무 연습 보조 장치의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 안무 연습 보조 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 일 실시예는 안무 연습 보조 방법에 관한 것으로, 사용자의 움직임과 기준 안무 정보를 비교 분석하여 사용자의 안무 연습을 보조할 수 있다. 다만, 본 발명의 일 실시예는 웨이트트레이닝에 관한 자세 연습, 스포츠에 관한 자세 연습 및 요가 자세 연습 등에도 적용될 수 있으므로, 본 발명의 범위가 이에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 안무 연습 보조 장치를 설명하기 위한 개념도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 안무 연습 보조 장치는 사용자의 동작을 인식하고, 인식한 동작 정보 및 기준 안무 정보를 비교 분석할 수 있다. 여기서, 일 실시예는 사용자의 동작을 유도하기 위해 기준 안무를 제공할 수 있다.
일 실시예는 기준 안무를 시각적으로 사용자에게 제공할 수 있다. 즉, 디스플레이(110)를 통해 기준 안무 정보를 제공할 수 있다. 기준 안무 정보는 안무 영상을 포함할 수 있으며, 안무의 포인트를 설명하는 텍스트를 더 포함할 수도 있다. 여기서, 안무 영상은 안무에 대한 정지 영상 및/또는 동영상을 포함할 수 있고, 음악의 원 안무 영상 또는 변경된 안무 영상일 수 있으며, 안무가 또는 가수의 안무 영상일 수 있다. 또한, 별도로 안무가 또는 가수의 안무 영상을 촬영하여 이용할 수도 있다. 이를 위해, 일 실시예는 기준 안무 정보를 저장하고 있을 수 있으며, 설정 또는 사용자의 요청에 따라 이를 제공할 수 있다. 또한, 일 실시예는 기준 안무 정보를 제공함과 동시에 해당 안무의 음악 정보도 제공할 수 있다. 즉, 사용자가 음악에 맞추어 안무를 연습할 수 있도록 음악과 안무를 싱크를 맞추어 제공할 수 있고, 이를 위해 음악 정보 및 싱크 정보를 기준 안무 정보와 함께 저장하고 있을 수 있다. 여기서, 음악 정보는 음원을 포함할 수 있다. 또한, 일 실시예는 K-pop에 대한 정보를 포함할 수 있으나, 전세계의 다양한 음악에 대한 정보도 포함할 수도 있다. 여기서, K-pop에 대한 정보는 K-pop 음원, 해당 음원의 기준 안무 정보 및 싱크 정보를 포함할 수 있다.
일 실시예는 사용자의 동작을 인식할 수 있으며, 카메라 등과 같은 촬영 장치(120)가 이용될 수 있다. 여기서, 촬영 장치는 하나의 RGB(Red-Green-Blue) 카메라일 수 있다. 다만, 동작 인식의 정확도를 위해 복수의 카메라가 이용될 수도 있으므로, 이에 한정되는 것은 아니다. 일 실시예는 촬영 장치를 통해 사용자의 동작 영상을 획득할 수 있다. 여기서, 동작 영상은 RGB 카메라에 따라 RGB 영상일 수 있으며, 사용자의 동작에 대한 정지 영상 및/또는 동영상을 포함할 수 있다.
일 실시예는 상술한 동작을 위해 디스플레이(110) 및/또는 촬영 장치(120)를 포함할 수 있으며, 외부의 디스플레이 및/또는 카메라와 연동되어 동작할 수도 있다. 디스플레이 및 촬영 장치는 다양한 위치에 존재할 수 있다. 예를 들어, 촬영 장치는 디스플레이의 하측, 상측, 좌측 또는 우측에 위치할 수 있으며, 사용자가 안무를 연습하는 공간의 윗면, 측면, 앞면, 후면 또는 아랫면에 위치할 수도 있다.
일 실시예에 따르면, 사용자는 디스플레이를 통해 제공받는 기준 안무를 따라 안무를 연습할 수 있으며, 촬영 장치를 통해 사용자의 동작이 인식될 수 있다. 일 실시예는 인식한 사용자의 동작 및 기준 안무를 비교 분석할 수 있으며, 분석 결과를 사용자에게 제공할 수 있다. 여기서, 일 실시예는 촬영 장치를 통해 획득한 동작 영상으로부터 비교 분석하기 위한 동작 정보를 추출하기 위하여 인공 지능(AI, Artificial Intelligence)이 이용될 수 있으며, 비교 분석에도 또한 이용될 수 있다.
일 실시예에서 인공 지능은 학습된 인공신경망(artificial neural network)을 지칭할 수도 있으며, 인공 지능 및 인공신경망은 서로 혼용되어 사용될 수도 있다. 여기서, 인공 지능은 다양한 머신 러닝(machine learning) 기법을 통해 구현될 수 있다. 또는 인공신경망의 학습에 다양한 머신 러닝 기법이 이용될 수 있다. 여기서, 머신 러닝 기법 중 딥 러닝(deep learning)이 이용될 수도 있으며, 지도 학습(supervised learning) 방식, 비지도 학습(unsupervised learning) 방식 또는 강화 학습(reinforcement learning) 방식으로 학습될 수 있다. 또한, 인공신경망은 DNN(deep neural network), CNN(convolutional neural network) 및 RNN(Recurrent Neural Network) 등 중 적어도 하나가 이용될 수 있다. 즉, 일 실시예에서 인공 지능은 다양한 학습 방식 또는 인공신경망을 기반으로 구현될 수 있으므로, 상술한 바에 한정되지 않는다.
일 실시예에서 따르면, 인공 지능은 다양한 사람들의 동작 영상을 트레이닝 셋으로 학습할 수 있으며, 특정 사용자의 동작 영상만을 트레이닝 셋으로 학습할 수도 있다. 또한, 인공 지능은 사용자가 일 실시예에 따른 안무 연습 보조 장치를 이용함에 따라 누적된 동작 영상을 기반으로 계속하여 학습할 수 있으며, 동작 정보를 추출하는 정확도가 지속적으로 향상될 수 있다.
일 실시예는 동작 영상으로부터 추출한 동작 정보와 기준 안무 정보를 비교하여 차이 정보를 도출할 수 있다. 여기서, 일 실시예는 시간 별로 비교할 수 있으며, 이에 따라 차이 정보도 시간 별로 나타날 수 있다. 즉, 일 실시예는 음악 재생 시간에 맞추어 시간에 따라 동작 정보 및 기준 안무 정보를 비교할 수 있고, 차이 정보를 도출할 수 있다. 일 실시예는 도출한 차이 정보를 음악의 재생이 종료된 이후, 사용자에게 제공할 수 있다. 또는, 일 실시예는 이를 실시간으로 비교하고 차이 정보를 도출하여 곧바로 제공할 수도 있다. 또한, 차이 정보는 기준 안무 정보에 오버레이(overlay)하여 사용자에게 제공될 수 있으며, 이를 통해 사용자는 기준 안무와 자신의 동작의 차이점을 손쉽게 파악할 수 있다.
일 실시예는 사용자 별로 사용 이력 정보를 저장할 수 있다. 여기서, 사용 이력 정보는 사용자의 고유의 정보를 기반으로 저장되고 이용될 수 있다. 이에 대한 상세한 설명은 도 2와 함께 후술하겠다. 일 실시예는 사용자의 사용 이력 정보를 기반으로 이전에 연습하던 안무를 이어서 제공할 수도 있으며, 사용자의 취약점을 분석하여 취약점 정보를 제공할 수도 있다.
여기서, 이전에 연습하던 안무를 이어서 제공하는 경우, 사용자의 동의를 얻어 제공할 수도 있다. 즉, 안무 연습 보조 장치는 사용자가 이전에 연습하던 안무가 존재하는 경우, 이를 이어서 제공할지 사용자에게 질의할 수 있으며, 사용자의 응답을 획득하여 이전에 연습하던 안무를 이어서 제공하거나 새로운 안무를 제공할 수 있다.
여기서, 사용자의 취약점 정보는 동일한 음악에 대한 안무에 있어서 차이 정보가 빈번하게 도출되는 특정 동작에 대한 정보를 포함할 수 있고, 유사한 안무에 있어서 차이 정보가 빈번하게 도출되는 특정 동작에 대한 정보를 포함할 수도 있다. 여기서, 유사한 안무는 인공 지능에 의해 분류될 수 있다.
차이 정보가 빈번하게 도출되는 특정 동작을 도출하는 경우에는 차이 정보가 도출된 시각을 기준으로 앞뒤로 일정 시간 동안을 차이 정보가 도출된 시간 정보로 결정할 수 있고, 차이 정보가 도출된 시간 정보들이 가장 많이 겹치는 시각을 기준으로 앞뒤로 일정 시간 동안을 취약한 부분으로 결정할 수 있고, 이를 취약점 정보로 제공할 수 있다. 예를 들어, 제1 회 연습 시에 1분 11초에 차이 정보가 도출되고, 제2 회 연습 시에 1분 13초에 차이 정보가 도출된 경우, 제1 회 연습 시에 차이 정보가 도출된 시간 정보는 앞뒤로 2초를 추가하여 1분 09초에서 1분 13초까지로 결정될 수 있고, 제2 회 연습 시에 차이 정보가 도출된 시간 정보는 앞뒤로 2초를 추가하여 1분 11초에서 1분 15초까지로 결정될 수 있다. 여기서, 취약한 부분은 두 차이 정보가 도출된 시간 정보가 겹치는 1분 13초를 기준으로 앞뒤로 3초를 추가하여 1분 10초에서 1분 16초까지로 결정될 수 있으며, 이 시간 동안의 정보를 취약점 정보로서 사용자에게 제공할 수 있다. 상술한 시각 및 시간 정보는 설명의 편의를 위한 예일뿐이므로, 이에 한정되는 것은 아니다.
일 실시예에서 차이 정보는 사용자의 동작 정보와 기준 안무 정보 간의 동작의 차이를 포함할 수 있으며, 동작의 차이는 특정한 시간을 기준으로 비교하여 도출될 수 있다. 여기서, 동작의 차이는 관절 포인트에 대한 정보를 기반으로 도출될 수도 있으며, 관절 포인트에 대한 정보는 관절의 꺽임 정도 또는 관절의 각도에 대한 정보를 포함할 수 있다. 예를 들어, 일 실시예는 사용자의 동작 정보를 기반으로 사용자의 관절의 각도를 도출할 수 있고, 기준 안무 정보를 기반으로 기준 안무에서의 관절의 각도를 도출할 수 있고, 두 각도를 비교하여 차이 정보를 도출할 수 있다. 여기서, 기준 안무에서의 관절의 각도는 미리 저장되어 있을 수도 있다. 예를 들어, 일 실시예는 동작 정보로부터 도출한 사용자의 관절에 대한 제1 각도 정보와 기준 안무 정보로부터 도출한 안무에 대한 제2 각도 정보를 비교하여 차이 정보를 도출할 수 있다. 또는 제1 각도 정보와 제2 각도 정보 간의 차이가 임계치 이상인 경우, 사용자의 동작과 기준 안무 간의 차이가 존재하는 것으로 판단할 수 있고, 차이 정보를 도출할 수 있다. 여기서, 임계치는 미리 설정된 값일 수 있으나, 안무의 종류 또는 장르에 따라 다르게 설정될 수 있고, 관절의 종류에 따라 다르게 설정될 수도 있다.
일 실시예는 사용자의 사용 이력 정보를 기반으로 새로운 기준 안무 정보를 사용자에게 추천할 수도 있다. 예를 들어, 일 실시예는 사용자의 사용 이력 정보와 유사한 사용 이력 정보를 가지는 다른 사용자를 분류 또는 특정할 수 있고, 해당 다른 사용자가 연습한 기준 안무 정보를 사용자에게 추천할 수 있다. 또는 일 실시예는 사용자의 사용 이력 정보에 따라 사용자가 연습한 안무의 장르를 분류 또는 특정할 수 있으며, 동일 또는 유사한 장르의 기준 안무 정보를 사용자에게 추천할 수도 있다. 이러한 안무 추천은 인공 지능을 통해 수행될 수도 있으나, 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 안무 연습 보조 장치의 확장 예를 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 안무 연습 보조 장치는 적어도 하나의 안무 연습 보조 장치 및 적어도 하나의 안내 장치를 포함하도록 확장될 수 있다. 다시 말해, 본 발명의 일 실시예는 도 1과 함께 설명한 안무 연습 보조 장치가 복수개인 경우, 안내 장치를 더 포함할 수 있다. 설명의 편의를 위해, 하나의 안내 장치(210)와 3개의 안무 연습 보조 장치(221, 222, 223)가 연결된 것으로 가정하겠다. 여기서, 일 실시예는 안내 장치(210) 및 3개의 안무 연습 보조 장치(221, 222, 223)를 포함하는 경우, 안무 연습 보조 시스템이라 지칭할 수 있으나, 포괄적으로 안무 연습 보조 장치라고 지칭할 수도 있다.
일 실시예에서, 사용자는 안내 장치(210)에 의해 사용 가능한 안무 연습 보조 장치로 안내받을 수 있다. 또는 사용 가능한 안무 연습 보조 장치에 대한 정보를 제공받을 수 있다. 예를 들어, 3개의 안무 연습 보조 장치가 존재하며, 2개의 안무 연습 보조 장치가 다른 사용자에 의해 사용 중인 경우, 다른 사용자에 의해 사용 중이지 않은 하나의 안무 연습 보조 장치에 대한 정보를 제공할 수 있다. 또한, 일 실시예에서, 사용자는 안내 장치(210)에 의해 사용 가능한 안무 연습 보조 장치가 존재하지 않는 경우, 사용 가능한 안무 연습 보조 장치가 존재하지 않는다는 정보를 제공할 수 있으며, 실시예에 따라 대기 시간에 대한 정보를 제공할 수도 있다. 여기서, 대기 시간에 대한 정보는 복수의 안무 연습 보조 장치 중에서 가장 빨리 사용이 중단될 예정인 안무 연습 보조 장치에 대한 정보 및 해당 안무 연습 보조 장치의 대기 시간에 대한 정보일 수 있다.
일 실시예에서, 사용자는 안내 장치(210)에 자신의 고유의 정보를 입력할 수 있으며, 안무 연습 보조 장치는 고유의 정보를 기반으로 사용자의 사용 이력 정보를 획득할 수 있다. 또한, 안무 연습 보조 장치는 사용자의 사용 이력 정보를 기반으로 사용자에게 이전에 연습하던 기준 안무 정보를 제공할 수 있으며, 사용자의 취약점 등과 관련된 분석 정보를 제공할 수도 있다. 여기서, 고유의 정보는 ID 및/또는 비밀번호를 포함할 수 있으며, 고유의 식별 정보를 가지는 식별 카드의 태그를 통해 전달될 수도 있다.
일 실시예에서는 사용자의 스마트 기기(230)도 활용될 수 있다. 예를 들어, 안내 장치(210)는 사용자의 스마트 기기(230)를 인식하여 사용자의 고유의 정보를 획득할 수 있다. 또한, 안내 장치(210)는 사용자의 스마트 기기(230)가 안내 장치(210)의 일정 범위 내로 들어온 경우, 환영 메시지를 제공할 수 있으며, 사용 가능한 안무 연습 보조 장치에 대한 정보를 제공할 수 있다. 또한, 스마트 기기(230)로부터 사용자의 고유의 정보를 획득하여 곧바로 사용 가능한 안무 연습 보조 장치에서 사용자의 사용 이력 정보를 기반으로 이전에 연습하던 기준 안무 정보를 제공할 수도 있다. 여기서, 환영 메시지 또는 사용 가능한 안무 연습 보조 장치에 대한 정보는 안무 연습 보조 장치에 연결된 스피커 또는 스마트 기기(230)의 스피커를 통해 음성으로 제공될 수 있으며, 스마트 기기(230)를 통해 텍스트 형식으로 제공될 수도 있다. 여기서, 스마트 기기(230)는 스마트 폰 등의 통신 가능하고, 휴대 가능하며, 컴퓨팅이 가능한 장치 또는 기기를 의미할 수 있으나, 이에 한정되지는 않는다.
일 실시예에서, 안내 장치(210)는 생략될 수도 있으며, 안내 장치(210)의 동작이 서버를 통해 스마트 기기(230)와의 통신으로 수행될 수도 있다.
도 3은 본 발명의 일 실시예에 따른 안무 연습 보조 장치의 블록 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 안무 연습 보조 장치(300)는 적어도 하나의 프로세서(310), 메모리(320) 및 저장 장치(330)를 포함할 수 있다.
프로세서(310)는 메모리(320) 및/또는 저장 장치(330)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(310)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(320)와 저장 장치(330)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(320)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.
메모리(320)는 프로세서(310)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하는 명령, 촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하는 명령, 상기 동작 영상으로부터 동작 정보를 추출하는 명령, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 명령 및 상기 차이 정보를 상기 사용자에게 제공하는 명령을 포함할 수 있다.
여기서, 상기 동작 영상으로부터 동작 정보를 추출하는 명령은, 미리 학습된 인공신경망을 이용하여 상기 동작 영상으로부터 상기 동작 정보를 추출하는 명령을 포함할 수 있다.
여기서, 상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 명령은, 상기 동작 정보로부터 사용자의 관절에 대한 제1 각도 정보를 도출하는 명령, 상기 기준 안무 정보로부터 안무에 대한 제2 각도 정보를 도출하는 명령 및 상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 명령을 포함할 수 있다.
여기서, 상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 명령은, 상기 제1 각도 정보 및 상기 제2 각도 정보의 차이가 임계치 이상인 경우 차이 정보를 도출하는 명령을 포함할 수 있다.
여기서, 상기 차이 정보를 상기 사용자에게 제공하는 명령은, 상기 차이 정보를 상기 기준 안무 정보에 오버레이(overlay)하여 제공하는 명령을 포함할 수 있다.
여기서, 상기 촬영 장치는 하나의 RGB 카메라를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 사용자로부터 고유 정보를 획득하는 명령, 상기 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득하는 명령 및 상기 차이 정보 및 상기 기준 안무 정보를 상기 사용 이력 정보에 추가하는 명령을 더 포함할 수 있다.
여기서, 상기 기준 안무 정보는, 상기 사용 이력 정보를 기반으로 상기 사용자가 이전에 제공받은 기준 안무 정보를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 명령 및 상기 취약점 정보를 상기 사용자에게 제공하는 명령을 더 포함할 수 있다.
여기서, 상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 명령은, 상기 사용 이력 정보를 기반으로 상기 기준 안무 정보와 동일한 기준 안무 정보에 대한 이전 차이 정보를 도출하는 명령 및 상기 차이 정보 및 상기 이전 차이 정보를 기반으로 취약점 정보를 도출하는 명령을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 안무 연습 보조 방법의 순서도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 안무 연습 보조 장치는 사용자로부터 고유 정보를 획득할 수 있다(S410). 여기서, 고유 정보는 사용자에 의해 입력되는 ID 및/또는 비밀번호를 포함할 수 있고, 안내 장치 또는 사용자의 스마트 기기에 의해 입력될 수 있다. 또는, 안무 연습 보조 장치는 일정 범위 내에 사용자의 스마트 기기가 진입하는 경우, 자동적으로 스마트 기기를 인식할 수 있고, 스마트 기기로부터 사용자의 고유 정보를 획득할 수도 있다. 또는, 고유 정보는 사용자에 의한 식별 카드의 태그를 통해 전달 또는 획득될 수도 있다.
안무 연습 보조 장치는 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득할 수 있다(S420). 즉, 안무 연습 보조 장치는 고유 정보를 기반으로 각 사용자별 사용 이력 정보를 저장하고 있을 수 있으며, 특정 사용자의 고유 정보를 획득한 경우, 이를 기반으로 특정 사용자의 사용 이력 정보를 추출 또는 획득할 수 있다. 여기서, 사용 이력 정보는 사용자가 이전에 연습한 안무(또는 기준 안무 정보)를 포함할 수 있고, 이전에 도출된 차이 정보도 포함할 수 있다. 나아가, 사용 이력 정보는 이전에 안무 연습이 중단된 경우, 중단된 시점에 대한 정보도 포함할 수 있다.
안무 연습 보조 장치는 사용자의 요청에 따른 기준 안무 정보를 사용자에게 제공할 수 있다(S430). 여기서, 사용자의 요청은 사용 이력 정보에 따른 이전에 연습한 기준 안무 정보에 대한 요청일 수 있고, 새로운 기준 안무 정보에 대한 요청일 수도 있다. 또는 이전에 안무 연습이 중단된 경우, 중단된 시점부터의 기준 안무 정보에 대한 요청일 수도 있다. 이를 위해, 안무 연습 보조 장치는 사용자에게 사용 이력 정보를 기반으로 이전에 연습한 기준 안무 정보에 대한 정보 및/또는 중단된 시점에 대한 정보를 제공할 수 있으며, 다른 새로운 기준 안무 정보에 대한 정보도 제공할 수 있다.
안무 연습 보조 장치는 촬영 장치를 통해 기준 안무 정보에 따른 사용자의 동작 영상을 획득할 수 있다(S440). 여기서, 촬영 장치는 하나의 카메라일 수 있고, 카메라는 RGB 카메라일 수 있다. 다만, 추후 동작 영상으로부터 추출하는 동작 정보의 정확성을 향상시키기 위하여 복수의 카메라를 이용할 수도 있으나, 이에 한정되는 것은 아니다. 여기서, 기준 안무 정보에 따른 사용자의 동작 영상은 사용자가 기준 안무 정보를 보고 따라하는 동작에 대한 영상일 수 있으며, 영상은 동영상 및/또는 적어도 하나의 정지 영상을 포함할 수 있다.
안무 연습 보조 장치는 동작 영상으로부터 동작 정보를 추출할 수 있다(S450). 안무 연습 보조 장치는 동작 정보를 추출하기 위하여 인공 지능을 이용할 수 있으며, 인공 지능은 미리 학습될 수 있고, 지속적으로 학습되어 동작 정보를 추출하는 정확성이 점차 향상될 수 있다. 이에 대한 상세한 설명은 도 1과 함께 상술하였다.
안무 연습 보조 장치는 동작 정보 및 기준 안무 정보를 비교하여 차이 정보를 도출할 수 있다(S460). 예를 들어, 동작 정보는 사용자의 관절에 대한 각도 정보를 포함할 수 있고, 기준 안무 정보는 안무에서의 관절에 대한 각도 정보를 포함할 수 있다. 이 경우, 사용자의 관절에 대한 각도 정보 및 안무에서의 관절에 대한 각도 정보를 비교하여 그 차이가 임계치 이상인 경우 차이가 발생한 것으로 판단하여 차이 정보를 도출할 수 있다. 다만, 각도 정보는 일 예로써, 동작 정보는 동작에 대한 다양한 정보를 더 포함할 수 있고, 기준 안무 정보도 안무에 대한 다양한 정보를 더 포함할 수 있다. 여기서, 안무에 대한 다양한 정보는 기준 안무 정보로부터 추출 또는 도출될 수 있으나, 안무에 대한 다양한 정보가 그대로 저장되어 있을 수도 있다. 즉, 기준 안무 정보가 안무에 대한 다양한 정보를 지칭할 수도 있고, 기준 안무에 대한 영상 정보를 지칭할 수도 있다.
안무 연습 보조 장치는 차이 정보 및 기준 안무 정보를 사용 이력 정보에 추가할 수 있다(S470). 여기서, 차이 정보는 기준 안무 정보와 하나의 쌍으로써 사용 이력 정보에 추가될 수 있고, 서로 지시하는 인덱스 정보 등이 함께 추가될 수도 있다. 또한, 차이 정보 및 기준 안무 정보는 인공 지능의 성능을 더욱 향상시키는데 이용될 수도 있다. 즉, 인공신경망 등을 학습하기 위한 트레이닝 셋으로 이용될 수 있다.
안무 연습 보조 장치는 차이 정보를 사용자에게 제공할 수 있다(S480). 안무 연습 보조 장치는 차이 정보를 사용자에게 제공되는 기준 안무 정보에 오버레이되어 제공될 수도 있다. 여기서, 차이 정보는 사용자가 안무 연습 중에 실시간으로 반영되어 제공될 수도 있으며, 안무 연습이 종료된 이후 제공될 수도 있다.
상술한 동작들은 본 발명의 일 실시예의 동작을 간략히 설명하기 위한 것으로, 본 발명의 범위가 이에 한정되는 것은 아니다. 다시 말해, 본 발명의 일 실시예는 도 4에서 설명한 동작 외에도 도 1 내지 도 3과 함께 설명한 바와 같이 추가적인 동작들을 더 수행할 수 있다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하는 단계;
    촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하는 단계;
    상기 동작 영상으로부터 동작 정보를 추출하는 단계;
    상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 단계; 및
    상기 차이 정보를 상기 사용자에게 제공하는 단계를 포함하는, 안무 연습 보조 방법.
  2. 청구항 1에 있어서,
    상기 동작 영상으로부터 동작 정보를 추출하는 단계는,
    미리 학습된 인공신경망을 이용하여 상기 동작 영상으로부터 상기 동작 정보를 추출하는 단계를 포함하는, 안무 연습 보조 방법.
  3. 청구항 1에 있어서,
    상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하는 단계는,
    상기 동작 정보로부터 사용자의 관절에 대한 제1 각도 정보를 도출하는 단계;
    상기 기준 안무 정보로부터 안무에 대한 제2 각도 정보를 도출하는 단계; 및
    상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 단계를 포함하는, 안무 연습 보조 방법.
  4. 청구항 3에 있어서,
    상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하는 단계는,
    상기 제1 각도 정보 및 상기 제2 각도 정보의 차이가 임계치 이상인 경우 차이 정보를 도출하는 단계를 포함하는, 안무 연습 보조 방법.
  5. 청구항 1에 있어서,
    상기 차이 정보를 상기 사용자에게 제공하는 단계는,
    상기 차이 정보를 상기 기준 안무 정보에 오버레이(overlay)하여 제공하는 단계를 포함하는, 안무 연습 보조 방법.
  6. 청구항 1에 있어서,
    상기 촬영 장치는 하나의 RGB 카메라를 포함하는, 안무 연습 보조 방법.
  7. 청구항 1에 있어서,
    상기 사용자로부터 고유 정보를 획득하는 단계;
    상기 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득하는 단계; 및
    상기 차이 정보 및 상기 기준 안무 정보를 상기 사용 이력 정보에 추가하는 단계를 더 포함하는, 안무 연습 보조 방법.
  8. 청구항 7에 있어서,
    상기 기준 안무 정보는,
    상기 사용 이력 정보를 기반으로 상기 사용자가 이전에 제공받은 기준 안무 정보를 포함하는, 안무 연습 보조 방법.
  9. 청구항 7에 있어서,
    상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 단계; 및
    상기 취약점 정보를 상기 사용자에게 제공하는 단계를 더 포함하는, 안무 연습 보조 방법.
  10. 청구항 9에 있어서,
    상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하는 단계는,
    상기 사용 이력 정보를 기반으로 상기 기준 안무 정보와 동일한 기준 안무 정보에 대한 이전 차이 정보를 도출하는 단계; 및
    상기 차이 정보 및 상기 이전 차이 정보를 기반으로 취약점 정보를 도출하는 단계를 포함하는, 안무 연습 보조 방법.
  11. 촬영 장치;
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    사용자의 요청에 따른 기준 안무 정보를 상기 사용자에게 제공하도록 실행되고,
    상기 촬영 장치를 통해 상기 기준 안무 정보에 따른 상기 사용자의 동작 영상을 획득하도록 실행되고,
    상기 동작 영상으로부터 동작 정보를 추출하도록 실행되고,
    상기 동작 정보 및 상기 기준 안무 정보를 비교하여 차이 정보를 도출하도록 실행되고,
    상기 차이 정보를 상기 사용자에게 제공하도록 실행되는, 안무 연습 보조 장치.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 명령은,
    미리 학습된 인공신경망을 이용하여 상기 동작 영상으로부터 상기 동작 정보를 추출하도록 실행되는, 안무 연습 보조 장치.
  13. 청구항 11에 있어서,
    상기 적어도 하나의 명령은,
    상기 동작 정보로부터 사용자의 관절에 대한 제1 각도 정보를 도출하도록 실행되고,
    상기 기준 안무 정보로부터 안무에 대한 제2 각도 정보를 도출하도록 실행되고,
    상기 제1 각도 정보 및 상기 제2 각도 정보를 비교하여 차이 정보를 도출하도록 실행되는, 안무 연습 보조 장치.
  14. 청구항 13에 있어서,
    상기 적어도 하나의 명령은,
    상기 제1 각도 정보 및 상기 제2 각도 정보의 차이가 임계치 이상인 경우 차이 정보를 도출하도록 실행되는, 안무 연습 보조 장치.
  15. 청구항 11에 있어서,
    상기 적어도 하나의 명령은,
    상기 차이 정보를 상기 기준 안무 정보에 오버레이(overlay)하여 제공하도록 실행되는, 안무 연습 보조 장치.
  16. 청구항 11에 있어서,
    상기 촬영 장치는 하나의 RGB 카메라를 포함하는, 안무 연습 보조 장치.
  17. 청구항 11에 있어서,
    상기 적어도 하나의 명령은,
    상기 사용자로부터 고유 정보를 획득하도록 실행되고,
    상기 고유 정보를 기반으로 사용자의 사용 이력 정보를 획득하도록 실행되고,
    상기 차이 정보 및 상기 기준 안무 정보를 상기 사용 이력 정보에 추가하도록 실행되는, 안무 연습 보조 장치.
  18. 청구항 17에 있어서,
    상기 기준 안무 정보는,
    상기 사용 이력 정보를 기반으로 상기 사용자가 이전에 제공받은 기준 안무 정보를 포함하는, 안무 연습 보조 장치.
  19. 청구항 17에 있어서,
    상기 적어도 하나의 명령은,
    상기 사용 이력 정보를 기반으로 상기 사용자의 취약점 정보를 도출하도록 실행되고,
    상기 취약점 정보를 상기 사용자에게 제공하도록 실행되는, 안무 연습 보조 장치.
  20. 청구항 19에 있어서,
    상기 적어도 하나의 명령은,
    상기 사용 이력 정보를 기반으로 상기 기준 안무 정보와 동일한 기준 안무 정보에 대한 이전 차이 정보를 도출하도록 실행되고,
    상기 차이 정보 및 상기 이전 차이 정보를 기반으로 취약점 정보를 도출하도록 실행되는, 안무 연습 보조 장치.
PCT/KR2019/015974 2019-11-20 2019-11-20 안무 연습 보조 방법 및 장치 WO2021100904A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/015974 WO2021100904A1 (ko) 2019-11-20 2019-11-20 안무 연습 보조 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/015974 WO2021100904A1 (ko) 2019-11-20 2019-11-20 안무 연습 보조 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021100904A1 true WO2021100904A1 (ko) 2021-05-27

Family

ID=75980510

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015974 WO2021100904A1 (ko) 2019-11-20 2019-11-20 안무 연습 보조 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2021100904A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232676A1 (en) * 2015-02-05 2016-08-11 Electronics And Telecommunications Research Institute System and method for motion evaluation
KR20180028886A (ko) * 2016-09-09 2018-03-19 한국전자통신연구원 3차원 골격정보로부터 동작인식을 위한 기계학습용 특징 추출 방법 및 장치
KR20180085328A (ko) * 2017-01-18 2018-07-26 정주선 댄스 게임 장치 및 이를 이용한 댄스 게임 방법
KR101936692B1 (ko) * 2017-12-18 2019-01-10 주식회사 쏘그웨어 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
KR101989447B1 (ko) * 2017-12-12 2019-06-14 주식회사 큐랩 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160232676A1 (en) * 2015-02-05 2016-08-11 Electronics And Telecommunications Research Institute System and method for motion evaluation
KR20180028886A (ko) * 2016-09-09 2018-03-19 한국전자통신연구원 3차원 골격정보로부터 동작인식을 위한 기계학습용 특징 추출 방법 및 장치
KR20180085328A (ko) * 2017-01-18 2018-07-26 정주선 댄스 게임 장치 및 이를 이용한 댄스 게임 방법
KR101989447B1 (ko) * 2017-12-12 2019-06-14 주식회사 큐랩 증강현실을 이용하여 사용자에게 영상 피드백을 제공하는 댄스 모션 피드백 시스템
KR101936692B1 (ko) * 2017-12-18 2019-01-10 주식회사 쏘그웨어 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2018212494A1 (ko) 객체를 식별하는 방법 및 디바이스
WO2015119335A1 (ko) 콘텐츠 추천 방법 및 장치
WO2020122456A1 (ko) 이미지와 텍스트간 유사도 매칭 시스템 및 방법
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2019156332A1 (ko) 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
WO2020111314A1 (ko) 개념 그래프 기반 질의응답 장치 및 방법
WO2014051246A1 (en) Method and apparatus for inferring facial composite
WO2020130689A1 (ko) 놀이 컨텐츠를 추천하는 전자 장치 및 그의 동작 방법
WO2018135730A1 (ko) Vr 영상 생성 방법, vr 영상 처리 방법 및 vr 영상 처리 시스템
CN112527113A (zh) 手势识别及手势识别网络的训练方法和装置、介质和设备
WO2020032487A1 (ko) 우선 순위에 기반하여 상품과 관련된 정보를 제공하는 방법 및 그 전자 장치
WO2018131875A1 (en) Display apparatus and method for providing service thereof
WO2020022550A1 (ko) 사용자의 모션 인식 기반 댄스 게임을 제공하는 방법 및 장치
CN109922352A (zh) 一种数据处理方法、装置、电子设备及可读存储介质
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2022154270A1 (ko) 요약 영상 생성 방법 및 그 전자 장치
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2022097927A1 (en) Method of live video event detection based on natural language queries, and an apparatus for the same
WO2017065324A1 (ko) 수화교육 시스템, 방법 및 프로그램
WO2021100904A1 (ko) 안무 연습 보조 방법 및 장치
WO2019194569A1 (ko) 이미지 검색 방법, 장치 및 컴퓨터 프로그램
WO2022177372A1 (ko) 인공지능을 이용하여 튜터링 서비스를 제공하기 위한 시스템 및 그에 관한 방법
WO2019225875A1 (ko) 재고 추적 방법 및 장치
WO2022186539A1 (ko) 이미지 분류 기반 유명인 식별 방법 및 장치
WO2021118072A1 (ko) 음성 및 영상 정보를 활용한 의미있는 구간을 검출하기 위한 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953373

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 09/09/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19953373

Country of ref document: EP

Kind code of ref document: A1