WO2014162787A1 - 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 - Google Patents
身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 Download PDFInfo
- Publication number
- WO2014162787A1 WO2014162787A1 PCT/JP2014/053782 JP2014053782W WO2014162787A1 WO 2014162787 A1 WO2014162787 A1 WO 2014162787A1 JP 2014053782 W JP2014053782 W JP 2014053782W WO 2014162787 A1 WO2014162787 A1 WO 2014162787A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- scoring
- timing
- time series
- motion
- position information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/46—Computing the game score
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0015—Dancing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
Definitions
- the present invention relates to a body motion scoring device, a dance scoring device, a karaoke device, and a game device.
- karaoke equipment In karaoke equipment, there is a karaoke equipment that scores and evaluates singing ability as well as singing along with music. And in order to further improve the entertainment, in addition to scoring evaluation of singing ability, if the singer dances based on the dance choreography of the original singer, a karaoke that has the function of scoring the dance choreography An apparatus has been proposed (Patent Document 1). In the karaoke apparatus, how a part of the body moves is scored by vector comparison.
- movement may not be determined depending on the physique of the person to be determined. For example, in the case of movement of the same distance, there may be a case where a small person's movement can be determined but a large person's movement cannot be determined.
- a motion was correct, and scoring about timings, such as a rhythm feeling, was not made.
- the first object of the present invention is to provide a physical motion scoring device capable of scoring that is not easily affected by differences in the physique of the person being scored, and relates to a sense of rhythm in addition to scoring the accuracy of movement.
- a second object is to provide a physical motion scoring device that can be scored.
- a first body motion scoring device includes body position information acquisition means for acquiring body position information of a person to be scored in time series, and the acquired body position information.
- Body part recognizing means for recognizing the position of each part in time series and relatively recognizing the position of another part with reference to a certain part, and the position of the body part recognized by the body part recognizing means Is characterized in that it includes a physical motion scoring means for scoring in time series with a comparison condition prepared in advance, and a scoring result display means for displaying the scored result.
- a second body motion scoring device of the present invention includes body position information acquisition means for acquiring body position information of a person to be scored in time series, and the acquired body position information.
- Body movement scoring means for recognizing the position of each part in time series and scoring the position of the body part recognized by the body part recognition means in time series with a comparison condition prepared in advance, and scoring Scoring result display means for displaying the result of the scoring, and in the physical motion scoring means, the scoring compared in time series has a specific scoring timing and scoring timings before and after the specific scoring timing.
- the first body movement scoring device of the present invention scoring that is not easily affected by the difference in the physique of the person being scored is possible.
- the second body motion scoring device of the present invention it is possible to score a sense of rhythm in addition to scoring motion accuracy.
- FIG. 1 is a block diagram showing an example of the configuration of the body motion scoring device of the present invention.
- FIG. 2 is a diagram showing an example of body position information acquisition means in the present invention.
- FIG. 3 is a diagram showing an example of body position information data in the present invention.
- FIG. 4 is a flowchart showing an example of a condition data generation method according to the present invention.
- FIG. 5 is a diagram illustrating an example of the condition data.
- FIG. 6 is a flowchart showing an example of the scoring method in the present invention.
- FIG. 7 is a diagram showing an example of image display in the present invention.
- the subject of scoring according to the present invention is not particularly limited, for example, those involving choreography such as dance and theater, those relating to sports forms such as golf swings and baseball batting, and evaluating animal behavior.
- the present invention can be applied to an object that evaluates various body movements. Among these, the present invention is preferably applied to choreography such as dance.
- the body motion scoring device 1 of the present example includes a body position information acquisition unit 11, a body part recognition unit 12, a body motion scoring unit 13, and a scoring result display unit 14.
- the condition data creating means 15 is included as an optional element.
- the first device is characterized by relatively capturing body movements, and the second device has a timing such as a sense of rhythm. Since the determination is possible and both can combine the respective characteristics, both will be described together below.
- the body position information acquisition means acquires the body position information of the scoring target in time series, and examples thereof include a camera and a sensor that acquire body position information as digital information.
- the body part recognizing means recognizes the position of each part in the digital body position information acquired from the body position information in time series and relatively recognizes the position of another part on the basis of a certain part. is there. By doing in this way, it becomes possible to carry out the scoring which is hard to be influenced by the difference in the physique of the scoring target person.
- “relatively recognizing the position of another part on the basis of a certain part” includes relative recognition of an angle.
- the body part recognizing means may recognize the body part as a model in addition to recognizing the whole body as it is. An example of modeling and recognizing a body part is shown in FIG. In FIG.
- the body parts are classified and recognized as 21 parts, and S-1, S-2 and S-3 indicate shoulder S regions, and H-1, H-2 and H-3
- the body parts may be grouped and recognized as a region such that ⁇ 3 indicates the hip H region.
- a means for recognizing such a model for example, there is a product name “Kinect” manufactured by Microsoft Corporation.
- An example of position data of a body part recognized by modeling is shown in FIG.
- the modeled body position data shows position information on the body part, tracking information, X, Y, and Z coordinates for each row number.
- the tracking information is information obtained from a sensor or camera and represents the certainty of the position information.
- the tracking information is obtained by assigning “2” when certain and assigning estimated position information as “1”.
- the position information can be processed according to the certainty of the body position information.
- the body motion scoring means scores the position of the body part recognized by the body part recognition means by collating in time series with a comparison condition prepared in advance.
- the scoring by comparing the position of the body part recognized by the body part recognition means with a comparison condition prepared in advance in a time series is, for example, a part with a model prepared in advance.
- This is a scoring system in which condition data representing a positional relationship with another part of the model is compared with the position of the body part recognized by the body part recognition means.
- the condition data may include, as a condition, an angle between a straight line connecting the part 1 and the part 2 and a straight line connecting the part 3 and the part 4. In this way, by scoring at the relative position and relative angle of the part, scoring that is not easily influenced by the difference in the physique of the person being scored becomes possible.
- the condition data includes a score when the condition is satisfied.
- the position data of the condition data for example, in a certain time (millisecond unit), the size in the past history axis (X, Y, Z) of the same part of a specific part (for example, the center of the shoulder) It may be a comparison. In the comparison of the sizes, for example, small can be defined as “ ⁇ 1”, the same as “0”, and large as “1”.
- the position data of the condition data may be, for example, a comparison of histories before the same straight line connecting a specific part. In this case, the comparison may be, for example, “1” for parallel and “2” for vertical.
- the position data of the condition data is associated with the score, and for example, when the data to be scored matches the position data, the score is added.
- the score may be a point system such as 1 point, 10 points, or 100 points.
- the condition data may be automatically created by the condition data creation means 15 from a set of pairs of body position data and time to be scored (hereinafter simply referred to as “determination timing”) as shown in FIG.
- the condition data creating means 15 records the result of comparing the positional relationship between two points of the plurality of points of interest and the means for specifying a plurality of points of interest of the body in the condition data in association with a predetermined score. Means.
- the automatic creation of the condition data by the condition data creating means 15 is performed by, for example, processing according to the flowchart shown in FIG.
- condition data An example of condition data automatically created in this way is shown in FIG.
- the determination timing milliseconds
- the comparison source body part ID the past history of the comparison destination body part
- the comparison destination body part ID the comparison destination body part ID
- the comparison axis the size comparison
- the score are arranged for each row number.
- the past history of the comparison target body part is used to represent the comparison target body part at the xth previous determination timing, and is set to 0 when representing the comparison at the same determination timing as the comparison source body part.
- size comparison for example, “ ⁇ 1” can be defined for small cases, “0” for equal cases, and “1” for large cases.
- the scoring in time series is determined with a specific scoring timing and scoring timings before and after the specific scoring timing, and the specific scoring timing and the front and back A plurality of scoring timings are weighted at each scoring timing to obtain acquisition point candidates, and one acquisition point candidate is adopted as a score from the plurality of acquisition point candidates according to a predetermined criterion. To do. By doing in this way, scoring about a sense of rhythm becomes possible.
- the criterion for adopting one acquisition point from the plurality of acquisition point candidates is, for example, a criterion for adopting the highest one among the plurality of acquisition point candidates.
- FIG. 6 shows a flowchart for processing the scoring employing such weighting.
- FIG. 6 shows a scoring process at a certain time, and this process is performed every time the time advances. There is no particular limitation on the period of time during which processing is performed.
- scoring condition determination S3 for example, it is determined whether the scoring target person's body position information is checked against the condition data to satisfy the scoring condition.
- the process proceeds to S4, and when adding points (No), the process returns to the entrance S1 of the condition data n loop.
- Weighted S4 For example, with respect to the nth score of the condition data according to the normal distribution, in X, 0 is 10%, 1 is 30%, 3 is 100%, 4 is 30%, and 5 is 10%. In addition, the score is weighted. The weighted one is used as an acquisition point candidate. Then, the process returns to the condition data n loop S1 again.
- the scoring results are not particularly limited, and examples thereof include two grades of Good (G) / No Good (NG) or score or point evaluation of three or more grades.
- the scoring result display screen is not particularly limited.
- the scoring result display screen may be displayed on a display screen of a dance game, a karaoke device, or the like together with lyrics or a choreography instruction image.
- the scoring result may be displayed on a mobile phone, a smart phone, or a personal computer (PC) of a scoring person or a scoring person (dance leader, etc.).
- FIG. 7 shows an example of a display screen when the scoring result is displayed on the dance scoring device.
- the dance scoring device of this example is provided with a karaoke function, but the karaoke function may or may not be provided.
- the main screen 101 shown in FIG. 7 includes a model image 102, a series of choreographing actions (a series of actions) 103, a display showing determination timing (square frame) 104, a total scoring result display 107, a pinpoint scoring result display 106, It is composed of a scoring target person image 105.
- the choreography operation 103 flows from the right to the left of the screen.
- the main screen 101 may display a background image (video) as in the conventional dance scoring device or karaoke device, for example, but it is preferable to display an artist promotional video (PV), etc. It is more preferable to project.
- the model image 102 is not particularly limited, and examples thereof include a singer and a dancer. This makes it possible for the scoring person to implicitly understand that the evaluation is based on the expressive power of an actual singer or dancer.
- a series of operations 103 of model images are displayed on the main screen 101.
- PV of dance music flows on the main screen, and a video of a dancer dancing while singing as a model image 102 flows.
- the graded person dances to the dancer's movement while singing.
- the scoring target is scored before and after the flowing choreography action 103 overlaps the display 104 indicating the judgment timing, and the score is obtained by satisfying the condition data when the scoring person's action is more suitable for the judgment timing.
- the total scoring result display 107 may include, for example, a total score, basic points, bonus points, ranking, and the like.
- the dance scoring apparatus of the present example may have a function of updating the ranking at any time by means of communication means, for example.
- scoring results (“Good” in the figure) are displayed as needed for each operation.
- the operation of the grading target person is displayed on the main screen 101 in real time as the grading target person image 105, so that the grading target person can objectively confirm his / her own movement.
- the dance scoring device of this example preferably has a recording function.
- the dance scoring device has been described as an example with respect to the present invention.
- the present invention is not limited to this.
- the present invention may be a karaoke device with a physical motion (dance) scoring function or a game.
- the game include a dance game, a sports game, and a play game. In these games, by scoring the body movement and competing for the score, there is an effect that the entertainment is improved and the level of the body movement is improved.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明の採点の対象となるのは、特に制限されず、例えば、ダンス及び演劇等の振り付けを伴うもの、ゴルフのスイング及び野球のバッティングのようなスポーツのフォームに関するもの、動物の行動を評価するもの等、様々な身体動作を評価するものに適用することができる。これらの中でも、本発明は、ダンス等の振り付けに適用することが好ましい。
図1のブロック図に示すように、本例の身体動作採点装置1は、身体位置情報取得手段11と、身体部位認識手段12と、身体動作採点手段13と、採点結果表示手段14を必須構成要素として含み、任意要素として、条件データ作成手段15を含む。なお、本発明では、第一の装置及び第二の装置があるが、第一の装置は、身体動作を相対的にとらえることに特徴があり、第二の装置は、リズム感等のタイミングの判定が可能になることに特徴があり、両者はそれぞれの特徴を組み合わせることができるので、以下、両者をまとめて説明する。
身体位置情報取得手段は、採点対象者の身体位置情報を時系列的に取得するものであり、例えば、身体位置情報をデジタル情報として取得するカメラ及びセンサー等があげられる。
身体部位認識手段は、前記身体位置情報によって取得したデジタルな身体位置情報における各部の位置を時系列的に認識し、かつ、ある部位を基準として他の部位の位置を相対的に認識するものである。このようにすることで、採点対象者の体格の違いに影響を受けにくい採点をすることが可能となる。なお、本発明において、「ある部位を基準として他の部位の位置を相対的に認識する」ことには、角度の相対的な認識も含む。前記身体部位認識手段は、例えば、身体全体をそのままで認識する他、身体部位をモデル化して認識してもよい。身体部位をモデル化して認識した例を図2に示す。図2では、身体の部位を21か所に分類して認識しており、また、S-1、S-2及びS-3が肩部S領域を示し、H-1、H-2及びH-3がヒップH領域を示すように、身体部位をグループ化して領域として認識してもよい。このようなモデル化して認識する手段としては、例えば、マイクロソフト社製の製品名「Kinect」がある。モデル化して認識した身体部位の位置データの例を、図3に示す。図3では、モデル化した身体位置データは、行番号毎に、身体部位、トラッキング情報、X,Y及びZ座標上の位置情報が示されている。なお、前記トラッキング情報とは、センサーまたはカメラから得られる情報で、位置情報の確実性を表し、例えば、確実な場合は「2」とし、推定位置情報を「1」として振り分けることで、得られた身体位置情報の確実性によって位置情報を処理することができる。
身体動作採点手段は、前記身体部位認識手段によって認識された身体の部位の位置を、予め準備した比較条件と時系列的に照合して採点する。前記身体動作採点手段において、前記身体部位認識手段によって認識された身体の部位の位置を、予め準備した比較条件と時系列的に照合しての採点は、例えば、予め準備したお手本のある部位とお手本の別のある部位との位置関係を表した条件データと、前記身体部位認識手段によって認識された身体部位の位置とを照合した採点である。このとき、条件データには部位1と部位2を結ぶ直線と部位3と部位4を結ぶ直線の角度を条件として含んでもよい。このように部位の相対位置や相対角度で採点することで、採点対象者の体格の違いによる影響を受けにくい採点が可能となる。前記条件データは、条件を満たした場合の得点を含む。
前記条件データの位置データとしては、例えば、ある時間(ミリ秒単位)において、ある特定部位(例えば、肩中央)の同じ部位の過去の履歴の軸(X,Y,Z)での大きさの比較であってもよい。前記大きさの比較は、例えば、小さいを「-1」、同じを「0」、大きいを「1」と規定することができる。その他、前記条件データの位置データとしては、例えば、ある特定の部位を結ぶ直線の同じ直線の前の履歴の比較であってもよい。この場合の前記比較は、例えば、平行を「1」と、垂直を「2」としてもよい。そして、条件データの位置データを得点と結びつけ、例えば、採点対象のデータが前記位置データと合致した場合に、得点を加算する。得点は、例えば、1ポイント、10ポイント、100ポイントのようにポイント制にしてもよい。
前記条件データは、条件データ作成手段15によって、図3に示すような身体位置データと採点判定すべき時間(以下、単に「判定タイミング」という。)の対の集合から自動作成してもよい。条件データ作成手段15は、身体の複数の注目点を特定する手段と、前記複数の注目点の中の二点における位置関係を比較した結果を予め決められた得点と関連付けて条件データに記録する手段とを含む。条件データ作成手段15による条件データの自動作成は、例えば、図4に示すフローチャートに沿った処理により実施される。
図4に示すフローチャートにおいて、左手(a),肩中央(b)、及び右手(c)の3点を注目点とした場合の条件データの自動作成を説明する。この場合、身体位置情報データ(図4では「骨格データ」という)の判定タイミングの数(S=1,2,・・・k,すなわちk個の判定タイミングの数)のそれぞれにつき、a-b,a-c,b-cの3つの組み合わせで比較され、x軸,y軸,z軸の条件データが作成される。
骨格データループS1~S11では、判定タイミングの数(S=1,2・・・k)だけ、処理を繰り返す。
注目点1ループS2~S10では、注目点をP=1,2・・・nとした場合、前記の例では、a,b,cの三個なので、n=3となり、Pが1,2,3のときそれぞれa,b,cに対応する。
注目点1のトラッキング精度の判定S3において、Yesの場合は、注目点2のループP’に進み、Noの場合は、P’を飛ばしてS10のPの終点に進んでS2の注目点1ループに戻る。
注目点2ループS4~S9において、P’がP+1、P+2,・・・nとなるので、Pが1の時、P’が2となるので、a-bが比較対象となる。
注目点2のトラッキング精度の判定S5において、Yesの場合は、軸ループA(S6)に進み、Noの場合は、S6を飛ばしてS9のP’の終点に進んでS4の注目点2ループに戻る。
軸ループS6~S8では、x軸、y軸、及びz軸の三軸について、位置関係を比較し(1大、0同じ、-1小)、条件データに追記する。
このように自動作成した条件データの例を図5に示す。図5の条件データでは、行番号毎に、判定タイミング(ミリ秒)、比較元身体部位ID、比較先身体部位の過去履歴、比較先身体部位ID、比較軸、大小比較、及び得点が並んでいる。前記比較先身体部位の過去履歴はx個前の判定タイミング時の比較先身体部位を表すときに使用するものであり、比較元身体部位と同一判定タイミングでの比較を表すときは0とする。また、前記大小比較は、例えば、小さい場合を「-1」とし、等しい場合を「0」とし、大きい場合を「1」と規定することができる。
前記身体動作採点手段において、前記時系列的に比較した採点は、ある特定の採点のタイミング及び前記特定の採点のタイミングの前後の採点タイミングが決められており、前記特定の採点のタイミング及び前記前後の採点タイミングにおける複数の採点に対し、採点のタイミング毎に重み付をして取得点候補とし、前記複数の取得点候補の中から、予め決められた基準によって一つの取得点候補を得点として採用する。このようにすることで、リズム感に関する採点も可能となる。前記複数の取得点候補から一つの取得点を採用する基準は、例えば、複数の取得点候補の中で最も高いものを採用するという基準である。
このような重み付を採用した採点を処理するフローチャートを図6に示す。図6は、ある時間における採点処理であり、時間が進むごとに本処理がおこなわれる。処理が行われる時間の周期については特に制限はない。
条件データnループS1では、S=1,2,…,nのn個の条件データに対して処理を繰り返す。
判定タイミングの判断S2では、判定を複数回行って、幅を持たせる。例えば、ある特定の判定タイミングの前後2回の条件データの判定タイミングを当該判定タイミングとすれば、合計で、5個(X=0,1,2,3,4)という幅を持った判定タイミングが設定される。そして、現在の時間が5個の判定タイミングいずれかに該当すれば(Yes)、次のS3に進む。一方、いずれの判定タイミングに該当しない(No)の場合は、S5に進む。
加点条件の判断S3では、例えば、採点対象者の身体位置情報を条件データと照合して加点条件を満たしているかを判断する。加点する場合(Yes)は、S4に進み、加点しない場合は(No)は、条件データnループの入り口S1に戻る。
重み付S4では、例えば、正規分布により、条件データn番目の得点に関し、Xにおいて、それぞれ、0が10%、1が30%、3が100%、4が30%、5が10%というように、得点に重み付を行う。重み付されたものを取得点候補とする。そして、再度条件データnループS1に戻る。
判定タイミングの判定S2において、5個の判定タイミングが全て終わった場合、判定タイミングではないため(No)、S5に進み、判定タイミング終了直後か判断し、終了直後(Yes)の場合は、S6に進み、終了直後ではない場合(No)、S1に戻る。
得点の加算S6において、5個の重み付された取得点候補のうち、最も大きな取得点候補を、得点として加算する。
採点結果は、特に制限されないが、例えば、Good(G)/No Good(NG)の2段階、または、3段階以上の点数もしくはポイント評価等があげられる。採点結果の表示画面は、特に制限されず、例えば、ダンスゲーム及びカラオケ装置等の表示画面に、歌詞又は振り付け指示画像と併せて表示してもよい。その他、採点対象者又は採点者(ダンスの指導者等)の携帯電話、スマートフォン、パーソナルコンピュータ(PC)に採点結果を表示してもよい。
11 身体位置情報取得手段
12 身体部位認識手段
13 身体動作採点手段
14 採点結果表示手段
15 条件データ作成手段
101 メイン画面
102 お手本画像
103 振り付けの一連の動作(一連の動作)
104 判定タイミングを示す表示(四角のフレーム)
105 採点対象者画像
106 ピンポイント採点結果表示
107 総合採点結果表示
S:肩部領域
H:ヒップ領域
Claims (9)
- 採点対象者の身体位置情報を時系列的に取得する身体位置情報取得手段と、
前記取得した身体位置情報における各部の位置を時系列的に認識し、かつ、ある部位を基準として他の部位の位置を相対的に認識する身体部位認識手段と、
前記身体部位認識手段によって認識された身体の部位の位置を、予め準備した比較条件と時系列的に照合して採点する身体動作採点手段と、
採点された結果を表示する採点結果表示手段と
を含むことを特徴とする身体動作採点装置。 - 前記身体動作採点手段において、前記時系列的に比較した採点は、ある特定の採点のタイミング及び前記特定の採点のタイミングの前後の採点タイミングが決められており、前記特定の採点のタイミング及び前記前後の採点タイミングにおける複数の採点に対し、採点のタイミング毎に重み付をして取得点候補とし、前記複数の取得点候補の中から、予め決められた基準によって一つの取得点候補を得点として採用することを特徴とする請求項1記載の身体動作採点装置。
- 前記複数の取得点候補から一つの取得点候補を採用する基準は、複数の取得点候補の中で最も高いものを採用するという基準であることを特徴とする請求項2記載の身体動作採点装置。
- 前記身体動作採点手段において、前記身体部位認識手段によって認識された身体の部位の位置を、予め準備した比較条件と時系列的に照合しての採点は、予め準備したお手本のある部位とお手本の別のある部位との位置関係を表した条件データと、前記身体部位認識手段によって認識された身体部位の位置とを照合した採点であり、前記条件データは、条件を満たした場合の得点を含むことを特徴とする請求項1から3のいずれか一項に記載の身体動作採点装置。
- さらに、前記条件データを作成する条件データ作成手段を含み、
前記条件データ作成手段は、
身体の複数の注目点を特定する手段と、
前記複数の注目点の中の二点における位置関係を比較した結果を予め決められた得点と関連付けて条件データに記録する手段とを含む
ことを特徴とする請求項4記載の身体動作採点装置。 - 採点対象者の身体位置情報を時系列的に取得する身体位置情報取得手段と、
前記取得した身体位置情報における各部の位置を時系列的に認識し、前記身体部位認識手段によって認識された身体の部位の位置を、予め準備した比較条件と時系列的に照合して採点する身体動作採点手段と、
採点された結果を表示する採点結果表示手段と
を含み、
前記身体動作採点手段において、前記時系列的に比較した採点は、ある特定の採点のタイミング及び前記特定の採点のタイミングの前後の採点タイミングが決められており、前記特定の採点のタイミング及び前記前後の採点タイミングにおける複数の採点に対し、採点のタイミング毎に重み付をして取得点候補とし、前記複数の取得点候補の中から、予め決められた基準によって一つの取得点候補を得点として採用することを特徴とする身体動作採点装置。 - 請求項1から5のいずれか一項に記載の身体動作採点装置を含むダンス採点装置。
- 請求項1から5のいずれか一項に記載の身体動作採点装置を含むカラオケ装置。
- 請求項1から5のいずれか一項に記載の身体動作採点装置を含むゲーム装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/781,641 US10803762B2 (en) | 2013-04-02 | 2014-02-18 | Body-motion assessment device, dance assessment device, karaoke device, and game device |
JP2015509943A JP6082101B2 (ja) | 2013-04-02 | 2014-02-18 | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 |
CN201480017637.XA CN105228708B (zh) | 2013-04-02 | 2014-02-18 | 身体动作评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
EP14779810.2A EP2982422A1 (en) | 2013-04-02 | 2014-02-18 | Body-motion assessment device, dance assessment device, karaoke device, and game device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-077144 | 2013-04-02 | ||
JP2013077144 | 2013-04-02 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014162787A1 true WO2014162787A1 (ja) | 2014-10-09 |
Family
ID=51658091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/053782 WO2014162787A1 (ja) | 2013-04-02 | 2014-02-18 | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10803762B2 (ja) |
EP (1) | EP2982422A1 (ja) |
JP (1) | JP6082101B2 (ja) |
CN (1) | CN105228708B (ja) |
WO (1) | WO2014162787A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
CN110852137A (zh) * | 2018-08-20 | 2020-02-28 | 吉林大学 | 一种个体紧张评估方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101711488B1 (ko) * | 2015-01-28 | 2017-03-03 | 한국전자통신연구원 | 동작 기반 인터랙티브 서비스 방법 및 시스템 |
CN105749537B (zh) * | 2016-02-02 | 2018-07-20 | 四川长虹电器股份有限公司 | 一种运动辅助打分系统 |
CN109310912A (zh) * | 2016-06-16 | 2019-02-05 | 皇家飞利浦有限公司 | 运动康复系统和方法 |
CN106411889A (zh) * | 2016-09-29 | 2017-02-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种分组运动的方法、终端和系统 |
CN106861167B (zh) * | 2017-03-08 | 2019-05-28 | 深圳国微技术有限公司 | 一种形体矫正方法及形体矫正设备 |
CN107754224A (zh) * | 2017-10-27 | 2018-03-06 | 姜俊 | 一种动作评分装置和方法 |
CN107968921B (zh) * | 2017-11-23 | 2020-02-28 | 香港乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN107920269A (zh) * | 2017-11-23 | 2018-04-17 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN107978308A (zh) * | 2017-11-28 | 2018-05-01 | 广东小天才科技有限公司 | 一种k歌评分方法、装置、设备及存储介质 |
KR102097534B1 (ko) * | 2018-07-25 | 2020-04-06 | 주식회사 키네틱랩 | 사용자의 모션 인식 기반 댄스 게임을 제공하는 방법 및 장치 |
CN109621425B (zh) * | 2018-12-25 | 2023-08-18 | 广州方硅信息技术有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN109985380A (zh) * | 2019-04-09 | 2019-07-09 | 北京马尔马拉科技有限公司 | 互联网游戏人机交互方法及系统 |
KR102201050B1 (ko) * | 2019-07-04 | 2021-01-11 | 주식회사 펀웨이브 | 댄스모션 분석 평가장치 및 방법 |
CN113596590B (zh) * | 2020-04-30 | 2022-08-26 | 聚好看科技股份有限公司 | 显示设备及播放控制方法 |
CN116074564A (zh) * | 2019-08-18 | 2023-05-05 | 聚好看科技股份有限公司 | 一种界面显示方法及显示设备 |
CN113678137B (zh) * | 2019-08-18 | 2024-03-12 | 聚好看科技股份有限公司 | 显示设备 |
JP7393720B2 (ja) | 2019-10-29 | 2023-12-07 | オムロン株式会社 | 技能評価装置、技能評価方法及び技能評価プログラム |
CN111563487B (zh) * | 2020-07-14 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 基于姿态识别模型的舞蹈评分方法及相关设备 |
US11922822B2 (en) | 2020-10-01 | 2024-03-05 | Agt International Gmbh | Method of scoring a move of a user and system thereof |
EP4221855A1 (en) * | 2020-10-01 | 2023-08-09 | AGT International GmbH | A computerized method for facilitating motor learning of motor skills and system thereof |
CN113051435B (zh) * | 2021-03-15 | 2023-10-27 | 聚好看科技股份有限公司 | 服务器及媒资打点方法 |
CN112272324B (zh) * | 2020-10-15 | 2023-03-14 | 聚好看科技股份有限公司 | 一种跟练模式控制方法及显示设备 |
CN113171606B (zh) * | 2021-05-27 | 2024-03-08 | 朱明晰 | 人机交互方法、系统、计算机可读存储介质及交互装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207347A (ja) * | 1997-01-27 | 1998-08-07 | Xing:Kk | 動作比較装置 |
JP3452783B2 (ja) | 1998-01-27 | 2003-09-29 | 株式会社第一興商 | 振り付け採点機能を有するカラオケ装置 |
JP2009213782A (ja) * | 2008-03-12 | 2009-09-24 | Xing Inc | 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム |
JP2010253322A (ja) * | 2010-08-20 | 2010-11-11 | Namco Bandai Games Inc | ゲーム装置及び情報記憶媒体 |
JP2011062352A (ja) * | 2009-09-17 | 2011-03-31 | Koki Hashimoto | 運動モーション教示装置および遊戯施設 |
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
JP2012115539A (ja) * | 2010-12-02 | 2012-06-21 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
US20120214594A1 (en) * | 2011-02-18 | 2012-08-23 | Microsoft Corporation | Motion recognition |
JP2013116311A (ja) * | 2011-11-04 | 2013-06-13 | Konami Digital Entertainment Co Ltd | ゲーム装置、詳細提示方法、および、プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050153265A1 (en) * | 2002-12-31 | 2005-07-14 | Kavana Jordan S. | Entertainment device |
CN101470898B (zh) * | 2007-12-26 | 2012-04-11 | 中国科学院自动化研究所 | 一种双人跳水同步性自动分析方法 |
US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US20110275045A1 (en) * | 2010-01-22 | 2011-11-10 | Foerster Bhupathi International, L.L.C. | Video Overlay Sports Motion Analysis |
JP5628560B2 (ja) * | 2010-06-02 | 2014-11-19 | 富士通株式会社 | 携帯電子機器、歩行軌跡算出プログラム及び歩行姿勢診断方法 |
WO2012061804A1 (en) * | 2010-11-05 | 2012-05-10 | Nike International Ltd. | Method and system for automated personal training |
US8929612B2 (en) * | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US9345957B2 (en) * | 2011-09-30 | 2016-05-24 | Microsoft Technology Licensing, Llc | Enhancing a sport using an augmented reality display |
-
2014
- 2014-02-18 EP EP14779810.2A patent/EP2982422A1/en not_active Withdrawn
- 2014-02-18 JP JP2015509943A patent/JP6082101B2/ja active Active
- 2014-02-18 CN CN201480017637.XA patent/CN105228708B/zh active Active
- 2014-02-18 US US14/781,641 patent/US10803762B2/en active Active
- 2014-02-18 WO PCT/JP2014/053782 patent/WO2014162787A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207347A (ja) * | 1997-01-27 | 1998-08-07 | Xing:Kk | 動作比較装置 |
JP3452783B2 (ja) | 1998-01-27 | 2003-09-29 | 株式会社第一興商 | 振り付け採点機能を有するカラオケ装置 |
JP2009213782A (ja) * | 2008-03-12 | 2009-09-24 | Xing Inc | 運動支援装置、運動支援システム、運動支援方法及びコンピュータプログラム |
JP2011062352A (ja) * | 2009-09-17 | 2011-03-31 | Koki Hashimoto | 運動モーション教示装置および遊戯施設 |
JP2010253322A (ja) * | 2010-08-20 | 2010-11-11 | Namco Bandai Games Inc | ゲーム装置及び情報記憶媒体 |
WO2012039467A1 (ja) * | 2010-09-22 | 2012-03-29 | パナソニック株式会社 | 運動支援システム |
JP2012115539A (ja) * | 2010-12-02 | 2012-06-21 | Konami Digital Entertainment Co Ltd | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
US20120214594A1 (en) * | 2011-02-18 | 2012-08-23 | Microsoft Corporation | Motion recognition |
JP2013116311A (ja) * | 2011-11-04 | 2013-06-13 | Konami Digital Entertainment Co Ltd | ゲーム装置、詳細提示方法、および、プログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019049216A1 (ja) | 2017-09-05 | 2019-03-14 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
US11645872B2 (en) | 2017-09-05 | 2023-05-09 | Fujitsu Limited | Scoring method, scoring apparatus, and recording medium |
CN110852137A (zh) * | 2018-08-20 | 2020-02-28 | 吉林大学 | 一种个体紧张评估方法 |
CN110852137B (zh) * | 2018-08-20 | 2022-08-30 | 吉林大学 | 一种个体紧张评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014162787A1 (ja) | 2017-02-16 |
EP2982422A1 (en) | 2016-02-10 |
US20160042652A1 (en) | 2016-02-11 |
US10803762B2 (en) | 2020-10-13 |
CN105228708B (zh) | 2017-08-29 |
JP6082101B2 (ja) | 2017-02-15 |
CN105228708A (zh) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6082101B2 (ja) | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 | |
US10923224B2 (en) | Non-transitory computer-readable recording medium, skill determination method, skill determination device and server | |
WO2018070414A1 (ja) | 運動認識装置、運動認識プログラムおよび運動認識方法 | |
CN101964047B (zh) | 一种基于多跟踪点的人体动作识别方法 | |
CN109074641B (zh) | 骨骼估计装置、骨骼估计方法以及骨骼估计程序 | |
CN105229666A (zh) | 3d图像中的运动分析 | |
EP3366359A1 (en) | Evaluation information providing system and evaluation information providing method | |
KR20170128260A (ko) | 다양하게 선택가능한 전문지식 내용을 포함하는 쌍방향 기능 훈련 내용의 공급을 가능하게 하는 구조, 장치 및 방법 | |
JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
JP2019136493A (ja) | 運動の採点方法、システム及びプログラム | |
JP6677319B2 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
US11935330B2 (en) | Object fitting using quantitative biomechanical-based analysis | |
US20230245366A1 (en) | 3d avatar generation using biomechanical analysis | |
JP7236694B2 (ja) | 情報処理方法、及び情報処理システム | |
Tang et al. | Research on Sports Dance Movement Detection Based on Pose Recognition. | |
CN113409651A (zh) | 直播健身方法、系统、电子设备、存储介质 | |
JP7409390B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
JP6999543B2 (ja) | インタラクティブスキルトレーニングコンテンツの配信への応用を含む、身体的に実行されるスキルの分析を可能にするように構成されるフレームワークおよび方法 | |
Shahjalal et al. | An approach to automate the scorecard in cricket with computer vision and machine learning | |
KR102095647B1 (ko) | 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법 | |
EP4151291A1 (en) | Information processing device, information processing method, and program | |
JPWO2018122957A1 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
Bascones | Cloud point labelling in optical motion capture systems | |
JP7272470B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
US20240185638A1 (en) | Object fitting using quantitative biomechanical-based analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201480017637.X Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14779810 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015509943 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014779810 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14781641 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |