JP7067561B2 - 採点方法、採点プログラムおよび採点装置 - Google Patents

採点方法、採点プログラムおよび採点装置 Download PDF

Info

Publication number
JP7067561B2
JP7067561B2 JP2019540162A JP2019540162A JP7067561B2 JP 7067561 B2 JP7067561 B2 JP 7067561B2 JP 2019540162 A JP2019540162 A JP 2019540162A JP 2019540162 A JP2019540162 A JP 2019540162A JP 7067561 B2 JP7067561 B2 JP 7067561B2
Authority
JP
Japan
Prior art keywords
posture
evaluation
athlete
specified
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019540162A
Other languages
English (en)
Other versions
JPWO2019049216A1 (ja
Inventor
宏久 内藤
剛 松本
智 清水
彰彦 矢吹
秀明 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2019049216A1 publication Critical patent/JPWO2019049216A1/ja
Application granted granted Critical
Publication of JP7067561B2 publication Critical patent/JP7067561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065Evaluating the fitness, e.g. fitness level or fitness index
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071Distinction between different activities, movements, or kind of sports performed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/06363D visualisation

Description

本発明は、採点方法等に関する。
体操競技として、男子は床運動、あん馬、つり輪、跳馬、平行棒、鉄棒の6種目、女子は跳馬、段違い平行棒、平均台、床運動の4種目が行われている。男女とも跳馬以外の種目では、複数の技を連続して行うことで、1つの演技が構成される。
演技のスコアは、D(Difficulty)スコアとE(Execution)スコアとの合計で算出される。たとえば、Dスコアは、技の成立不成立に基づいて算出されるスコアである。Eスコアは、技の完成度に応じて、減点法により算出されるスコアである。技の成立不成立や、技の完成度は、採点規則を記したルールブックに基づく、審判員の目視により判断される。
特開2016-81504号公報 米国特許出願公開第2016/104298号 国際公開第2014/162787号 米国特許出願公開第2016/042652号
しかしながら、上述した従来技術では、採点競技の、技の成立不成立と完成度との両方を審判することができないという問題がある。
採点競技では、審判員が、選手の身体の角度に応じて、技の成立不成立、出来栄えを判断しているが、人間の目では、正確に角度を測ることが難しい。
また、審判員が用いるルールブックは、曖昧な表現が多い。たとえば、静止技は、ある姿勢で2秒間静止することで成立するが、人間の体は完全に静止させることが難しいため、静止に関して、ある程度の許容範囲を設けているが、明確な判断基準がない。このため、審判員が、各選手を公平に採点することが難しい。更に、採点対象となる技は複雑化しており、公平に採点することがますます難しくなっている。
1つの側面では、本発明は、採点競技の、技の成立不成立と完成度との両方を審判することができる採点方法、採点プログラムおよび採点装置を提供することを目的とする。
第1の案では、コンピュータに下記の処理を実行させる。コンピュータは、採点競技の競技者を測定したセンサデータを取得する。コンピュータは、センサデータの解析結果に基づき、競技者の関節情報を抽出する。コンピュータは、一連の関節の動きと関節の角度とで指定される姿勢と、評価項目と、出来栄えを評価する評価指標とを対応づけたルールに基づき、競技者の関節情報に対応する評価項目および評価指標を取得する。コンピュータは、解析結果と評価項目と評価指標に基づき、競技者の演技の中での技の成立不成立と完成度とを評価する。
採点競技の、技の成立不成立と完成度との両方を審判することができる。
図1は、本実施例に係る採点システムの一例を示す図である。 図2は、静止姿勢の一例を示す図である。 図3は、運動姿勢の一例を示す図である。 図4は、つり輪の演技の一例を示す図である。 図5は、本実施例に係る採点装置の構成を示す機能ブロック図である。 図6は、本実施例に係るセンシングDBのデータ構造の一例を示す図である。 図7は、本実施例に係る関節定義データの一例を示す図である。 図8は、本実施例に係る関節位置DBのデータ構造の一例を示す図である。 図9は、本実施例に係る3DモデルDBのデータ構造の一例を示す図である。 図10は、本実施例に係る技認識DBのデータ構造の一例を示す図である。 図11は、静止姿勢名と静止姿勢成立条件との関係の一例を説明するための図である。 図12は、静止姿勢成立条件の各アングルを補足説明するための図である。 図13は、運動姿勢名と運動姿勢成立条件との関係の一例を説明するための図である。 図14は、運動姿勢成立条件を補足説明するための図である。 図15は、本実施例に係るルールDBのデータ構造の一例を示す図である。 図16は、姿勢名と評価項目との関係の一例を示す図である。 図17は、十字の腕角度の一例を示す図である。 図18は、腰の曲がり角度の一例を示す図である。 図19は、膝の曲がり角度の一例を示す図である。 図20は、評価項目と評価指標との関係の一例を示す図である。 図21は、本実施例に係る評価部が姿勢を認識する処理の一例を説明するための図である。 図22は、跳馬の演技の一例を示す図である。 図23は、つり輪の演技の一例を示す図である。 図24は、表示画面の一例を示す図(1)である。 図25は、表示画面の一例を示す図(2)である。 図26は、表示画面の一例を示す図(3)である。 図27は、表示画面の一例を示す図(4)である。 図28は、表示画面の一例を示す図(5)である。 図29は、表示画面の一例を示す図(6)である。 図30は、表示画面の一例を示す図(7)である。 図31は、表示画面の一例を示す図(8)である。 図32は、本実施例に係る採点装置の処理手順を示すフローチャートで(1)ある。 図33は、本実施例に係る採点装置の処理手順を示すフローチャートで(2)ある。 図34は、採点装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する採点方法、採点プログラムおよび採点装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係る採点システムの一例を示す図である。図1に示すように、この採点システムは、3D(3 dimension)レーザセンサ20と、採点装置100とを有する。採点装置100は、3Dレーザセンサ20に接続される。
3Dレーザセンサ20は、選手10に対して3Dセンシングを行うセンサである。3Dレーザセンサ20は、センシング結果となるセンサデータを、採点装置100に出力する。なお、3Dレーザセンサ20は、選手10までの距離を計測可能な距離画像センサの一例である。
たとえば、センサデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。各フレームには、3Dレーザセンサ20から、選手10上の各点までの距離情報が含まれる。センサデータを用いることで、各フレームにおける選手10の各関節の3次元位置を推定し、選手10の3Dモデルを生成することができる。
選手10は、3Dレーザセンサ20の前方で、採点対象となる所定の演技を行う。選手10は、競技者の一例である。本実施例では一例として、選手10が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。
たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。
体操は、連続する運動であるが、連続する運動の中には複数の技が連続して存在する。また、体操の始めや間には、技には該当しない「つなぎ」の動きが存在する場合がある。体操の演技の中で、技や技を構成する基本運動の姿勢、技の切れ目の姿勢を見ることで、審判員は、技の成立、不成立や、技の完成度を判断し、評価を行う。
ここで、「姿勢」とは、頭部、体幹、四肢の相対的位置関係を示すものである。本実施例では一例として、技の切れ目等において静止状態を保持すべき姿勢を「静止姿勢」と表記する。動きのある姿勢を「運動姿勢」と表記する。
図2は、静止姿勢の一例を示す図である。静止姿勢は、技の切れ目に、選手10が行う姿勢である。たとえば、静止姿勢には、懸垂、支持、逆懸垂、水平支持、倒立、十字倒立等が含まれる。図2に示す静止姿勢は一例であり、他にも静止姿勢は存在する。
図3は、運動姿勢の一例を示す図である。たとえば、つり輪の運動姿勢(一部)1には、振動(前半)1-1、振動(後半)1-2が含まれる。跳馬の運動姿勢2には、第1局面2-1と、第2局面2-2とが含まれる。
図4は、つり輪の演技の一例を示す図である。図4に示すように、つり輪の演技3には、運動姿勢3-1~3-10が含まれる。
運動姿勢3-1は、技「後ろ振り上がり水平支持(2秒)」に対応する。運動姿勢3-1の技の切れ目には、静止姿勢3-(1)が含まれる。
運動姿勢3-2は、技「ほん転逆上がり中水平支持(2秒)」に対応する。運動姿勢3-2の技の切れ目には、静止姿勢3-(2)が含まれる。
運動姿勢3-3は、技「後ろ振り上がり十字倒立」に対応する。運動姿勢3-3の技の切れ目には、静止姿勢3-(3)が含まれる。
運動姿勢3-4は、技「屈伸ヤマワキ」に対応する。運動姿勢3-4の技の切れ目には、静止姿勢3-(4)が含まれる。
運動姿勢3-5は、技「後ろ振り上がり中水平支持(2秒)」に対応する。運動姿勢3-5の技の切れ目には、静止姿勢3-(5)が含まれる。
運動姿勢3-6は、技「後ろ振り上がり上水平支持(2秒)」に対応する。運動姿勢3-6の技の切れ目には、静止姿勢3-(6)が含まれる。
運動姿勢3-7は、技「アザリアン」に対応する。運動姿勢3-7の技の切れ目には、静止姿勢3-(7)が含まれる。
運動姿勢3-8は、技「ほん転倒立(2秒)」に対応する。運動姿勢3-8の技の切れ目には、静止姿勢3-(8)が含まれる。
運動姿勢3-9は、技「振り上がり倒立(2秒)」に対応する。運動姿勢3-9の技の切れ目には、静止姿勢3-(9)が含まれる。
運動姿勢3-10は、技「後方かかえこみ2回宙返り2回ひねり下り」に対応する。運動姿勢3-10の技の切れ目には、静止姿勢3-(10)が含まれる。
図1の説明に戻る。採点装置100は、選手10が行う演技のD(Difficulty)スコアとE(Execution)スコアを採点する装置である。たとえば、採点装置100は、演技を行う選手10に対するセンサデータを基にして、選手10の関節情報を抽出し、選手10が行った演技中の姿勢(静止姿勢および運動姿勢)を推定する。採点装置100は、推定した姿勢を評価する際の見るべきポイントを示した評価項目と、評価項目に関して評価の指標を示した評価指標を取得する。採点装置100は、選手の関節情報と、評価項目と、評価指標を基にして、選手10の演技中での技の評価を行う。
図5は、本実施例に係る採点装置の構成を示す機能ブロック図である。図5に示すように、この採点装置100は、インタフェース部110、通信部120、入力部130、表示部140、記憶部150、制御部160を有する。
インタフェース部110は、3Dレーザセンサ20と接続し、3Dレーザセンサ20からセンサデータを取得する装置である。インタフェース部110は、取得したセンサデータを、制御部160に出力する。また、図示を省略するが、インタフェース部110は、映像を撮影するカメラに接続されていてもよい。インタフェース部110は、映像データを、制御部160に出力する。
通信部120は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部120は、通信装置に対応する。採点装置100は、ネットワークを介して、3Dレーザセンサ20に接続されてもよい。この場合には、通信部120は、ネットワークを介して、3Dレーザセンサ20からセンサデータを取得する。
入力部130は、採点装置100に各種の情報を入力するための入力装置である。入力部130は、キーボード、マウス、タッチパネル等に対応する。
表示部140は、制御部160から出力される表示画面の情報を表示する表示装置である。表示部140は、液晶ディスプレイ、タッチパネル等に対応する。
記憶部150は、センシングDB(Data Base)151、関節定義データ152、関節位置DB153、3DモデルDB154、技認識DB155、ルールDB156を有する。記憶部150は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
センシングDB151は、3Dレーザセンサ20から取得するセンサデータを格納するDBである。図6は、本実施例に係るセンシングDBのデータ構造の一例を示す図である。図6に示すように、このセンシングDB151は、記録IDと、フレーム番号と、フレームとを対応づける。記録ID(Identification)は、選手10が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の記録IDに対応する各フレームを一意に識別する番号である。フレームは、3Dレーザセンサ20にセンシングされたセンサデータに含まれるフレームである。
関節定義データ152は、競技者(選手10)の各関節位置を定義するものである。図7は、本実施例に係る関節定義データの一例を示す図である。図7に示すように、関節定義データ152は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図7に示すように、右肩関節(SHOULDER_RIGHT)には7番が付与され、左肘関節(ELBOW_LEFT)には5番が付与され、左膝関節(KNEE_LEFT)には11番が付与され、右股関節(HIP_RIGHT)には14番が付与される。ここで、本実施例では、8番の右肩関節のX座標をX8、Y座標をY8、Z座標をZ8と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。
関節位置DB153は、3Dレーザセンサ20のセンシングデータを基に生成される選手10の各関節の位置データである。図8は、本実施例に係る関節位置DBのデータ構造の一例を示す図である。図8に示すように、この関節位置DB153は、記録IDと、フレーム番号と、「X0、Y0、Z0、・・・、X17、Y17、Z17」を対応づける。記録IDに関する説明は、センシングDB151で行った説明と同様である。
図8において、フレーム番号は、同一の記録IDに対応する各センシングフレームを一意に識別する番号である。「X0、Y0、Z0、・・・、X17、Y17、Z17」は、各関節のXYZ座標であり、たとえば「X0、Y0、Z0」は、図7に示す0番号の関節の3次元座標である。
図8は、記録ID「P101」のセンシングデータにおける各関節の時系列の変化を示しており、フレーム番号「1」では、各関節の位置が「X0=100、Y0=20、Z0=0、・・・、X17=200、Y17=40、Z17=5」あることを示す。そして、フレーム番号「2」では、各関節の位置が「X0=101、Y0=25、Z0=5、・・・、X17=202、Y17=39、Z17=15」へ移動したことを示す。
3DモデルDB154は、センサデータを基に生成される選手10の3Dモデルの情報を格納するデータベースである。図9は、本実施例に係る3DモデルDBのデータ構造の一例を示す図である。図9に示すように、3DモデルDB154は、記録IDと、フレーム番号と、骨格データと、3Dモデルデータとを対応づける。記録ID、フレーム番号に関する説明は、センシングDB151で行った説明と同様である。
骨格データは、各関節位置を接続することで推定される選手10の骨格を示すデータである。3Dモデルデータは、センサデータから得られる情報と、骨格データとを基にして推定される選手10の3Dモデルのデータである。
技認識DB155は、選手10が行う演技に含まれる技(静止姿勢、運動姿勢)を認識する場合に用いられるDBである。図10は、本実施例に係る技認識DBのデータ構造の一例を示す図である。図10に示すように、技認識DB155は、テーブル155aと、テーブル155bとを有する。
テーブル155aは、静止姿勢名と、静止姿勢成立条件とを対応づける。静止姿勢名は、静止姿勢を一意に特定する名称を示す。静止姿勢成立条件は、静止姿勢が成立する条件を示すものである。以下において、静止姿勢名と、静止姿勢成立条件との関係の一例について説明する。
図11は、静止姿勢名と静止姿勢成立条件との関係の一例を説明するための図である。図12は、静止姿勢成立条件の各アングルを補足説明するための図である。
図11に示すように、たとえば、静止姿勢名「十字懸垂」は、静止姿勢成立条件「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」と対応づけられる。「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」、「ニー間隔アングル」を、図12を用いて説明する。
背骨アングル(Spine_Angle of an incline)は、関節0番および2番を通る線分と、z軸とのなす角度である。たとえば、背骨アングルが「θA1以下」である場合には、競技者の体の中心が鉛直上方向であることを示す。
ヒップアングル(Hip_Angle between body)は、関節0番および1番を通る線分と、関節10番および関節11番を通る線分とのなす角度である。または、ヒップアングルは、関節0番および1番を通る線分と、関節14番および関節15番を通る線分とのなす角度である。たとえば、ヒップアングルが「θA2以上」である場合には、競技者の腰が伸びていることを示す。
アームアングル(Arm_Angle between body)は、関節1番および関節2番を通る線分と、関節4番および関節5番を通る線分とのなす角度である。また、アームアングルは、関節1番および関節2番を通る線分と、関節7番および関節8番を通る線分とのなす角度である。たとえば、アームアングルが「θA31~θA32」である場合には、競技者の手が横に伸びていることを示す。
エルボーアングル(Elbow_Angle)は、関節4番および5番を通る線分と、関節5番と6番とを通る線分とのなす角度である。また、エルボーアングルは、関節7番および8番を通る線分と、関節8番と9番とを通る線分とのなす角度である。たとえば、エルボーアングルが「θA5以上」である場合には、競技者の肘が伸びていることを示す。
ニーアングルは(Knee_Angle)は、関節10番および11番を通る線分と、関節11番および関節12番を通る線分とのなす角度である。また、ニーアングルは、関節14番および15番を通る線分と、関節15番および関節16番を通る線分とのなす角度である。たとえば、ニーアングルが「θA5以上」である場合には、競技者の膝が伸びていることを示す。
ニー間隔アングル(Knees_sep. Angle)は、関節10番および11番を通る線分と、関節14番および15番を通る直線とのなす角度である。たとえば、ニー間隔アングルが「θA6」である場合には、競技者の足が開いていないことを示す。
たとえば、図11に示す例では、背骨アングルが「θA1以下」、ヒップアングルが「θA2以上」、アームアングルが「θA31~θA32」、エルボーアングルが「θA5以上」、ニーアングルが「θA5以上」、ニー間隔アングルが「θA6以下」という各成立条件を全て満たす場合に、静止姿勢名が「十字懸垂」となる。
テーブル155bは、運動姿勢名と、運動姿勢成立条件とを対応づける。運動姿勢名は、運動姿勢を一意に特定する名称を示す。運動姿勢成立条件は、運動姿勢が成立する条件を示すものである。
図13は、運動姿勢名と運動姿勢成立条件との関係の一例を説明するための図である。図14は、運動姿勢成立条件を補足説明するための図である。
図13に示すように、たとえば、運動姿勢名「B1」は、運動姿勢成立条件「踏切時ひねり角度」、「宙返り回数」、「伸曲姿勢」、「1.0局面のひねり回数」、「1.5局面のひねり回数」、「1.5-2.0局面のひねり回数」と対応づけられる。
運動姿勢B1(クエルボ一回ひねり;別名:前転とびひねり後方抱え込み宙返り1回ひねり)に対応する選手の一連の動きは、図14のB1に示すものである。運動姿勢B1は、1.0局面、1.5局面、2.0局面に区切られる。運動姿勢B1の運動姿勢成立条件は、踏切時にひねり角度が「θB1」、宙返り回数「m11回」、伸曲姿勢「抱え込み」である。更に、運動姿勢B1の運動姿勢成立条件は、1.0局面のひねり回数「m12回」、1.5局面のひねり回数「m13回」、1.5-2.0局面のひねり回数「m14回」である。
運動姿勢B2(伸身ユルチェンコ7/2ひねり)に対応する選手の一連の動きは、図14のB2に示すものである。運動姿勢B2は、1.0局面、2.0局面に区切られ、1.5局面を見ない。運動姿勢B2の運動姿勢成立条件は、踏切時にひねり角度が「θB2」、宙返り回数「m21回」、伸曲姿勢「伸身」である。更に、運動姿勢B2の運動姿勢成立条件は、1.0局面のひねり回数「m23回」、1.5-2.0局面のひねり回数「m24回」である。
図5の説明に戻る。ルールDB156は、姿勢に関するDスコアおよびEスコアを採点する場合の評価項目(見るべきポイント)と、評価指標とを対応づけるDBである。図15は、本実施例に係るルールDBのデータ構造の一例を示す図である。図15に示すように、このルールDB156は、姿勢名と、評価項目と、評価指標とを対応づける。
姿勢名は、静止姿勢名または運動姿勢に含まれるある姿勢の名前を示すものである。評価項目は、姿勢に関してDスコアおよびEスコアを採点する場合の見るべきポイントを示すものである。評価指標は、各評価項目について、DスコアおよびEスコアを採点する場合の指標(採点基準)を示すものである。
図16は、姿勢名と評価項目との関係の一例を示す図である。
評価項目は、Dスコア、Eスコアを採点する場合の見るべきポイントを示すものである。たとえば、評価項目は、水平角度、十字の腕角度、振動静止の肩位置、脚前拳腰角度の逸脱、倒立角度の逸脱、ひねりまたは転向を含む。姿勢に対応する評価項目には、円印が設置される。たとえば、姿勢が「十字懸垂」である場合には、評価項目は「十字の腕角度」となる。
また、評価項目は、肩、腰、肘、膝、つま先、脚の開き、深い握り、過度のケーブルの揺れを含む。姿勢に対する評価項目には、円印が設置される。たとえば、姿勢が「十字懸垂」である場合には、判定項目は「肩、腰、肘、膝、つま先、脚の開き、深い握り、過度のケーブルの揺れ」となる。
一例として、評価項目の「十字の腕角度」について説明する。図17は、十字の腕角度の一例を示す図である。十字の腕角度は、右手の腕角度θ1と、左手の腕角度θ1とに対応する。図17に示す選手10の関節(4)、(6)、(7)、(9)は、図7で説明した関節番号4、6、7、9にそれぞれ対応する。腕角度θ1は、式(1a)により算出される。腕角度θ1は、式(2a)により算出される。
θ1=asin[Z4-Z6]/sqrt{(X6-X4)^2+(Y6-Y4)^2+(Z6-Z4)^2}・・・(1a)
θ1R=asin[Z7-Z9]/sqrt{(X9-X7)^2+(Y9-Y7)^2+(Z9-Z7)^2}・・・(2a)
なお、十字懸垂と十字倒立では、計算式は同じものを使用する。十字懸垂の角度を算出すると、値が負となる場合があるが、この場合には、絶対値を用いる。
一例として、評価項目の「腰」に対応する「腰の曲がり角度」について説明する。図18は、腰の曲がり角度の一例を示す図である。図18に示す選手10の関節(0)、(2)、(4)、(7)、(10)、(11)、(14)、(15)は、図7で説明した関節番号0、2、4、7、10、11、14、15にそれぞれ対応する。ここでは説明の便宜上、腰(0)および肩の中心点(2)の線分と、左踵(10)および左膝(11)の線分とのなす角度θ2を算出する場合について説明する。たとえば、選手10が身体をまっすぐ伸ばした状態では、角度θ2は180°となる。選手10が身体を直角に曲げた状態では、角度θ2は90°となる。
腰の曲がり角度は、ベクトルの内積の原理から角度の絶対値を式(3a)に基づいて求め、角度の符号を、式(4a)に基づいて算出する。また、式(4a)のLx、Ly、Lzは、式(5a)~(7a)により定義される。
|θ2L|=acos[(X11-X10)(X2-X0)+(Y11-Y10)(Y2-Y0)+(Z11-Z10)(Z2-Z0)/sqrt{(X11-X10)2+(Y11-Y10)2+(Z11-Z10)2}{(X2-X0)2+(Y2-Y0)2+(Z2-Z0)2}]・・・(3a)
角度の符号=sign[Lx(X14-X10)+ Ly(Y14-Y10)+ Lz(Z14-Z10)]・・・(4a)
Lx=(Y11-Y10)(Z2-Z0)-(Z11-Z10)(Y2-Y0)・・・(5a)
Ly=(Z11-Z10)(X2-X0)-(X11-X10)(Z2-Z0)・・・(6a)
Lz=(X11-X10)(Y2-Y0)-(Y11-Y10)(X2-X0)・・・(7a)
評価項目の「膝」に対応する「膝の曲がり角度」について説明する。図19は、膝の曲がり角度の一例を示す図である。図19に示す選手10の関節(10)、(11)、(12)、(14)、(15)、(16)は、図7で説明した関節番号10、11、12、14、15、16にそれぞれ対応する。ここでは説明の便宜上、左腰(10)および左膝(11)の線分と、左膝(11)および左踵(12)の線分とのなす角度を、θ3とする。θ3は、式(8a)により算出される。
θ3L=acos[(X10-X11)(X12-X11)+(Y10-Y11)(Y12-Y11)+(Z10-Z11)(Z12-Z11)/sqrt{(X10-X11)2+(Y10-Y11)2+(Z10-Z11)2}{(X12-X11)2+(Y12-Y11)2+(Z12-Z11)2}]・・・(8a)
右腰(14)および右膝(15)の線分と、右膝(15)および右踵(16)の線分とのなす角度を、θ3Rとする。θ3Rは、式(9a)により算出される。θ3Rの図示を省略する。
θ3R=acos[(X14-X15)(X16-X15)+(Y14-Y15)(Y16-Y15)+(Z14-Z15)(Z16-Z15)/sqrt{(X14-X15)2+(Y14-Y15)2+(Z14-Z15)2}{(X16-X15)2+(Y16-Y15)2+(Z16-Z15)2}]・・・(9a)
図15の評価項目に対する評価指標の説明に移行する。図20は、評価項目と評価指標との関係の一例を示す図である。図20に示すように、評価指標は、D評価指標、E評価指標を含み、各評価項目と対応付けられる。D評価指標は、技の成立不成立を判定するための指標である。たとえば、評価項目「十字の腕角度」が、「45°」を超える場合には、技が不成立であることを示している。
E評価指標は、評価項目の値に応じたEスコアの減点数を定義するものである。たとえば、評価項目「十字の腕角度」が「1°~15°」に該当する場合には、Eスコアから「0.1」減点することを示す。評価項目「十字の腕角度」が「16°~30°」に該当する場合には、Eスコアから「0.3」減点することを示す。評価項目「十字の腕角度」が「31°~45°」に該当する場合には、Eスコアから「0.5」減点することを示す。
図5の説明に戻る。制御部160は、登録部161、抽出部162、3Dモデル生成部163、評価部164、出力部165を有する。制御部160は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部160は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
登録部161は、3Dレーザセンサ20からセンサデータを取得し、取得したセンサデータを、センシングDB151に登録する処理部である。登録部161は、センサデータ(フレーム番号、フレーム)をセンシングDB151に登録する際に、記録IDを対応づける。記録IDは、たとえば、センサデータに付加されている。なお、ユーザは、入力部130を操作して、センサデータに対応する記録IDを入力してもよい。
抽出部162は、センシングDB151に格納されたセンサデータを解析し、解析結果を基にして、選手10の各関節の各位置データを時系列に抽出する処理部である。抽出部162は、抽出結果を、関節位置DB153に格納する。
たとえば、抽出部162は、センシングDB151のフレームと、関節定義データ152に定義された各関節の位置関係とを比較して、フレームに含まれる各関節の種別および関節の3次元座標を特定する。抽出部162は、フレーム番号毎に上記の処理を繰り返し実行することで、関節位置DB153を生成する。
3Dモデル生成部163は、関節位置DB153を基にして、各フレーム番号に対応する3Dモデルデータを生成する処理部である。3Dモデル生成部163は、生成した3Dモデルデータを、記録ID、フレーム番号と対応づけて、3DモデルDB154に格納する。
たとえば、3Dモデル生成部163は、関節位置DB153に格納された各関節の3次元座標を、関節定義データ152に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、3Dモデル生成部163は、推定した骨格データを、選手10の体格に合わせた骨格モデルに当てはめることで、3Dモデルデータを生成する。3Dモデル生成部163は、各記録IDのフレーム番号毎に上記処理を繰り返し実行することで、3DモデルDB154を生成する。3Dモデル生成部163は、3Dモデルデータに対応づけて、骨格データを、3DモデルDB154に格納する。
評価部164は、関節位置DB153に格納された一連の関節の動きと、技認識DB155を基にして、選手10の各姿勢(静止姿勢、運動姿勢)を特定する。また、評価部164は、特定した姿勢と、ルールDB156とを基にして、各姿勢に対応する評価項目を特定し、評価項目に応じた評価指標と、各姿勢の解析結果を基にして、DスコアおよびEスコアを評価する。Dスコアは、選手10の演技中での技の成立不成立に基づくスコアである。Eスコアは、選手10の演技中での技の完成度に基づくスコアである。
まず、評価部164が、選手10の各姿勢を特定する処理の一例について説明する。評価部164は、技認識DB155のテーブル155aの静止姿勢成立条件と、フレーム番号毎の各関節位置とを比較し、関節位置に基づく値が、静止姿勢成立条件を満たす場合に、該当するフレーム番号において、該当する静止姿勢が成立したと判定する。
関節位置に基づく値は、図11で説明した背骨アングル、ヒップアングル、アームアングル、エルボーアングル、ニーアングル、ニー間隔アングル等に対応する。
たとえば、フレーム番号nに関して、背骨アングルが「θA1以下」、ヒップアングルが「θA2以上」であるとする。更に、フレーム番号nに関して、アームアングルが「θA31~θA32以下」、エルボーアングルが「θA4以上」、ニーアングルが「θA5以上」、ニー間隔アングルが「θA6以下」で有るとする。この場合には、評価部164は、フレーム番号nにおいて、静止姿勢成立条件を満たすため、静止姿勢名「十字懸垂」の静止姿勢が成立したと判定する。
また、評価部164は、技認識DB155のテーブル155bの運動姿勢成立条件と、あるフレーム間の各関節位置の推移とを比較し、各関節位置の推移が、運動姿勢成立条件を満たす場合に、該当する複数のフレームにおいて、該当する運動姿勢が成立したと判定する。
各関節位置の推移は、図13で説明した踏切時ひねり角度、宙返り回数、伸曲姿勢、1.0局面のひねり回数、1.5局面のひねり回数、1.5-2.0局面のひねり回数などに対応する。
たとえば、フレーム番号m~フレーム番号m+lの各関節位置の推移において、踏切時にひねり角度が「θB1」、宙返り回数「m11」、伸曲姿勢「抱え込み」が含まれるものとする。更に、フレーム番号m~フレーム番号m+lの各関節位置の推移において、1.0局面のひねり回数「m12回」、1.5局面のひねり回数「m13回」、1.5-2.0局面のひねり回数「m14回」であるとする。この場合には、評価部164は、フレーム番号m~m+lにおいて、運動姿勢成立条件を満たすため、運動姿勢名「運動姿勢B1」が成立したと判定する。
図21は、本実施例に係る評価部が姿勢を認識する処理の一例を説明するための図である。図21には、グラフ30と、グラフ40とを示す。グラフ30,40の横軸は、関節0番の助走方向に対応する軸である。グラフ30の縦軸は、関節角度に対応する軸である。グラフ40の縦軸は、跳馬面の中央を原点とした関節位置に対応する軸である。
グラフ30の線分31は、選手10の回転角度を示す。たとえば、回転角度を、第1ベクトルのY-Z平面への投影ベクトルと、Z軸とのarccos角度(角度の履歴)とする。第1ベクトルは、関節1番から関節0番に至るベクトルとする。
グラフ30の線分32は、選手10のひねり角度を示す。たとえば、ひねり角度を、第2ベクトルのX-Y平面への投影ベクトルと、X軸とのarccos角度(角度の履歴)とする。第2ベクトルは、関節14番から関節10番に至るベクトルとする。
グラフ30の線分33は、選手10の腰の角度に対応する。たとえば、腰の角度を、第1ベクトルおよび第3ベクトル間の角度と、第1ベクトルおよび第4ベクトル間の角度とのうち、小さい方の角度(角度の履歴)とする。第3ベクトルは、関節10番から関節11番に至るベクトルとする。第4ベクトルは、関節14番から関節15番に至るベクトルとする。
グラフ30の線分34は、選手10の膝の角度に対応する。たとえば、膝の角度を、第3ベクトルおよび第5ベクトルの間の角度と、第4ベクトルおよび第6ベクトルの間の角度とのうち、小さい方の角度(角度の履歴)とする。第5ベクトルは、関節11番から関節12番に至るベクトルとする。第6ベクトルは、関節15番から関節16番に至るベクトルとする。
グラフ40の線分31は、グラフ30の線分31と同様である。グラフ40の線分41は、選手10の右踵(関節16番)のZ座標の推移に対応する。グラフ40の線分42は、選手10の左踵(関節12番)のZ座標の推移に対応する。グラフ40の線分43は、選手10の右手首(関節9番)のZ座標の推移に対応する。グラフ40の線分44は、選手10の左手首(関節6番)のZ座標の推移に対応する。
評価部164は、グラフ40の関係に基づいて、各局面を判定する。たとえば、評価部164は、線分41,42(踵位置)と所定の閾値との比較により、踏切のポイントP1および着地のポイントP4を判定する。評価部164は、線分43(手首位置)と所定の閾値との比較により、両手着手のポイントP2を判定する。評価部164は、縦軸が正の値を取る範囲で、線分32が0°となるポイントP3を、1.5局面のポイントとして判定する。上記のポイントP1、P2、P3、P4に対応するフレーム番号が、踏切、両手着手(1.0局面)、1.5局面、着地(2.0局面)のタイミング(時点)に相当する。
評価部164は、グラフ30の関係に基づいて、回転数およびひねり回数を判定する。回転数およびひねり回数は、arccos角度(0~π)のターン数を2で除算することで算出することができる。評価部164は、各ベクトルの角度変化の累積値を2πで除算することで、回転数およびひねり回数を算出してもよい。評価部164は、回転数からとび回転数1を引き算することで、宙返り数を求める。
図21のグラフ30では、「ひねり回数」に関して、踏切P1で「0回」、両手着手P2(1.0局面)で「0回」、1.5局面P3で「0回」、2.0局面P4で「0.5回」となる。また、宙返りは「1回」となる。
なお、評価部164は、伸曲姿勢に関して、評価区間における腰および膝の角度を参照することで、判定する。たとえば、腰の角度が135°以上、膝の角度が90°以上となる姿勢を、伸身姿勢と定義している場合には、評価部164は、グラフ30に基づき、選手10の伸曲姿勢を「屈伸姿勢」と判定する。
評価部164は、上記のグラフ30,40の情報と、テーブル155bの運動姿勢成立条件とを比較することで、運動姿勢名を判定する。たとえば、グラフ30、40に対応する運動姿勢名は、図13の運動姿勢B1に対応する。
評価部164は、上記処理を実行することで、選手10が行った演技に含まれる「静止姿勢」および「運動姿勢」を特定する。評価部164は、特定した姿勢と、ルールDB156とを基にして、各姿勢に対応する評価項目を特定し、評価項目に応じた評価指標と、各姿勢の解析結果を基にして、DスコアおよびEスコアを評価する。
評価部164が、Dスコアを評価する処理の一例について説明する。評価部164は、上記処理により特定した姿勢名(静止姿勢、運動姿勢に含まれる姿勢)と、ルールDB156とを比較して、姿勢名に対応する評価項目と、D評価指標とを取得する。
たとえば、図16で説明したように、姿勢名「十字懸垂」に対応する評価項目として「十字の腕角度」を用いる。図20で説明したように、評価項目「十字の腕角度」に対応するD評価指標に示される不成立の条件は「十字の腕角度が、45°を超える」である。評価部164は、姿勢名「十字懸垂」と特定したフレーム番号に対応する関節の位置データを、関節位置DB153から取得し、十字の腕角度を算出する。評価部164は、十字の腕角度が45°未満である場合に、十字懸垂が成立したと判定する(十字懸垂を確定させる)。評価部164は、評価項目「十字の腕角度」以外の評価項目を更に用いて、十字懸垂が成立したか否かを判定してもよい。
評価部164は、運動姿勢に含まれる各姿勢(たとえば、要素となる姿勢)に関しても、静止姿勢と同様にして、技の成立不成立を評価する。たとえば、要素となる姿勢は、ひねりの角度、かかえ込み時姿勢等が含まれる。評価部164は、運動姿勢に含まれる各姿勢が成立していれば、上記特定した運動姿勢が成立していると判定する。
評価部164は、上記処理を実行することで、選手10が行った技(姿勢)を確定し、確定した技に応じたDスコアを付与する。
続いて、評価部164が、Eスコアを評価する処理の一例について説明する。評価部164は、Dスコアを評価する際において確定した技(姿勢)に関して、確定した技の理想的な姿勢と、選手の実際の演技中の姿勢との乖離具合を基にして、減点方式で、Eスコアを評価する。たとえば、Eスコアの初期値は「10」である。
たとえば、図16で説明したように、確定した姿勢名「十字懸垂」に対応する評価項目「十字の腕角度」を用いる。図20で説明したように、評価項目「十字の腕角度」に対応するE評価指標に示されるものは、次のものとなる。評価部164は、「十字の腕角度」が「1°~15°」に該当する場合には、Eスコアから「0.1」減点する。評価部164は、「十字の腕角度」が「16°~30°」に該当する場合には、Eスコアから「0.3」減点する。評価部164は、「十字の腕角度」が「31°~45°」に該当する場合には、Eスコアから「0.5」減点する。
評価部164は、運動姿勢に含まれる各姿勢(たとえば、要素となる姿勢)に関しても、静止姿勢と同様にして、理想的な姿勢と、選手の実際の演技中の姿勢との乖離具合を基にして、減点方式で、Eスコアを評価する。
ここで、評価部164が、跳馬の演技のDスコアおよびEスコアを採点する例について説明する。図22は、跳馬の演技の一例を示す図である。図22に示す跳馬の演技は、第1局面22-1における姿勢(運動の種類)と、第2局面22-2における姿勢(運動の種類)により技の種類が決まる。第1局面22-1は、選手が、踏切22aから跳馬22bに着手するまでの局面である。第2局面22-2は、選手が、跳馬22bを突き放してから、マット22cに着地するまでの局面である。
基本的に技の認定としては、運動の中に所定の要素が含まれていることが条件となる。図22に示す技は「前転とび前方かかえ込み宙返り1回ひねり」である。この技は、第1局面22-1において、選手10は、ひねり等を伴わず、前向きに両手で着手する。第2局面22-2において、選手10は、跳躍の際に1回宙返りを行う間に1回(360°)のひねり動作を行って足から着地する。選手は、空中の宙返りを行う場合に、腰と膝を曲げたかかえ込みの姿勢を取っている。評価部164は、この「前転とび前方かかえ込み宙返り1回ひねり」が成立したと判定した場合にはDスコアとして「3.2」を付与する。
ここで、「前転とび前方かかえ込み宙返り1回ひねり」に関して、評価項目が「第2局面のひねりの大きさ」、「宙返り時のかかえ込みの姿勢」となり、評価項目に対応するD評価指標に基づき、Dスコアの値が補正される。
「第2局面のひねりの大きさ」のDスコアの評価について説明する。たとえば、評価項目「第2局面のひねりの大きさ」に対応するD評価指標は「270°~450°の範囲内」である。また、許容範囲は±90°である。評価部164は、ひねりの角度が90°~270°に含まれる場合には、成立した技を「前転とび前方かかえ込み宙返り1回ひねり」から「前転とび前方かかえ込み宙返りひねり」に補正し(難易度を下げ)、Dスコアを「3.2」から「2.8」に補正する。
一方、評価部164は、ひねりの角度が450°~540°に含まれる場合には、成立した技を「前転とび前方かかえ込み宙返り1回ひねり」から「前転とび前方かかえ込み宙返り3/2ひねり」に補正し(難易度を上げ)、Dスコアを「3.2」から「4.0」に補正する。
「かかえ込みの姿勢」のDスコアの評価について説明する。評価部164は、選手10の膝の曲がり角度と腰の曲がり角度から「かかえ込みの姿勢」を判定する。たとえば、評価項目「かかえ込みの姿勢」に対応するD評価指標は「腰の曲がり角度45°以上、膝曲がり角度90°以上」である。評価部164は、腰の曲がり角度が45°未満である場合には、成立した技を「前転とび前方かかえ込み宙返り1回ひねり」から「前転とび前方伸身宙返り1回ひねり」に補正し、Dスコアを「3.2」から「4.4」に補正する。
評価部164は、膝の曲がり角度が90°未満である場合には、成立した技を「前転とび前方かかえ込み宙返り1回ひねり」から「前転とび前方屈身宙返り1回ひねり」に補正し、Dスコアを「3.2」から「3.6」に補正する。
なお、評価部164は、ひねりの角度が270°~450°に含まれ、また、腰の曲がり角度が45°以上、膝の曲がり角度が90°以上である場合には、Dスコアを「3.2」のままにする。
上記の説明では一例として、「ひねりの角度」、「かかえ込みの姿勢」を用いて、Dスコアを評価する場合について説明したが、更に他の姿勢を用いて、Dスコアが補正される。たとえば、評価部164は、第1局面22-1と第2局面22-2の境目となる跳馬22bの着手の際の選手の姿勢において腰の角度が、45°以上折れ曲がっていない場合には、技不認定となり、Dスコアが付与されない。
上記のように、評価部164は、技を確定した後に、確定した技の本来の理想的な姿勢に対する、選手10の姿勢の乖離具合をチェックすることでEスコアを算出する。評価部164は、乖離具合が大きいほど、Eスコアを小さくする。
評価部164は、第1局面22-1の踏切から、第2局面22-2の着地までの間において、確定した各姿勢に対する評価項目において、乖離量がどの範囲に当たるかに応じて、減点を特定し、Eスコアを評価する。ただし、評価項目の中の腰や膝、足首の角度等は、踏切や着地の際に必ず曲がる。このため、評価部164は、予め定められる所定のタイミング(踏切や着地のタイミング)において、所定の関節位置の乖離具合を減点対象外とする。また、乖離量については、最大値(最小値)、平均、標準偏差の範囲、または、区間内の総量のうち、いずれかで算出してもよい。また、乖離量を算出する区間を限定してもよい。
評価部164は、運動姿勢に関する技の切れ目として、腰の座標および手の座標によって第1局面22-1、第2局面22-2を判定する。評価部164は、第1局面22-1の選手10の身体の正面方向のベクトル推移から、前転跳びであるか、側転跳びであるか、または、そのロンダートからの跳躍であるかという運動姿勢の種類を判定する。
評価部164は、第2局面22-2の選手10の身体の上体の推移から跳躍が単なる前転とびか、1回宙返りか2回宙返りかの運動姿勢を判定する。評価部164は、腰の左右方向を結ぶベクトルの推移から宙返りの間の身体のひねり角度の推移を判定する。評価部164は、同様に他の評価項目のパラメータを用いて姿勢を判定し、運動姿勢を確定する。たとえば、図22で説明した技に対応する評価項目は「ひねりの角度」、「かかえ込みの姿勢」、「着地の姿勢」である。評価部164は、各評価項目に対するD評価指標に基づいて、技の成立不成立を判定して、姿勢(静止姿勢、運動姿勢)を確定し、Dスコアを付与する。なお、着地の姿勢に関する説明は省略する。
続いて、評価部164は、決定した姿勢に対応する評価項目を呼び出す。たとえば、評価項目に対応するE評価指標を読み出し、減点の基準値を特定する。基準値は、0(減点なし)、0.1(小欠点)、0.3(中欠点)、0.5(大欠点)のいずれかとなる。評価部164は、評価項目で決定した減点の総和を求め、10点から減点の総和を引き算することで、Eスコアを確定する。
図23は、つり輪の演技の一例を示す図である。つり輪の技は、早い縦回転の運動を行う振動の運動と、特定の姿勢で静止する力を使った運動、特定の静止姿勢からゆっくり次の静止姿勢に移行する運動の3通りの組み合わせがある。
たとえば、運動の切れ目となる技として認定される静止姿勢は13通りある。基本姿勢となる複数通りの静止姿勢ならびに、振動の運動の際の下死点の位置が、技を判定する場合に用いられる。連続した運動の中で運動の切れ目と切れ間の間に含まれる運動が要素となる。評価部164は、要素単体または、複数の要素の組み合わせにより、技(運動姿勢)を判定する。評価部164は、運動要素の難しさに応じたDスコアを付与する。
基本的に技の認定としては、運動の中に所定の要素が含まれていることが条件となる。図23に示す技は「伸腕伸身逆上がり十字懸垂」、通称「アザリアン」である。この技は、つり輪にぶら下がっている懸垂の姿勢から、伸身の姿勢と腕を伸ばした状態を保持したまま逆上がりを行う。その後、腕を横方向に伸ばして、十字の姿勢(十字懸垂)、もしくは脚前拳十字の姿勢をとり、その姿勢を一定時間(たとえば、2秒)保持する。
技「伸腕伸身逆上がり十字懸垂」はDランクの難度の技である。評価部164は、この技が成立したと判定した場合には、Dスコア「0.4」を付与する。
評価部164は、評価項目1~4が全て成立した場合に、技「伸腕伸身逆上がり十字懸垂」が成立したと判定する(技が確定する)。
評価項目1A:ほぼ静止した懸垂状態から開始する。(ステップS10)
評価項目2A:逆上がりの最中に伸身の姿勢並びに、伸腕の状態を維持する。(ステップS11)
評価項目3A:2回目の静止姿勢において、十字懸垂(もしくは脚前拳十字懸垂)としての成立要件を満たす。(ステップS12)
評価項目4A:一定時間の静止が認められる。(ステップS13)
評価項目1Aに関して、評価部164は、評価項目1Aに対応する評価指標を取得し、成立の有無を判定する。たとえば、評価部164は、懸垂姿勢における静止条件を満たしている場合に、評価項目1Aが成立すると判定する。
評価項目2Aに関して、評価部164は、評価項目2Aに対応する評価指標を取得し、成立の有無を判定する。たとえば、評価部164は、逆上がりの実施の間において、伸身の姿勢の要件、肘の曲がり角度の要件、伸腕の要件を満たす場合に、評価項目2Aが成立すると判定する。
評価項目3Aに関して、評価部164は、評価項目3Aに対応する評価指標を取得し、成立の有無を判定する。たとえば、評価部164は、腕の角度(肩位置の水平に対する腕の角度)が、十字の静止の姿勢としての要件を満たしている場合に、評価項目3Aが成立すると判定する。
評価項目4Aに関して、評価部164は、評価項目3Aに対応する評価指標を取得し、成立の有無を判定する。たとえば、評価部164は、十字懸垂(もしくは脚前拳十字懸垂)の姿勢における静止条件の要件を満たす場合に、評価項目4Aが成立すると判定する。
上記のように、評価部164は、技を確定した後に、確定した技の本来の理想的な姿勢に対する乖離具合をチェックすることでEスコアを算出する。評価部164は、乖離具合が大きいほど、Eスコアを小さくする。
評価部164は、図23に示す運動姿勢に含まれる姿勢の評価項目を取得する。たとえば、「伸腕伸身逆上がり十字懸垂」に含まれる各姿勢の評価項目は、腰の曲がり角度、膝の曲がり角度、腕(肘)の曲がり角度、足(踵)の開き、十字懸垂系統の腕の角度、静止技での静止不足がある。評価部164は、各評価項目に対応する評価指標を取得し、評価指標と、関節の位置データに基づく値とを比較して、減点の基準値を特定する。評価部164は、評価項目で決定した減点の総和を求め、10点から減点の総和を引き算することで、Eスコアを確定する。
評価部164は、上記処理を実行することにより、選手10が行った技の種別、技に関するDスコア、Eスコアの情報を、出力部165に出力する。また、評価部164は、Dスコア、Eスコアを算出する過程で用いた、静止姿勢の評価項目、運動姿勢に含まれる各姿勢の評価項目、選手10の関節の位置データを、出力部165に出力する。
図5の説明に戻る。出力部165は、評価部160から、評価結果の情報を取得し、評価結果に応じた表示画面のデータを生成する。出力部165は、生成した表示画面のデータを、表示部140に出力して表示させる。
出力部165は、入力部130を介して、選手10が行った演技の中の特定の時点(フレーム番号)の指定を受け付けると、特定の時点に対応する選手10の関節の位置データから得られる評価項目の値を表示する表示画面を生成する。評価項目の値は、たとえば、十字の腕角度、腰の曲がり角度、膝の曲がり角度、肩の位置、腰の位置、肘の位置、膝の位置、つま先の位置、脚の開き等に対応する。出力部165は、特定の時点における評価項目の値を表示する場合に、特定の時点に対応する3Dモデルデータを、合わせて表示画面に表示させる。
また、出力部165は、センシングDB151に格納された演技の区間のセンサデータのうち、特定の区間に対応するセンサデータに基づき、関節同士の距離の推移、ある関節または特定の部位と基準平面との距離の推移、ある関節または特定の部位と基準平面とのなす角度の推移を表示する表示画面を生成する。たとえば、特定の区間は、入力部130を介して、ユーザに指定される区間に対応する。図示を省略したが、基準平面等に関する3次元座標の情報は、記憶部150に格納されているものとする。基準平面とは、評価項目が特定の面から特定の関節位置までの高さである場合や、特定の面からの特定の関節位置までの角度である場合、基準となる面である。たとえば、床からの頭頂部の高さが評価項目である場合に、基準件は床となる。
以下において、出力部165が生成する表示画面の一例について説明する。図24は、表示画面の一例を示す図(1)である。図24に示すように、この表示画面50は、コントロールボタン51と、表示領域52a、52b、52c、52d、53を含む。コントロールボタン51は、ユーザ(審判員等)が参照する映像データ、3Dモデルデータの時間をコントロールするためのボタンである。コントロールボタン51には、再生、逆再生、スロー再生、逆スロー再生、スキップ、逆スキップなどのボタンを含む。ユーザは、入力部130を操作して、コントロールボタン51を選択し、出力部165は、選択を受け付けると、選択されたボタンに応じて、表示画面50に表示する映像データ、3Dモデルデータの時間を調整する。
たとえば、表示領域52aは、選手10の真上に設置された仮想視点から3Dモデルを撮影した映像を表示する領域である。表示領域52bは、ユーザに指定される任意の仮想視点から3Dモデルを撮影した映像を表示する領域である。ユーザによる仮想視点の操作に応じて、ユーザは、任意の方向から競技者の姿勢を確認することができる。表示領域52cは、選手10の正面に設置された仮想視点から3Dモデルを撮影した映像を表示する領域である。表示領域52dは、選手の真横に設置された仮想視点から3Dモデルを撮影した映像を表示する領域である。出力部165は、3Dモデルのデータを、3DモデルDB154から取得する。
表示領域53は、カメラにより撮影された映像データを表示する領域である。出力部165は、映像DB(図示略)から、映像データを取得する。映像DBは、カメラにより撮影された映像データを格納するデータベースである。
ユーザが運動姿勢を判定したい場合には、コントロールボタン51を操作して、所望する運動姿勢の区間の始点および終点を指示する。図25は、表示画面の一例を示す図(2)である。図25に示す例では、表示画面50に、選択画面53aが表示され、始点S1、終点E1が指定されている。選択画面53aに含まれるグラフは、たとえば、ある評価項目に関する時系列変化を示すものであり、横軸が時間(フレーム番号)、縦軸は評価項目の値に対応する。出力部165は、始点S1から終点E1までの時間に対応する3Dモデルの映像を、表示領域52a,52b,52c,52dに表示する。
図26は、表示画面の一例を示す図(3)である。図26に示す例では、図24で説明した表示領域に加えて、選択画面60、切替ボタン65を含む。選択画面60は、複数の評価項目を選択するための画面である。切替ボタン65は、Dスコアを採点するための評価項目を選択させるのか、Eスコアを採点するための評価項目を選択させるのかを切り替えるボタンである。切替ボタン65には、Dスコアボタン65aと、Eスコアボタン65bを含む。
たとえば、出力部165は、切替ボタン65において、Dスコアボタン65aが選択されている場合には、選択画面60には、Dスコアを採点するための見るべきポイントとなる評価項目を表示する。出力部165は、切替ボタン65において、Eスコアボタン65bが選択されている場合には、選択画面60には、Eスコアを採点するための見るべきポイントとなる評価項目を表示する。また、出力部165は、Dスコアボタン65aが選択されると、Dスコアを採点するための見るべきポイントのアイコンの一覧を表示する。さらに、評価項目のアイコンの横には、リアルタイムにその評価データ(角度など)を出力してもよい。また、選択画面60の選択項目60aが選択されると、図27に示す表示画面のデータを表示部140に表示させる。
図27は、表示画面の一例を示す図(4)である。たとえば、出力部165は、評価項目60aに対応する仮想視点から3Dモデルを撮影した画像と、評価項目に対応した値(たとえば、3次元の角度)を、3Dモデルの画像に重畳させ、表示画面52b、52dに表示させる。たとえば、出力部165は、評価項目と、この評価項目に対応する仮想視点の位置とを対応づけたテーブルを基にして、3Dモデルを撮影した画像を生成する。また、この時見るべきポイントに応じて見やすい角度を設定しておくことで、52a~53dのどの視点からの映像に評価角度を表示するか自動選択することも可能である。
図28は、表示画面の一例を示す図(5)である。出力部165は、表示画面50に含まれるグラフボタン61の選択を受け付けると、現在選択されている評価項目60bに対する評価項目の値の推移を示すグラフを生成し、表示画面(選択画面)62に表示させる。ユーザは、表示画面62において、始点S2、終点E2を指定すると、出力部165は、指定された区間に対応する3Dモデルの映像を生成し、表示領域52a~52dに表示させる。たとえば、2秒間の静止技の場合、評価項目に対応する3Dモデルの映像を2秒間表示させることが望ましい。このため、出力部165は、静止技に対応する評価項目を選択された場合には、自動的に、表示画面62において、始点S2、終点E2を指定してもよい。この場合には、出力部165は、始点S2と終点E2との間の時間は、2秒に設定する。また、ユーザが静止していると思われる区間を始点S2、終点E2と指定するとその区間の時間を自動的に計測し、ユーザに示すことも可能である。この場合、この時間が2秒以上あれば、自動的に静止技を成立したとすることも可能である。
出力部165は、静止技に対応する評価項目を選択された場合には、評価項目に対応する閾値を設定し、設定した閾値を超えた場合には、超えた部分のグラフを強調表示してもよい。図29は、表示画面の一例を示す図(6)である。図29に示す例では、評価項目に対応する値が閾値を超えて変化したため、出力部165は、表示画面62のグラフの該当部分を強調表示している。具体的には、出力部165は、ある運動姿勢における評価項目の値の変化が、予め設定された範囲内に含まれる場合と、含まれない場合とで、表示画面62における始点S2と終点E2との間の表示形態を変えてもよい。たとえば、始点S2と終点E2との間において、予め設定された範囲(膝の角度が±45°)から逸脱している場合は、出力部165は、始点S2と終点E2との間を、第一の色(たとえば、赤)で網掛け表示する。一方で、始点S2と終点E2との間において、予め設定された範囲(膝の角度が±45°)から逸脱していない場合は、出力部165は、始点S2と終点E2との間を、第二の色(たとえば、青)で網掛け表示する。図29の例では、始点S2と終点E2との間において、予め設定された範囲(膝の角度が±45°)から逸脱している箇所があるため、始点S2と終点E2との間を赤で網掛け表示する。
さらに、出力部165は、静止技に対応する評価項目が選択された場合には、グラフボタン61が押下されると、表示画面62のエリアに、設定された評価項目の角度や距離の変化を表示してもよい。静止技が実施されている区間が自動もしくは手動で指定されると、出力部165は、指定された区間の最大値、最小値を検出して、表示してもよい。
図30は、表示画面の一例を示す図(7)である。図30に示す表示画面50は、出力部165が、Eスコアボタン65bを選択された場合に表示する表示画面である。たとえば、出力部165は、評価項目の値と、理想的な値との乖離具合(逸脱度)により、表示する色を変更する。たとえば、出力部165は、評価項目と、理想的な値との逸脱度が小欠点の逸脱度である場合には、評価項目に対応する3Dモデルの領域70a,70bを、第1の色で表示し、第1の色で、「Small Error」と表示する。
出力部165は、評価項目と、理想的な値との逸脱度が中欠点の逸脱度である場合には、評価項目に対応する3Dモデルの領域70a,70bを、第2の色で表示し、第2の色で、「Middle Error」と表示する。出力部165は、評価項目と、理想的な値との逸脱度が大欠点の逸脱度である場合には、評価項目に対応する3Dモデルの領域70a,70bを、第3の色で表示し、第3の色で、「Large Error」と表示する。
なお、出力部165は、Eスコアボタン65bが選択され、Eスコアに関連する情報を表示画面50に表示する場合には、複数の評価項目(見るべきポイント;関節の角度、距離)を同時に3Dモデルや、グラフによって表示してもよい。図31は、表示画面の一例を示す図(8)である。図31に示す例では、表示領域71に、Eスコアに関連する評価項目の値の推移を示すグラフ71a,71b,71cが表示されている。出力部165は、グラフ71a~71cを表示させる場合に、小欠点、中欠点、大欠点のエリアを識別可能に表示してもよい。これにより、評価項目の値の推移を容易に把握することが可能となり、審判員の審査の支援を行うことが可能となる。
図24~図31の表示画面の説明では説明を省略したが、出力部165は、評価部164から出力される採点結果を、表示画面に合わせて表示させてもよい。
次に、本実施例に係る採点装置100の処理手順について説明する。図32は、本実施例に係る採点装置の処理手順を示すフローチャート(1)である。図32に示すように、採点装置100の登録部161は、センサデータを取得し、センシングDB151に登録する(ステップS101)。
採点装置100の抽出部162は、センシングDB151に格納されたセンサデータを解析し、選手10の関節の位置データを抽出する(ステップS102)。採点装置100の3Dモデル生成部163は、関節の位置データを基にして、骨格データおよび3Dモデルデータを生成し、3DモデルDB154に格納する(ステップS103)。
採点装置100の評価部164は、各フレームの骨格データに基づいて、静止姿勢および運動姿勢を認識する(ステップS104)。評価部164は、認識した静止姿勢および運動姿勢に対応する評価項目および評価指標を抽出する(ステップS105)。
評価部164は、各フレームの骨格データと、抽出した評価項目および評価指標を基にして、DスコアおよびEスコアを採点する(ステップS106)。
図33は、本実施例に係る採点装置の処理手順を示すフローチャート(2)である。図33に示すように、採点装置100の出力部165は、コントロールボタン、評価項目選択ボタンを含む表示画面を表示部140に出力する(ステップS201)。出力部165が出力する表示画面は、図24等に示した表示画面50に対応する。
出力部165は、評価項目の選択を受け付け、評価項目に対応する値の情報を表示する(ステップS202)。たとえば、出力部165は、ステップS202において、図26、図27に示した表示画面50を表示させる。
出力部165は、時間区間の選択を受け付け、評価項目に対応する値および評価指標に対応する情報を表示する(ステップS203)。たとえば、出力部165は、ステップS203において、図28~31に示した表示画面50を表示させる。出力部165は、審判員の採点結果を受け付ける(ステップS204)。
次に、本実施例に係る採点装置100の効果について説明する。採点装置100は、演技を行う選手10に対するセンサデータを基にして、選手10の関節情報を抽出し、選手10が行った演技中の姿勢(静止姿勢および運動姿勢)を推定する。採点装置100は、推定した姿勢を評価する際の見るべきポイントを示した評価項目と、評価項目に関して評価の指標を示した評価指標を取得する。そして、採点装置100は、選手の関節情報と、評価項目と、評価指標を基にして、選手10の演技中での技の評価を行う。これにより、採点競技の技の成立不成立と完成度との両方を審判することが可能となる。
また、採点装置100は、評価項目に対応する関節情報から得られる競技者の姿勢と、技が成立するための条件とを比較して、技のDスコアを採点する。これにより、採点装置100は、技の成立不成立を自動的に評価することが可能となる。
また、採点装置100は、評価項目に対応する関節情報から得られる競技者の一連の関節の動きと、ルールDB156に格納された、理想的な一連の関節の動きとの乖離具合を基にして、完成度を評価する。これにより、採点装置100は、技の完成度を自動的に評価することが可能となる。
また、採点装置100は、評価結果を、評価項目に関連する値の推移や、評価指標の情報と関連付けた表示画面を生成して、表示部140に表示する処理を行う。これによって、採点競技の審判員を支援することができ、採点競技の審判に関する公平性を向上させることができる。また、審判の採点業務が効率化するため、選手も採点結果が出るまでの待ち時間が短くなることも期待できる。これにより、選手は演技に集中できるようになる。また、大会全体の運営時間も短縮することができる。
ここで、本実施例で説明した採点装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図34は、採点装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図34に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
ハードディスク装置207は、抽出プログラム207a、3Dモデル生成プログラム207b、評価プログラム207c、出力プログラム207dを有する。CPU201は、抽出プログラム207a、3Dモデル生成プログラム207b、評価プログラム207c、出力プログラム207dを読み出してRAM206に展開する。
抽出プログラム207aは、抽出プロセス206aとして機能する。3Dモデル生成プログラム207bは、3Dモデル生成プロセス206bとして機能する。評価プログラム207cは、評価プロセス206cとして機能する。出力プログラム207dは、出力プロセス206dとして機能する。
抽出プロセス206aの処理は、抽出部162の処理に対応する。3Dモデル生成プロセス206aの処理は、3Dモデル生成部163の処理に対応する。評価プロセス206cの処理は、評価部164の処理に対応する。出力プロセス206dの処理は、出力部165の処理に対応する。
なお、各プログラム207a~207dについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207dを読み出して実行するようにしても良い。
100 採点装置
161 登録部
162 抽出部
163 3Dモデル生成部
164 評価部
165 出力部

Claims (7)

  1. コンピュータが実行する採点方法であって、
    採点競技の競技者を測定したセンサデータを取得し、
    前記センサデータの解析結果に基づき、前記競技者の関節情報を抽出し、
    一連の関節の位置と関節の角度とで指定される姿勢、複数の評価項目のうち前記姿勢に対応する評価項目、および、前記採点競技の出来栄えを評価する評価指標であって前記評価項目に対応する評価指標の関係を定義したルールと、前記競技者の関節情報から特定される前記競技者の姿勢とを基にして、前記複数の評価項目の中から前記競技者の姿勢の評価に適した評価項目を特定し、
    前記競技者の姿勢の評価に適した評価項目に対応付けられた評価指標と、前記競技者の関節情報とに基づき、前記競技者の演技の中での前記競技者の姿勢から特定される技の成立不成立と前記技の完成度とを評価する
    処理を実行し、
    前記ルールに定義される姿勢には、前記一連の関節の位置と関節の角度とで指定される静止姿勢と複数の静止姿勢の組み合せからなる運動姿勢とが含まれ、
    前記特定する処理は、前記競技者の関節情報の時系列の変化から前記競技者の演技の中での前記競技者の複数の静止姿勢のそれぞれを特定し、特定した前記複数の静止姿勢のそれぞれの組み合せに対応する運動姿勢を特定し、特定した前記運動姿勢に応じた評価項目を特定し、
    前記評価する処理は、前記運動姿勢の評価項目の評価指標に含まれる前記複数の静止姿勢の成立条件と、前記競技者の関節情報の時系列の変化から特定される前記複数の静止姿勢とを比較して、前記複数の静止姿勢の成立条件を満たす場合に、前記運動姿勢が成立したと評価する、
    とを特徴とする採点方法。
  2. 前記評価指標は、前記評価項目に対応づけて、演技の中での技が成立する姿勢の条件を含み、前記評価する処理は、前記評価項目に対応する関節情報から得られる前記競技者の姿勢と、前記条件とを比較して、前記技の成立不成立を評価することを特徴とする請求項1に記載の採点方法。
  3. 前記評価指標は、前記評価項目に対応づけて、所定の演技の中の理想的な一連の関節の位置の情報を含み、前記評価する処理は、前記評価項目に対応する関節情報から得られる前記競技者の一連の関節の位置と、前記理想的な一連の関節の位置との乖離具合を基にして、前記完成度を評価することを特徴とする請求項1または2に記載の採点方法。
  4. 前記評価の結果を出力し、前記演技の中の特定の時点の指定を受け付け、前記特定の時点に対応する実際の競技者の関節情報から得られた前記評価項目の値を、指定された第一の時点に対応するセンサデータから得られた競技者の関節情報に基づく3Dモデルとともに、表示する処理を更に実行することを特徴とする請求項1に記載の採点方法。
  5. 前記評価の結果を出力し、前記演技の区間のセンサデータのうちの、特定の区間に対応するセンサデータに基づき、関節同士の距離の推移、ある関節または特定の部位と基準平面との距離の推移、ある関節または特定の部位と基準平面とのなす角度の推移を表示する処理を更に実行することを特徴とする請求項1に記載の採点方法。
  6. コンピュータに、
    採点競技の競技者を測定したセンサデータを取得し、
    前記センサデータの解析結果に基づき、前記競技者の関節情報を抽出し、
    一連の関節の位置と関節の角度とで指定される姿勢、複数の評価項目のうち前記姿勢に対応する評価項目、および、前記採点競技の出来栄えを評価する評価指標であって前記評価項目に対応する評価指標の関係を定義したルールと、前記競技者の関節情報から特定される前記競技者の姿勢とを基にして、前記複数の評価項目の中から前記競技者の姿勢の評価に適した評価項目を特定し、
    前記競技者の姿勢の評価に適した評価項目に対応付けられた評価指標と、前記競技者の関節情報とに基づき、前記競技者の演技の中での前記競技者の姿勢から特定される技の成立不成立と前記技の完成度とを評価する
    処理を実行させ、
    前記ルールに定義される姿勢には、前記一連の関節の位置と関節の角度とで指定される静止姿勢と複数の静止姿勢の組み合せからなる運動姿勢とが含まれ、
    前記特定する処理は、前記競技者の関節情報の時系列の変化から前記競技者の演技の中での前記競技者の複数の静止姿勢のそれぞれを特定し、特定した前記複数の静止姿勢のそれぞれの組み合せに対応する運動姿勢を特定し、特定した前記運動姿勢に応じた評価項目を特定し、
    前記評価する処理は、前記運動姿勢の評価項目の評価指標に含まれる前記複数の静止姿勢の成立条件と、前記競技者の関節情報の時系列の変化から特定される前記複数の静止姿勢とを比較して、前記複数の静止姿勢の成立条件を満たす場合に、前記運動姿勢が成立したと評価する、
    とを特徴とする採点プログラム。
  7. 採点競技の競技者を測定したセンサデータを取得し、前記センサデータの解析結果に基づき、前記競技者の関節情報を抽出する抽出部と、
    一連の関節の位置と関節の角度とで指定される姿勢、複数の評価項目のうち前記姿勢に対応する評価項目、および、前記採点競技の出来栄えを評価する評価指標であって前記評価項目に対応する評価指標の関係を定義したルールと、前記競技者の関節情報から特定される前記競技者の姿勢とを基にして、前記複数の評価項目の中から前記競技者の姿勢の評価に適した評価項目を特定し、
    前記競技者の姿勢の評価に適した評価項目に付けられた評価指標と、前記競技者の関節情報とに基づき、前記競技者の演技の中での前記競技者の姿勢から特定される技の成立不成立と前記技の完成度とを評価する評価部とを有し、
    前記ルールに定義される姿勢には、前記一連の関節の位置と関節の角度とで指定される静止姿勢と複数の静止姿勢の組み合せからなる運動姿勢とが含まれ、
    前記評価部は、前記競技者の関節情報の時系列の変化から前記競技者の演技の中での前記競技者の複数の静止姿勢のそれぞれを特定し、特定した前記複数の静止姿勢のそれぞれの組み合せに対応する運動姿勢を特定し、特定した前記運動姿勢に応じた評価項目を特定し、前記運動姿勢の評価項目の評価指標に含まれる前記複数の静止姿勢の成立条件と、前記競技者の関節情報の時系列の変化から特定される前記複数の静止姿勢とを比較して、前記複数の静止姿勢の成立条件を満たす場合に、前記運動姿勢が成立したと評価する、
    とを特徴とする採点装置。
JP2019540162A 2017-09-05 2017-09-05 採点方法、採点プログラムおよび採点装置 Active JP7067561B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/032000 WO2019049216A1 (ja) 2017-09-05 2017-09-05 採点方法、採点プログラムおよび採点装置

Publications (2)

Publication Number Publication Date
JPWO2019049216A1 JPWO2019049216A1 (ja) 2020-07-30
JP7067561B2 true JP7067561B2 (ja) 2022-05-16

Family

ID=65634906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540162A Active JP7067561B2 (ja) 2017-09-05 2017-09-05 採点方法、採点プログラムおよび採点装置

Country Status (5)

Country Link
US (1) US11645872B2 (ja)
EP (1) EP3679994A4 (ja)
JP (1) JP7067561B2 (ja)
CN (1) CN111093782A (ja)
WO (1) WO2019049216A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527520A (zh) * 2017-12-27 2020-08-11 富士通株式会社 提取程序、提取方法以及信息处理装置
USD884742S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD880527S1 (en) * 2018-09-14 2020-04-07 Fujitsu Limited Display screen with icons
USD881237S1 (en) * 2018-09-14 2020-04-14 Fujitsu Limited Display screen with icons
USD883328S1 (en) * 2018-09-14 2020-05-05 Fujitsu Limited Display screen with icons
USD892863S1 (en) * 2018-09-14 2020-08-11 Fujitsu Limited Display screen with icons
USD884741S1 (en) * 2018-09-14 2020-05-19 Fujitsu Limited Display screen with icons
USD879149S1 (en) * 2018-09-14 2020-03-24 Fujitsu Limited Display screen with icons
TWI733616B (zh) * 2020-11-04 2021-07-11 財團法人資訊工業策進會 人體姿勢辨識系統、人體姿勢辨識方法以及非暫態電腦可讀取儲存媒體
EP4276739A1 (en) 2021-01-05 2023-11-15 Fujitsu Limited Skeleton estimation device, skeleton estimation method, and gymnastics scoring support system
CN112906670A (zh) * 2021-04-08 2021-06-04 中山大学附属口腔医院 一种口腔医生操作术者体位监测系统
CN113713353B (zh) * 2021-05-12 2022-05-31 北京冰锋科技有限责任公司 一种跳台滑雪运动员的技术动作获取方法及系统
JP7158534B1 (ja) 2021-06-16 2022-10-21 三菱電機株式会社 行動解析装置、行動解析方法及び行動解析プログラム
JP2023098484A (ja) 2021-12-28 2023-07-10 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2023098483A (ja) 2021-12-28 2023-07-10 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2023098506A (ja) 2021-12-28 2023-07-10 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2023098482A (ja) 2021-12-28 2023-07-10 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2024013129A (ja) 2022-07-19 2024-01-31 富士通株式会社 表示制御プログラム、表示制御方法および情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120310390A1 (en) 2009-12-24 2012-12-06 Jason Mccarthy Fight analysis system
JP2014502178A (ja) 2010-11-05 2014-01-30 ナイキ インターナショナル リミテッド 自動化個人トレーニングのための方法およびシステム
JP2014133015A (ja) 2013-01-11 2014-07-24 Akita Univ 身体動作学習支援装置
JP2015116308A (ja) 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803762B2 (en) * 2013-04-02 2020-10-13 Nec Solution Innovators, Ltd Body-motion assessment device, dance assessment device, karaoke device, and game device
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
CN104157107B (zh) * 2014-07-24 2016-05-18 燕山大学 一种基于Kinect传感器的人体姿势矫正装置
KR101576106B1 (ko) 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
JP6813086B2 (ja) * 2017-05-15 2021-01-13 富士通株式会社 演技表示プログラム、演技表示方法および演技表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120310390A1 (en) 2009-12-24 2012-12-06 Jason Mccarthy Fight analysis system
JP2014502178A (ja) 2010-11-05 2014-01-30 ナイキ インターナショナル リミテッド 自動化個人トレーニングのための方法およびシステム
JP2014133015A (ja) 2013-01-11 2014-07-24 Akita Univ 身体動作学習支援装置
JP2015116308A (ja) 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
体操「自動採点」 富士通、世界標準作りへの挑戦,日本,日本経済新聞,2017年08月09日,第1頁第1行-第7頁第3行,http://www.nikkei.com/article/DGXMZO18991720Z10C17A7000000/
技術者のためのオリンピック観戦ガイド2016>>>Part2 設備編,日経ものづくり 第743号,日本,2016年08月01日
柴田 傑 Takeshi SHIBATA,学習者中心のインタラクティブ舞踊学習支援システムの開発 Development of User-Oriented Interactive Dance Learning Assistant System,電子情報通信学会論文誌D VolumeJ97-D No.5,日本,2014年05月01日,第J97-D巻
辛 貞殷 Jeongeun SHIN,動画像処理によるスポーツ運動解析の研究,電子情報通信学会技術研究報告 Vol.108 No.46 IEICE Technical Report,日本,2008年05月15日,第108巻

Also Published As

Publication number Publication date
WO2019049216A1 (ja) 2019-03-14
JPWO2019049216A1 (ja) 2020-07-30
US11645872B2 (en) 2023-05-09
EP3679994A4 (en) 2020-09-30
US20200188736A1 (en) 2020-06-18
EP3679994A1 (en) 2020-07-15
CN111093782A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
JP7067561B2 (ja) 採点方法、採点プログラムおよび採点装置
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
JP6703199B2 (ja) 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム
Chen et al. Computer-assisted yoga training system
US9878206B2 (en) Method for interactive training and analysis
US20200193866A1 (en) Non-transitory computer readable recording medium, practice assist method, and practice assist system
US9025824B2 (en) Systems and methods for evaluating physical performance
US8428357B2 (en) Systems and methods for performance training
CN111265840B (zh) 显示方法、信息处理设备和计算机可读记录介质
US11776134B2 (en) Non-transitory computer readable recording medium, element recognition method, and element recognition system
CN111514584B (zh) 游戏控制方法及装置、游戏终端及存储介质
CN105664467B (zh) 一种肢体运动监测方法及装置
WO2020259858A1 (en) Framework for recording and analysis of movement skills
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
WO2020241738A1 (ja) トレーニング支援方法及び装置
TW201416112A (zh) 體感遊戲動作指導系統及方法
WO2019229818A1 (ja) 表示方法、表示プログラムおよび情報処理装置
Charbonneau et al. Should all athletes use the same twisting strategy? The role of anthropometry in the personalization of optimal acrobatic techniques
Madera-Ramirez et al. A Computer Graphics Program to Make Exercises Using the Kinect Device
TWI396110B (zh) From the plane image of the establishment of three human space center of gravity and computer program products
JP2022179034A (ja) プログラム、情報処理装置および情報処理方法
AU2011338407B2 (en) Systems and methods for performance training
Livesu et al. Knee Up: an Exercise Game for Standing Knee Raises by Motion Capture with RGB-D Sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210729

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220128

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R150 Certificate of patent or registration of utility model

Ref document number: 7067561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150