JPWO2019116495A1 - 技認識プログラム、技認識方法および技認識システム - Google Patents

技認識プログラム、技認識方法および技認識システム Download PDF

Info

Publication number
JPWO2019116495A1
JPWO2019116495A1 JP2019559491A JP2019559491A JPWO2019116495A1 JP WO2019116495 A1 JPWO2019116495 A1 JP WO2019116495A1 JP 2019559491 A JP2019559491 A JP 2019559491A JP 2019559491 A JP2019559491 A JP 2019559491A JP WO2019116495 A1 JPWO2019116495 A1 JP WO2019116495A1
Authority
JP
Japan
Prior art keywords
unit
technique
movement
posture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019559491A
Other languages
English (en)
Other versions
JP6943294B2 (ja
Inventor
矢吹　彰彦
彰彦 矢吹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2019116495A1 publication Critical patent/JPWO2019116495A1/ja
Application granted granted Critical
Publication of JP6943294B2 publication Critical patent/JP6943294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

技認識装置（１００）は、時系列で取得した、一連の演技を実施している被写体を含む３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する。技認識装置（１００）は、複数の単位のうちの第一の単位に対応する姿勢運動について、被写体が静止していることを示す特徴を有する第一の運動か、第一の運動とは異なる第二の運動かを判別する。技認識装置（１００）は、第一の単位に対応する判別結果と、第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、第一の単位および第二の単位を少なくとも含む組み合わせに対応する技を決定する。

Description

本発明は、技認識プログラム等に関する。
各種の採点競技において、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。
たとえば、２次元シルエット画像からキーポーズを検出し、検出した各キーポーズの組み合わせから技を認識し、技の採点を行う従来技術がある。
特開２０１５−１１６３０８号公報
J.Shin and S.Ozawa,"A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing," IEEE International Conference on Systems,Man and Cybernetics,pp.1037-1040,2008
しかしながら、上述した従来技術では、静止運動および移動運動を認識することなく技の評価を行っているという問題がある。
選手が行う演技には、複数の技が含まれる。また、技の種別は、複数の単位の運動の種別を組み合わせたものに応じて認識される。たとえば、ある単位において「Ｘ」という運動をしているときに、その前の運動が静止運動の「Ｙ」なのか、移動運動の「Ｚ」なのかに応じて、技の種別が異なり、技の難度や技の評価項目が異なる。
このため、技を認識する場合には、姿勢運動に対応する単位が、静止運動であるのか、移動運動であるのかを識別して、先の単位と後の連続する単位における移動運動の種別とを合わせて技を認識することが求められる。
１つの側面では、本発明は、静止運動および移動運動を含む技を認識することができる技認識プログラム、技認識方法および技認識システムを提供することを目的とする。
第１の案では、コンピュータに、次の処理を実行させる。コンピュータは、３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得する。コンピュータは、距離画像情報から得られた被写体の３次元骨格情報を、時系列で、取得する。コンピュータは、時系列で取得した３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する。コンピュータは、複数の単位のうちの第一の単位に対応する姿勢運動について、被写体が静止していることを示す特徴を有する第一の運動か、第一の運動とは異なる第二の運動かを判別する。コンピュータに、第一の単位に対応する判別結果と、第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、第一の単位および第二の単位を少なくとも含む組み合わせに対応する技を決定する。
静止運動および移動運動を含む技を認識することができる。
図１は、本実施例に係る技認識システムの一例を示す図である。 図２は、技の構成例を示す図である。 図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。 図４は、本実施例に係る距離画像ＤＢのデータ構造の一例を示す図である。 図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。 図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。 図７は、本実施例に係る骨格ＤＢのデータ構造の一例を示す図である。 図８は、本実施例に係る技認識ＤＢのデータ構造の一例を示す図である。 図９は、本実施例に係る技認識テーブルのデータ構造の一例を示す図である。 図１０は、本実施例に係る成立条件テーブルのデータ構造の一例を示す図である。 図１１は、静止運動名と静止運動成立条件との関係の一例を説明するための図である。 図１２は、各静止運動の一例を示す図である。 図１３は、移動運動名と移動運動成立条件との関係の一例を示す図である。 図１４は、吊り輪の器具位置と移動量との関係を示す図である。 図１５は、本実施例に係る判別部の処理を説明するための図（１）である。 図１６は、本実施例に係る判別部の処理を説明するための図（２）である。 図１７は、本実施例に係る技決定部の処理を説明するための図である。 図１８は、本実施例に係るグラフ情報の一例を示す図である。 図１９は、本実施例に係る技認識装置の処理手順を示すフローチャートである。 図２０は、分節区間を設定するその他の例を説明するための図である。 図２１は、跳馬による各分節区間の姿勢運動の一例を示す図である。 図２２は、技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願の開示する技認識プログラム、技認識方法および技認識システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図１は、本実施例に係る技認識システムの一例を示す図である。図１に示すように、この技認識システムは、３Ｄ（3 dimension）レーザセンサ２０と、技認識装置１００とを有する。技認識装置１００は、３Ｄレーザセンサ２０に接続される。
３Ｄレーザセンサ２０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ２０は、センシング結果となる距離画像データを、技認識装置１００に出力する。
たとえば、距離画像データには、複数の距離画像フレームが含まれ、各距離画像フレームには、フレームを一意に識別するフレーム番号が昇順で付与される。各距離画像フレームには、３Ｄレーザセンサ２０から、競技者１０上の各点までの距離情報が含まれる。
競技者１０は、３Ｄレーザセンサ２０の前方で、採点対象となる所定の演技を行う。本実施例では一例として、競技者１０が、体操演技を行う場合について説明するが、他の採点競技に関しても同様に適用することが可能である。
たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。更に、ウェイトリフティングのバーベルが上がったか否かの評価にも用いることができる。
体操は、連続する運動であるが、連続する運動の中には複数の技が連続して存在する。また、体操の始めや間には、技には該当しない「つなぎ」の動きが存在する場合がある。体操の演技の中で、技や技を構成する基本運動の姿勢、技の切れ目の姿勢を見ることで、審判員は、技の成立、不成立や、技の完成度を判断し、評価を行う。
ここで、「姿勢」とは、頭部、体幹、四肢の相対的位置関係を示すものである。本実施例では一例として、技の切れ目等において静止状態を保持すべき姿勢を「静止運動」と表記する。動きのある姿勢を「移動運動」と表記する。たとえば、「静止運動」の種別と「移動運動」の種別との組あわせにより、技が確定する。
図２は、技の構成例を示す図である。図２に示す例では、競技者（競技者１０）は、技Ａ１，Ａ２，Ａ３，Ａ４，Ａ５を順に実行している。図２の横方向の矢印は、時間の流れを示している。技Ａ１は「後ろ振り上がり中水平支持〜上水平支持（２秒）」である。技Ａ２は「ほん転逆上がり中水平支持（２秒）」である。技Ａ３は「後ろ振り上がり十字倒立」である。技Ａ４は「屈伸ヤマワキ」である。技Ａ５は「後ろ振り上がり中水平支持（２秒）」である。
ここで、競技者が技Ａ１〜Ａ５を行う過程において、競技者の姿勢運動には、複数の分節姿勢が含まれる。分節姿勢は、競技者の動きが一時的に静止する姿勢を示す。図２に示す例では、時刻Ｔａ１，Ｔａ２，Ｔａ３，Ｔａ４，Ｔａ５，Ｔａ６，Ｔａ７，Ｔａ８，Ｔａ９，Ｔａ１０において、競技者は分節姿勢となる。たとえば、本実施例で説明する姿勢運動は、後述する、「通過の分節姿勢」、「経過の分節姿勢」、「静止の分節姿勢」のうちいずれかの姿勢を示す。
なお、分節姿勢は、連続して静止している時間に応じて「通過の分節姿勢」、「静止の分節姿勢」のいずれかに分類される。たとえば、連続して静止している時間が、第１閾値（たとえば、０．５秒）未満である場合に、通過の分節姿勢となる。図２において、時刻Ｔａ１，Ｔａ４，Ｔａ６，Ｔａ８，Ｔａ９における分節姿勢が、通過の分節姿勢となる。
図２において、時刻Ｔａ２，Ｔａ３，Ｔａ５，Ｔａ７，Ｔａ１０における分節姿勢が、静止の分節姿勢となる。なお、第２閾値を更に設けて、通過の分節姿勢、静止の分節姿勢の他に、「経過の分節姿勢」を設定してもよい。たとえば、連続して静止している時間が、第１閾値以上、かつ、第２閾値（２秒）未満となる姿勢を、経過の分節姿勢とする。連続して静止している時間が、第２閾値以上となる姿勢を、静止の分節姿勢とする。
図１の説明に戻る。技認識装置１００は、３Ｄレーザセンサ２０から取得する距離画像データを基にして、競技者１０の骨格情報を生成し、競技者１０が行った技を認識する装置である。
図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。図３に示すように、この技認識装置１００は、インタフェース部１１０、通信部１２０、入力部１３０、表示部１４０、記憶部１５０、制御部１６０を有する。
インタフェース部１１０は、３Ｄレーザセンサ２０に接続される。インタフェース部１１０は、３Ｄレーザセンサ２０から距離画像データを取得し、取得した距離画像データを、制御部１６０に出力する。本実施例では説明を省略するが、インタフェース部１１０は、競技者１０の映像を撮影するカメラに接続され、このカメラから、映像データを取得してもよい。
通信部１２０は、ネットワークを介して、他の装置とデータ通信を行う装置である。通信部１２０は、通信装置に対応する。技認識装置１００は、ネットワークを介して、３Ｄレーザセンサ２０に接続されてもよい。この場合には、通信部１２０は、ネットワークを介して、３Ｄレーザセンサ２０から距離画像データを取得する。
入力部１３０は、技認識装置１００に各種の情報を入力するための入力装置である。入力部１３０は、キーボード、マウス、タッチパネル等に対応する。
表示部１４０は、制御部１６０から出力される表示画面の情報を表示する表示装置である。表示部１４０は、液晶ディスプレイ、タッチパネル等に対応する。
記憶部１５０は、距離画像ＤＢ（Data Base）１５１、関節定義データ１５２、関節位置ＤＢ１５３、骨格ＤＢ１５４、技認識ＤＢ１５５を有する。記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
距離画像ＤＢ１５１は、３Ｄレーザセンサ２０ａから取得する距離画像データを格納するＤＢである。図４は、本実施例に係る距離画像ＤＢのデータ構造の一例を示す図である。図４に示すように、この距離画像ＤＢ１５１は、記録ＩＤと、フレーム番号と、距離画像フレームとを対応付ける。記録ＩＤ（Identification）は、競技者１０が行った一連の演技を一意に識別する情報である。フレーム番号は、同一の記録ＩＤに対応する各フレーム（距離画像フレーム）を一意に識別する番号であり、昇順に番号が割り当てられる。距離画像フレームは、３Ｄレーザセンサ２０にセンシングされた距離画像データに含まれるフレームである。
関節定義データ１５２は、競技者（競技者１０）の各関節位置を定義するものである。図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。図５に示すように、この関節定義データ１５２は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図５に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、本実施例では、８番の右肘関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。
関節位置ＤＢ１５３は、３Ｄレーザセンサ２０の距離画像データを基に生成される競技者１０の各関節の位置データを格納するＤＢである。図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。図６に示すように、この関節位置ＤＢ１５３は、記録ＩＤと、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応付ける。記録ＩＤに関する説明は、距離画像ＤＢ１５１で行った説明と同様である。
図６において、フレーム番号は、同一の記録ＩＤに対応する各距離画像フレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図５に示す０番号の関節の３次元座標である。
図６は、記録ＩＤ「Ｐ１０１」の距離画像データにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。
骨格ＤＢ１５４は、距離画像データを基に生成される競技者の骨格の情報を格納するＤＢである。図７は、本実施例に係る骨格ＤＢのデータ構造の一例を示す図である。図７に示すように、この骨格ＤＢ１５４は、記録ＩＤと、フレーム番号と、骨格データとを対応付ける。記録ＩＤ、フレーム番号に関する説明は、距離画像ＤＢ１５１で行った説明と同様である。骨格データは、各関節位置を接続することで推定される競技者１０の骨格を示すデータである。
技認識ＤＢ１５５は、競技者１０が行う演技に含まれる技（静止運動、移動運動）を認識する場合に用いられるＤＢである。図８は、本実施例に係る技認識ＤＢのデータ構造の一例を示す図である。図８に示すように、この技認識ＤＢ１５５は、技認識テーブル１５５ａと、成立条件テーブル１５５ｂとを有する。
技認識テーブル１５５ａは、技を認識するための各種の情報を保持するテーブルである。図９は、本実施例に係る技認識テーブルのデータ構造の一例を示す図である。図９に示すように、この技認識テーブル１５５ａは、技名と、グループと、成立条件とを対応付ける。技名は、技を一意に識別する名称である。グループは、技名に対応する技が属するグループを示すものである。
成立条件は、技が成立する静止運動名および移動運動名を示すものである。静止運動および移動運動の成立条件は、成立条件テーブル１５５ｂにより定義される。また、静止運動および移動運動が成立する条件は複数の項目毎に設定されており、各項目を適宜「評価項目」と表記する。
図１０は、本実施例に係る成立条件テーブルのデータ構造の一例を示す図である。図１０に示すように、成立条件テーブル１５５ａは、テーブル１７０ａおよびテーブル１７０ｂを有する。
テーブル１７０ａは、静止運動名と静止運動成立条件とを対応付ける。静止運動名は、静止運動を一意に特定する名称を示す。静止運動成立条件は、静止運動が成立する条件を示すものである。以下において、静止運動名と、静止運動成立条件との関係の一例について説明する。
図１１は、静止運動名と静止運動成立条件との関係の一例を説明するための図である。たとえば、各静止運動は、静止運動成立条件に対応付けられる。静止運動成立条件には、複数の評価項目が含まれる。図１１に示す静止運動成立条件の評価項目は「背骨アングル」、「ヒップアングル」、「アームアングル」、「エルボーアングル」、「ニーアングル」である。静止運動成立条件は、他の評価項目を含んでいてもよい。
背骨アングル（Spine_Angle of an incline）は、関節０番および２番を通る線分と、Ｚ軸とのなす角度である。
ヒップアングル（Hip_Angle between body）は、関節０番および１番を通る線分と、関節１０番および関節１１番を通る線分とのなす角度である。または、ヒップアングルは、関節０番および１番を通る線分と、関節１４番および関節１５番を通る線分とのなす角度である。
アームアングル（Arm_Angle between body）は、関節１番および関節２番を通る線分と、関節４番および関節５番を通る線分とのなす角度である。また、アームアングルは、関節１番および関節２番を通る線分と、関節７番および関節８番を通る線分とのなす角度である。
エルボーアングル（Elbow_Angle）は、関節４番および５番を通る線分と、関節５番と６番とを通る線分とのなす角度である。また、エルボーアングルは、関節７番および８番を通る線分と、関節８番と９番とを通る線分とのなす角度である。
ニーアングルは（Knee_Angle）は、関節１０番および１１番を通る線分と、関節１１番および関節１２番を通る線分とのなす角度である。また、ニーアングルは、関節１４番および１５番を通る線分と、関節１５番および関節１６番を通る線分とのなす角度である。
ニー間隔アングル（Knees_sep. Angle）は、関節１０番および１１番を通る線分と、関節１４番および１５番を通る直線とのなす角度である。
たとえば、図１１に示す例では、背骨アングルが「θＡ１以下」、ヒップアングルが「θＡ２以上」、アームアングルが「θＡ３１〜θＡ３２」、エルボーアングルが「θＡ４以上」、ニーアングルが「θＡ５以上」という各成立条件を全て満たす場合に、静止運動名「静止運動Ｓ１」の技が成立したことになる。
図１２は、各静止運動の一例を示す図である。図１２に示す静止運動（あるいは、一部）は、図２等で説明した「通過の分節姿勢」、「経過の分節姿勢」、「静止の分節姿勢」にも対応するものとなる。たとえば、図１２に示すように、静止運動には、hang、inv.hang、piked_inv.hang、hang_rw、support、L-sit、straddle_L-sit、straddle_L-sit_sup.a.r.、V-sit、handstand、cross、L-cross、V-cross、inv._crossが含まれる。また、静止運動には、planche、straddled_planche、swallow、inv._swallow、back_lever、front_leverが含まれる。なお、図１２において、Ｙ−Ｚは、競技者のＹＺ平面を示すものである。Ｘ−Ｚは、競技者のＸＺ平面を示すものである。
図１０の説明に戻る。テーブル１７０ｂは、移動運動名と、移動運動成立条件とを対応付ける。移動運動名は、移動運動を一意に特定する名称を示す。移動運動成立条件は、移動運動が成立する条件を示すものである。
図１３は、移動運動名と移動運動成立条件との関係の一例を示す図である。移動運動名は、移動運動を一意に特定する名称を示す。移動運動成立条件は、対応する移動運動が成立するための各関節位置の推移および各関節位置に基づく角度の推移を定義する。
たとえば、移動運動成立条件は「終了分節姿勢名」、「開始分節姿勢名」、「特徴量」等の評価項目を含む。終了分節姿勢名は、該当する移動運動を行う直前の分節姿勢を一意に示す名称である。開始分節姿勢名は、該当する移動運動に続いて行う姿勢運動を開始する時点の分節姿勢を一意に示す名称である。特徴量は、競技者が該当する移動運動を行う際の回転数、ひねり数、腕姿勢、身体姿勢等に対応する移動運動の特徴である。
図３の説明に戻る。制御部１６０は、取得部１６１と、抽出部１６２と、分節部１６３と、判別部１６４と、技決定部１６５と、出力部１６６とを有する。制御部１６０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
取得部１６１は、３Ｄレーザセンサ２０から距離画像データを取得し、取得した距離画像データを、距離画像ＤＢ１５１に登録する。取得部１６１は、距離画像データ（フレーム番号、距離画像フレーム）を距離画像ＤＢ１５１に登録する際に、記録ＩＤを対応付ける。記録ＩＤは、たとえば、距離画像データに付与されている。ユーザは、入力部１３０を操作して、距離画像データに対応する距離ＩＤを入力してもよい。
抽出部１６２は、競技者１０の各関節の位置データを時系列に抽出する処理、時系列に骨格データを生成する処理を行う。
抽出部１６２が、競技者１０の各関節の位置データを時系列に抽出する処理の一例について説明する。抽出部１６２は、距離画像ＤＢ１５１の距離画像フレームと、関節定義データ１５２とを比較して、フレームに含まれる各関節の種別および関節の３次元座標を特定する。抽出部１６２は、記録ＩＤ、フレーム番号、各関節の種別の３次元座標を対応付けた情報を、関節位置ＤＢ１５３に登録する。抽出部１６２は、フレーム番号毎に上記の処理を繰り返し実行する。
抽出部１６２が、骨格データを時系列に生成する処理の一例について説明する。抽出部１６２は、関節位置ＤＢ１５３を基にして、各フレーム番号に対応する骨格データを生成する。抽出部１６２は、生成した骨格データを、記録ＩＤ、フレーム番号と対応付けて、骨格ＤＢ１５４に格納する。
たとえば、抽出部１６２は、関節位置ＤＢ１５３に格納された各関節の３次元座標を、関節定義データ１５３に定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。
分節部１６３は、骨格ＤＢ１５４から競技者１０の骨格データを順次取得し、取得した骨格データを、所定のルールに基づいて、複数の単位に分節する処理部である。分節部１６３は、分節結果を、判別部１６４に出力する。
以下において、分節部１６３の処理の一例について説明する。分節部１６３は、前後の骨格データを基にして、競技者１０の移動量、水平揺れ、関節位置の変化の総和Σをそれぞれ算出する。
分節部１６３は、式（１）に基づいて、フレーム番号ｎ−１から、フレーム番号ｎまでの競技者１０の移動量Ｓを算出する。たとえば、競技者１０が吊り輪の競技を行っている場合には、移動量Ｓは、吊り輪の器具位置の移動量に相当する。
Figure 2019116495
分節部１６３は、競技者１０の両手首位置の中点「ＪＲ」を、器具位置とする。中点ＪＲは、式（２）により示される。式（２）において、Ｊ６は、競技者１０の関節６番の３次元座標を示す。Ｊ９は、競技者１０の関節９番の３次元座標を示す。
Figure 2019116495
図１４は、吊り輪の器具位置と移動量との関係を示す図である。図１４において、フレーム番号ｎ−１の器具位置をＪＲ（ｎ−１）とし、フレーム番号ｎの器具位置をＪＲ（ｎ）とすると、移動量Ｓは、の器具位置をＪＲ（ｎ）とＪＲ（ｎ−１）との差分値の絶対値となる。ＪＲ（ｎ）の３次元座標を（ＪＲＸ（ｎ），ＪＲＹ（ｎ），ＪＲＺ（ｎ））とし、ＪＲ（ｎ−１）の３次元座標を（ＪＲＸ（ｎ−１），ＪＲＹ（ｎ−１），ＪＲＺ（ｎ−１））とすると、移動量Ｓは、上記の式（１）で示される。
分節部１６３は、競技者１０の水平揺れを、式（３）、式（４）によって算出する。式（３）は、競技者１０のＸ軸方向の揺れＦｘを示すものであり、ＪＲＸ（ｎ）を累積した値となる。式（４）は、競技者１０のＹ軸方向の揺れＦｙを示すものであり、ＪＲＹ（ｎ）を累積した値となる。
Figure 2019116495
Figure 2019116495
分節部１６３は、競技者１０の関節位置の変化の総和Σを、式（５）を基に算出する。式（５）のσｘ、σｙ、σｘは、式（６）、（７）、（８）により算出される。
Figure 2019116495
Figure 2019116495
Figure 2019116495
Figure 2019116495
式（６）は、Ｘ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。式（７）は、Ｙ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。式（８）は、Ｚ軸方向における、フレーム番号ｎ−１からフレーム番号ｎまでの、競技者１０の各関節位置の移動量を示すものであり、器具の移動の影響を取り除いたものである。
式（６）〜（８）において、ＪｉＸ（ｎ），ＪｉＹ（ｎ），ＪｉＺ（ｎ）は、フレーム番号ｎにおける、競技者１０の関節ｉ番の３次元座標を示す。ＪｉＸ（ｎ−１），ＪｉＹ（ｎ−１），ＪｉＺ（ｎ−１）は、フレーム番号ｎ−１における、競技者１０の関節ｉ番の３次元座標を示す。式（６）〜（８）は、器具位置ＪＲを原点と見立てた場合における、競技者１０の３次元座標の移動量を示す。
たとえば、分節部１６３は、フレーム番号ｎ−１の骨格データと、フレーム番号ｎの骨格データとを基にして、式（５）により、総和Σを算出し、算出した総和Σの値が閾値未満である場合に、フレーム番号ｎのタイミングを分節のタイミングとして判定する。分節部１６３は、フレーム番号ｎ〜ｎ＋ｍの間、連続して、総和Σの値が閾値未満となる場合には、フレーム番号ｎ〜ｎ＋ｍの区間を「分節区間」として判定する。総和Σの値が閾値未満である場合には、競技者１０は静止していることを意味する。
なお、分節部１６３は、上記の総和Σが閾値以上となる条件の他に、式（３）、（４）で求めた、競技者１０の水平揺れを条件に加えて、分節のタイミングを判定してもよい。
また、分節部１６３は、フレーム番号ｎ〜ｎ＋ｍ間のフレーム番号ｎ＋ｌにおいて、総和Σの値が閾値以上となり、他のフレーム番号において、総和Σの値が閾値未満となる場合には、フレーム番号ｎ〜ｎ＋ｍの区間を「分節区間」として判定してもよい。
分節部１６３は、各フレーム番号の骨格データを基にして、上記処理を時系列に繰り返し実行することで、分節のタイミングとなるフレーム番号および分節区間を判定する。分節部１６３は、分節のタイミングとなるフレーム番号および分節区間の情報を、分節結果として、判別部１６４に出力する。
また、分節部１６３は、関節位置の変化の総和Σの情報、競技者１０のＸ軸方向の揺れＦｘの情報、競技者１０のＹ軸方向の揺れＦｙの情報を、順次、出力部１６６に出力する。
判別部１６４は、分節部１６３の分節結果を基にして、時系列に並んだ骨格データを複数の単位に分割する。判別部１６４は、複数の単位に含まれる分節姿勢が、通過の分節姿勢か、経過の分節姿勢か、静止の分節姿勢かを判別する。判別部１６４は、判別結果を、技決定部１６５に出力する。
図１５は、本実施例に係る判別部の処理を説明するための図（１）である。たとえば、図１５において、横軸は時間軸を示す。また、分節部１６３の分節結果に基づく分節区間をそれぞれ、Ｔｎ−１，Ｔｎ，Ｔｎ＋１とする。判別部１６４は、分節区間を基にして、骨格データを、複数の基本単位に分割する。
判別部１６４は、先の分節区間の終了時点から、次の分節区間の終了時点までの区間を、基本単位として、骨格データを複数の単位に分割する。図１５において、たとえば、判別部１６４は、開始時点から分節区間Ｔｎ−１の終了時点までの区間を、基本単位Ｕｎ−１とする。判別部１６４は、分節区間Ｔｎ−１の終了時点から分節区間Ｔｎの終了時点までの区間を、基本単位Ｕｎとする。判別部１６４は、分節区間Ｔｎの終了時点から分節区間Ｔｎ＋１の終了時点までの区間を、基本単位Ｕｎ＋１とする。
続いて、判別部１６４は、分節区間の時間長に基づいて、分節区間における分節姿勢が、通過の分節姿勢か、経過の分節姿勢か、静止の分節姿勢かを判別する。
判別部１６４は、分節区間の時間長が、第１時間長未満である場合には、分節区間の分節姿勢を「通過の分節姿勢」と判別する。判別部１６４は、分節区間の時間長が、第１時間長以上、第２時間長未満である場合には、分節区間の分節姿勢を「経過の分節姿勢」と判別する。判別部１６４は、分節区間の時間長が第２時間長以上である場合には、分節区間の分節姿勢を「静止の分節姿勢」と判別する。本実施例では一例として、第１時間長を「０．５ｓ」とし、第２時間長を「２．０ｓ」とする。
たとえば、図１５において、分節区間Ｔｎ−１の時間長が第２時間長以上とすると、分節区間Ｔｎ−１における競技者１０の姿勢運動は、静止の分節姿勢となる。分節区間Ｔｎの時間長が第２時間長以上とすると、分節区間Ｔｎにおける競技者１０の姿勢運動は、静止の分節姿勢となる。分節区間Ｔｎ＋１の時間長が第２時間長以上とすると、分節区間Ｔｎ＋１における競技者１０の姿勢運動は、静止の分節姿勢となる。
判別部１６４は、分節区間の始点および終点に対応するフレーム番号と、分節区間における分節姿勢の種別とを対応付けた情報を、技決定部１６５に出力する。また、判別部１６４は、基本単位の始点および終点に対応するフレーム番号を、技決定部１６５に出力する。
また、判別部１６４は、分節区間の種別に応じて、基本単位を補正してもよい。たとえば、判別部１６４は、分節区間の種別が「経過の分節姿勢」である場合には、前後の基本単位を統合する。図１６は、本実施例に係る判別部の処理を説明するための図（２）である。たとえば、分節区間Ｔｎ’の時間長が第１時間長未満とすると、分節区間Ｔｎ’における競技者１０の姿勢運動は、通過の分節姿勢となる。この場合には、判別部１６４は、分節区間Ｔｎ’の前後で、基本単位を分割しないで、分節区間Ｔｎ’を、基本単位Ｕｎに含める。
判別部１６４は、基本単位の情報、分節区間の情報を、判別結果として、技決定部１６５に出力する。たとえば、基本単位の情報は、図１５等で説明した、各基本単位の開始時点および終了時点（フレーム番号）を含む。分節区間の情報は、各分節区間の開始時点および終了時点（フレーム番号）を含む。また、分節区間の情報は、分節区間が「通過の分節区間」であるのか、「経過の分節区間」であるのか、「静止の分節区間」であるかの情報を含む。
図３の説明に戻る。技決定部１６５は、判別部１６４の判別結果を基にして、基本単位毎に、技を決定する処理部である。基本単位には、移動運動および姿勢運動が含まれている。技決定部１６５は、移動運動の種別および姿勢運動の種別の組み合わせを基にして、基本単位に対応する技を決定する。
技決定部１６５は、基本単位の開始時点および終了時点と、分節区間の開始時点および終了時点とを基にして、基本単位を、移動運動の種別を認識する単位と、分節姿勢の種別を認識する単位とに分割する。以下の説明では適宜、移動運動の種別を認識する単位を、「移動運動区間」と表記する。分節姿勢の種別を認識する単位を、「分節区間」と表記する。
図１７は、本実施例に係る技決定部の処理を説明するための図である。図１７に示す例では、基本単位Ｕｎ−１には、移動運動区間ｔｎ−１、分節区間Ｔｎ−１が含まれる。基本単位Ｕｎには、移動運動区間ｔｎと、分節区間Ｔｎが含まれる。基本単位Ｕｎ＋１には、移動運動区間ｔｎ＋１と、分節区間Ｔｎ＋１が含まれる。
技決定部１６５は、移動運動区間に対応する骨格データと、技認識ＤＢ１５５（テーブル１７０ｂ）とを基にして、移動運動区間に含まれる移動運動の種別を特定する。技決定部１６５は、移動運動区間に対応する骨格データの特徴が、テーブル１７０ｂのいずれの移動運動成立条件に対応するか否かに応じて、移動運動名を特定する。技決定部１６５が、移動運動名を判定するためには、図１３で説明したように、「終了分節姿勢名」、「開始分節姿勢名」、「特徴量」を特定することになる。
技決定部１６５が、終了分節姿勢名を特定する処理の一例について説明する。技決定部１６５は、終了分節姿勢名として、移動運動区間直前の分節姿勢名（静止運動名）を特定する。たとえば、移動運動区間の開始時点のフレーム番号をｎとすると、フレーム番号ｎ−１の骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。
たとえば、フレーム番号ｎ−１の骨格データから求められる各評価項目について、背骨アングルが「θＡ１以下」、ヒップアングルが「θＡ２以上」、アームアングルが「θＡ３１〜θＡ３２」、エルボーアングルが「θＡ４以上」、ニーアングルが「θＡ５以上」という各成立条件を全て満たすとする。この場合には、静止運動名「静止運動Ｓ１」の技が成立したことになるため、技決定部１６５は、「静止運動Ｓ１」を、終了分節姿勢名として特定する。
技決定部１６５が、開始分節姿勢名を特定する処理の一例について説明する。技決定部１６５は、開始分節姿勢名として、分節区間を開始（姿勢運動を開始）する時点の分節姿勢名（静止運動名）を特定する。たとえば、分節区間の開始時点のフレーム番号をｎとすると、フレーム番号ｎの骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。
技決定部１６５が、特徴量を特定する処理の一例について説明する。技決定部１６５は、移動運動区間に含まれる骨格データに基づき、競技者１０の回転数、ひねり数、腕姿勢、身体姿勢を特定し、特定した情報を特徴量とする。たとえば、腕姿勢は「伸腕、屈腕」等に対応し、身体姿勢は「伸身、屈伸、かかえ込み」等に対応する。また、技決定部１６５は、特徴量を算出する場合に、移動運動区間に含まれる移動データの３次元座標を、器具の中点を原点とした３次元座標に補正し、補正した３次元座標を用いて、特徴量を算出してもよい。
技決定部１６５は、上記の処理を行うことで、終了分節姿勢名、開始分節姿勢名、特徴量を特定する。技決定部１６５は、特定した終了分節姿勢名、開始分節姿勢名、特徴量の組と、テーブル１７０ｂの移動運動成立条件とを比較することで、該当する移動運動名を特定する。
一方、技決定部１６５は、終了分節姿勢名および開始分節姿勢名に対応する静止運動名（分節姿勢名）が存在しない場合には、移動運動区間の移動運動を不認定とする。また、技決定部１６５は、終了分節姿勢名、開始分節姿勢名、特徴量の組に対応する、移動運動成立条件が存在しない場合にも、移動運動区間の移動運動を不認定とする。
技決定部１６５は、分節区間に対応する骨格データと、技認識ＤＢ１５５（テーブル１７０ａ）とを基にして、分節区間に含まれる分節姿勢（静止運動）の種別を特定する。技決定部１６５は、分節区間に対応する骨格データの特徴が、テーブル１７０ａのいずれの静止運動成立条件に対応するか否かに応じて、分節姿勢名（静止運動名）を特定する。
たとえば、技決定部１６５は、分節区間の開始時点から終了時点までのフレーム番号のうち、いずれかのフレーム番号を特定する。技決定部１６５は、特定したフレーム番号に対応する骨格データと、テーブル１７０ａで定義された静止運動成立条件とを比較して、静止運動名を特定する。特定した静止運動名は、図１２に示した静止運動のいずれかとなる。
技決定部１６５は、上記の処理を行うことで、同一の基本単位に含まれる移動運動区間の移動運動名と、分節区間の静止運動名との組を特定する。また、技決定部１６５は、分節区間に対応する分節姿勢（静止運動）が「経過の分節姿勢」であるか、「静止の分節姿勢」であるかを、区別する。
技決定部１６５は、同一の基本単位に含まれる移動運動区間の移動運動名および分節区間の静止運動名と、技認識テーブル１５５ａの成立条件とを比較し、成立条件に対応する技名を、競技者１０が、基本単位で行った技として決定する。
ここで、移動運動名および静止運動名（分節区間の姿勢運動の種別）に応じた、技の一例について説明する。たとえば、技決定部１６５は、基本単位の移動運動名が「伸腕伸身逆上がり」であり、静止の静止運動名が「十字懸垂（２秒）」である場合には、かかる基本単位の技を「伸腕伸身逆上がり十字懸垂」と決定する。
技決定部１６５は、基本単位の移動運動名が「ほん転逆上がり」であり、静止の静止運動名が「倒立（２秒）」である場合には、かかる基本単位の技を「ほん転逆上がり倒立」と決定する。
技決定部１６５は、基本単位の移動運動が「不認定」であり、静止の静止運動名が「十字懸垂（２秒）」である場合には、かかる基本単位の技を「十字懸垂」と決定する。
技決定部１６５は、基本単位の移動運動名が「伸腕ほん転逆上がり」であり、経過の静止運動名が「倒立」である場合には、かかる基本単位の技を「伸腕ほん転逆上がり倒立経過」と決定する。
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ１」となるものとする。この場合には、連続する静止運動名が同一であるため、技決定部１６５は、移動運動Ｄ１に静止の静止運動Ｓ１を付加した名称を、基本単位の技の名称とする。なお、静止運動名が同一であれば、移動運動の後に行われた静止運動の数によらず、技の名称は同一となる。
組合せ１：「移動運動名Ｄ１」＋経過の「静止運動名Ｓ１」＋通過の「静止運動名Ｓ１」＋静止の「静止運動名Ｓ１」＝技名「移動運動名Ｄ１＋静止運動名Ｓ１」の技が成立する。
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ２」となるものとする。技決定部１６５は、組合せ２のように、経過の静止運動の後に、姿勢が他の姿勢となり、再び元の静止運動となった場合には、静止運動名を、基本単位の技の名称とする。
組合せ２：「移動運動名Ｄ１」＋経過の「静止運動名Ｓ１」＋「他の静止運動名（姿勢はずれ）」＋静止の「静止運動名Ｓ１」＝技名「静止運動名Ｓ１」の技が成立する。
基本運動に移動運動と、移動運動の後に、複数の静止運動が含まれており、この組合せが、「組合せ３」となるものとする。技決定部１６５は、組合せ３のように、通過の静止運動の後に、姿勢が他の姿勢となり、再び元の静止運動となった場合には、移動運動名Ｄ１に静止運動名を付加したものを、基本単位の技の名称とする。
組合せ３：「移動運動名Ｄ１」＋通過の「静止運動名Ｓ１」＋「他の静止運動名（姿勢はずれ）」＋静止の「静止運動名Ｓ１」＝技名「移動運動名Ｄ１＋静止運動名Ｓ１」の技が成立する。
技決定部１６５は、基本単位毎に上記処理を繰り返し実行し、基本単位毎の技名を決定する。技決定部１６５は、基本単位に対応する技名を、順次、出力部１６６に出力する。また、技決定部１６５は、競技者１０の特徴量の情報を、順次、出力部１６６に出力する。
ここで、技認識装置１００は、技名を決定する場合において、リアルタイム処理を実行するものとする。たとえば、技決定部１６５は、図１７において、移動運動区間ｔｎ＋１が終了した時点で、移動運動区間ｔｎ＋１の移動運動名を決定する。技認識装置１００は、分節区間Ｔｎ−１が終了した時点で、静止運動名を決定し、移動運動名と静止運動名との組合せから、基本単位Ｕｎ−１の技の名称を決定する。技決定部１６５は、同様にして、移動運動区間ｔｎと、分節区間Ｔｎとが終了した時点で、基本単位Ｕｎの技の名称を決定する。技決定部１６５は、移動運動区間ｔｎ＋１と、分節区間Ｔｎ＋１とが終了した時点で、基本単位Ｕｎ＋１の技の名称を決定する。
出力部１６６は、技決定部１６５が決定した技名を受けつけた場合に、技名の情報を、表示部１４０に出力して表示させる処理部である。
また、出力部１６６は、競技者１０の骨格データの特徴量の時間推移、関節位置の変化の総和Σ、競技者１０のＸ方向、Ｙ方向の揺れＦｘ、Ｆｙの時間変化を表示するグラフ情報を生成し、生成したグラフ情報を、表示部１４０に出力して表示させてもよい。本実施例では一例として、骨格データの特徴量を、競技者１０の回転角度、腰角度、上腕角度とする。
図１８は、本実施例に係るグラフ情報の一例を示す図である。図１８のグラフ５５において、横軸は時間軸（フレーム番号）を示す。縦軸は角度、または、総和Σ、揺れＦｘ、Ｆｙの値に対応する軸である。図１８において、線分５０は、式（６）により算出される、関節位置の変化の総和Σの時間変化を示す線分である。線分５０ａは、競技者１０が静止しているか否かを判定するための閾値である。線分５０が、閾値５０ａ未満である間は、競技者１０は静止していることを示す。
線分５１ａは、揺れＦｘの時間変化を示すものである。線分５１ｂは、揺れＦｙの時間変化を示すものである。線分５２ａは、競技者１０の回転角度を示すものであり、前転の場合には正の値をとり、後転の場合には負の値をとる。線分５２ｂは、競技者１０の腰角度を示すものである。線分５２ｃは、競技者１０の上腕角度を示すものである。図１８に示す、骨格データの特徴量（線分５２ａ，５２ｂ，５２ｃの時間変化）は、技「ほん転逆上がり倒立」に対応する特徴量である。
たとえば、審査員は、図１８に示すグラフを参照することで、関節位置の変化の総和Σが、閾値（線分５０ａ）を下回っているか否かを確認することで、静止運動「倒立」において、競技者１０が静止しているか否かを確認することが可能となる。
次に、本実施例に係る技認識装置１００の処理手順の一例について説明する。図１９は、本実施例に係る技認識装置の処理手順を示すフローチャートである。図１９に示すように、技認識装置１００の取得部１６１は、３Ｄレーザセンサ２０から距離画像データを取得する（ステップＳ１０１）。技認識装置１００の抽出部１６２は、距離画像データを解析し、競技者１０の骨格データを抽出する（ステップＳ１０２）。
技認識装置１００の分節部１６３は、分節区間を判定する（ステップＳ１０３）。技認識装置１００の判別部１６４は、分節区間に対する姿勢運動が、通過、経過、静止のいずれであるかを判定する（ステップＳ１０４）。判別部１６４は、骨格データを、基本単位に分割する（ステップＳ１０５）。
技認識装置１００の技決定部１６５は、基本単位に含まれる移動運動の種別、姿勢運動の種別を判定する（ステップＳ１０６）。技決定部１６５は、移動運動の種別と、姿勢運動の種別との組み合わせに対応する技を判定する（ステップＳ１０７）。技認識装置１００の出力部１６６は、技の判定結果を、表示部１４０に出力する（ステップＳ１０８）。
次に、本実施例に係る技認識装置１００の効果について説明する。技認識装置１００は、競技者１０の姿勢運動が静止しているか否かに基づいて、分節区間に特定する。また、技認識装置１００は、移動運動区間と、分節区間とを含む基本単位毎に、時系列の骨格データを分割し、移動運動区間の移動運動の種別と、分節区間の静止運動の種別との組から、技を決定する。これにより、競技者１０の姿勢が静止しているか否かを加味したうえで、一つの技を認識することが求められる採点競技において、複数の単位動作からなる技を認識することが可能となる。
技認識装置１００は、競技者１０の関節位置の変化の総和Σが閾値未満となる区間を分節区間とし、分節区間の時間長に応じて、分節区間に含まれる静止運動が、通過の静止運動であるか、経過の静止運動であるか、静止の静止運動であるかを区別する。これにより、分節区間の静止運動の種別に応じた、技の名称を適切に認識することができる。
なお、器具を使った演技（吊り輪、平行棒、トランポリン）においては、競技者１０がぶら下がっている、または、乗っていることにより、器具自体が振動することがある。このとき、競技者１０が静止していても、器具自体の振動が、時系列で順次取得した骨格データの関節位置の推移に加味されてしまう。
一方で、競技者１０がぶら下がっている、または、乗っていることにより器具自体の振動以外に、競技者１０自身が動いてしまっていることで、器具が揺れている場合には、競技者１０の揺れとして認識し、技の成立や、出来栄えに反映することが好ましい。
ここで、技認識装置１００は、競技者１０の姿勢を評価する場合に、競技者１０の骨格データの３次元座標を、器具の中心位置を基準とした３次元座標に修正し、修正した３次元座標を基にして、競技者１０の姿勢を評価する。これにより、技認識装置１００によれば、器具自体の振動の影響を除外して、競技者１０の姿勢を適切に評価することができる。
ところで、上述した実施例では一例として、競技者１０が行う演技を吊り輪とし、式（６）に示した、関節位置の変化の総和Σの値と閾値との比較により、分節区間を設定し、姿勢運動を特定していたが、これに限定されるものではない。たとえば、後述するように、吊り輪以外の採点競技でも、同様に技を判定することが可能である。以下において、技認識装置１００が、跳馬を行う競技者の技を判定する処理の一例について説明する。
図２０は、分節区間を設定するその他の例を説明するための図である。図２０に示す例では、競技者１５が、跳馬を行っている。技認識装置１００は、評価関数Σ１、評価関数Σ２、評価関数Σ３を用いて、複数の分節区間を設定する。評価関数Σ１、評価関数Σ２、評価関数Σ３は、下記の様に定義される。
評価関数Σ１は、競技者１５が踏切台面１６において、踏切を行う瞬間の姿勢運動のタイミングＴｂ１を特定するものである。たとえば、評価関数Σ１の値≦ＴＨ１となる分節区間に、踏切を行う瞬間の姿勢運動が含まれる。
評価関数Σ１は、競技者１５の関節１２番および１６番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節１２番および１６番のＹ座標値が踏切台面１６の区間１６ａに含まれている間に、評価関数Σ１は適用される。
評価関数Σ２は、競技者１５が跳馬台面１７において、着手支持が成立したタイミングＴｂ２を特定するものである。たとえば、評価関数Σ２の値≦ＴＨ２となる分節区間に、着手支持が成立する瞬間の姿勢運動が含まれる。
評価関数Σ２は、競技者１５の関節６番および９番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節６番および９番のＹ座標が、跳馬台面１７の区間１７ａに含まれている間に、評価関数Σ２は適用される。
評価関数Σ３は、競技者１５がマット１８に着地した瞬間の姿勢運動のタイミングＴｂ３を特定するものである。たとえば、評価関数Σ３の値≦ＴＨ３となる分節区間に、着地を行う瞬間の姿勢運動が含まれる。
評価関数Σ３は、競技者１５の関節１２番および１６番のＺ座標値をサンプリング値とし、フレーム番号ｎのサンプリング値と、フレーム番号ｎ−１のサンプリング値との変化を求める評価関数である。ただし、競技者１５の関節１２番および１６番のＹ座標が、マット１８の区間１８ａに含まれる間に、評価関数Σ３は適用される。
図２１は、跳馬による各分節区間の姿勢運動の一例を示す図である。たとえば、技認識装置１００は、評価関数Σ１の値≦ＴＨ１となる分節区間の時間長が０．１秒以上である場合には、この分節区間に、姿勢運動take-off、round-offが含まれるか否かを判定する。
技認識装置１００は、評価関数Σ２の値≦ＴＨ２となる分節区間の時間長が０．１秒以上である場合には、この分節区間に、姿勢運動support_F、support_B、support_Sが含まれるか否かを判定する。
技認識装置１００は、評価関数Σ３の値≦ＴＨ３となる分節区間の時間長が０．５秒以上である場合には、この分節区間に、姿勢運動landing_F、landing_Bが含まれるか否かを判定する。
なお、図２０において、タイミングＴｂ１からＴｂ２の間、および、Ｔｂ２からＴｂ３の間は、移動運動区間となる。技認識装置１００は、移動運動区間の移動運動の種別を、上述した技決定部１６５の処理と同様にして特定する。
技認識装置１００は、上記のように特定した各姿勢運動の種別と、移動運動の種別との組み合わせを基にして、跳馬を行う競技者１５の技を決定する。ここでは、一例として、跳馬の技を決定する場合について説明したが、他の採点競技についても、同様に技を決定することができる。
次に、本実施例で説明した技認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図２２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、無線ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１〜２０７は、バス２０８に接続される。
ハードディスク装置２０７は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、分節プログラム２０７ｃ、判別プログラム２０７ｄ、技決定プログラム２０７ｅ、出力プログラム２０７ｆを有する。ＣＰＵ２０１は、取得プログラム２０７ａ、抽出プログラム２０７ｂ、分節プログラム２０７ｃ、判別プログラム２０７ｄ、技決定プログラム２０７ｅ、出力プログラム２０７ｆを読み出してＲＡＭ２０６に展開する。
取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。抽出プログラム２０７ｂは、抽出プロセス２０６ｂとして機能する。分節プログラム２０７ｃは、分節プロセス２０６ｃとして機能する。判別プログラム２０７ｄは、判別プロセス２０６ｄとして機能する。技決定プログラム２０７ｅは、技決定プロセス２０６ｅとして機能する。出力プログラム２０７ｆは、出力プロセス２０６ｆとして機能する。
取得プロセス２０６ａの処理は、取得部１６１の処理に対応する。抽出プロセス２０６ｂの処理は、抽出部１６２の処理に対応する。分節プロセス２０６ｃの処理は、分節部１６３の処理に対応する。判別プロセス２０６ｄの処理は、判別部１６４の処理に対応する。技決定プロセス２０６ｅの処理は、技決定部１６５の処理に対応する。出力プロセス２０６ｆの処理は、出力部１６５の処理に対応する。
なお、各プログラム２０７ａ〜２０７ｆについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ〜２０７ｆを読み出して実行するようにしても良い。
２０ ３Ｄレーザセンサ
１００ 技認識装置
１１０ インタフェース部
１２０ 通信部
１３０ 入力部
１４０ 表示部
１５０ 記憶部
１５１ 距離画像ＤＢ
１５２ 関節定義データ
１５３ 関節位置ＤＢ
１５４ 骨格ＤＢ
１５５ 技認識ＤＢ
１６０ 制御部
１６１ 取得部
１６２ 抽出部
１６３ 分節部
１６４ 判別部
１６５ 技決定部
１６６ 出力部

Claims (15)

  1. コンピュータに、
    ３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
    前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
    前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
    前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
    前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
    処理を実行させることを特徴とする技認識プログラム。
  2. 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項１に記載の技認識プログラム。
  3. 前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１に記載の技認識プログラム。
  4. 前記判別する処理は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１、２または３に記載の技認識プログラム。
  5. 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更にコンピュータに実行させることを特徴とする請求項４に記載の技認識プログラム。
  6. コンピュータが、
    ３Ｄレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
    前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、
    前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
    前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
    前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
    処理を実行することを特徴とする技認識方法。
  7. 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項６に記載の技認識方法。
  8. 前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項６に記載の技認識方法。
  9. 前記判別する処理は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項６、７または８に記載の技認識方法。
  10. 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更に実行することを特徴とする請求項９に記載の技認識方法。
  11. ３Ｄレーザセンサと、技認識装置とを含む技認識システムであって、
    前記３Ｄレーザセンサは、一連の演技を実施している被写体をセンシングすることで、距離画像情報を生成し、
    前記技認識装置は、
    前記３Ｄレーザセンサから前記距離画像情報を取得する取得部と、
    前記距離画像情報から得られた前記被写体の３次元骨格情報を、時系列で、取得し、前記時系列で取得した前記３次元骨格情報を、所定のルールに基づいて、複数の単位に分節する分節部と、
    前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別する判別部と、
    前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する技決定部と
    を有することを特徴とする技認識システム。
  12. 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項１１に記載の技認識システム。
  13. 前記判別部は、前記演技が器具を用いた演技である場合に、前記被写体の３次元骨格情報を、前記器具の位置を基準とした３次元骨格情報に修正し、修正した３次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１１に記載の技認識システム。
  14. 前記判別部は、時系列に連続する前後の各３次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項１１、１２または１３に記載の技認識システム。
  15. 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる出力部を更に有することを特徴とする請求項１４に記載の技認識システム。
JP2019559491A 2017-12-14 2017-12-14 技認識プログラム、技認識方法および技認識システム Active JP6943294B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/044897 WO2019116495A1 (ja) 2017-12-14 2017-12-14 技認識プログラム、技認識方法および技認識システム

Publications (2)

Publication Number Publication Date
JPWO2019116495A1 true JPWO2019116495A1 (ja) 2020-11-26
JP6943294B2 JP6943294B2 (ja) 2021-09-29

Family

ID=66819075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559491A Active JP6943294B2 (ja) 2017-12-14 2017-12-14 技認識プログラム、技認識方法および技認識システム

Country Status (5)

Country Link
US (1) US11776134B2 (ja)
EP (1) EP3726468A4 (ja)
JP (1) JP6943294B2 (ja)
CN (1) CN111480178B (ja)
WO (1) WO2019116495A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7248137B2 (ja) * 2019-09-30 2023-03-29 富士通株式会社 評価方法、評価プログラムおよび情報処理装置
WO2021064960A1 (ja) * 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
CN114514559A (zh) * 2019-10-03 2022-05-17 富士通株式会社 运动识别方法、运动识别程序及信息处理装置
JP7272470B2 (ja) * 2020-01-24 2023-05-12 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2022208859A1 (ja) 2021-04-01 2022-10-06 富士通株式会社 技認識方法、技認識装置および体操採点支援システム
CN113486708B (zh) * 2021-05-24 2022-03-25 浙江大华技术股份有限公司 人体姿态预估方法、模型训练方法、电子设备和存储介质
WO2023243095A1 (ja) * 2022-06-17 2023-12-21 富士通株式会社 情報処理プログラム、情報処理方法及び情報処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056449A1 (ja) * 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014565B2 (en) * 2005-08-26 2011-09-06 Sony Corporation Labeling used in motion capture
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
JP4643766B1 (ja) * 2009-07-31 2011-03-02 パナソニック株式会社 移動体検出装置及び移動体検出方法
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US9358456B1 (en) * 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CN103155003B (zh) * 2010-10-08 2016-09-28 松下电器产业株式会社 姿势估计装置及姿势估计方法
US8761437B2 (en) 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP5862143B2 (ja) * 2011-09-15 2016-02-16 オムロン株式会社 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
KR101908284B1 (ko) * 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
JP2013200867A (ja) * 2012-02-23 2013-10-03 Tokyo Kogei Univ アニメーション作成装置、カメラ
AU2013296153A1 (en) 2012-07-27 2015-02-19 Adelaide Research & Innovation Pty Ltd A system, method, software application and data signal for determining movement
JP6091407B2 (ja) 2013-12-18 2017-03-08 三菱電機株式会社 ジェスチャ登録装置
KR101519775B1 (ko) * 2014-01-13 2015-05-12 인천대학교 산학협력단 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
JPWO2015186436A1 (ja) * 2014-06-06 2017-04-20 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
KR101514731B1 (ko) * 2014-09-05 2015-04-28 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
KR101576106B1 (ko) 2014-10-14 2015-12-10 순천향대학교 산학협력단 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
JP6356616B2 (ja) * 2015-02-17 2018-07-11 日本電信電話株式会社 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム
JP6596309B2 (ja) * 2015-11-11 2019-10-23 株式会社東芝 分析装置および分析方法
US11006856B2 (en) * 2016-05-17 2021-05-18 Harshavardhana Narayana Kikkeri Method and program product for multi-joint tracking combining embedded sensors and an external sensor
KR101784410B1 (ko) * 2016-11-15 2017-11-06 단국대학교 천안캠퍼스 산학협력단 운동 자세 인식 방법 및 이를 적용하는 시스템
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056449A1 (ja) * 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中村 明生，外４名: "舞踊動作の解析と応用システムの開発", 情報処理学会研究報告 ＶＯＬ．２００３ ＮＯ．３６, vol. 第2003巻, JPN6021030862, 2003, JP, ISSN: 0004567337 *
平野 一視，外２名: "動作モデルを用いた単眼動画像からの人体姿勢の推定", 電子情報通信学会技術研究報告 ＶＯＬ．９９ ＮＯ．７１０, vol. 第99巻, JPN6021030864, 2000, JP, ISSN: 0004567338 *
辛 貞殷，外１名: "動画像処理によるスポーツ運動解析の研究", 電子情報通信学会技術研究報告 ＶＯＬ．１０８ ＮＯ．４７, vol. 第108巻, JPN6021030863, 2008, JP, ISSN: 0004567336 *

Also Published As

Publication number Publication date
CN111480178B (zh) 2024-02-20
US20200302617A1 (en) 2020-09-24
CN111480178A (zh) 2020-07-31
JP6943294B2 (ja) 2021-09-29
US11776134B2 (en) 2023-10-03
EP3726468A1 (en) 2020-10-21
EP3726468A4 (en) 2020-12-16
WO2019116495A1 (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
CN109863535B (zh) 运动识别装置、存储介质以及运动识别方法
US10923224B2 (en) Non-transitory computer-readable recording medium, skill determination method, skill determination device and server
WO2021051579A1 (zh) 形体姿态识别方法、系统、装置及存储介质
US20200193866A1 (en) Non-transitory computer readable recording medium, practice assist method, and practice assist system
JP6915701B2 (ja) 抽出プログラム、抽出方法および情報処理装置
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
KR101975056B1 (ko) 사용자 맞춤형 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법
US8175326B2 (en) Automated scoring system for athletics
Connaghan et al. Multi-sensor classification of tennis strokes
CN105229666A (zh) 3d图像中的运动分析
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
CN106572816A (zh) 步行解析系统和步行解析程序
JP2019136493A (ja) 運動の採点方法、システム及びプログラム
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
Malawski Depth versus inertial sensors in real-time sports analysis: A case study on fencing
CN117109567A (zh) 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备
CN111353345B (zh) 提供训练反馈的方法、装置、系统、电子设备、存储介质
JP2018099452A (ja) 選択支援装置、選択支援システムおよび選択支援方法
CN114053679A (zh) 运动训练方法及其系统
JP7272470B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
Rymut et al. Kinematic analysis of hurdle clearance using a mobile device
WO2024005183A1 (ja) ランニングフォーム評価システム、プログラム及び方法
WO2022208859A1 (ja) 技認識方法、技認識装置および体操採点支援システム
ThOUVARECQ Amplitude Variables of Circle on the Pedagogic Pommel Horse in Gymnastics

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200601

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210823

R150 Certificate of patent or registration of utility model

Ref document number: 6943294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150