WO2016056449A1 - スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ - Google Patents

スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ Download PDF

Info

Publication number
WO2016056449A1
WO2016056449A1 PCT/JP2015/077851 JP2015077851W WO2016056449A1 WO 2016056449 A1 WO2016056449 A1 WO 2016056449A1 JP 2015077851 W JP2015077851 W JP 2015077851W WO 2016056449 A1 WO2016056449 A1 WO 2016056449A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
skill
unit
information
skill determination
Prior art date
Application number
PCT/JP2015/077851
Other languages
English (en)
French (fr)
Inventor
佐々木 和雄
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2016553063A priority Critical patent/JP6384549B2/ja
Priority to KR1020177008866A priority patent/KR101936532B1/ko
Priority to CN201580054106.2A priority patent/CN106794371B/zh
Priority to EP15849229.8A priority patent/EP3205379A4/en
Publication of WO2016056449A1 publication Critical patent/WO2016056449A1/ja
Priority to US15/467,649 priority patent/US10923224B2/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3608Attachments on the body, e.g. for measuring, aligning, restraining
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3667Golf stance aids, e.g. means for positioning a golfer's feet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0277Online advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32Golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/10Positions
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00Measuring physiological parameters of the user
    • A63B2230/62Measuring physiological parameters of the user posture
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00Exercise devices
    • Y10S482/901Exercise devices having computer circuitry
    • Y10S482/902Employing specific graphic or video display

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

 スキル判定装置(100)は、フェーズ判定部(150)とスキル判定部(160)とを有する。フェーズ判定部(150)は、お手本データ(120a)と、利用者のモーションデータとを基にして、フェーズの種別毎に第2フレームデータを抽出する。スキル判定部(160)は、フェーズの種別毎の第2フレームデータと、スキル判定定義データ(120b)とを基にして、利用者のスキルを判定する。

Description

スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ
 本発明は、スキル判定プログラム等に関する。
 各種のスポーツ分野でトレーニングを行う利用者は、専門家の指導を受ける場合がある。一般的に専門家は、過去の指導経験に基づく感覚等により、利用者を指導することになる。近年では、専門家は、利用者を撮影した映像をリアルタイムにディスプレイに表示させて、利用者に自身のフォームを確認させつつ、利用者に指導を行う場合もある。
 また、専門家は、利用者に加速度センサ等を装着させてセンシングを行い、トレーニング中のセンシング結果から得られる数値データを参照して、利用者にアドバイスを行うこともある。このような数値データを根拠にしてアドバイスを行うことによって、利用者に納得感のある指導を行うことができる。
 なお、一部の人気スポーツでは、特定の動作に着目して、利用者の特定の動作を評価する専用のアプリケーションソフトウェアが販売されている。以下では、専用のアプリケーションソフトウェアを専用アプリと表記する。利用者は、かかる専用アプリを利用することで、専門家がいない場合でも、特定のスキルについて自身のスキルを確認することができる。例えば、バットのスイングスピードを評価する専用アプリを利用することで、利用者は、自身のスイングスピードを知ることができる。
特開2004-313479号公報 特開2008-236124号公報
 しかしながら、上述した従来技術では、汎用的に、利用者のスキルを自動で判定することができないという問題がある。
 例えば、利用者のセンシングを行って指導する場合には、専門家がいることが大前提になっており、センシングの開始・終了タイミングや各数値データの解析を専門家が行うため、利用者自身が自動で用いられるものではなかった。
 また、専門アプリは利用者自身で容易に使用することができるものの、一部のスポーツの限られた内容において評価を得られるのみであり、汎用性に欠ける。
 1つの側面では、汎用的に、利用者のスキルを自動で判定することができるスキル判定プログラム、スキル判定方法、スキル判定装置およびサーバを提供することを目的とする。
 第1の案では、コンピュータに下記の処理を実行させる。コンピュータは、フェーズ定義情報に基づいて、第2利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む第2フレームから、フェーズの種別に対応する第2フレームをそれぞれ判定する。フェーズ定義情報は、第1利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数の第1フレームと複数の第1フレームにそれぞれ対応するフェーズの種別とを対応付けた情報である。コンピュータは、スキル定義情報に基づいて、フェーズの種別毎に判定した第2フレームに含まれる特徴点から導き出される第2利用者の動作、姿勢または関節の特徴量を判定する。スキル定義情報は、複数の第1フレームにそれぞれ含まれる特徴点から導き出される第1利用者の動作、姿勢または関節の特徴量と、スキルの判定基準と、判定対象となるフェーズの種別とを対応付けて定義した情報である。
 本発明の1実施態様によれば、汎用的に、利用者のスキルを自動で判定することができる。
図1は、本実施例1に係るスキル判定装置の構成を示す機能ブロック図である。 図2は、フレームデータのデータ構造の一例を示す図である。 図3は、お手本データのデータ構造の一例を示す図である。 図4は、スキル判定定義データのデータ構造の一例を示す図である。 図5は、スキル判定定義データを補足説明するための図である。 図6は、表示装置に表示される表示画面の一例を示す図である。 図7は、「PositionChecker」のパラメータ設定画面の一例を示す図である。 図8は、「AngleChecker(1)」のパラメータ設定画面の一例を示す図である。 図9は、「AngleChecker(2)」のパラメータ設定画面の一例を示す図である。 図10は、フレームマッチングの一例を説明するための図である。 図11は、重みを説明するための図である。 図12は、スキル判定部の処理を説明するための図(1)である。 図13は、スキル判定部の処理を説明するための図(2)である。 図14は、出力部が生成する表示画面の一例を示す図(1)である。 図15は、出力部が生成する表示画面の一例を示す図(2)である。 図16は、スキル判定装置の処理手順を示すフローチャートである。 図17は、スキル判定処理の処理手順を示すフローチャートである。 図18は、設定処理の処理手順を示すフローチャートである。 図19は、スキル判定プログラムを実行するコンピュータの一例を示す図である。 図20は、本実施例2に係るシステムの構成を示す図である。 図21は、本実施例2に係るサーバの構成を示す機能ブロック図である。 図22は、スキル判定結果テーブルのデータ構造の一例を示す図である。 図23は、スキル判定結果の一例を示す図である。 図24は、本実施例2に係る個人情報テーブルのデータ構造の一例を示す図である。 図25は、バーナー情報テーブルのデータ構造の一例を示す図である。 図26は、商品テーブルのデータ構造の一例を示す図である。 図27は、本実施例2に係るサーバの処理手順を示すフローチャートである。 図28は、本実施例3に係るシステムの構成を示す図である。 図29は、本実施例3に係るサーバの構成を示す機能ブロック図である。 図30は、本実施例3に係る個人情報テーブルのデータ構造の一例を示す図である。 図31は、グループ管理テーブルのデータ構造の一例を示す図である。 図32は、本実施例3に係るサーバの処理手順を示すフローチャートである。 図33は、本実施例4に係るシステムの構成を示す図である。 図34は、本実施例4に係るサーバの構成を示す機能ブロック図である。 図35は、専門家データテーブルのデータ構造の一例を示す図である。 図36は、本実施例4に係るサーバの処理手順を示すフローチャートである。 図37は、制御プログラムを実行するコンピュータの一例を示す図である。
 以下に、本願の開示するスキル判定プログラム、スキル判定方法、スキル判定装置およびサーバの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
 本実施例に係るスキル判定装置の構成について説明する。図1は、本実施例に係るスキル判定装置の構成を示す機能ブロック図である。図1に示すように、スキル判定装置100は、モーションセンサ10a,10bに接続される。スキル判定装置100は、センシング部110a,110b、記憶部120、お手本データ生成部130、スキル判定定義部140、フェーズ判定部150、スキル判定部160、出力部170を有する。
 モーションセンサ10a,10bをまとめて、適宜、モーションセンサ10と表記する。モーションセンサ10は、人や物の動きを検知するセンサである。例えば、モーションセンサ10は、人の特徴点の3次元座標を検知し、特徴点と3次元座標とを対応付けたセンシング情報を、スキル判定装置100に出力する。ここで、人の特徴点は、例えば、人の頭、首、背中、腰や、その他の関節部分に対応する。
 モーションセンサ10は、どのような従来技術を用いて、センシング情報を出力してもよい。例えば、モーションセンサ10は、反射型のMAモーションセンサ、受光型の熱型センサに対応する。または、人に3軸加速度センサ、3軸ジャイロセンサを装着させて、センシング情報を抽出してもよい。
 センシング部110aは、専門家の指導を受ける利用者のセンシング情報をモーションセンサ10から取得する処理部である。以下の説明において、専門家の指導を受ける利用者を単に利用者と表記する。センシング部110aは、モーションセンサ10からセンシング情報をフレームデータとして連続的に取得し、フェーズ判定部150に出力する。
 図2は、フレームデータのデータ構造の一例を示す図である。図2に示すように、フレームデータは連続的にセンシング部110aによって取得され、フェーズ判定部150に出力される。各フレームデータは、それぞれフレーム番号に対応付けられる。図示を省略するが、各フレームデータは、時刻情報に対応付けられ、時系列順に、フェーズ判定部150に出力される。例えば、フレーム番号「102」のフレームデータは、時刻「t」において、モーションセンサ10に検出された利用者の特徴点の3次元座標を示す。
 センシング部110bは、専門家のセンシング情報をモーションセンサ10から取得する処理部である。センシング部110bは、モーションセンサ10からセンシング情報をフレームデータを連続的に取得し、お手本データ生成部130に出力する。専門家のフレームデータのデータ構造は、図2に示したフレームデータのデータ構造と同じである。
 以下では、説明の便宜上、専門家のモーションデータに含まれるフレームデータを、第1フレームデータと表記する。利用者のモーションデータに含まれるフレームデータを第2フレームデータと表記する。
 記憶部120は、お手本データ120aおよびスキル判定定義データ120bを有する。記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子やHDD(Hard Disk Drive)などの記憶装置に対応する。
 お手本データ120aは、第1フレームデータと、この第1フレームデータのフェーズの種別とをそれぞれ対応付ける情報である。お手本データ120aは、フェーズ定義情報に対応する。例えば、フェーズの種別には、「start」、「backswing」、「top」、「impact」、「follow」、「end」等が含まれる。お手本データ120aは、後述するお手本データ生成部130によって生成される。
 図3は、お手本データのデータ構造の一例を示す図である。図3に示すように、このお手本データ120aは、メタデータ30と、モーションデータ20とを含む。メタデータ30は、第1フレームデータのフレーム番号と、フェーズの種別とを対応付ける情報である。図3に示すモーションデータ20は、複数の第1フレームデータを有する。
 図3のメタデータ30において、領域30aは、フレーム番号「100」の第2フレームデータのフレームの種別が「start」であることを定義する。領域30bは、フレーム番号「150」の第1フレームデータのフレームの種別が「backswing」であることを定義する。領域30cは、フレーム番号「250」の第1フレームデータのフレームの種別が「top」であることを定義する。領域30dは、フレーム番号「450」の第1フレームデータのフレームの種別が「end」であることを定義する。
 スキル判定定義データ120bは、複数の第2フレームデータに含まれる特徴点から導き出させる利用者の動作の特徴量と、スキルの判定基準と、判定対象となるフェーズの種別とを対応付けて定義する情報である。
 図4は、スキル判定定義データのデータ構造の一例を示す図である。図5は、スキル判定定義データを補足説明するための図である。図4に示すように、このスキル判定定義データ120bは、モジュール名と、スキル判定名と、パラメータ定義とを対応付ける。モジュール名は、後述するスキル判定部160がスキルの判定を行う場合に利用するモジュール名である。スキル判定名は、スキルの判定名を定義したものである。パラメータ定義は、対象フェーズと、比較位置と、基準パラメータとを有する。ここで、スキルは、例えば、専門家がゴルフのスイング等を行う間の、一連の動作、姿勢、関節の角度を示すものである。例えば、スキル判定名の「頭の移動」は、スイングを行う間の専門家の頭の移動をスキルとして定義する。また、スキルの判定基準は、専門家の一連の動作、姿勢、関節の角度を基準とするものであり、利用者の一連の動作、姿勢、関節の角度がどの程度、専門家のものと比較して異なっているのかに応じて、評価が行われる。例えば、対象フェーズ、比較位置、基準パラメータの組が、スキルの判定基準に対応する。このスキルの判定基準を基にスキルを判定する処理については、後述する。
 対象フェーズは、スキルの判定対象となるフェーズの種別を特定する情報である。比較位置は、比較する第2フレームデータの種別および特徴点の位置を定義する情報である。基準パラメータおよび基準値は、スキルの善し悪しを判定する場合に利用する数値である。
 図4において、モジュール名「PositionChecker」、スキル判定名「頭の移動」のレコードについて説明する。この「頭の移動」のスキル判定は、ゴルフのドライバをスイングする間において、利用者の頭の移動の善し悪しを判定するものである。対象フェーズは「start-follow」であるため、判定対象となる第2フェーズの種別は図5に示すように「start、backswing、top、impact、follow」となる。
 比較位置は「start:頭、current:頭」である。このため、比較元の特徴点の位置は、フェーズの種別が「strat」となる第2フレームデータのうち最初の第2フレームデータの頭の特徴点の位置となる。比較先の特徴点の位置は、現在の第2フレームデータの頭の特徴点の位置となる。
 基準パラメータは「8、10、20」である。比較対象となる特徴点の位置の差が「8cm未満」の場合に、判定結果が「すばらしい(Excellent)」であることが定義される。比較対象となる特徴点の位置の差が「8cm以上、10cm未満」の場合に、判定結果が「よい(Good)」であることが定義される。比較対象となる特徴点の位置の差が「10cm以上、20cm未満」の場合に、判定結果が「悪い(Bad)」であることが定義される。
 続いて、モジュール名「AngleChecker(1)」、スキル判定名「左肘角度」のレコードについて説明する。この「左肘角度」のスキル判定は、ドライバをスイングする間において、利用者の左肘角度の善し悪しを判定するものである。対象フェーズは「start-impact」である。判定対象となる第2フェーズの種別は図5に示すように「start、backswing、top、impact」となる。
 比較位置は「current:左肩、current:左肘、current:左手首」である。このため、現在の第2フレームデータの左肩の特徴点および左肘の特徴点を通る線分と、左肘の特徴点および左手首の特徴点を通る直線とのなす角度が、判定対象となる。
 基準パラメータは「(135-180)、(130-135、180-190)、(110-130、190-200)」である。なす角度が「135-180」に含まれる場合に、判定結果が「すばらしい(Excellent)」であることが定義される。なす角度が「130-135、180-190」に含まれる場合に、判定結果が「よい(Good)」であることが定義される。なす角度が「110-130、190-200」に含まれる場合に、判定結果が「悪い(Bad)」であることが定義される。
 続いて、モジュール名「AngleChecker(2)」、スキル判定名「前傾姿勢」のレコードについて説明する。この「前傾姿勢」のスキル判定は、ドライバをスイングする間において、利用者の前傾姿勢の善し悪しを判定するものである。対象フェーズは「start-impact」である。判定対象となる第2フェーズの種別は図5に示すように「start、backswing、top、impact」となる。
 比較位置は「current:頭、current:腰」である。このため、現在の第2フレームデータの頭の特徴点および腰の特徴点を通る線分と垂線とのなす角度が、判定対象となる。
 基準パラメータは「(25-40)、(20-25、40-55)、(8-20、55-60)」である。なす角が「25-40」に含まれる場合に、判定結果が「すばらしい(Excellent)」であることが定義される。なす角が「20-25、40-55」である場合に、判定結果が「よい(Good)」であることが定義される。なす角が「8-20、55-60」である場合に、判定結果が「悪い(Bad)」であることが定義される。
 図1の説明に戻る。お手本データ生成部130は、センシング部110bから専門家のモーションデータを取得し、お手本データ120aを生成する処理部である。お手本データ生成部130は、生成したお手本データ120aを記憶部120に保存する。
 例えば、お手本データ生成部130は、専門家のモーションデータに含まれる第1フレームデータを表示装置に表示させ、どの第1フレームデータがどのフェーズの種別に対応するのかを、入力装置から受け付ける。ここでは、表示装置および入力装置の図示を省略する。
 専門家は、入力装置を操作して、第1フレームデータとフェーズの種別との関係を、お手本データ生成部130に入力する。お手本データ生成部130は、入力装置から受け付けた情報を基にして、第1フレームデータのフレーム番号と、フェーズの種別を対応付けて、図3に示したメタデータ30を生成する。お手本データ生成部130は、メタデータ30と、モーションデータ20とを有するお手本データ120aを、記憶部120に保存する。
 スキル判定定義部140は、スキル判定定義データ120bを生成する処理部である。スキル判定定義部140は、生成したスキル判定定義データ120bを記憶部120に保存する。
 例えば、スキル判定定義部140は、スキル判定定義の設定画面を、表示装置に表示させ、スキル判定定義に関する情報を、入力装置から受け付ける。専門家は、入力装置を操作して、スキル判定定義に関する情報を入力する。スキル判定定義部140は、スキル判定定義に関する情報を基にして、スキル判定定義データ120bを生成し、記憶部120に保存する。
 図6は、表示装置に表示される表示画面の一例を示す図である。表示画面50には、お手本データ生成部130が表示させるフェーズ設定画面50aと、スキル判定定義部140が表示させるスキル設定画面50bが含まれる。また、表示画面50には、専門家のモーションデータを表示する再生画面50cと、現在の第1フレームデータのフレーム番号表示画面50dとを表示してもよい。
 専門家は、入力装置を操作して、再生画面50cとフレーム番号表示画面50dとを参照しつつ、フェーズ設定画面50aに、フレーム番号と、フェーズの種別との対応関係を入力する。例えば、お手本データ生成部130は、フェーズ設定画面50aに入力された情報を基にして、お手本データ120aを生成する。
 専門家は、入力装置を操作して、スキル設定画面50bのいずれかのチェッカー名を選択する。以下の説明では、「PositionChecker」、「AngleCheker(1)」、「AngleCheker(2)」が選択された場合に表示されるパラメータ設定画面の一例についてそれぞれ説明する。
 図7は、「PositionChecker」のパラメータ設定画面の一例を示す図である。図7に示すように、パラメータ設定画面60には、判定対象を定義する領域61と、判定基準を定義する領域62が含まれる。また、領域61には、比較元を定義する領域61a、比較先を定義する領域61b、対象区間を定義する領域61cが含まれる。専門家は、入力装置を操作して、各領域に情報を入力する。
 図7に示す例では、比較元を定義する領域61aには、比較元の特徴点の位置が、フェーズの種別が「start」となる第2フレームデータのうち最初の第2フレームデータの頭の特徴点の位置であることが定義されている。比較先を定義する領域61bには、比較先の特徴点の位置が、現在の第2フレームデータの頭の特徴点の位置であることが定義されている。対象区間を定義する領域61cには、対象フェーズが「start-follow」であることが定義されている。判定基準を定義する領域62には、基準パラメータは「8、10、20」である旨が定義されている。
 例えば、図7に入力された情報を基にして、スキル判定定義部140は、図4のモジュール名「PositionChecker」に対応するレコードを生成する。
 図8は、「AngleChecker(1)」のパラメータ設定画面の一例を示す図である。パラメータ設定画面70には、判定対象を定義する領域71と、判定基準を定義する領域72が含まれる。また、領域71には、比較対象の特徴点を定義する領域71a、対象区間を定義する領域71bが含まれる。専門家は、入力装置を操作して、各領域に情報を入力する。
 図8に示す例では、比較対象の特徴点を定義する領域71aには、現在の第2フレームデータの左肩の特徴点および左肘の特徴点を通る線分と、左肘の特徴点および左手首の特徴点を通る直線とのなす角度が、判定対象であることが定義されている。対象区間を定義する領域71bには、対象フェーズが「start-impact」であることが定義されている。判定基準を定義する領域72には、各種の基準パラメータが定義されている。
 例えば、図8に入力された情報を基にして、スキル判定定義部140は、図4のモジュール名「AngleChecker(1)」に対応するレコードを生成する。
 図9は、「AngleChecker(2)」のパラメータ設定画面の一例を示す図である。パラメータ設定画面80には、判定対象を定義する領域81と、判定基準を定義する領域82が含まれる。また、領域81には、垂線を定義する領域81a、比較対象の特徴点を定義する領域81b、対象区間を定義する領域81cが含まれる。専門家は、入力装置を操作して、各領域に情報を入力する。
 図9に示す例では、垂線を定義する領域81aには、垂線の始点と終点の3次元座標が定義されている。比較対象の特徴点を定義する領域81bには、現在の第2フレームデータの頭の特徴点および腰の特徴点を通る線分が定義されている。対象区間を定義する領域81cには、対象フェーズが「start-impact」であることが定義されている。判定基準を定義する領域82には、各種の基準パラメータが定義されている。
 例えば、図9に入力された情報を基にして、スキル判定定義部140は、図4のモジュール名「AngleChecker(2)」に対応するレコードを生成する。
 図1の説明に戻る。フェーズ判定部150は、お手本データ120aに含まれる各第1フレームデータと、利用者の第2フレームデータとを比較して、第2フレームデータに対応するフェーズの種別を判定する処理部である。フェーズ判定部150は、判定したフェーズの種別を取得したフレームデータに付与し、スキル判定部160に出力する。
 以下において、フェーズ判定部150の処理の一例を具体的に説明する。フェーズ判定部150は、利用者の第2フレームデータをメモリに保存し、補正処理、特徴量計算、フレームマッチングを順に実行する。
 フェーズ判定部150が実行する補正処理の一例について説明する。フェーズ判定部150は、第2フレームデータの縦軸補正を行う。例えば、モーションセンサ10が、設置型センサの場合には、設置位置や設置角度が前回の環境と異なる場合があり、設置環境に合わせて第2フレームデータの縦軸を補正する。例えば、フェーズ判定部150は、第2フレームデータを表示装置に表示させて、利用者からの補正情報の入力を受け付け、第2フレームデータの縦軸を垂線に対応させる。また、フェーズ判定部150は、利用者の向きが正面の向きとなるように合わせて補正してもよい。フェーズ判定部150は、補正情報の入力を受け付けた後は、係る補正情報を利用して、残りの第2フレームデータの縦軸補正や向きの補正を行ってもよい。
 フェーズ判定部150は、第2フレームデータの特徴点の位置のばらつきを押さえるための補正処理も合わせて実行する。例えば、フェーズ判定部150は、前後の第2フレームデータの特徴点の位置の平均値を、間の第2フレームデータの特徴点の位置とすることで、ばらつきを押さえる。また、フェーズ判定部150は、ローパスフィルタを用いて、第2フレームデータに含まれるノイズ成分を取り除いてもよい。
 フェーズ判定部150が実行する特徴量計算の一例について説明する。本実施例では、一例として、第2フレームデータに含まれる各関節に対する特徴点の3次元座標を、特徴量としてそれぞれ算出するものとする。
 フェーズ判定部150が実行するその他の特徴量計算の一例について説明する。各スポーツ固有のスイングを特徴付ける関節をピックアップする場合において、フェーズ判定部150は、手や腰、指等の3次元座標や速度・加速度を特徴量として計算してもよい。
 各スポーツ固有ではない汎用的なデータを特徴量とする場合に、フェーズ判定部150は、全関節の3次元座標や速度・加速度を特徴量として計算してもよい。また、フェーズ判定部150は、全関節位置の重心位置等を特徴量として計算してもよい。
 フェーズ判定部150が実行するフレームマッチングの一例について説明する。図10は、フレームマッチングの一例を説明するための図である。図10に示す例では、現在の第2フレームデータを、第2フレームデータSとする。また、お手本データ120aに含まれる各第1フレームデータをそれぞれ、第1フレームデータt~tとする。フェーズ判定部150は、式(1)を基にして、第2フレームデータSと、第1フレームデータt~tとについて、関節の特徴点毎の距離の平均値をそれぞれ算出する。以下の説明では、関節の特徴点毎の距離の平均値を、「関節平均距離」と表記する。
Figure JPOXMLDOC01-appb-M000001
 式(1)について、xS0j、yS0j、zS0jは、第2フレームデータのある関節(jの数値に対応する関節)の特徴点の3次元座標である。xtij、ytij、ztijは、第1フレームデータtiのある関節(jの数値に対応する関節)の特徴点の3次元座標である。nは、関節の特徴点の数である。フェーズ判定部150は、式(1)によって算出される各関節平均距離のうち、かかる関節平均距離が最小となる第2フレームデータSと第1フレームデータとの組を特定する。
 図10に示す例では、第2フレームデータSと第1フレームデータtとの組における関節平均距離が最小となるため、フェーズ判定部150は、第2フレームデータSに対応する第1フレームデータを、第1フレームデータtとして判定する。また、フェーズ判定部150は、第2フレームデータSのフェーズの種別を、第1フレームデータtに対応するフェーズの種別として判定する。
 ところで、フェーズ判定部150は、式(1)を用いて関節平均距離を算出する場合に、重みを用いて、関節平均距離の値を補正する。例えば、フェーズ判定部150は、関節平均距離を重みで除算することで、関節平均距離を補正してもよい。図11は、重みを説明するための図である。図11において、横軸は、第1フレームデータのフレーム番号に対応し、縦軸は重みに対応する。例えば、各フレーム番号に対応する重みの合計を1とする。
 例えば、第2フレームデータSがマッチする第1フレームデータは、その前の第2フレームデータS-1がマッチした第1フレームデータの近くの第1フレームデータである可能性が高い。例えば、第2フレームデータS-1がマッチした第1フレームデータを第1フレームデータtとすると、第2フレームデータSがマッチする第1フレームデータは、第1フレームデータtの後でかつ、近くの第1フレームデータである可能性が高い。
 このため、前の第2フレームデータS-1がマッチした第1フレームデータよりも後の第1フレームで、マッチした第1フレームデータに近い第1フレームデータほど、重みを大きくする。また、マッチした第1フレームデータの近くでも、マッチした第1フレームデータの前のフレームでは、可能性が低いため、重みを小さくする。
 式(1)で算出した関節平均距離の値を重みで補正することにより、マッチングする第1フレームデータが前後したり、ジャンプすることを防止することができる。
 フェーズ判定部150は、他の第2フレームデータに対しても上記処理を繰り返し実行することで、各第2フレームデータに対応する第1フレームデータを判定し、各第2フレームデータのフェーズの種別を判定する。フェーズ判定部150は、第2フレームデータのうち、フェーズの種別がstartからendまでの第2フレームデータを抽出し、モーションデータとしてファイルに保存し、出力部170に出力する。
 スキル判定部160は、スキル判定定義データ120bと、フェーズの種別毎に抽出された第2フレームデータに含まれる特徴点から導き出される利用者の動作、姿勢、関節の特徴量とを基にして、フェーズの種別毎に、利用者のスキルを判定する処理部である。
 スキル判定部160の処理の一例について説明する。スキル判定部160は、スキル判定定義データ120bを参照し、判定モジュールを生成する。例えば、図4に示す例では、スキル判定部160は、「PositionChecker」モジュール、「AngleChecker(1)」モジュール、「AngleChecker(2)」モジュールを生成する。
 スキル判定部160は、フェーズ判定部150から受け付けた第2フレームデータを、この第2フレームデータに対応するフェーズの種別と、スキル判定定義データ120bに基づき、対応するモジュールに第2フレームデータを出力する。モジュールは、第2フレームデータを受け付けると、スキル判定定義データ120bに定義されたデータを基にして、利用者のスキル判定の結果を出力する。
 図12および図13は、スキル判定部の処理を説明するための図である。図12について説明する。スキル判定部160は、フェーズの種別が「start」の第2フレームデータSを取得する。図4で示したように、「PositionChecker」の対象フェーズが「start―follow」であるため、スキル判定部160は、第2フレームデータSを「PositionChecker」モジュール160aに出力する。例えば、「PositionChecker」モジュール160aは、第2フレームデータSの頭の特徴点の3次元座標を保存する。
 図4で示したように、「AngleChecker(1)」の対象フェーズが「start-impact」であるため、スキル判定部160は、第2フレームデータSを「AngleChecker(1)」モジュール160bに出力する。「AngleChecker(1)」モジュール160bは、比較位置と基準パラメータに基づき、第2フレームデータSを評価することで、利用者のスキル判定を行い、判定結果を出力する。
 例えば、「AngleChecker(1)」モジュール160bは、なす角が「135-180」に含まれる場合に、判定結果「すばらしい(Excellent)」を出力する。「AngleChecker(1)」モジュール160bは、なす角が「130-135、180-190」に含まれる場合に、判定結果「よい(Good)」を出力する。「AngleChecker(1)」モジュール160bは、なす角が「110-130、190-200」に含まれる場合に、判定結果「悪い(Bad)」を出力する。
 なお、「AngleChecker(1)」モジュール160bは、判定結果とは別に、コメントを出力してもよい。例えば、「AngleChecker(1)」モジュール160bは、なす角が「130-135」に含まれる場合に、コメント「曲げ気味」を出力し、なす角が「180-190」に含まれる場合に、コメント「伸ばし気味」を出力する。「AngleChecker(1)」モジュール160bは、なす角が「110-130」に含まれる場合に、コメント「曲げすぎ」を出力し、なす角が「190-200」に含まれる場合に、コメント「伸ばしすぎ」を出力する。
 図4で示したように、「AngleChecker(2)」の対象フェーズが「start-impact」であるため、スキル判定部160は、第2フレームデータSを「AngleChecker(2)」モジュール160cに出力する。「AngleChecker(2)」モジュール160cは、比較位置と基準パラメータに基づき、第2フレームデータSを評価することで、利用者のスキル判定を行い、判定結果を出力する。
 例えば、「AngleChecker(2)」モジュール160cは、なす角が「25-40」に含まれる場合に、判定結果「すばらしい(Excellent)」を出力する。「AngleChecker(2)」モジュール160cは、なす角が「20-25、40-55」である場合に、判定結果「よい(Good)」を出力する。「AngleChecker(2)」モジュール160cは、なす角が「8-20、55-60」である場合に、判定結果「悪い(Bad)」を出力する。
 なお、「AngleChecker(2)」モジュール160cは、判定結果とは別に、コメントを出力してもよい。例えば、「AngleChecker(2)」モジュール160cは、なす角が「20-25」に含まれる場合に、コメント「立ち気味」を出力し、なす角が「40-55」に含まれる場合に、コメント「かがみ気味」を出力する。「AngleChecker(2)」モジュール160cは、なす角が「8-20」に含まれる場合に、コメント「立ちすぎ」を出力し、なす角が「55-60」に含まれる場合に、コメント「かがみすぎ」を出力する。
 続いて、図13について説明する。スキル判定部160は、フェーズの種別が「follow」の第2フレームデータSを取得する。図4で説明したように、「PositionChecker」の対象フェーズが「start-follow」であるため、スキル判定部160は、第2フレームデータSを「PositionChecker」モジュール160aに出力する。
 「PositionChecker」モジュール160aは、比較位置と基準パラメータに基づき、第2フレームデータSを評価することで、利用者のスキル判定を行い、判定結果を出力する。例えば、「PositionChecker」モジュール160aは、第2フレームデータSの頭の特徴点の位置と、第2フレームデータSの頭の特徴点の位置との差が「8cm未満」の場合に、判定結果「すばらしい(Excellent)」を出力する。「PositionChecker」モジュール160aは、第2フレームデータSの頭の特徴点の位置と、第2フレームデータSの頭の特徴点の位置との差が「8cm以上、10cm未満」の場合に、判定結果「よい(Good)」を出力する。「PositionChecker」モジュール160aは、第2フレームデータSの頭の特徴点の位置と、第2フレームデータSの頭の特徴点の位置との差が「10cm以上、20cm未満」の場合に、判定結果「悪い(Bad)」を出力する。
 「PositionChecker」モジュール160aは、判定結果とは別に、コメントを出力してもよい。例えば、「PositionChecker」モジュール160aは、第2フレームデータSの頭の特徴点の位置と、第2フレームデータSの頭の特徴点の位置との差が「10cm」以上である場合に、コメント「動きすぎ」を出力する。
 なお、図4で示したように、「AngleChecker(1)」の対象フェーズが「start-impact」であるため、スキル判定部160は、第2フレームデータSを「AngleChecker(1)」モジュール160bに出力しない。「AngleChecker(2)」の対象フェーズが「start-impact」であるため、スキル判定部160は、第2フレームデータSを「AngleChecker(2)」モジュール160cに出力しない。なお、スキル判定部160が、第2フレームデータを各モジュールに出力し、モジュールが、第2フレームデータを処理するか否かを個別に判定してもよい。
 スキル判定部160は、各モジュールの判定結果と、第2フレームデータとを対応付けた判定結果の情報とを、出力部170に出力する。
 出力部170は、画像情報、音声情報または利用者に対する肉体的な刺激によって、スキル判定部160の判定結果を出力する処理部である。以下において、出力部170の処理の一例について説明する。
 出力部170が、スキル判定部160の判定結果を基にして生成する表示画面について説明する。図14は、出力部が生成する表示画面の一例を示す図(1)である。図14に示すように、この表示画面200には、自データ画面200aと、手本データ画面200bと、スキル判定画面200cとが含まれる。
 出力部170は、自データ画面200aに、スキル判定部160から取得する利用者の第2フレームデータを表示させる。また、出力部170は、第2フレームデータの各特徴点と、動き、姿勢、関節の特徴量と、コメントとを対応付けて表示させてもよい。図14に示す例では、出力部170は、特徴点の頭にヘッド移動(11cm、動きすぎ)を表示させる。出力部170は、特徴点の左肩に左肘角度(154°)を表示させる。
 出力部170は、手本データ画面200bに、お手本データ120aの第1フレームデータを表示させる。例えば、出力部170は、第1フレームデータのフェーズの種別を、自データ画面200aに表示させている第2フレームデータのフェーズの種別に対応させる。また、出力部170は、第1フレームデータの各特徴点と、動き、姿勢、関節の特徴量とを対応付けて表示させてもよい。図14に示す例では、出力部170は、特徴点の頭にヘッド移動(9cm)を表示させる。出力部170は、特徴点の左肩に左肘角度(155°)を表示させる。
 出力部170は、スキル判定部160から取得するスキルの判定結果を、スキル判定画面200cに表示させる。例えば、出力部170は、スキル判定名と、判定結果と、動き、姿勢、関節の特徴量と、コメントとを対応付けて表示させてもよい。
 出力部170は、図14の表示画面を各第2フレームデータが取得されるたびに、200a,200b、200cをリアルタイムに更新してもよい。また、フェーズ種別が「End」を判定後に、start-endまでのフレームデータを本画面と同様な画面で再生してもよい。
 また、出力部170は、図14の表示画面200の自データ画面200aにおいて、第2フレームデータのフェーズを順に変化させ、それに合わせて、手本データ画面200b、スキル判定画面200cの内容を切り替える処理を行ってもよい。
 出力部170は、各フェーズの種別と、第2フレームデータと、判定結果とを対応付けて表示画面を生成してもよい。図15は、出力部が生成する表示画面の一例を示す図(2)である。図15の表示画面210に示すように、出力部170は、各フェーズの種別の第2フレームデータと、判定結果とを対応付けて表示する。例えば、出力部170は、スキル判定名と、判定結果と、動き、姿勢、関節の特徴量と、コメントとを対応付けて表示させてもよい。また、出力部170は、3Dの骨格情報に加えて、画像情報を合わせて表示させてもよい。
 続いて、出力部170が判定結果を基にして、音声情報を出力する場合の処理について説明する。出力部170は、スキル判定部160から出力される判定結果に合わせて、スキル結果や直すべきポイントを音声で出力させてもよい。例えば、出力部170は、ヘッド移動に関する判定結果がBadである場合には、「頭が動きすぎです」という音声を出力させる。どの判定結果に対してどの音声を出力するのかは、事前にテーブル等に設定されており、係るテーブルを基にして、出力部170は音声を出力する。
 続いて、出力部が利用者に対する肉体的な刺激によって、判定結果を通知する場合の処理について説明する。利用者は、小型モータを含む装備を装着し、出力部170は、判定結果に合わせて小型モータを動作させる。例えば、出力部170は、各種の判定結果「Excelltent、Good、Bad」に応じて、小型モータの回転数を変化させる。判定結果に対する小型モータの回転数は、事前にテーブル等に設定されており、係るテーブルを基にして、出力部170は小型モータを回転させる。
 利用者は、ペルチェ素子等の冷却デバイスを装着し、出力部170は、判定結果に合わせて冷却デバイスを冷却させる。例えば、出力部170は、各種の判定結果「Excelltent、Good、Bad」に応じて、冷却デバイスの温度を変化させる。判定結果に対する冷却デバイスの温度は、事前にテーブル等に設定されており、係るテーブルを基にして、出力部170は冷却デバイスを制御する。
 利用者は、低周波電流の流れるデバイスを装着し、出力部170は、判定結果に合わせてデバイスに電流を発生させる。例えば、出力部170は、各種の判定結果「Excelltent、Good、Bad」に応じて、電流の大きさを変化させる。判定結果に対する電流の大きさは、事前にテーブル等に設定されており、係るテーブルを基にして、出力部170はデバイスを制御する。
 更に、出力部170は、パワードスーツや人工筋肉を利用者に装着させ、専門家のモーションデータに合わせてパワードスーツや人工筋肉を動かすことで、利用者に専門家の動きを体感させてもよい。
 次に、本実施例に係るスキル判定装置100の処理手順について説明する。図16は、スキル判定装置の処理手順を示すフローチャートである。図16に示すように、スキル判定装置100のフェーズ判定部150は、お手本データ120aを読み込む(ステップS101)。スキル判定装置100のスキル判定部160は、スキル判定定義データ120bを読み込む(ステップS102)。
 スキル判定部160は、スキル判定定義データ120bに基づいて、モジュールを生成し、パラメータをセットする(ステップS103)。フェーズ判定部150は、利用者のモーションデータの取得を開始する(ステップS104)。スキル判定装置100は、入力装置を介して、終了イベントを検知したか否かを判定する(ステップS105)。
 スキル判定装置100は、入力装置を介して、終了イベントを検知した場合には(ステップS105,Yes)、フェーズ判定部150が利用者のモーションデータ取得終了処理を実行する(ステップS106)。
 一方、スキル判定装置100は、入力装置を介して、終了イベントを検知していない場合には(ステップS105,No)、入力装置を介して、スキル判定処理のイベントを検知したか否かを判定する(ステップS107)。スキル判定装置100は、入力装置を介して、スキル判定処理のイベントを検知した場合には(ステップS107,Yes)、スキル判定部160がスキル判定処理を実行し(ステップS108)、ステップS105に移行する。なお、スキル判定処理のイベントは、センシング部110aがモーションセンサからフレームデータ取得時に発生するイベントである。
 一方、スキル判定装置100は、入力装置を介して、再生処理のイベントを検知した場合には(ステップS107,No)、スキル判定装置100の出力部170が再生処理を実行し(ステップS109)、ステップS105に移行する。
 次に、ステップS108に示したスキル判定処理の処理手順について説明する。図17は、スキル判定処理の処理手順を示すフローチャートである。図17に示すように、スキル判定装置100のフェーズ判定部150は、第2フレームデータをメモリに保存する(ステップS201)。フェーズ判定部150は、第2フレームデータを補正する(ステップS202)。
 フェーズ判定部150は、第2フレームデータの特徴量を計算する(ステップS203)。フェーズ判定部150は、お手本データ120aの中から第2フレームデータと一番特徴量の近い第1フレームデータを抽出する(ステップS204)。フェーズ判定部150は、第1フレームデータに対応するフェーズの種別を抽出し、抽出したフェーズの種別を第2フレームデータに付与する(ステップS205)。なお、フェーズの種別とは、図6の50aに示すように「start」,「backswing」等のフレーム番号に1対1に対応するフェーズ種別だけでなく、「start」から「backswing」の間にあるフェーズを表すフェーズ種別も含む。
 フェーズ判定部150は、抽出したフェーズの種別がStartからEnd内であるかを判定する(ステップS206)。フェーズ判定部150は、フェーズの種別がstartからEnd内でない場合には(ステップS206,No)、S201において格納した第2フレームデータをメモリから削除し(ステップS213)、スキル判定処理を終了する。
 一方、フェーズの種別がstartからEnd内である場合には(ステップS206,Yes)、スキル判定部160は、フェーズの種別に対応するモジュールに対して、第2フレームデータを出力し、スキルを判定する(ステップS207)。出力部170は、判定結果を出力する(ステップS208)。
 フェーズ判定部150は、抽出したフェーズの種別がEndであるか否かを判定する(ステップS209)。フェーズ判定部150は、抽出したフェーズの種別がEndでない場合には(ステップS209,No)、スキル判定処理を終了する。
 一方、フェーズ判定部150は、抽出したフレームの種別がEndである場合には(ステップS209,Yes)、ステップS210に移行する。フェーズ判定部150は、メモリに保存された第2フレームデータの中からフェーズの種別がStartからEndまでの一連の第2フレームデータを抽出し、モーションデータとしてファイルに保存する(ステップS210)。出力部170は、一連のモーションデータの判定結果を出力し(ステップS211)、S201において格納した第2フレームデータをメモリから削除し(ステップS212)、スキル判定処理を終了する。
 次に、お手本データ生成部130およびスキル判定定義部140が実行する設定処理の処理手順について説明する。図18は、設定処理の処理手順を示すフローチャートである。図18に示すように、スキル判定装置100は、イベント検知したか否かを判定する(ステップS301)。スキル判定装置100は、イベント検知していない場合には(ステップS301,No)、再度ステップS301に移行する。
 スキル判定装置100は、モーションデータ取得選択のイベントを検知した場合には(ステップS301,モーションデータ取得選択)ステップS302に移行する。お手本データ生成部130またはスキル判定定義部140は、モーションデータを取得してメモリに保存し(ステップS302)、ステップS301に移行する。
 スキル判定装置100は、フェーズ設定選択のイベントを検知した場合には(ステップS301、フェーズ設定選択)、ステップS303に移行する。お手本データ生成部130は、フェーズの種別とフレーム番号とをメモリに保存し(ステップS303)、ステップS301に移行する。
 スキル判定装置100は、スキル判定定義選択のイベントを検知した場合には(ステップS301,スキル判定定義選択)、ステップS304に移行する。スキル判定定義部140は、利用するモジュール名、スキル判定名、パラメータ定義をメモリに保存し(ステップS304)、ステップS301に移行する。
 スキル判定装置100は、保存選択のイベントを検知した場合には(ステップS301,保存選択)、お手本データ生成部130は、メモリに保存されたモーションデータおよびフェーズの種別、フレーム番号の対応関係をファイルに出力する(ステップS305)。スキル判定定義部140は、メモリに保存されたスキル判定定義データ120bをファイルに出力し(ステップS306)、ステップS301に移行する。
 次に、本実施例に係るスキル判定装置100の効果について説明する。スキル判定装置100は、フェーズの種別毎に対応する第2フレームデータを利用者のモーションデータから抽出し、スキル判定定義データ120bを基にして、フェーズの種別毎の第2フレームデータに対して利用者のスキルを判定する。このため、スキル判定装置100によれば、汎用的に、利用者のスキルを自動で判定することができる。
 例えば、スキル判定定義部140は、入力装置からの情報を基にして、スキル判定を行うスキル判定定義データ120bを適宜更新し、スキル判定部160は、係るスキル判定定義データ120bを基にして、スキル判定を行う。従来技術では、スキル判定のためのロジックが埋め込まれているため、スキル判定対象が固定されているが、スキル判定定義部140により適宜、スキル判定定義データ120bを更新可能であるため、汎用性を高めることができる。また、スキル判定定義データ120bは、モジュールおよびパラメータ定義の組み合わせで定義されるものであるため、他の対象で定義したモジュール、パラメータ定義を別対象に再利用することが容易である。
 また、スキル判定装置100は、スキルの判定結果を利用者のモーションデータと専門家のモーションデータとを対応付けて、表示画面に表示する。これにより、専門家がそばにいなくても、利用者自身で改善すべき点が分かる。また、画面をいちいち気にしないで、スイングを行った後からプレイバックして改善点を把握することができる。また、利用者自身と専門家との差を比較して、スキル向上に役立てることができる。また、利用者の第2フレームデータは、フェーズの種別と対応付けて管理されるため、解析などを行う場合の取り扱いを容易にすることができる。
 スキル判定装置100は、お手本データ120aと、利用者のモーションデータに含まれる各第2フレームデータとを比較して、第2フレームデータに対応するフェーズの種別を判定し、フェーズの種別毎に第2フレームデータを抽出する。例えば、スキル判定装置100は、各第1フレームデータと第2フレームデータとの類似度から、第2フレームデータに対応する第1フレームデータを特定し、係る第1フレームデータに対応するフェーズの種別を、第2フレームデータの種別と判定する。このため、利用者の第2フレームデータの種別を精度よく判定することができ、スキル判定精度を向上させることができる。
 スキル判定装置100は、マッチングを行う場合に、第1フレームデータと第2フレームデータの類似度を重みで補正する。この重みは、前回選択した第1フレームデータの時刻と、今回類似度の算出対象となる第1フレームデータの時刻に基づいて、図11により決定されるものである。これにより、第2フレームデータとマッチングする第1フレームデータが前後したり、ジャンプすることを防止することができる。
 スキル判定装置100は、画像情報、音声情報または利用者に対する肉体的な刺激によって、スキルの判定結果を出力する。これにより、利用者のスキルアップを様々な通知方法によって支援することができる。
 ところで、上述したスキル判定装置100の処理は一例である。以下では、スキル判定装置100が実行するその他の処理について説明する。
 例えば、スキル判定装置100の機能をネットワーク上のサーバに持たせてもよい。サーバは、利用者や専門家の端末装置からモーションデータを取得して、蓄積する。また、サーバは、お手本データ120a、スキル判定定義データ120bを保存しておく。サーバは、利用者の端末装置からアクセスを受け付けた場合には、端末装置のWeb画面上に、モーションデータやスキルの判定結果を表示させる。
 スキル判定定義部140は、入力装置からの入力を受け付けてスキル判定定義データ120bを生成していたが、お手本データ120aを基にして、自動的にスキル判定データ120bを生成してもよい。例えば、スキル判定定義部140は、お手本データ120aを解析し、スキル判定の該当パラメータの平均値等の統計処理を行った結果を、スキル判定定義データ120bに設定する。例えば、お手本データ120aに含まれる第1フレームデータの頭の特徴点の移動量の平均値をαとする。この場合には、スキル判定定義部140は、モジュール名「PositionChecker」のレコードの基準パラメータを「α、α+a、α+2a」とする。aは、適宜設定される数値である。
 スキル判定部160は、第2フレームデータ毎にスキルを判定し判定結果を出力していたがこれに限定されるものではない。スキル判定部160は、各スキル判定結果を総合得点に換算して表示してもよい。例えば、図15に示したように、スキル判定部160は、フェーズ毎にスキル判定を行っているが、startからendまでの判定結果を総合得点に換算して、総合得点を表示させてもよい。判定結果「Excelltent、Good、Bad」に付与する点数をいくつにするのかは、予め設定される。
 スキル判定部160は、利用者のモーションデータだけではなく、お手本データのモーションデータに対してもスキル判定処理を行ってもよい。この場合には、出力部170は、お手本データ120aのモーションデータに対する判定結果と、利用者のモーションデータに対する判定結果との差分を表示してもよい。
 出力部170が出力するモーションデータの見せ方は固定でなくてもよい。例えば、出力部170は、入力装置からの操作を受け付けて、モーションデータの背面や側面、上側等の別角度で表示してもよい。また、出力部170は、利用者のモーションデータの見せ方の変化に連動させて、お手本データ120aのモーションデータも見せ方を変化させてもよい。
 ところで、上記実施例では、ゴルフのスキル判定を行う場合について説明したが、本実施例に係るスキル判定装置100は、ゴルフ以外のその他のスポーツ等にも適用可能である。例えば、スキル判定装置100は、テニス、陸上、ダンス、料理器具の使い方、楽器演奏などに適用することができる。
 次に、上記実施例に示したスキル判定装置100と同様の機能を実現するスキル判定プログラムを実行するコンピュータの一例について説明する。図19は、スキル判定プログラムを実行するコンピュータの一例を示す図である。
 図19に示すように、コンピュータ300は、加速度センサ、モーションセンサ等の入力デバイス350aと、スピーカ、振動デバイス等の出力デバイス350bに接続させる。コンピュータ300は、各種演算処理を実行するCPU301と、各種情報を一時記憶する一次記憶部302と、ディスプレイ等の表示部303と、入力装置等の操作部304とを有する。コンピュータ300は、入力デバイス350aとデータをやり取りするデバイスIF305と、出力デバイス350bとデータをやり取りするデバイスIF306を有する。また、コンピュータ300は、ハードディスクドライブ等に対応する二次記憶部307を有する。
 二次記憶部307は、スキル判定プログラム307aと、スキル設定プログラム307bと、各種データ307cを有する。スキル判定プログラム307aは、CPU301に読み出され、実行されることで、図1のフェーズ判定部150、スキル判定部160、出力部170に対応する処理を行う。スキル設定プログラム307bは、CPU301に読み出され、実行されることで、図1のお手本データ生成部130、スキル設定定義部140に対応する処理を行う。また、各種データ307cは、お手本データ120a、スキル判定定義データ120b、利用者のモーションデータ等に対応する。
 なお、各プログラム307a,307bについては、必ずしも最初から二次記憶部307に記憶させておかなくても良い。例えば、コンピュータ300に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ300が各プログラム307a,307bを読み出して実行するようにしてもよい。
 図20は、本実施例2に係るシステムの構成を示す図である。図20に示すように、このシステムは、利用者端末400a,400b,400cと、サーバ500とを有する。利用者端末400a~400cと、サーバ500とは、ネットワーク50を介して相互に接続される。ここでは一例として、利用者端末400a~400cを示すが、その他の利用者端末が、ネットワーク50に接続されていても良い。以下の説明では、利用者端末400a~400bをまとめて、適宜、利用者端末400と表記する。
 利用者端末400は、上記実施例1に示したスキル判定装置100と同様の機能を有する。利用者端末400は、利用者のモーションデータを取得して、利用者のスキルを判定し、スキルの判定結果を、サーバ500に通知する処理部である。なお、利用者端末400は、スキル判定装置100に接続して、接続先のスキル判定装置100から、利用者のスキルの判定結果を取得しても良い。
 利用者は、利用者端末400を操作して、サーバ500にアクセスし、サーバ500に蓄積された過去のスキルの判定結果を参照する。
 サーバ500は、各利用者端末400から、スキルの判定結果の情報を受信し、保持する。また、サーバ500は、利用者端末から、スキルの判定結果の情報に対するアクセスを受け付けた場合には、該当するスキルの判定結果を利用者端末400に通知する。
 ここで、サーバ500は、利用者端末400に、スキルの判定結果の情報を通知する場合に、スキル判定を行ったスポーツの種別に直接的または間接的に関連する広告バーナーを、利用者端末400の表示画面に表示させる。また、サーバ500は、利用者のスキルの判定結果に応じた商品の情報を表示画面に表示させる。例えば、サーバ500は、スポーツの種別が、ゴルフの場合には、ゴルフ関連の広告バーナーを表示させると共に、スキルにあったゴルフ商品の情報を、利用者端末400に通知する。なお、ゴルフ以外にも、野球、テニス、陸上、ダンス、料理器具の使い方、楽器演奏に対しても同様に、広告バーナーや、商品の情報を利用者端末400に通知しても良い。
 図21は、本実施例2に係るサーバの構成を示す機能ブロック図である。図21に示すように、このサーバ500は、通信部510と、記憶部520と、制御部530とを有する。
 通信部510は、ネットワーク50を介して、各利用者端末400とデータ通信を実行する処理部である。通信部510は、通信装置に対応する。後述する制御部530は、通信部510を介して、各利用者端末400とデータをやり取りする。
 記憶部520は、スキル判定結果テーブル520aと、個人情報テーブル520bと、バーナー情報テーブル520cと、商品テーブル520dとを有する。記憶部520は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子などの記憶装置に対応する。
 スキル判定結果テーブル520aは、利用者端末400から通知されるスキルの判定結果の情報を保持するテーブルである。図22は、スキル判定結果テーブルのデータ構造の一例を示す図である。図22に示すように、利用者識別情報と、種目と、スキル判定結果と、モーションデータとを対応付ける。利用者識別情報は、利用者を一意に識別する情報である。種目は、スキル判定の対象となった種目を示すものである。スキル判定結果は、種目に関連する動作を行った利用者に対するスキルの判定結果である。
 図23は、スキル判定結果の一例を示す図である。図23に示すスキル判定結果は、ある利用者識別情報に対応するスキル判定結果である。例えば、各スキル判定結果は、スキルの判定を行った日付に対応付けられる。また、各スキル判定結果は、フェーズ毎に、ヘッド移動の判定結果、右肘角度の判定結果、前傾姿勢の判定結果、腰回転の判定結果を対応付ける。また、ここでは図示を省略するが、スキル判定結果テーブル520aは、スキル判定結果の判定元となった、利用者のモーションデータを、スキル判定結果に対応付けて保持して良い。
 個人情報テーブル520bは、利用者の個人情報を保持するテーブルである。図24は、本実施例2に係る個人情報テーブルのデータ構造の一例を示す図である。図24に示すように、この個人情報テーブル520bは、利用者識別情報と、アドレスと、性別と、年齢と、身長と、体重とを対応付ける。このうち、利用者識別情報は、利用者を一意に識別する情報である。アドレスは、例えば、利用者が用いるEメールアドレス(Electronic mail address)である。性別、年齢、身長、体重は、利用者識別情報によって識別される利用者の性別、年齢、身長、体重である。
 バーナー情報テーブル520cは、利用者端末の表示画面に表示させる広告バーナーに関する情報を保持するテーブルである。図25は、バーナー情報テーブルのデータ構造の一例を示す図である。図25に示すように、このバーナー情報テーブル520cは、条件と、広告バーナー情報とを対応付ける。条件には、例えば、種目と、性別と、年齢とが含まれる。例えば、図25に示す例では、スキルの判定結果に対応する種目が「ゴルフ」、利用者の性別が「男」、利用者の年齢が「20才以上」の場合には、広告バーナーA1,B1,C1を、利用者端末400の表示画面に表示させることを示している。例えば、広告バーナーA1,B1、C1は、種目「ゴルフ」に直接的または間接的に、関連する広告バーナーである。
 商品テーブル520dは、利用者のスキル判定結果に応じた商品を定義するテーブルである。図26は、商品テーブルのデータ構造の一例を示す図である。図26に示すように、この商品テーブル520dは、条件と、商品名と、コメントとを対応付ける。条件は、商品を選択する場合に条件を示し、条件には、種目、フェーズ、判定結果が含まれる。種目は、スキルの判定を行った種目である。商品名は、利用者に推薦する商品の名称を示す。コメントは、商品を推薦する理由などを示す。例えば、種目が「ゴルフ」である場合に、フェーズ「impact」において、腰回転の判定結果が-45°±αであり、右膝角度の判定結果が10°±αである場合には、商品「ゴルフクラブA」を推薦することが定義されている。また、この商品「ゴルフクラブA」を推薦する際に、コメント「ボディターン・タイプには、しなりを大きく使えるように手元側を柔らかくしたシャフトを推薦」を付与することも定義されている。
 制御部530は、取得部530aと、受付部530bと、検索部530cと、画面生成部530dとを有する。制御部530は、例えば、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などの集積装置に対応する。また、制御部530は、例えば、CPUやMPU(Micro Processing Unit)等の電子回路に対応する。
 取得部530aは、利用者端末400からスキルの判定結果に関する情報を取得する取得部である。例えば、スキルの判定結果に関する情報は、利用者識別情報と、種目と、スキル判定結果と、モーションデータとを対応付けた情報である。取得部530aは、利用者識別情報と、種目と、スキル判定結果とを対応付けて、スキル判定結果テーブル520aに格納する。
 取得部530aは、スキル判定結果に関する情報を、スキル判定結果テーブル520aに格納する場合に、既に同一の利用者識別情報と種目との組のレコードが格納されている場合には、該当するレコードにスキル判定結果の情報を追加する。
 受付部530bは、利用者端末400から、スキル判定結果テーブル520aに格納された過去のスキル判定結果の情報に対するアクセスを受け付ける処理部である。例えば、利用者端末400は、過去のスキル判定結果の情報に対するアクセスを行う場合に、サーバ500に、利用者識別情報を通知するものとする。受付部530bは、利用者端末400から受け付けた利用者識別情報を検索部530cに出力する。
 検索部530cは、利用者識別情報に対応する過去のスキル判定結果と、スキルの判定対象となった種目に関連する広告バーナー情報と、利用者のスキル判定結果に応じた商品とを検索する処理部である。以下の説明において、利用者識別情報に対応する過去のスキル判定結果を、適宜、履歴情報と表記する。検索部530cは、検索した履歴情報と、広告バーナー情報と、商品の情報とを、画面生成部530dに出力する。以下において、検索部530cの処理の一例について説明する。
 まず、検索部530cが、履歴情報を検索する処理の一例について説明する。検索部530cは、受付部530bから取得した利用者識別情報と、スキル判定結果テーブル520aとを比較して、利用者識別情報に対応する種目およびスキル判定結果を検索する。検索部530cは、検索したスキル判定結果の情報を、履歴情報として、画面生成部530dに出力する。検索部530cが検索した種目は、後述する、広告バーナー情報を検索する場合に利用する。また、検索部530cが検索した、スキル判定結果の情報は、後述する、商品情報を検索する場合に利用する。
 続いて、検索部530cが、広告バーナー情報を検索する処理の一例について説明する。検索部530cは、利用者識別情報と、個人情報テーブル520bとを比較して、利用者識別情報に対応する性別および年齢を特定する。そして、検索部530cは、種目と、性別と、年齢との組と、バーナー情報テーブル520cの条件とを比較して、該当するレコードを特定する。検索部530cは、特定したレコードに含まれる広告バーナー情報を、画面生成部530dに出力する。
 例えば、検索部530cは、種目と、性別と、年齢との組が、「ゴルフ」、「男」、「25才」である場合には、図25の1行目のレコードを特定する。そして、検索部530cは、広告バーナーA1,B1,C1の情報を、画面生成部530dに出力する。
 続いて、検索部530cが、商品情報を検索する処理の一例について説明する。検索部530cは、種目とスキル判定結果との組と、商品テーブル520dの条件とを比較して、該当するレコードを特定する。検索部530cは、特定したレコードに含まれる商品情報を、画面生成部530dに出力する。例えば、商品情報には、商品名およびコメントが含まれる。検索部530cは、同一の利用者識別情報に対して、スキル判定結果が複数存在する場合には、最新のスキル判定結果を用いて、商品情報を検索する。
 例えば、種目が「ゴルフ」であり、スキル判定結果に含まれるフェーズ「impact」において、腰回転の判定結果が「45°±α」、右膝角度の判定結果が「10°±α」であるとする。この場合には、検索部530cは、図26の1行目のレコードに含まれる商品名とコメントとの組を、商品情報として検索する。
 画面生成部530dは、利用者端末400の画面に表示させる表示画面を生成する処理部である。例えば、画面生成部530dは、検索部530cから取得するスキル判定結果の情報、広告バーナー情報、商品情報を画面上に配置することで、表示画面を生成する。画面生成部530dは、生成した表示画面の情報を、スキル判定結果に対するアクセスを行った利用者端末400に通知する。
 次に、本実施例2に係るサーバ500の処理手順の一例について説明する。図27は、本実施例2に係るサーバの処理手順を示すフローチャートである。図27に示すように、サーバ500の受付部530bは、利用者識別情報を受信する(ステップS301)。サーバ500の検索部530cは、スキル判定結果テーブル520aを参照し、利用者識別情報に対応するスキル判定結果を検索し、履歴情報を生成する(ステップS302)。
 検索部530cは、バーナー情報テーブル520cを参照し、広告バーナー情報を検索する(ステップS303)。検索部530cは、商品テーブル520dを参照し、商品情報を検索する(ステップS304)。
 サーバ500の画面生成部530dは、履歴情報、広告バーナー情報、商品情報を配置した表示画面を生成する(ステップS305)。画面生成部530dは、表示画面の情報を、利用者端末400に送信する(ステップS306)。
 次に、本実施例2に係るサーバ500の効果について説明する。サーバ500は、利用者端末400に、過去のスキルの判定結果の情報を通知する場合に、スキル判定を行った種目に直接的または間接的に関連する広告バーナーを、利用者端末400の表示画面に表示させる。また、サーバ500は、利用者のスキルの判定結果に応じた商品の情報を表示画面に表示させる。これによって、スキル判定結果を参照する利用者に、直接的、間接的に関連する情報を広告することができる。また、スキル判定結果に応じた商品情報を推薦することができる。
 ところで、サーバ500の受付部530bは、利用者端末400からスキルの判定結果の情報を、スキル判定結果テーブル520aに格納する場合に、データ量に応じた課金情報を利用者端末400に通知しても良い。例えば、受付部530bは、スキル判定結果テーブルに記憶されたデータ量を、利用者識別情報毎に監視する。受付部530bは、データ量が閾値を超えた利用者識別情報に対応する利用者端末400に、アップロードするデータ量が閾値を超えたため、これ以上のアップロードは有料である旨を通知する。この通知に対して、利用者が支払いに同意した場合には、受付部530bは、支払い方法を受け付け、利用者識別情報に対応付けて保存する。
 なお、利用者端末400を操作する利用者は、スキルの判定結果に関する情報を、サーバ500に通知する場合に、スキルの判定結果に関する全ての情報を、サーバ500に通知する代わりに、通知するデータを選択しても良い。例えば、利用者は、モーションデータに関するデータ量が大きいと判断した場合には、スキルの判定結果のみを、サーバ500に通知して、データ量を節約することもできる。また、利用者は、モーションデータの代わりに、スナップショットのみを、サーバ500に通知して、データ量を削減することもできる。
 図28は、本実施例3に係るシステムの構成を示す図である。図28に示すように、このシステムは、利用者端末400a,400b,400cと、サーバ600とを有する。利用者端末400a~400cと、サーバ600とは、ネットワーク50を介して相互に接続される。ここでは一例として、利用者端末400a~400cを示すが、その他の利用者端末が、ネットワーク50に接続されていても良い。以下の説明では、利用者端末400a~400cをまとめて、適宜、利用者端末400と表記する。
 利用者端末400は、上記実施例1に示したスキル判定装置100と同様の機能を有する。利用者端末400は、利用者のモーションデータを取得して、利用者のスキルを判定し、スキルの判定結果を、サーバ600に通知する処理部である。なお、利用者端末400は、スキル判定装置100に接続して、接続先のスキル判定装置100から、利用者のスキルの判定結果を取得しても良い。
 サーバ600は、利用者の特徴に基づいて、利用者を複数のグループに分類しておく。サーバ600は、利用者端末400からスキルの判定結果を受信した場合に、このスキルの判定対象となった利用者が属するグループを判定し、判定したグループに含まれる各利用者の利用者端末に、スキルの判定結果の情報を通知する。
 図29は、本実施例3に係るサーバの構成を示す機能ブロック図である。図29に示すように、このサーバ600は、通信部610と、記憶部620と、制御部630とを有する。
 通信部610は、ネットワーク50を介して、各利用者端末400とデータ通信を実行する処理部である。通信部610は、通信装置に対応する。後述する制御部630は、通信部610を介して、各利用者端末400とデータをやり取りする。
 記憶部620は、スキル判定結果テーブル620aと、個人情報テーブル620bと、グループ管理テーブル620cとを有する。記憶部620は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。
 スキル判定結果テーブル620aは、利用者端末400から通知されるスキルの判定結果を保持するテーブルである。スキル判定結果テーブル620aのデータ構造は、例えば、図22に示した、スキル判定結果テーブル520aのデータ構造と同様である。
 個人情報テーブル620bは、利用者の個人情報を保持するテーブルである。図30は、本実施例3に係る個人情報テーブルのデータ構造の一例を示す図である。図30に示すように、この個人情報テーブル620bは、利用者識別情報と、アドレスと、性別と、年齢と、身長と、体重と、学校と、練習場とを対応付ける。このうち、利用者識別情報は、利用者を一意に識別する情報である。アドレスは、例えば、利用者が用いるEメールアドレスである。年齢、身長、体重は、利用者識別情報によって識別される利用者の性別、年齢、身長、体重である。学校は、利用者が通う学校を示すものである。練習場は、利用者が練習を行う場所を示すものである。
 グループ管理テーブル620cは、利用者の属するグループの情報を保持するテーブルである。図31は、グループ管理テーブルのデータ構造の一例を示す図である。図31に示すように、このグループ管理テーブル620cは、グループ識別情報と、所属利用者識別情報とを対応付ける。グループ識別情報は、グループを一意に識別する情報である。所属利用者識別情報は、グループに所属する利用者の利用者識別情報を示す。例えば、図31に示す例では、グループ識別情報「G101」のグループには、利用者識別情報「U101,U103,U114、・・・」の利用者が所属する旨が示される。
 制御部630は、取得部630aと、分類部630bと、SNS(Social Networking Service)提供部630cを有する。SNS提供部630cは、通知部に対応する。制御部630は、例えば、ASICや、FPGAなどの集積装置に対応する。また、制御部630は、例えば、CPUやMPU等の電子回路に対応する。
 取得部630aは、利用者端末400からスキルの判定結果に関する情報を取得する取得部である。例えば、スキルの判定結果に関する情報は、利用者識別情報と、種目と、スキル判定結果とを対応付けた情報である。取得部630aは、利用者識別情報と、種目と、スキル判定結果とを対応付けて、スキル判定結果テーブル620aに格納する。
 取得部630aは、スキル判定結果に関する情報を、スキル判定結果テーブル620aに格納する場合に、既に同一の利用者識別情報と種目との組のレコードが格納されている場合には、該当するレコードにスキル判定結果の情報を追加する。
 分類部630bは、個人情報テーブル620bを参照し、利用者識別情報を、利用者の特徴毎のグループに分類する処理部である。分類部630bは、分類結果に基づいて、グループ識別情報と、このグループ識別情報のグループに所属する利用者識別情報とを対応付けて、グループ管理テーブル620cに登録する。
 以下において、分類部630bの処理の一例について説明する。例えば、分類部630bは、個人情報テーブル620bを参照し、同一の学校に通う利用者識別情報を特定し、特定した利用者識別情報を、同一のグループに分類する。または、分類部630bは、個人情報テーブル620bを参照し、同一の練習場に通う利用者識別情報を特定し、特定した利用者識別情報を、同一のグループに分類する。
 上記の分類処理は一例であり、分類部630bは、利用者識別情報を、同一年代のグループ、家族のグループ、同一のコーチの指導を受けているグループに分類しても良い。また、分類部630bは、スキル判定結果テーブル620aを参照し、スキルが同レベルの利用者識別情報を、同一のグループに分類しても良い。例えば、分類部530bは、スキル判定結果に含まれるgood、bad、Excellentに応じた点数を合計することで、各利用者識別情報の点数を求め、点数が類似する利用者識別情報同士を、同一グループに分類しても良い。
 SNS提供部630cは、各利用者端末400に、SNSを提供する処理部である。例えば、SNS提供部630cは、グループ管理テーブル620cを参照して、同一のグループに所属する利用者識別情報の利用者間で、スキル判定結果の情報やその他の電子掲示番等の情報を共有させる。
 例えば、SNS提供部630cは、スキル判定結果テーブル620aにスキル判定結果の情報が登録された場合に、スキル判定結果に対応する利用者識別情報と同じグループに属する利用者識別情報を、グループ管理テーブル620cを基にして判定する。SNS提供部630cは、特定した利用者識別情報に対応する利用者端末400に、スキル判定結果テーブル620aに登録されたスキル判定結果の情報を、通知する。SNS提供部630cは、個人情報テーブル620bを参照して、グループに属する利用者識別情報のアドレスを特定し、特定したアドレスを宛先として、スキル判定結果の情報を通知しても良い。
 例えば、図31を参照すると、グループ識別情報「G101」のグループには、利用者識別情報U101,U103,U114が所属している。また、取得部630aにより、利用者識別情報U101のスキル判定結果が、スキル判定テーブル620aに登録されたとする。この場合には、SNS提供部630cは、利識別情報U101のスキル判定結果を、同一グループの利用者識別情報U103、U114の利用者端末400に通知する。
 次に、本実施例3に係るサーバ600の処理手順の一例について説明する。図32は、本実施例3に係るサーバの処理手順を示すフローチャートである。図32に示すように、サーバ600の分類部630bは、個人情報テーブル620bを参照して、利用者識別情報を複数のグループに分類する(ステップS401)。
 サーバ600のSNS提供部630cは、スキル判定結果を受信したか否かを判定する(ステップS402)。SNS提供部630cは、スキル判定結果を受信していない場合には(ステップS402,No)、再度、ステップS402に移行する。
 SNS提供部630cは、スキル判定結果を受信した場合には(ステップS402,Yes)、受信したスキル判定結果を、スキル判定結果テーブル620aに格納する(ステップS403)。SNS提供部630cは、受信したスキル判定結果に対応する利用者識別情報の属するグループを特定する(ステップS404)。
 SNS提供部630cは、特定したグループに属する利用者識別情報を特定し、特定した利用者識別情報に対応する利用者端末400に、スキル判定結果を通知する(ステップS405)。
 次に、本実施例3に係るサーバ600の効果について説明する。サーバ600は、利用者の特徴に基づいて、利用者識別情報を複数のグループに分類しておく。サーバ600は、利用者端末400からスキルの判定結果を受信した場合に、このスキルの判定対象となった利用者が属するグループを判定し、判定したグループに含まれる各利用者識別情報の利用者端末に、スキルの判定結果の情報を通知する。このため、同一グループに属する各利用者がコミュニケーションを取ることを容易にすることができる。例えば、ソーシャルネットワーク上で、スキルを上達させるためのアドバイスをやり取りすることができる。また、上記処理は、種目への勧誘、イベント勧誘、出会い勧誘など間接的に関連するサイトや、オフラインの窓口になり得る。
 図33は、本実施例4に係るシステムの構成を示す図である。図33に示すように、このシステムは、利用者端末400a,400b,400cと、サーバ700とを有する。利用者端末400a~400cと、サーバ700とは、ネットワーク50を介して相互に接続される。ここでは一例として、利用者端末400a~400cを示すが、その他の利用者端末が、ネットワーク50に接続されていても良い。以下の説明では、利用者端末400a~400bをまとめて、適宜、利用者端末400と表記する。
 利用者端末400は、上記実施例1に示したスキル判定装置100と同様の機能を有する。利用者端末400は、利用者のモーションデータを取得して、利用者のスキルを判定し、スキルの判定結果を、サーバ700に通知する処理部である。なお、利用者端末400は、スキル判定装置100に接続して、接続先のスキル判定装置100から、利用者のスキルの判定結果を取得しても良い。
 また、利用者は、利用者端末400を操作して、サーバ700から、自分好みの専門家のお手本データを取得し、取得した、専門家のお手本データを利用して、利用者のスキルを判定する。
 サーバ700は、複数種類の専門家のお手本データを管理するサーバである。サーバ700は、利用者端末400からアクセスを受け付けると、複数種類の専門家のお手本データを表示し、いずれかの専門家のお手本データの選択を受け付ける。サーバ700は、専門家のお手本データの選択を受け付けると、選択を受け付けたお手本データを、利用者端末400に通知する。なお、サーバ700は、利用者に適した専門家のお手本データを選択し、選択した専門家のお手本データを、利用者端末400に通知しても良い。
 図34は、本実施例4に係るサーバの構成を示す機能ブロック図である。図34に示すように、このサーバ700は、通信部710と、記憶部720と、制御部730とを有する。
 通信部710は、ネットワーク50を介して、各利用者端末400とデータ通信を実行する処理部である。通信部710は、通信装置に対応する。後述する制御部730は、通信部710を介して、各利用者端末400とデータをやり取りする。
 記憶部720は、スキル判定結果テーブル720aと、個人情報テーブル720bと、専門家データテーブル720cとを有する。記憶部720は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。
 スキル判定結果テーブル720aは、利用者端末400から通知されるスキルの判定結果を保持するテーブルである。スキル判定結果テーブル720aのデータ構造は、例えば、図22に示した、スキル判定結果テーブル520aのデータ構造と同様である。
 個人情報テーブル720bは、利用者の個人情報を保持するテーブルである。個人情報テーブル720bのデータ構造は、例えば、図24に示した、個人情報テーブル520bのデータ構造と同様である。
 専門家データテーブル720cは、専門家のお手本データに関する情報を保持するテーブルである。図35は、専門家データテーブルのデータ構造の一例を示す図である。図35に示すように、この専門家データテーブル720cは、専門家識別情報と、プロフィール情報と、お手本データと、評価値とを対応付ける。このうち、専門家識別情報は、専門家を一意に識別する情報である。プロフィール情報は、専門家のプロフィールの情報である。例えば、専門家のプロフィールの情報には、専門家の性別、年齢、体重、身長等の情報が含まれる。お手本データは、実施例1で説明したお手本データ120aに対応するものである。
 制御部730は、取得部730aと、受付部730bと、選択部730cと、通知部730dとを有する。制御部730は、例えば、ASICや、FPGAなどの集積装置に対応する。また、制御部730は、例えば、CPUやMPU等の電子回路に対応する。
 取得部730aは、利用者端末400からスキルの判定結果に関する情報を取得する取得部である。例えば、スキルの判定結果に関する情報は、利用者識別情報と、種目と、スキル判定結果とを対応付けた情報である。取得部730aは、利用者識別情報と、種目と、スキル判定結果とを対応付けて、スキル判定結果テーブル720aに格納する。
 取得部730aは、スキル判定結果に関する情報を、スキル判定結果テーブル720aに格納する場合に、既に同一の利用者識別情報と種目との組のレコードが格納されている場合には、該当するレコードにスキル判定結果の情報を追加する。
 受付部730bは、利用者端末から専門家のお手本データに関するアクセス要求を受け付けた場合に、次の動作を実行する。受付部730bは、専門家データテーブル720cに格納された専門家のプロフィール情報と、お手本データと、評価値とを対応させた表示画面を、利用者端末400に表示させる。受付部730bは、お手本データの選択を、利用者端末を操作する利用者から受け付けると、選択を受け付けたお手本データを、利用者端末400に通知する。なお、後述する通知部730dが、選択を受け付けたお手本データを、利用者端末400に通知しても良い。
 また、受付部730bは、専門家のお手本データに対する評価値の情報を、利用者端末400から受け付けた場合には、該当する評価値を更新する。例えば、受付部730bは、専門家に対応する各利用者端末400からの評価値を平均化することで、専門家データテーブル720cの評価値を更新しても良い。
 上述した例では、利用者端末を操作する利用者が、お手本データを選択する場合について説明したが、サーバ700が、利用者に対する適切なお手本データを選択し、選択したお手本データを利用者端末400に通知して良い。
 選択部730cは、利用者に対する適切なお手本データを選択する処理部である。例えば、選択部730cは、利用者端末400から、利用者識別情報を取得し、個人情報テーブル720bから、利用者識別情報に対応する性別、年齢、身長、体重を取得する。以下の説明では、利用者識別情報に対応する性別、年齢、身長、体重をまとめて、適宜、利用者プロフィール情報と表記する。
 通知部730dは、選択部730cから取得したお手本データを、要求元の利用者端末400に通知する処理部である。
 続いて、選択部730cの処理の一例について説明する。選択部730cは、利用者プロフィール情報と最も類似する、専門家データテーブル720cのプロフィール情報を選択する。選択部730cは、選択したプロフィール情報に対応するレコードのお手本データを選択し、選択したお手本データを、通知部730dに出力する。
 選択部730cは、類似するプロフィール情報をどのように選択しても良い。例えば、選択部730cは、利用者プロフィール情報と専門家のプロフィール情報とを比較し、性別が一致するか否か、年齢の差分、身長の差分、体重の差分にそれぞれ点数を与え、合計点数が最も高いプロフィール情報を、類似するプロフィール情報として選択する。例えば、性別が一致する場合には、所定の点数を与え、一致しない場合には、点数を与えない。年齢の差分、身長の差分、体重の差分については、差分が小さいほど、大きい点数を与える。
 更に、選択部730cは、利用者端末400から、利用者のモーションデータを取得し、取得したモーションデータに最も類似するお手本データを、専門家データテーブル720cのお手本データから取得しても良い。例えば、選択部730cは、利用者のモーションデータと、専門家データテーブル720cの各お手本データとを基にして、実施例1で説明したスキル判定装置100と同様の処理を行ってスキル判定を行うことで、利用者のモーションデータと最も類似するお手本データを選択する。例えば、選択部730cは、スキル判定を行い、Excellentの数が最も多いお手本データを、最も類似するお手本データとして選択しても良い。
 また、選択部730cは、利用者端末400に通知したお手本データと、このお手本データを基にしたスキル判定結果を対応付けて、スキル判定結果テーブル720aに格納しても良い。選択部730cは、上記処理を繰り返し実行し、スキル判定結果テーブル720aに格納されたスキル判定結果に基づき、利用者のスキルが上達しているか否かを判定する。例えば、選択部730cは、同一の利用者識別情報に対応する過去のスキル判定結果と現在のスキル判定結果を比較して、Excellentの数が増加している場合には、利用者と専門家との相性が良いと判定する。この場合には、選択部730cは、引き続き、同一の専門家のお手本データを利用者端末400に通知する。また、選択部730cは、Excellentの数が増加している場合には、該当する専門家の評価値を大きくする補正を行っても良い。
 これに対して、選択部730cは、同一の利用者識別情報に対応する過去のスキル判定結果と現在のスキル判定結果を比較して、Excellentの数が減少している場合または変化していない場合には、利用者と専門家との相性が悪いと判定する。この場合には、選択部730cは、他の専門家のお手本データを利用者端末400に通知する。また、選択部730cは、Excellentの数が減少している場合または変化がない場合には、該当する専門家の評価値を小さくする補正を行っても良い。
 次に、本実施例4に係るサーバ700の処理手順の一例について説明する。図36は、本実施例4に係るサーバの処理手順を示すフローチャートである。図36に示すように、サーバ700の受付部730aは、利用者端末400から、専門家のお手本データの要求を受け付ける(ステップS501)。
 ここで、サーバ700は、利用者自身が専門家のお手本データを選択する場合には(ステップS502,Yes)、ステップS503に移行する。一方、利用者自身が専門家のお手本データを選択しない場合には(ステップS502,No)、ステップS506に移行する。
 ステップS503以降の処理について説明する。サーバ700の受付部730bは、専門家のプロフィール情報と、お手本データと、評価値とを対応付けて、利用者端末400に表示させる(ステップS503)。
 受付部730bは、お手本データの選択を受け付けたか否かを判定する(ステップS504)。受付部730bは、お手本データの選択を受け付けていない場合には(ステップS504,No)、再度、ステップS504に移行する。
 一方、受付部730bは、お手本データの選択を受け付けた場合には(ステップS504,Yes)、選択を受け付けたお手本データを利用者端末400に通知する(ステップS505)。
 ステップS506以降の処理について説明する。サーバ700の選択部730cは、利用者端末400から、利用者識別情報を取得する(ステップS506)。選択部730cは、利用者に適切なお手本データを選択する(ステップS507)。サーバ700は、選択部730cに選択されたお手本データを、利用者端末400に通知する(ステップS508)。
 次に、本実施例4に係るサーバ700の効果について説明する。サーバ700は、専門家のお手本データを利用者端末400に表示し、専門家のお手本データの選択を受け付けると、選択を受け付けたお手本データを、利用者端末400に通知する。または、サーバ700は、利用者に適した専門家のお手本データを選択し、選択した専門家のお手本データを、利用者端末400に通知する。このため、利用者は、自分に適した専門家のお手本データを用いてスキル判定を行うことができる。
 次に、上記実施例に示したサーバ500、600、700と同様の機能を実現する制御プログラムを実行するコンピュータの一例およびハードウェア構成について説明する。図37は、制御プログラムを実行するコンピュータの一例を示す図である。
 図37に示すように、コンピュータ800は、各種演算処理を実行するCPU801と、ユーザからのデータの入力を受け付ける入力装置802と、ディスプレイ803とを有する。また、コンピュータ800は、記憶媒体からプログラム等を読取る読み取り装置804と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置805とを有する。また、コンピュータ800は、各種情報を一時記憶するRAM806と、ハードディスク装置807とを有する。そして、各装置801~807は、バス808に接続される。
 ハードディスク装置807は、制御プログラム807aを有する。CPU801は、制御プログラム807aを読み出してRAM806に展開する。制御プログラム807aは、制御プロセス806aとして機能する。例えば、制御プロセス806aは、図21に示した、取得部530a、受付部530b、検索部530c、画面生成部530dに対応する。または、制御プロセス806aは、図29に示した、取得部630a、分類部630b、SNS提供部630cに対応する。または、制御プロセス806aは、図34に示した、取得部730a、受付部730b、選択部730c、通知部730dに対応する。
 なお、制御プログラム807aについては、必ずしも最初からハードディスク装置807に記憶させておかなくても良い。例えば、コンピュータ800に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ800が制御プログラム807aを読み出して実行するようにしてもよい。
 100 スキル判定装置
 130 お手本データ生成部
 140 スキル判定定義部
 150 フェーズ判定部
 160 スキル判定部
 500,600,700 サーバ

Claims (9)

  1.  コンピュータに、
     第1利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数の第1フレームと前記複数の第1フレームにそれぞれ対応するフェーズの種別とを対応付けたフェーズ定義情報に基づいて、第2利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む第2フレームから、前記フェーズの種別に対応する第2フレームをそれぞれ判定し、
     前記複数の第1フレームにそれぞれ含まれる前記特徴点から導き出される前記第1利用者の動作、姿勢または関節の特徴量と、スキルの判定基準と、判定対象となるフェーズの種別とを対応付けて定義したスキル定義情報に基づいて、フェーズの種別毎に判定した前記第2フレームに含まれる前記特徴点から導き出される前記第2利用者の動作、姿勢または関節の特徴量を判定する
     処理を実行させることを特徴とするスキル判定プログラム。
  2.  前記フェーズの種別毎に第2フレームを判定する処理は、前記複数の第1フレームの特徴点の位置情報と、前記第2フレームの特徴点の位置情報との類似度をそれぞれ算出し、類似度を基にして、第2フレームに対応する第1フレームを前記複数の第1フレームから選択し、選択した第1フレームに対応するフェーズの種別を、前記第2フレームの種別として特定する処理を実行することを特徴とする請求項1に記載のスキル判定プログラム。
  3.  前記フェーズの種別毎に第2フレームを判定する処理は、前記類似度を算出する場合において、前回選択した第1フレームの時刻と、前記類似度の算出対象となる第1フレームの時刻との関係を基にして重みを特定し、特定した重みによって前記類似度を補正する処理を実行することを特徴とする請求項2に記載のスキル判定プログラム。
  4.  画像情報、音声情報または前記第2利用者に対する肉体的な刺激によって、前記スキルの判定結果を出力する処理を更にコンピュータに実行させることを特徴とする請求項1、2または3に記載のスキル判定プログラム。
  5.  コンピュータが実行するスキル判定方法であって、
     第1利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数の第1フレームと前記複数の第1フレームにそれぞれ対応するフェーズの種別とを対応付けたフェーズ定義情報に基づいて、第2利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む第2フレームから、前記フェーズの種別に対応する第2フレームをそれぞれ判定し、
     前記複数の第1フレームにそれぞれ含まれる前記特徴点から導き出される前記第1利用者の動作、姿勢または関節の特徴量と、スキルの判定基準と、判定対象となるフェーズの種別とを対応付けて定義したスキル定義情報に基づいて、フェーズの種別毎に判定した前記第2フレームに含まれる前記特徴点から導き出される前記第2利用者の動作、姿勢または関節の特徴量を判定する
     処理を実行することを特徴とするスキル判定方法。
  6.  第1利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数の第1フレームと前記複数の第1フレームにそれぞれ対応するフェーズの種別とを対応付けたフェーズ定義情報に基づいて、第2利用者の体の所定の部位または関節部に対応する特徴点の位置情報を含む第2フレームから、前記フェーズの種別に対応する第2フレームをそれぞれ判定するフェーズ判定部と、
     フェーズの種別毎に第2フレームを抽出し、前記複数の第1フレームにそれぞれ含まれる前記特徴点から導き出される前記第1利用者の動作、姿勢または関節の特徴量と、スキルの判定基準と、判定対象となるフェーズの種別とを対応付けて定義したスキル定義情報に基づいて、フェーズの種別毎に判定した前記第2フレームに含まれる前記特徴点から導き出される前記第2利用者の動作、姿勢または関節の特徴量を判定するスキル判定部と
     を有することを特徴とするスキル判定装置。
  7.  利用者端末から、所定の種目に関連する動作を利用者が行った場合におけるスキルの判定結果を取得し、前記所定の種目と前記スキルの判定結果とを対応付けて記憶部に格納する取得部と、
     前記所定の種目と、前記所定の種目に関連する広告情報とを対応付けて記憶する第1テーブルと、
     前記スキルの判定結果の特徴と商品情報とを対応付けて記憶する第2テーブルと、
     前記利用者端末から、前記スキルの判定結果に対するアクセスを受け付けた場合に、前記スキルの判定結果に対応する所定の種目と前記第1テーブルとを基にして、前記所定の種目に関連する広告情報を検索し、前記スキルの判定結果の特徴と前記第2テーブルとを基にして、前記スキルの判定結果の特徴に対応する商品情報を検索する検索部と、
     前記アクセスの対象となるスキルの判定結果と、前記検索部に検索された広告情報および商品情報とを含む画面を生成し、生成した画面の情報を前記アクセス元の利用者端末に通知する画面生成部と
     を有することを特徴とするサーバ。
  8.  利用者を識別する利用者識別情報と前記利用者の特徴とを対応付けて記憶するテーブルを基にして、前記利用者識別情報を、前記利用者の特徴毎のグループに分類する分類部と、
     利用者端末から、利用者に対するスキルの判定結果と利用者識別情報とを受信した場合に、前記分類部に分類された各グループのうち、受信した利用者識別情報が属するグループを特定し、特定したグループに含まれる利用者識別情報に対応する連絡先に、前記スキルの判定結果を通知する通知部と、
     を有することを特徴とするサーバ。
  9.  第1利用者の特徴と、前記第1利用者が所定の種目に関連する動作を行った際のモーション情報とを対応付けた情報を、複数種類記憶する記憶部と、
     複数の第1利用者の特徴を、利用者端末に通知し、前記複数の第1利用者の特徴のうち、いずれかの第1利用者の特徴の選択を受け付けると、選択を受け付けた第1利用者の特徴に対応するモーション情報を、前記記憶部から取得する受付部と、
     前記受付部が取得したモーション情報を、利用者端末に通知して、前記モーション情報に基づく第2利用者のスキルを判定させる通知部と
     を有することを特徴とするサーバ。
PCT/JP2015/077851 2014-10-10 2015-09-30 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ WO2016056449A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016553063A JP6384549B2 (ja) 2014-10-10 2015-09-30 スキル判定プログラム、スキル判定方法およびスキル判定装置
KR1020177008866A KR101936532B1 (ko) 2014-10-10 2015-09-30 기억 매체, 스킬 판정 방법 및 스킬 판정 장치
CN201580054106.2A CN106794371B (zh) 2014-10-10 2015-09-30 技能判定方法、技能判定装置以及服务器
EP15849229.8A EP3205379A4 (en) 2014-10-10 2015-09-30 Skill determination program, skill determination method, skill determination device, and server
US15/467,649 US10923224B2 (en) 2014-10-10 2017-03-23 Non-transitory computer-readable recording medium, skill determination method, skill determination device and server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-208981 2014-10-10
JP2014208981 2014-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/467,649 Continuation US10923224B2 (en) 2014-10-10 2017-03-23 Non-transitory computer-readable recording medium, skill determination method, skill determination device and server

Publications (1)

Publication Number Publication Date
WO2016056449A1 true WO2016056449A1 (ja) 2016-04-14

Family

ID=55653064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077851 WO2016056449A1 (ja) 2014-10-10 2015-09-30 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ

Country Status (6)

Country Link
US (1) US10923224B2 (ja)
EP (1) EP3205379A4 (ja)
JP (1) JP6384549B2 (ja)
KR (1) KR101936532B1 (ja)
CN (1) CN106794371B (ja)
WO (1) WO2016056449A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018070414A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
JP2018142815A (ja) * 2017-02-27 2018-09-13 富士通株式会社 3次元データ取得装置及び方法
WO2019043928A1 (ja) * 2017-09-01 2019-03-07 富士通株式会社 練習支援プログラム、練習支援方法および練習支援システム
JP2019070987A (ja) * 2017-10-11 2019-05-09 国立研究開発法人産業技術総合研究所 身体動きガイドシステム、刺激呈示装置、刺激呈示方法およびプログラム
WO2019116495A1 (ja) * 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム
JP2019092984A (ja) * 2017-11-27 2019-06-20 日本電信電話株式会社 体動計測装置および体動計測方法
CN109963683A (zh) * 2016-11-15 2019-07-02 相干公司 利用非球面聚焦设备和扩束器切割脆性材料的激光设备
WO2019130527A1 (ja) * 2017-12-27 2019-07-04 富士通株式会社 抽出プログラム、抽出方法および情報処理装置
JP2019166311A (ja) * 2018-03-25 2019-10-03 柏熊 誠治 スイング判定装置、スイング判定方法、および、プログラム。
WO2020213074A1 (ja) * 2019-04-16 2020-10-22 株式会社 日立物流 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
JP2020195573A (ja) * 2019-06-03 2020-12-10 Kddi株式会社 トレーニング評価装置、方法およびプログラム
WO2023047621A1 (ja) * 2021-09-24 2023-03-30 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
WO2023162159A1 (ja) * 2022-02-25 2023-08-31 日本電気株式会社 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体
JP7390640B2 (ja) 2019-09-09 2023-12-04 Toppanホールディングス株式会社 運動教育システム、サーバ装置、運動教育支援サービス提供方法及びプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101458931B1 (ko) * 2014-08-12 2014-11-07 (주) 골프존 운동 자세 분석 장치 및 운동 자세 분석 정보 생성 방법
US10918924B2 (en) * 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
EP3295324A4 (en) 2015-05-08 2018-10-24 GN IP Pty Ltd Frameworks, devices and methodologies configured to enable automated categorisation and/or searching of media data based on user performance attributes derived from performance sensor units
WO2017096436A1 (en) 2015-12-10 2017-06-15 Guided Knowledge Ip Pty Ltd Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware
US10220255B2 (en) * 2017-04-12 2019-03-05 Russell Copelan Wearable measuring apparatus for sports training
WO2019008771A1 (ja) * 2017-07-07 2019-01-10 りか 高木 治療及び/又は運動の指導プロセス管理システム、治療及び/又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
EP3744408A4 (en) * 2018-01-24 2021-01-20 Fujitsu Limited SCREEN GENERATION PROGRAM, SCREEN GENERATION METHOD AND INFORMATION PROCESSING DEVICE
JP7130973B2 (ja) * 2018-02-02 2022-09-06 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7004218B2 (ja) * 2018-05-14 2022-01-21 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
CN109432753B (zh) * 2018-09-26 2020-12-29 Oppo广东移动通信有限公司 动作矫正方法、装置、存储介质及电子设备
US11403882B2 (en) * 2019-05-21 2022-08-02 Smith & Nephew, Inc. Scoring metric for physical activity performance and tracking
CA3089403A1 (en) * 2019-08-08 2021-02-08 Curv Labs Inc. System and method for performing biomechanical assessments
JP7459679B2 (ja) * 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
US11671406B2 (en) * 2020-11-03 2023-06-06 International Business Machines Corporation Patterned and correlated electrical activity
KR102554552B1 (ko) * 2020-11-18 2023-07-11 정의정 영상 기반 골프 자세 분석을 위한 파이프라인 및 이를 이용한 자세 교정 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012531941A (ja) * 2009-06-30 2012-12-13 ゴルフゾン カンパニー リミテッド ゴルフシミュレーティング装置及び方法
JP2014064110A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014512220A (ja) * 2011-04-05 2014-05-22 ナイキ インターナショナル リミテッド ゴルフデータを記憶し解析するためのシステムおよび方法
JP2014123322A (ja) * 2012-12-21 2014-07-03 Casio Comput Co Ltd 情報報知装置、情報報知方法及びプログラム

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099859A (en) * 1988-12-06 1992-03-31 Bell Gene D Method and apparatus for comparative analysis of videofluoroscopic joint motion
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
JP3061640B2 (ja) * 1994-10-17 2000-07-10 美津濃株式会社 ゴルファに最適なフレックスのシャフト選定装置
US6083123A (en) * 1997-02-11 2000-07-04 Zevo Golf Co., Inc. Method for fitting golf clubs for golfers
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6537076B2 (en) * 2001-02-16 2003-03-25 Golftec Enterprises Llc Method and system for presenting information for physical motion analysis
US7041014B2 (en) * 2001-04-05 2006-05-09 Taylor Made Golf Co., Inc. Method for matching a golfer with a particular golf club style
US8506425B2 (en) * 2001-04-05 2013-08-13 Taylor Made Golf Company, Inc. Method for matching a golfer with a particular golf club style
JP4290462B2 (ja) 2003-04-16 2009-07-08 Sriスポーツ株式会社 ゴルフスウィングの診断システム
US7457439B1 (en) * 2003-12-11 2008-11-25 Motion Reality, Inc. System and method for motion capture
WO2006070914A1 (en) * 2004-12-28 2006-07-06 Ssd Company Limited Simulated experience apparatus, energy consumption calculation method, squatting motion detection apparatus, exercise assist apparatus, animation method, exercise amount management apparatus, athletic ability measurement apparatus, reflexes ability measurement apparatus, and audio-visual system
WO2006081395A2 (en) * 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
WO2008049151A1 (en) * 2006-10-26 2008-05-02 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
JP4784538B2 (ja) 2007-03-19 2011-10-05 カシオ計算機株式会社 ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム
US20110230986A1 (en) 2008-02-20 2011-09-22 Nike, Inc. Systems and Methods for Storing and Analyzing Golf Data, Including Community and Individual Golf Data Collection and Storage at a Central Hub
US9393478B2 (en) * 2008-02-20 2016-07-19 Nike, Inc. System and method for tracking one or more rounds of golf
US8175326B2 (en) * 2008-02-29 2012-05-08 Fred Siegel Automated scoring system for athletics
US8577154B2 (en) * 2008-06-16 2013-11-05 University Of Southern California Automated single viewpoint human action recognition by matching linked sequences of key poses
JP2011078728A (ja) * 2009-03-10 2011-04-21 Shinsedai Kk 身体状態評価装置、状態推測装置、歩幅推測装置、及び、健康管理システム
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8562403B2 (en) * 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
EP2635988B1 (en) * 2010-11-05 2020-04-29 NIKE Innovate C.V. Method and system for automated personal training
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US8718748B2 (en) * 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
WO2012155279A2 (en) * 2011-05-13 2012-11-22 Liberovision Ag Silhouette-based pose estimation
JP5761505B2 (ja) * 2011-06-09 2015-08-12 セイコーエプソン株式会社 スイング分析装置、スイング分析システム、スイング分析方法、スイング分析プログラム、および記録媒体
US8786680B2 (en) * 2011-06-21 2014-07-22 Disney Enterprises, Inc. Motion capture from body mounted cameras
US9600934B2 (en) * 2011-06-30 2017-03-21 Orange Augmented-reality range-of-motion therapy system and method of operation thereof
US8696450B2 (en) * 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
US11133096B2 (en) * 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
US20130252216A1 (en) * 2012-03-20 2013-09-26 Microsoft Corporation Monitoring physical therapy via image sensor
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9082312B2 (en) * 2012-05-09 2015-07-14 Antennasys, Inc. Physical activity instructional apparatus
JP5984002B2 (ja) * 2012-08-29 2016-09-06 カシオ計算機株式会社 運動支援装置、運動支援方法及び運動支援プログラム
CN103785157A (zh) * 2012-10-30 2014-05-14 莫凌飞 人体运动类型识别准确度提高方法
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
US20140287389A1 (en) * 2013-03-14 2014-09-25 The Regents Of The University Of California Systems and methods for real-time adaptive therapy and rehabilitation
US9854014B2 (en) * 2013-03-14 2017-12-26 Google Inc. Motion data sharing
JP5920264B2 (ja) * 2013-03-22 2016-05-18 カシオ計算機株式会社 画像特定装置、画像特定システム、画像特定方法及びプログラム
US20140364230A1 (en) * 2013-06-06 2014-12-11 Universita' Degli Studi Di Milano Apparatus and Method for Rehabilitation Employing a Game Engine
GB2515279A (en) * 2013-06-13 2014-12-24 Biogaming Ltd Rehabilitative posture and gesture recognition
US10546326B2 (en) * 2013-09-26 2020-01-28 Mark W. Publicover Providing targeted content based on a user's preferences
US9679199B2 (en) * 2013-12-04 2017-06-13 Microsoft Technology Licensing, Llc Fusing device and image motion for user identification, tracking and device association
KR101765208B1 (ko) * 2014-01-07 2017-08-04 한국전자통신연구원 시간 및 자세 제약 조건 아래에서 무용 동작을 생성하는 방법 및 장치
JP2016039618A (ja) * 2014-08-11 2016-03-22 ソニー株式会社 情報処理装置および情報処理方法
JP2017045160A (ja) * 2015-08-25 2017-03-02 ルネサスエレクトロニクス株式会社 技能指導検証システムおよび技能指導検証プログラム
US20170103672A1 (en) * 2015-10-09 2017-04-13 The Regents Of The University Of California System and method for gesture capture and real-time cloud based avatar training
US10150034B2 (en) * 2016-04-11 2018-12-11 Charles Chungyohl Lee Methods and systems for merging real world media within a virtual world
US11017576B2 (en) * 2018-05-30 2021-05-25 Visyn Inc. Reference model predictive tracking and rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012531941A (ja) * 2009-06-30 2012-12-13 ゴルフゾン カンパニー リミテッド ゴルフシミュレーティング装置及び方法
JP2014512220A (ja) * 2011-04-05 2014-05-22 ナイキ インターナショナル リミテッド ゴルフデータを記憶し解析するためのシステムおよび方法
JP2014064110A (ja) * 2012-09-20 2014-04-10 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2014123322A (ja) * 2012-12-21 2014-07-03 Casio Comput Co Ltd 情報報知装置、情報報知方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3205379A4 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018069981A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
WO2018070414A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
JPWO2018070414A1 (ja) * 2016-10-11 2019-06-24 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
US11176359B2 (en) 2016-10-11 2021-11-16 Fujitsu Limited Motion recognition device and motion recognition method
CN109963683B (zh) * 2016-11-15 2022-04-12 相干公司 利用非球面聚焦设备和扩束器切割脆性材料的激光设备
CN109963683A (zh) * 2016-11-15 2019-07-02 相干公司 利用非球面聚焦设备和扩束器切割脆性材料的激光设备
JP2018142815A (ja) * 2017-02-27 2018-09-13 富士通株式会社 3次元データ取得装置及び方法
JPWO2019043928A1 (ja) * 2017-09-01 2020-07-30 富士通株式会社 練習支援プログラム、練習支援方法および練習支援システム
WO2019043928A1 (ja) * 2017-09-01 2019-03-07 富士通株式会社 練習支援プログラム、練習支援方法および練習支援システム
JP2019070987A (ja) * 2017-10-11 2019-05-09 国立研究開発法人産業技術総合研究所 身体動きガイドシステム、刺激呈示装置、刺激呈示方法およびプログラム
JP2019092984A (ja) * 2017-11-27 2019-06-20 日本電信電話株式会社 体動計測装置および体動計測方法
JPWO2019116495A1 (ja) * 2017-12-14 2020-11-26 富士通株式会社 技認識プログラム、技認識方法および技認識システム
US11776134B2 (en) 2017-12-14 2023-10-03 Fujitsu Limited Non-transitory computer readable recording medium, element recognition method, and element recognition system
WO2019116495A1 (ja) * 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム
JPWO2019130527A1 (ja) * 2017-12-27 2020-12-03 富士通株式会社 抽出プログラム、抽出方法および情報処理装置
WO2019130527A1 (ja) * 2017-12-27 2019-07-04 富士通株式会社 抽出プログラム、抽出方法および情報処理装置
US11263462B2 (en) 2017-12-27 2022-03-01 Fujitsu Limited Non-transitory computer readable recording medium, extraction method, and information processing apparatus
JP2019166311A (ja) * 2018-03-25 2019-10-03 柏熊 誠治 スイング判定装置、スイング判定方法、および、プログラム。
JP7189332B2 (ja) 2019-04-16 2022-12-13 株式会社日立物流 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
WO2020213074A1 (ja) * 2019-04-16 2020-10-22 株式会社 日立物流 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
JPWO2020213074A1 (ja) * 2019-04-16 2020-10-22
JP2020174910A (ja) * 2019-04-18 2020-10-29 株式会社Sportip 運動支援システム
JP7007330B2 (ja) 2019-06-03 2022-01-24 Kddi株式会社 トレーニング評価装置、方法およびプログラム
JP2020195573A (ja) * 2019-06-03 2020-12-10 Kddi株式会社 トレーニング評価装置、方法およびプログラム
JP7390640B2 (ja) 2019-09-09 2023-12-04 Toppanホールディングス株式会社 運動教育システム、サーバ装置、運動教育支援サービス提供方法及びプログラム
WO2023047621A1 (ja) * 2021-09-24 2023-03-30 ソニーグループ株式会社 情報処理システム、情報処理方法およびプログラム
WO2023162159A1 (ja) * 2022-02-25 2023-08-31 日本電気株式会社 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
EP3205379A1 (en) 2017-08-16
US10923224B2 (en) 2021-02-16
EP3205379A4 (en) 2018-01-24
JPWO2016056449A1 (ja) 2017-08-31
US20170189784A1 (en) 2017-07-06
CN106794371A (zh) 2017-05-31
KR101936532B1 (ko) 2019-04-03
KR20170052616A (ko) 2017-05-12
CN106794371B (zh) 2019-09-03
JP6384549B2 (ja) 2018-09-05

Similar Documents

Publication Publication Date Title
JP6384549B2 (ja) スキル判定プログラム、スキル判定方法およびスキル判定装置
JP6617830B2 (ja) 骨格推定装置、骨格推定方法および骨格推定プログラム
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
JP6554981B2 (ja) 診断サーバー、診断システム、診断方法、診断プログラム、記録媒体
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
US20160372002A1 (en) Advice generation method, advice generation program, advice generation system and advice generation device
US20230256317A1 (en) Equipment fitting system that compares swing metrics
US11935330B2 (en) Object fitting using quantitative biomechanical-based analysis
JP2016116615A (ja) 運動解析装置、運動解析システム、運動解析方法、及びプログラム
US11577142B2 (en) Swing analysis system that calculates a rotational profile
JP6783646B2 (ja) 選択支援装置、選択支援システムおよび選択支援方法
KR20180015150A (ko) 쌍방향 기능 훈련 내용의 공급 적용을 포함하는, 신체적으로 수행된 기능의 분석이 가능하도록 구성된 구조 및 방법
JP2017023506A (ja) スイング解析装置、スイング解析システム、スイング解析方法、及びプログラム
JP6431282B2 (ja) 情報処理装置及び情報処理方法
US20230069916A1 (en) Golfer-oriented information providing method, storage medium storing program for providing information to golfer, and golfer-oriented information providing device
JP2024027637A (ja) 情報処理装置、情報処理方法、及びプログラム
Ku Design of a Golf Swing Injury Detection and Evaluation open service platform with Ontology-oriented clustering case-based reasoning mechanism

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15849229

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016553063

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015849229

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015849229

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20177008866

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE