JP6683938B2 - 採点支援プログラム、採点支援装置および採点支援方法 - Google Patents
採点支援プログラム、採点支援装置および採点支援方法 Download PDFInfo
- Publication number
- JP6683938B2 JP6683938B2 JP2018544614A JP2018544614A JP6683938B2 JP 6683938 B2 JP6683938 B2 JP 6683938B2 JP 2018544614 A JP2018544614 A JP 2018544614A JP 2018544614 A JP2018544614 A JP 2018544614A JP 6683938 B2 JP6683938 B2 JP 6683938B2
- Authority
- JP
- Japan
- Prior art keywords
- technique
- scoring
- identification information
- referee
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/22—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
- A63B2071/0641—Displaying moving images of recorded environment, e.g. virtual environment with a marker advancing in function of the exercise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Physical Education & Sports Medicine (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は採点支援プログラム、採点支援装置および採点支援方法に関する。
競技には、競技者の演技を審判員が採点し、採点された点数に応じて複数の競技者それぞれの順位が決定されるものがある。また、競技には、例えば体操競技のように、一つの演技に複数の技が含まれるものがある。このような競技では、審判員は、競技者の演技を目視し、技を特定する。審判員は、特定した技の難度や特定した技のグループなどを特定し、特定した難度やグループなどに応じた採点を行う。
ここで、情報処理技術を採点に利用することが考えられている。例えば、競技者により保持されている通信端末から送信された競技者別の競技者データを受信し、競技者データと予め記憶されている審判データとに基づき、採点結果を示す審判結果データを生成する競技用審判支援装置の提案がある。
なお、採点者による試験答案の採点作業を支援する提案もある。この提案では、コンピュータにより答案用紙のレイアウトと同様の採点画面を表示させ、採点画面上で答案用紙の解答欄の位置、大きさ、見た目などを活かして直感的な作業を行えるようにすることで、採点の作業効率を上げる。また、マイクから入力された歌唱信号電圧を、採点ポイント毎に一定電圧以上であるか否かを判定して、歌唱力を採点する歌唱力評価装置の提案もある。
競技の採点では、審判員が演技を見ながら、演技された技を判断し、紙の採点用紙に手書きで技を速記し、演技後に採点用紙の記載内容を確認して点数計算を行うことがある。この方法では、審判員による技の認定ミスや集計ミスが生じることがある。
一方、センシング技術を用いて情報処理装置により採点を行うことも考えられる。情報処理装置は、演技中の競技者に対してセンサにより取得されたセンサデータに基づき演技の採点を行う。ところが、センシング技術による採点結果も必ずしも適正とは限らない。
そこで、センシング技術による採点結果および審判員による採点結果の両方を用いて採点結果の信頼性を向上させることが考えられる。例えば、両方の採点結果が相違する技は見直し候補となり得る。このとき、両方の採点結果の審判員などによる比較を支援する方法が問題となる。例えば、審判員が、両採点結果の比較をするときに、記録された演技の動画を最初から全て見て確認を行うことも考えられる。しかし、見直し対象の技を動画から探す手間を審判員に強いることになり、採点結果の確定までに時間がかかる。
一つの側面では、本発明は、採点結果の比較に用いられる情報を速やかに提示可能にすることを目的とする。
一つの態様では、採点支援プログラムが提供される。この採点支援プログラムは、競技者が複数の技を時系列に演技する競技について、演技中の競技者に関するセンサデータに基づいて複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、第一の採点結果に含まれる技の第一の識別情報と、第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、表示された識別情報のうち、何れかの識別情報が選択されると、選択された識別情報に対応する映像を複数の技を記録した画像の中から特定し、特定した映像を表示する、処理をコンピュータに実行させる。
一つの側面では、採点結果の比較に用いられる情報を速やかに提示することが可能となる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
以下、本実施の形態について図面を参照して説明する。
[第一の実施の形態]
図1は、第一の実施の形態の採点支援システムを示す図である。第一の実施の形態の採点支援システムは、競技における審判員R1による採点を支援する。競技は、競技者P1が複数の技を時系列に演技する競技(例えば、体操競技)である。
[第一の実施の形態]
図1は、第一の実施の形態の採点支援システムを示す図である。第一の実施の形態の採点支援システムは、競技における審判員R1による採点を支援する。競技は、競技者P1が複数の技を時系列に演技する競技(例えば、体操競技)である。
第一の実施の形態の採点支援システムは、採点支援装置1、情報処理装置2、動画撮影カメラ3およびレーザーセンサ4,4aを含む。情報処理装置2は、ネットワーク5に接続されている。ネットワーク5は、例えばLAN(Local Area Network)である。動画撮影カメラ3およびレーザーセンサ4,4aは、情報処理装置2に接続されている。ネットワーク5にはアクセスポイント6が接続されている。アクセスポイント6は、採点支援装置1および情報処理装置2の通信を中継する中継装置である。
ここで、動画撮影カメラ3は、競技者P1による演技を撮影して動画データを生成し、情報処理装置2に出力する。情報処理装置2は、動画撮影カメラ3から受信した動画データを記憶する。
また、レーザーセンサ4,4aは、測距用のセンサである。例えば、レーザーセンサ4,4aは、演技中の競技者P1にレーザー光を照射し、参照光に対する反射光の位相のずれを検出して距離を測定する。レーザー光の周波数として、競技者P1の演技の妨げにならない周波数が選択される。レーザーセンサ4,4aは、自身から競技者P1へ向かう方向と垂直な面の複数のポイントをターゲットとして距離を測定する。あるポイントに対するレーザー光が競技者P1に当たれば、競技者P1によりレーザー光は反射される。別のポイントに対するレーザー光が競技者P1に当たらなければ、競技者P1以外の物体(例えば、競技者P1の背後の壁など)によりレーザー光は反射される。こうして、レーザーセンサ4,4aは、レーザーセンサ4,4aから競技者P1や競技者P1の周囲の物体までの距離を反映した点群の情報(センサデータと称する)を取得し、センサデータを情報処理装置2に出力する。
情報処理装置2は、センサデータに基づいて、競技者P1の骨格データD1を生成する。骨格データD1は、競技者P1の骨格を表す情報であり、例えば、関節位置や関節の曲がり角度などの情報を含む。情報処理装置2は、2以上のレーザーセンサが出力するセンサデータを用いることで、3次元の骨格データD1を得る。また、情報処理装置2は、各レーザーセンサが時系列に出力するセンサデータに基づいて、骨格データD1の時系列変化を得る。情報処理装置2は、骨格データD1の時系列変化を、情報処理装置2に記憶された技毎の運動パターン情報と照合することで、競技者P1による技を特定する。
例えば、運動パターン情報は、技の運動パターン(技毎の骨格データの変化をパターン化した辞書情報)と技の識別情報との対応関係を示す情報である。運動パターン情報は、(1)基本運動の運動パターンを示す情報、および、(2)基本運動の組と技の識別情報との対応関係を示す情報を含んでもよい。例えば、体操競技のように、基本運動の組み合わせによって技が決定される競技もあるからである。
情報処理装置2は、特定した技に対する採点を行う。例えば、情報処理装置2は、特定した技の難度や、当該技が属するグループなどを、情報処理装置2に予め登録された情報を基に特定することで、特定した技の採点を行う。
採点支援装置1は、審判員R1により、採点結果の入力や採点結果の比較などに用いられる。採点支援装置1は、記憶部1a、処理部1b、通信部1c、入力部1dおよび表示部1eを有する。
記憶部1aは、RAM(Random Access Memory)などの揮発性記憶装置でもよいし、フラッシュメモリなどの不揮発性記憶装置でもよい。処理部1bは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などを含み得る。処理部1bはプログラムを実行するプロセッサでもよい。プロセッサは、複数のプロセッサの集合(マルチプロセッサ)でもよい。
通信部1cは、アクセスポイント6を介した情報処理装置2との通信に用いられる無線通信インタフェースである。ただし、通信部1cは、ネットワーク5に有線で接続するための有線通信インタフェースでもよい。入力部1dは、審判員R1による入力を受け付ける。入力部1dは、タッチパネルやタッチパッドなどのポインティングデバイスでもよい。表示部1eは、GUI(Graphical User Interface)を表示する。表示部1eとして、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイを用いることができる。
記憶部1aは、競技を記録した画像を記憶する。記憶部1aが記憶する画像は、競技者P1による演技の画像を含む。当該画像は、情報処理装置2により配信された動画撮影カメラ3の動画データ(あるいは動画データの一部分)でもよい。
処理部1bは、演技中の競技者P1に関するセンサデータに基づいて複数の技それぞれを採点した第一の採点結果を情報処理装置2から取得する。処理部1bは、審判員R1により入力された第二の採点結果を取得する。第二の採点結果は、審判員R1による複数の技それぞれの採点結果である。
例えば、処理部1bは、審判員R1により入力部1dに入力された技を表す文字を認識することで、審判員R1による第二の採点結果の入力を受け付ける。審判員R1は、競技者P1の演技を見ながら文字を入力する。処理部1bは、基本運動を示す文字の組により技を特定する場合、入力された文字間の時間間隔やスペースの間隔により、技毎の区切り(すなわち、基本運動の1つの組)を認識することもできる。処理部1bは、入力部1dに対する文字または文字の組毎の入力開始時刻や入力完了時刻を検出することもできる。ここで、文字または文字の組を文字列と称する。
ここで、第一の採点結果は、情報処理装置2により認識された技および当該技の開始時刻や終了時刻の情報を含んでもよい。第二の採点結果は、審判員R1により入力された技および当該技の入力開始時刻や入力終了時刻の情報を含んでもよい。
処理部1bは、第一の採点結果に含まれる技の第一の識別情報と、第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示する。処理部1bは、表示部1eを用いて、第一の採点結果および第二の採点結果の表示を行う(「処理部1bは、第一の採点結果および第二の採点結果を表示部1eにより表示させる」ということもできる)。
例えば、処理部1bは、第一の採点結果に含まれる各技の第一の識別情報と、第二の採点結果に含まれる各技の第二の識別情報とを技の時系列に順番に対応付けて表示する。具体的には、処理部1bは、第一の識別情報の判定元の動作を競技者P1が行った第一の時刻と、審判員R1により第二の識別情報に対応する入力が行われた第二の時刻とに基づいて、第一の識別情報と第二の識別情報とを対応付ける。すなわち、処理部1bは、第一の採点結果に含まれる複数の技の時系列を、技毎の開始時刻(または終了時刻)により特定し、第二の採点結果に含まれる複数の技の時系列を、技毎の入力開始時刻(または入力終了時刻)により特定する。そして、処理部1bは、特定した2つの時系列の順番に沿って、第一の採点結果に含まれる複数の技の識別情報と、第二の採点結果に含まれる複数の技の識別情報とを一対一に対応付ける。採点結果比較画面7は、処理部1bにより生成された画面の表示部1eによる表示例である。
採点結果比較画面7は、時間帯、センシング技術、審判員の項目を含む。時間帯の項目には、センシング技術を用いた技認識により認識された技の開始から終了までの時間帯(時刻は、演技開始からの経過時間により表されてもよい)が表示される。採点結果比較画面7の例では、センシング技術により各技が認識された時間として、“t1〜t2”、“t2〜t3”、“t3〜t4”という3つの時間帯が表示されている。時刻t1,t2,t3,t4は、この順で時系列(時刻t1が最も古く、時刻t4が最も新しい)となっている。
センシング技術の項目には、情報処理装置2により認識された技の識別情報および当該技の点数が表示される。採点結果比較画面7の例では、時間帯“t1〜t2”では、“技X1”という識別情報、および、“0.1”という点数が表示されている。これは、センシング技術により“技X1”の判定元となった競技者P1による動作が、時間帯“t1〜t2”に行われており、“技X1”の点数が“0.1”であることを示す。また、時間帯“t2〜t3”では、“技X2”という識別情報、および、“0.2”という点数が表示されている。更に、時間帯“t3〜t4”では、“技X3”という識別情報、および、“0.3”という点数が表示されている。
審判員の項目には、審判員R1により入力された文字列に対応する技の識別情報および当該技の点数が表示される。採点結果比較画面7の例では、時間帯“t1〜t2”では、“技X1”という識別情報、および、“0.1”という点数が表示されている。時間帯“t2〜t3”では、“技X4”という識別情報、および、“0.4”という点数が表示されている。時間帯“t3〜t4”では、“技X3”という識別情報、および、“0.3”という点数が表示されている。
採点結果比較画面7の例では、最初の技は、第一の採点結果および第二の採点結果とも、技“技X1”、点“0.1”で同じである。2番目の技は、第一の採点結果が技“技X2”、点“0.2”であり、第二の採点結果が技“技X4”、点“0.4”である。すなわち、両方の採点結果では2番目の技が異なる。3番目の技は、第一の採点結果および第二の採点結果とも、技“技X3”、点“0.3”で同じである。この場合、審判員R1は、時間帯“t2〜t3”に行われた技を見直し対象とする。また、時間帯“t1〜t2”、“t3〜t4”に行われた技は両採点結果が同じであり、両採点結果が適正である可能性が高いので、見直し対象外とする(あるいは見直しの優先度を下げる)。処理部1bは、採点結果比較画面7において、採点結果の相違する時間帯“t2〜t3”に対応する箇所(例えば、審判員R1による採点結果“技X4”、“0.4”の表示箇所)を強調表示してもよい。
処理部1bは、表示された識別情報のうち、何れかの識別情報が選択されると、選択された識別情報に対応する映像を、競技者P1による複数の技を記録した画像の中から特定し、特定した映像を表示する。
例えば、審判員R1は、入力部1dを操作して、採点結果比較画面7に表示された見直し対象の技の識別情報(例えば、審判員R1による採点結果“技X4”に対応する表示箇所、またはセンシング技術による採点結果“技X2”に対応する表示箇所)を選択できる。あるいは、審判員R1は、見直し対象の技の識別情報として、時間帯“t2〜t3”を選択することもできる。なぜなら、“技X2”や“技X4”といった識別情報は、時間帯“t2〜t3”に対応付けられるからである。したがって、時間帯“t2〜t3”を、見直し対象の技の識別情報の1つと考えてもよい。入力部1dがタッチパネルであれば、審判員R1は、該当箇所をタッチすることで当該選択を行える。あるいは、入力部1dがタッチパッドであれば、審判員R1は、採点結果比較画面7内に表示されるポインタを該当箇所に合わせて、所定の選択操作(例えば、タッチパッドのタップや選択ボタンの押下など)を行うことで当該選択を行ってもよい。
そして、処理部1bは、入力部1dを用いて選択された識別情報に対応する映像を、記憶部1a(または情報処理装置2)に記憶された競技者P1による演技の動画データの中から特定する。例えば、“技X2”や“技X4”が選択された場合、“技X2”や“技X4”に対応する時間帯は“t2〜t3”である。したがって、処理部1bは、動画データのうち、時間帯“t2〜t3”に対応する時間帯の技動画を再生するための技動画再生画面8を、表示部1eを用いて表示する。
技動画再生画面8は、動画再生領域8a、技選択フォーム8bおよび決定ボタン8cを含む。動画再生領域8aは、該当の時間帯の技動画を再生する領域である。上記の例では、処理部1bは、時間帯“t2〜t3”の時間帯の技動画を再生し、動画再生領域8a内に表示する。なお、処理部1bは、再生対象の時間帯の開始点を時刻“t2”より所定時間前の時刻としてもよい。また、処理部1bは、再生対象の時間帯の終了点を時刻“t3”より所定時間後の時刻としてもよい。技選択フォーム8bは、審判員R1による技の入力を受け付けるためのフォームである。決定ボタン8cは、技選択フォーム8bに入力された技を、採点結果比較画面7に反映させるためのボタンである。
審判員R1は、動画再生領域8aにおいて再生される技動画を確認して、技選択フォーム8bにより技の識別情報(例えば、技名)を入力できる。例えば、審判員R1は、自身の判断が誤っていたと判断すれば、元の技“技X4”とは異なる技の識別情報を入力することができる。例えば、処理部1bは、審判員R1により入力された技により、採点結果比較画面7における時間帯“t2〜t3”の審判員の技の項目の表示を更新する(新たに入力された技の識別情報を表示する)。また、処理部1bは、更新後の技の難易度などに応じた点を、時間帯“t2〜t3”の審判員の点の項目に表示する。
処理部1bは、更新後の採点結果比較画面7における審判員R1の採点結果に表示された点を集計することで、競技者P1の演技に対する点数を計算してもよい。処理部1bは、競技者P1の演技に対する点数を、表示部1eを用いて表示してもよい。
ここで、審判員R1が、センシング技術による採点結果と審判員R1の採点結果とを比較するときに、記録された演技の動画を最初から全て見て確認を行うことも考えられる。しかし、審判員R1が、両採点結果において同じである箇所を確認するのは余計であるし、動画の中から、技の判定が相違した箇所を探すのも手間である。このため、採点結果の確定までに時間がかかるおそれがある。
そこで、採点支援装置1は、センシング技術による第一の採点結果と審判員R1による第二の採点結果とを比較する際に、両採点結果に含まれる技の識別情報を対応付けて表示し、選択された識別情報に対応する技動画を特定して表示する。これにより、採点支援装置1は、採点結果の比較に用いられる情報(採点結果比較画面7や技動画再生画面8に含まれる情報)を速やかに提示することが可能となる。
審判員R1は、採点結果比較画面7により、両採点結果において判定に相違のある技を容易に特定できる。また、審判員R1は、技動画再生画面8により、技の判定結果が相違する箇所の動画を即座に確認し、判定の訂正を行える。こうして、審判員R1による採点を効率化することができる。また、採点の信頼性を効率的に高めることができる。
以下では、第一の実施の形態の採点支援システムを、体操競技の採点に用いる場合を例示して、採点支援装置1による機能をより具体的に説明する。
[第二の実施の形態]
図2は、第二の実施の形態の採点支援システムの例を示す図である。第二の実施の形態の採点支援システムは、端末装置100,100a、サーバ200、動画撮影カメラ21およびレーザーセンサ22,22aを含む。サーバ200は、ネットワーク10に接続されている。ネットワーク10は、例えばLANである。動画撮影カメラ21およびレーザーセンサ22,22aは、サーバ200に接続されている。ネットワーク10にはアクセスポイント11が接続されている。アクセスポイント11は、端末装置100,100aおよびサーバ200の通信を中継する中継装置である。
[第二の実施の形態]
図2は、第二の実施の形態の採点支援システムの例を示す図である。第二の実施の形態の採点支援システムは、端末装置100,100a、サーバ200、動画撮影カメラ21およびレーザーセンサ22,22aを含む。サーバ200は、ネットワーク10に接続されている。ネットワーク10は、例えばLANである。動画撮影カメラ21およびレーザーセンサ22,22aは、サーバ200に接続されている。ネットワーク10にはアクセスポイント11が接続されている。アクセスポイント11は、端末装置100,100aおよびサーバ200の通信を中継する中継装置である。
ここで、動画撮影カメラ21は、体操競技の競技者P10による演技を撮影して動画データを生成し、サーバ200に出力する。
また、レーザーセンサ22,22aは、演技中の競技者P10にレーザー光を照射し、参照光に対する反射光の位相のずれを検出して距離を測定する。レーザー光の周波数として、競技者P10の演技の妨げにならない周波数が選択される。レーザーセンサ22,22aは、レーザーセンサ22,22aから競技者P10や競技者P10の周囲の物体までの距離を反映した点群の情報(センサデータ)を取得し、センサデータをサーバ200に出力する。
また、レーザーセンサ22,22aは、演技中の競技者P10にレーザー光を照射し、参照光に対する反射光の位相のずれを検出して距離を測定する。レーザー光の周波数として、競技者P10の演技の妨げにならない周波数が選択される。レーザーセンサ22,22aは、レーザーセンサ22,22aから競技者P10や競技者P10の周囲の物体までの距離を反映した点群の情報(センサデータ)を取得し、センサデータをサーバ200に出力する。
端末装置100は、審判員R10により使用されるクライアントコンピュータである。端末装置100aは、審判員R20により使用されるクライアントコンピュータである。端末装置100,100aは、タブレット型の端末装置でもよいし、ラップトップ型のPC(Personal Computer)でもよい。端末装置100,100aは、アクセスポイント11を介して、サーバ200と通信する。端末装置100,100aは、第一の実施の形態の採点支援装置1の一例である。
サーバ200は、動画撮影カメラ21により生成された動画データを記憶するサーバコンピュータである。また、サーバ200は、レーザーセンサ22,22aにより生成されたセンサデータに基づいて、競技者P10の演技に含まれる技を認識する。
ここで、体操競技では、審判員によるDスコア(Difficulty score)およびEスコア(Execution score)の採点によって各競技者の順位が決定される。Dスコアは、演技の内容的な難しさを評価した得点である。Eスコアは、演技の美しさ(演技構成、技術および姿勢など)を評価した得点である。
DスコアはDスコアを採点する審判員(D審判)により採点される。EスコアはEスコアを採点する審判員(E審判およびR審判)により採点される。第二の実施の形態の採点支援システムでは、主に、Dスコアの採点支援を想定する。このため、審判員R10,R20は、Dスコアを採点する審判員(D審判)である。Dスコアを採点する審判員は、複数人制(具体的には2人制)である。
また、演技では競技者P10により複数の技が時系列に実施される。技は、複数の基本運動の組み合わせである。このため、サーバ200は、センサデータに基づいて、まずは、基本運動を認識する。そして、サーバ200は、基本運動の組み合わせを認識することで、当該基本運動の組み合わせに対応する技を認識する。
技は難度およびグループに対応付けられる。技の価値点は難度により定まる。また、演技中に行われた技が属するグループに対しても点数が付与される(要求グループ点)。更に、競技の種目によっては、技の組み合わせに対しても点数が付与される(組み合わせ加点)。例えば、組み合わせ加点は、床や鉄棒の競技で適用される。これらの点数の合計がDスコアとなる。
サーバ200は、第一の実施の形態の情報処理装置2の一例である。なお、動画撮影カメラにより生成された動画データを記憶するサーバコンピュータと、センシング技術による技認識を行うサーバコンピュータとを別個に設けて、ネットワーク10に接続してもよい。
以下では、体操競技の一例として、男子のあん馬を考える。ただし、種目、性別および年代に応じた異なる採点ルールに対しても、第二の実施の形態の採点支援システムを適用できる。
図3は、端末装置のハードウェア例を示す図である。端末装置100は、プロセッサ101、RAM102、フラッシュメモリ103、画像信号処理部104、ディスプレイ105、入力信号処理部106、タッチパネル107、媒体リーダ108および通信インタフェース109を有する。各ユニットは端末装置100のバスに接続されている。端末装置100aも端末装置100と同様のハードウェアにより実現される。
プロセッサ101は、端末装置100の情報処理を制御する。プロセッサ101は、マルチプロセッサでもよい。プロセッサ101は、例えばCPU、DSP、ASICまたはFPGAなどである。プロセッサ101は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせでもよい。
RAM102は、端末装置100の主記憶装置である。RAM102は、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、RAM102は、プロセッサ101による処理に用いる各種データを記憶する。
フラッシュメモリ103は、端末装置100の補助記憶装置である。フラッシュメモリ103は、OSのプログラム、アプリケーションプログラム、および各種データを記憶する。
画像信号処理部104は、プロセッサ101からの命令に従って、ディスプレイ105に画像を出力する。ディスプレイ105には、例えば、液晶ディスプレイや有機ELディスプレイを用いることができる。
入力信号処理部106は、端末装置100に接続されたタッチパネル107から入力信号を取得し、プロセッサ101に出力する。タッチパネル107は、ユーザによりタッチ操作された位置をプロセッサ101に出力するポインティングデバイスである。タッチパネル107は、ディスプレイ105の表示領域に重ねて設けられる。ユーザは、ディスプレイ105による表示を視認しながら、タッチパネル107によるタッチ操作を行える。
媒体リーダ108は、記録媒体12に記録されたプログラムやデータを読み取る装置である。記録媒体12として、例えば、フラッシュメモリカードを使用できる。媒体リーダ108は、例えば、プロセッサ101からの命令に従って、記録媒体12から読み取ったプログラムやデータをRAM102またはフラッシュメモリ103に格納する。
通信インタフェース109は、アクセスポイント11と無線リンクを確立し、アクセスポイント11およびネットワーク10を介してサーバ200と通信する無線通信インタフェースである。ただし、通信インタフェース109は、ネットワーク10と有線で接続する有線通信インタフェースでもよい。
図4は、サーバのハードウェア例を示す図である。サーバ200は、プロセッサ201、RAM202、HDD(Hard Disk Drive)203、接続インタフェース204、画像信号処理部205、入力信号処理部206、媒体リーダ207および通信インタフェース208を有する。各ユニットはサーバ200のバスに接続されている。
プロセッサ201は、サーバ200の情報処理を制御する。プロセッサ201は、マルチプロセッサでもよい。プロセッサ201は、例えばCPU、DSP、ASICまたはFPGAなどである。プロセッサ201は、CPU、DSP、ASIC、FPGAなどのうちの2以上の要素の組み合わせでもよい。
RAM202は、サーバ200の主記憶装置である。RAM202は、プロセッサ201に実行させるOSのプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、RAM202は、プロセッサ201による処理に用いる各種データを記憶する。
HDD203は、サーバ200の補助記憶装置である。HDD203は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。HDD203は、OSのプログラム、アプリケーションプログラム、および各種データを記憶する。サーバ200は、フラッシュメモリやSSD(Solid State Drive)などの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。
接続インタフェース204は、動画撮影カメラ21およびレーザーセンサ22,22aとの接続に用いられるインタフェースである。ただし、動画撮影カメラ21およびレーザーセンサ22,22aはネットワーク10に接続されてもよい。その場合、サーバ200は、後述の通信インタフェース208経由で動画撮影カメラ21およびレーザーセンサ22,22aと通信する。
画像信号処理部205は、プロセッサ201からの命令に従って、サーバ200に接続されたディスプレイ23に画像を出力する。ディスプレイ23として、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイなどを用いることができる。
入力信号処理部206は、サーバ200に接続された入力デバイス24から入力信号を取得し、プロセッサ201に出力する。入力デバイス24として、例えば、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。
媒体リーダ207は、記録媒体25に記録されたプログラムやデータを読み取る装置である。記録媒体25として、例えば、フレキシブルディスク(FD:Flexible Disk)やHDDなどの磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光ディスク、光磁気ディスク(MO:Magneto-Optical disk)を使用できる。また、記録媒体25として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。媒体リーダ207は、例えば、プロセッサ201からの命令に従って、記録媒体25から読み取ったプログラムやデータをRAM202またはHDD203に格納する。
通信インタフェース208は、ネットワーク10を介して端末装置100,100aと通信を行う。通信インタフェース208は、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。
図5は、端末装置の機能例を示す図である。端末装置100は、記憶部110、技名認識部120、GUI処理部130、技動画再生部140および採点処理部150を有する。記憶部110は、RAM102やフラッシュメモリ103に確保された記憶領域を用いて実現される。技名認識部120、GUI処理部130、技動画再生部140および採点処理部150は、RAM102に記憶されたプログラムをプロセッサ101が実行することで実現される。
記憶部110は、審判員R10により入力された文字を認識して技名に変換するための情報や、技名に対応するグループや難度の情報を記憶する。また、記憶部110は、難度に対応する点数や要求グループ点などの情報も記憶する。更に、競技の種目に応じて、組み合わせ加点の内容(例えば、技の組み合わせと加算する点数との対応関係)の情報を記憶することもある。
技名認識部120は、審判員R10により入力された文字列を技名に変換することで、審判員R10により判定された技名を認識する。技名認識部120は、記憶部110に記憶された文字認識用の情報を参照して、入力された文字列を技名に変換する。
GUI処理部130は、ディスプレイ105にGUIを表示させる。例えば、GUI処理部130は、審判員R10による技の手書き入力を支援する画面をディスプレイ105に表示させる。また、GUI処理部130は、審判員R10による技の採点結果と、サーバ200による技の採点結果とを比較する画面をディスプレイ105に表示させる。更に、GUI処理部130は、審判員R10により選択された技の動画を再生する画面をディスプレイ105に表示させる。
技動画再生部140は、技動画の再生を行う。技動画再生部140は、審判員R10により選択された技の識別情報をGUI処理部130から取得し、該当の識別情報に対応する技動画をサーバ200から取得する。技動画再生部140は、技動画を再生し、GUI上に再生した技動画を表示させる。
採点処理部150は、演技の採点を行う。採点処理部150は、記憶部110に予め記憶された情報(採点ルールの情報を含む)を参照して、認識された技名の難度や技名に対応するグループなどを特定し、難度やグループに応じた採点を行う。採点処理部150は、GUI処理部130により採点結果をGUI上に表示させる。
端末装置100aも端末装置100と同様の機能を有する。
図6は、サーバの機能例を示す図である。サーバ200は、動画記憶部210、動画保存部220、動画配信部230、辞書情報記憶部240、センサデータ記憶部250、センサデータ受信部260、骨格認識部270および技認識部280を有する。動画記憶部210、辞書情報記憶部240およびセンサデータ記憶部250は、RAM202やHDD203に確保された記憶領域を用いて実現される。動画保存部220、動画配信部230、センサデータ受信部260、骨格認識部270および技認識部280は、RAM202に記憶されたプログラムをプロセッサ201が実行することで実現される。
図6は、サーバの機能例を示す図である。サーバ200は、動画記憶部210、動画保存部220、動画配信部230、辞書情報記憶部240、センサデータ記憶部250、センサデータ受信部260、骨格認識部270および技認識部280を有する。動画記憶部210、辞書情報記憶部240およびセンサデータ記憶部250は、RAM202やHDD203に確保された記憶領域を用いて実現される。動画保存部220、動画配信部230、センサデータ受信部260、骨格認識部270および技認識部280は、RAM202に記憶されたプログラムをプロセッサ201が実行することで実現される。
動画記憶部210は、動画撮影カメラ21により撮影された動画を記憶する。
動画保存部220は、動画撮影カメラ21により撮影された動画を受信し、動画記憶部210に格納する。動画は、撮影開始時刻の情報や撮影終了時刻の情報を含む。また、動画は、競技者P10が演技を開始した演技開始時刻の情報を含む。
動画保存部220は、動画撮影カメラ21により撮影された動画を受信し、動画記憶部210に格納する。動画は、撮影開始時刻の情報や撮影終了時刻の情報を含む。また、動画は、競技者P10が演技を開始した演技開始時刻の情報を含む。
動画配信部230は、端末装置100,100aの要求に応じて、指定された時間帯の動画を、端末装置100,100aに配信する。動画配信部230は、競技の視聴者に対する視聴用として、演技中の動画を、端末装置100,100a以外のクライアント端末にリアルタイムに配信してもよい。
辞書情報記憶部240は、基本運動の認識に用いられる基本運動辞書情報を記憶する。基本運動辞書情報は、基本運動の識別情報と基本運動に対応する骨格データの運動パターンとを対応付けた情報である。骨格データの運動パターンは、例えば機械学習の技術を用いて予め生成される。辞書情報記憶部240は、技の認識に用いられる技関連辞書情報を記憶する。技関連辞書情報は、基本運動の組み合わせと技の識別情報(技名)とを対応付けた情報である。
センサデータ記憶部250は、レーザーセンサ22,22aにより生成されたセンサデータを記憶する。センサデータは、骨格データの元となるデータである。
センサデータ受信部260は、レーザーセンサ22,22aにより生成されたセンサデータを受信し、センサデータ記憶部250に格納する。センサデータは、演技開始時刻の情報や演技終了時刻の情報を含む。演技開始時刻は、動画撮影カメラ21により撮影された動画における演技開始時刻と同期される(この場合、両演技開始時刻は、ある演技に対して同じ時刻を示すことになる)。
センサデータ受信部260は、レーザーセンサ22,22aにより生成されたセンサデータを受信し、センサデータ記憶部250に格納する。センサデータは、演技開始時刻の情報や演技終了時刻の情報を含む。演技開始時刻は、動画撮影カメラ21により撮影された動画における演技開始時刻と同期される(この場合、両演技開始時刻は、ある演技に対して同じ時刻を示すことになる)。
骨格認識部270は、センサデータ記憶部250に記憶されたセンサデータに基づく所定の演算により骨格データを生成する。骨格データは、競技者P10の骨格を表す情報であり、関節位置や関節の曲がり角度などの情報を含む。骨格認識部270は、2つのレーザーセンサ22,22aが出力するセンサデータを用いることで、3次元の骨格データを得る。骨格認識部270は、3以上のレーザーセンサが出力するセンサデータを用いて3次元の骨格データを生成してもよい。骨格認識部270は、レーザーセンサ22,22aが時系列に出力するセンサデータに基づいて、骨格データの時系列変化を得る。
技認識部280は、骨格データの時系列変化を、記憶部110に記憶された基本運動辞書情報における基本運動毎の運動パターンの情報と照合することで、競技者P10による基本運動を特定する。そして、技認識部280は、記憶部110に記憶された技関連辞書情報を参照して、基本運動の組み合わせに対応する技名を特定する。技認識部280は、特定した技の技名、技の開始時刻および技の終了時刻を端末装置100,100aに送信する。
図7は、3Dセンシング技術による技認識の例を示す図である。レーザーセンサ22は、レーザーセンサ22から競技者P10へ向かう方向と垂直な面(競技者P10の後方(あるいは競技者P10の前方)に仮想的な面があると想定する)の複数のポイントをターゲットとして、距離を測定する。例えば、レーザーセンサ22は、320*200ポイントにレーザーを照射し、レーザーセンサ22から各ポイントまでの距離を計測する。あるポイントに対するレーザー光が競技者P10に当たれば、競技者P10によりレーザー光は反射される。別のポイントに対するレーザー光が競技者P10に当たらなければ、競技者P10以外の物体(例えば、競技者P10の背後の壁など)によりレーザー光は反射される。
例えば、レーザーセンサ22は、320*200ポイントの距離の情報を1セット(センサデータの1単位)として、1秒間に30回(すなわち、30fps(frames per second))の頻度でセンサデータを取得する。レーザーセンサ22aも同様である。
距離の情報を2バイト(bytes)とすると、2つのレーザーセンサ22,22aを用いる場合、センサデータのレートは、(320*200)[ポイント]*(2+2)[バイト]*30[fps]〜58.5Mbps(Megabits per second)程度となる。なお、1k(kilo)を1024とし、1M(Mega)を1024kとして計算している。
センサデータ受信部260は、レーザーセンサ22,22aからセンサデータを受信し、センサデータ記憶部250に格納する。
骨格認識部270は、センサデータ記憶部250に記憶されたセンサデータに基づいて、所定の観測点からレーザー光が反射された各点までの距離を反映した点群の画像を生成する。例えば、30fpsでセンサデータを取得するので、骨格認識部270は、1秒間当たり30フレームの点群の画像を取得する。点群の画像は、競技者P10の3次元的な輪郭を形成する点群D10を含む。
骨格認識部270は、センサデータ記憶部250に記憶されたセンサデータに基づいて、所定の観測点からレーザー光が反射された各点までの距離を反映した点群の画像を生成する。例えば、30fpsでセンサデータを取得するので、骨格認識部270は、1秒間当たり30フレームの点群の画像を取得する。点群の画像は、競技者P10の3次元的な輪郭を形成する点群D10を含む。
骨格認識部270は、点群D10に基づく所定の演算により骨格データD11を生成する。骨格認識部270は、1秒間当たり最大で30フレーム分の骨格データD11を生成する。骨格認識部270は、1秒間当たり最大で30フレーム分の骨格データD11の時系列変化を検出する。こうして、骨格認識部270は、競技者P10の骨格の動きを認識する。
技認識部280は、認識した骨格の動きを、基本運動辞書情報241に予め登録された基本運動の運動パターンと照合し、基本運動を特定する。前述のように、基本運動辞書情報241に登録される運動パターンは、例えば訓練用のセンサデータを用いた機械学習により予め作成される。例えば、あん馬における基本運動の例として、「上向き正転向移動」、「下向き正転向移動」、「上向き逆転向移動」および「下向き逆転向移動」などが挙げられる。
技認識部280は、技関連辞書情報242を参照して、特定した基本運動の並びに対応する技を特定する。例えば、技関連辞書情報242は、「基本運動1」が「技1」であることを示す。また、例えば、技関連辞書情報242は、「基本運動2+基本運動1」の組み合わせ(「基本運動2」、「基本運動1」と順番に行われることを示す)が「技2」であることを示す。更に、例えば、技関連辞書情報242は、「基本運動1+基本運動1+基本運動3」の組み合わせが「技3」であることを示す。
図8は、採点手書き入力画面の例を示す図である。採点手書き入力画面300は、GUI処理部130により生成され、ディスプレイ105により表示される。採点手書き入力画面300は、手書き入力領域310、色選択フォーム320、大きさ選択フォーム330、消去ボタン340、初期化ボタン350および採点ボタン360を含む。
手書き入力領域310は、審判員R10による手書きの文字入力を受け付ける領域である。手書き入力領域310の左側から右側へ向かう方向が演技の時系列の正方向に対応する。審判員R10は、指やスタイラスペンなどを用いてタッチパネル107により文字を入力できる。手書き入力領域310には、入力された手書き文字が表示される。色選択フォーム320は、手書き入力領域310に表示される文字の色の選択を受け付ける選択フォームである。大きさ選択フォーム330は、手書き入力領域310の大きさの選択を受け付ける選択フォームである(例えば、何段階かの選択候補が予め用意され、プルダウンで選択可能である)。消去ボタン340は、直前に入力された一文字の入力を消去するためのボタンである。入力が消去された文字は、手書き入力領域310からも消去される。初期化ボタン350は、手書き入力領域310に入力された全ての文字を消去するためのボタンである。採点ボタン360は、手書き入力領域310の入力内容に基づく演技の採点を端末装置100に指示するためのボタンである。
ここで、技名認識部120は、手書き入力領域310に入力された文字間の手書き入力領域310上の間隔や、直前の入力終了から今回の入力開始までの時間間隔に応じて、文字列の区切りを特定することができる。文字列の区切りは、審判員R10が判断した2つの技の区切りに相当する。
例えば、技名認識部120は、手書き入力領域310上の2つの文字の間の間隔が所定値よりも大きければ、当該2つの文字の間に文字列の区切りがあると判定する。また、技名認識部120は、手書き入力領域310上の2つの文字の間の間隔が所定値以下であれば、当該2つの文字の間に文字列の区切りがないと判定する。
あるいは、例えば、技名認識部120は、2つの文字の入力された時間間隔が所定値よりも大きければ、当該2つの文字の間に文字列の区切りがあると判定してもよい。この場合、技名認識部120は、2つの文字の入力された時間間隔が所定値以下であれば、当該2つの文字の間に文字列の区切りがないと判定する。
図9は、技名テーブルの例を示す図である。技名テーブル111は、記憶部110に予め格納される。技名テーブル111は、技名および速記文字の項目を含む。技名の項目には、技名が登録される。技名は、技の識別情報の一例である。速記文字の項目には、審判員R10により手書き入力される速記文字(記号を含む)の筆跡情報が登録される。速記文字は技を表す文字列(1以上の文字の並び)である。筆跡情報は、例えば、審判員R10による該当文字の筆跡を予め標本化した情報である。
なお、審判員R10により入力される一文字は、1つの基本運動に対応する。速記文字は、基本運動を表す1以上の文字を組み合わせた文字列である。
例えば、技名テーブル111には、技名“技W1”に対して、速記文字“SLL”の筆跡情報が登録される。技名テーブル111には、他の技に対しても同様に、速記文字の筆跡情報が登録される。
例えば、技名テーブル111には、技名“技W1”に対して、速記文字“SLL”の筆跡情報が登録される。技名テーブル111には、他の技に対しても同様に、速記文字の筆跡情報が登録される。
技名認識部120は、審判員R10の筆跡に対して適切に技名が認識されるように、技名テーブル111をカスタマイズすることができる。
図10は、技管理テーブルの例を示す図である。技管理テーブル112は、記憶部110に予め格納される。技管理テーブル112は、技名、グループおよび難度の項目を含む。技名の項目には、技名が登録される。グループの項目には、技名に対応するグループが登録される。難度の項目には、技名に対応する技の難度が登録される。
図10は、技管理テーブルの例を示す図である。技管理テーブル112は、記憶部110に予め格納される。技管理テーブル112は、技名、グループおよび難度の項目を含む。技名の項目には、技名が登録される。グループの項目には、技名に対応するグループが登録される。難度の項目には、技名に対応する技の難度が登録される。
例えば、技管理テーブル112には、技名が“技W1”、グループが“I”、難度が“A”という情報が登録される。これは、技名“技W1”の技が属するグループが“I”であり、技名“技W1”の技の難度が“A”であることを示す。
ここで、あん馬ではグループ“I”〜“V”が存在する。このうち、グループ“V”は終末技のグループである。難度は“A”〜“G”で表される。“A”は最も難度が低い。アルファベットの順に難度は上がる。“G”は最も難度が高い。ただし、種目によってはG難度より高い難度の技も存在し得る。
技管理テーブル112には、他の技名に対しても、同様にグループや難度の情報が登録される。
図11は、難度管理テーブルの例を示す図である。難度管理テーブル113は、記憶部110に予め格納される。難度管理テーブル113は、難度および価値点の項目を含む。難度の項目には、難度が登録される。価値点の項目には、価値点が登録される。
図11は、難度管理テーブルの例を示す図である。難度管理テーブル113は、記憶部110に予め格納される。難度管理テーブル113は、難度および価値点の項目を含む。難度の項目には、難度が登録される。価値点の項目には、価値点が登録される。
例えば、難度管理テーブル113には、難度が“A”、価値点が“0.1”という情報が登録される。これは、A難度の技の価値点が“0.1”であることを示す。難度管理テーブル113には、他の難度に対しても、同様に価値点が登録される。
図12は、センシング結果テーブルの例を示す図である。センシング結果テーブル114は、GUI処理部130によりサーバ200から取得され、記憶部110に格納される。センシング結果テーブル114は、技名および時刻の項目を含む。技名の項目には、技名が登録される。時刻の項目には、技名で示される技が開始された時刻が登録される。
例えば、センシング結果テーブル114には、技名が“技W1”、時刻が“11:30:30,3”という情報が登録される。これは、競技者P10の演技に対してサーバ200のセンシング技術により技名“技W1”の技が認識され、認識された当該技の開始時刻が11時30分30秒3であったことを示す。センシング結果テーブル114には、サーバ200により認識された他の技についても、技名と開始時刻とが対応付けられて登録される。
なお、GUI処理部130は、サーバ200により該当の技が終了したと認識された時刻(技終了時刻)をサーバ200から取得し、当該技の技名に対応付けて記憶部110に記録してもよい。
図13は、手書き認識結果テーブルの例を示す図である。手書き認識結果テーブル115は、技名認識部120により生成され、記憶部110に格納される。手書き認識結果テーブル115は、技名および時刻の項目を含む。技名の項目には、技名が登録される。時刻の項目には、技名に対応する文字列の入力が開始された時刻(入力開始時刻)が登録される。
例えば、手書き認識結果テーブル115には、技名が“技W1”、時刻が“11:30:30,5”という情報が登録される。これは、競技者P10の演技に対して、審判員R10により技名“技W1”の技が判定され、判定された当該技名の入力が開始された時刻が11時30分30秒5であったことを示す。手書き認識結果テーブル115には、審判員R10により判定された他の技についても、技名と入力開始時刻とが対応付けられて登録される。
なお、技名認識部120は、文字列の区切りを検出した場合に、当該区切りの直前に入力された文字列の入力が完了された時刻(入力完了時刻)を特定し、当該入力完了時刻を該当の技名に対応付けて記録しておいてもよい。
図14は、技判定結果画面の例を示す図である。技判定結果画面400は、GUI処理部130により生成され、ディスプレイ105により表示される。技判定結果画面400は、自動採点結果領域410、手書き入力結果領域420、カーソル430および集計ボタン440を含む。
自動採点結果領域410は、サーバ200による技の認識結果、および、採点結果を表示する領域である。自動採点結果領域410は、タイムライン、技名、難度、グループおよび難度価値点の欄を含む。
タイムラインの欄には、演技において、各技が認識された(演技されていた)時間帯が表示される。時間帯は、演技開始時刻から技の開始時刻までの時間(タイムラインの欄の上段)、および、演技開始時刻から技の終了時刻までの時間(タイムラインの欄の下段)の組により表される。ただし、タイムラインの欄に表示される時間は、サーバ200により検出された技の開始時刻および技の終了時刻でもよい。
技名の欄には、サーバ200により認識された技の技名が表示される。難度の欄には、該当の技の難度が表示される。グループの欄には、該当の技のグループが表示される。難度価値点の欄には、難度に応じた価値点が表示される。
手書き入力結果領域420は、審判員R10による技の判定結果、および、採点結果を表示する領域である。手書き入力結果領域420は、自動採点結果領域410と同様に、タイムライン、技名、難度、グループおよび難度価値点の欄を含む。ただし、手書き入力結果領域420の各欄には、審判員R10による技の判定結果に応じた技名、難度、グループおよび難度価値点が表示される。また、手書き入力結果領域420は、技の欄を含む。技の欄には、審判員R10により手書き入力された速記文字が表示される。タイムラインの欄は、自動採点結果領域410と同じ時間帯が表示される。ただし、GUI処理部130は、手書き入力結果領域420のタイムラインの欄に、審判員R10による手書き入力の入力開始時刻や入力終了時刻を表示させてもよい。
また、GUI処理部130は、センシング結果テーブル114に登録された各技および手書き認識結果テーブル115に登録された各技を時系列に順番に対応付けて表示する。GUI処理部130は、自動採点結果領域410におけるある時間帯の列と、手書き入力結果領域420における同時間帯の列とを、縦方向に並べて表示させる。こうして、GUI処理部130は、審判員R10による比較が容易になるよう支援できる。
カーソル430は、自動採点結果領域410および手書き入力結果領域420のうち、技の判定結果(すなわち、採点結果)が相違する箇所を強調する枠である。図14の例では、時間帯“9:26〜10:16”(演技開始時刻から9秒26〜10秒16の時間帯)において、サーバ200による採点結果と、審判員R10による採点結果とが相違する。GUI処理部130は、この相違箇所をカーソル430により強調し、審判員R10に提示する。なお、強調表示の方法は、カーソル430に限らず、他の箇所と背景色を変える、審判員R10の注意を引く記号(例えば、矢印記号など)を、該当箇所を指し示すように表示するなど、他の方法でもよい。
集計ボタン440は、手書き入力結果領域420に表示された内容でDスコアの採点を行うよう端末装置100に指示するためのボタンである。
審判員R10は、カーソル430で示された箇所を指やスタイラスペンなどでタッチすることで、タッチパネル107の機能により、見直し対象とする技名(技の識別情報)を端末装置100に入力することができる。GUI処理部130は、見直し対象とする技名の入力を受け付けると、技動画再生画面をディスプレイ105に表示させる。
審判員R10は、カーソル430で示された箇所を指やスタイラスペンなどでタッチすることで、タッチパネル107の機能により、見直し対象とする技名(技の識別情報)を端末装置100に入力することができる。GUI処理部130は、見直し対象とする技名の入力を受け付けると、技動画再生画面をディスプレイ105に表示させる。
図15は、技動画再生画面の例を示す図である。技動画再生画面500は、GUI処理部130により生成され、ディスプレイ105により表示される。技動画再生画面500は、動画再生領域510、技選択フォーム520、難度選択フォーム530、グループ選択フォーム540および決定ボタン550を含む。
動画再生領域510は、見直し対象として選択された技名に対応する時間帯の動画(技動画)を表示するための領域である。動画再生領域510の周辺部には、動画の再生/停止を受け付ける再生/停止ボタン、動画の再生時間、再生箇所選択用のインジケータ、音声オン/オフの切り替えボタン、音量選択用のインジケータなどを表示してもよい。また、スロー再生やコマ送り再生などを指示するボタンを表示してもよい。
技選択フォーム520は、技名の選択入力を受け付けるためのフォームである。難度選択フォーム530は、難度の選択入力を受け付けるためのフォームである。グループ選択フォーム540は、グループの選択入力を受け付けるためのフォームである。ただし、本例では、技名に対して、技管理テーブル112により難度やグループを特定できるので、GUI処理部130は、技選択フォーム520に入力された技名に対して、難度選択フォーム530の難度やグループ選択フォーム540のグループを自動入力する。
ここで、GUI処理部130は、技判定結果画面400のディスプレイ105による表示を維持して、技動画再生画面500をディスプレイ105に表示させる。すると、審判員R10は、自動採点結果領域410や手書き入力結果領域420の表示内容を確認しながら、該当の技の見直しを行える。
決定ボタン550は、技動画再生画面500の各フォームに入力された内容を確定し、手書き入力結果領域420の該当箇所に変更内容を反映させるためのボタンである。
GUI処理部130は、決定ボタン550が押下操作されると、技動画再生画面500を閉じる。そして、技動画再生画面500において入力された変更内容を、手書き入力結果領域420の該当箇所(カーソル430により強調されている箇所)に反映させる。GUI処理部130は、審判員R10による集計ボタン440の押下操作を受け付けると、採点処理部150に採点処理を依頼し、当該採点処理の結果を含む採点結果表示画面をディスプレイ105に表示させる。
GUI処理部130は、決定ボタン550が押下操作されると、技動画再生画面500を閉じる。そして、技動画再生画面500において入力された変更内容を、手書き入力結果領域420の該当箇所(カーソル430により強調されている箇所)に反映させる。GUI処理部130は、審判員R10による集計ボタン440の押下操作を受け付けると、採点処理部150に採点処理を依頼し、当該採点処理の結果を含む採点結果表示画面をディスプレイ105に表示させる。
図16は、採点結果表示画面の例を示す図である。採点結果表示画面600は、GUI処理部130により生成され、ディスプレイ105により表示される。採点結果表示画面600は、技判定結果画面400における手書き入力結果領域420の内容に基づく採点処理部150による採点処理の結果を表示するための画面である。
例えば、採点結果表示画面600は、審判員R10により手書き入力された速記文字を表示する欄、各速記文字に対して判定された技の難度を表示する欄、同技のグループを表示する欄を含む。
また、採点結果表示画面600には、判定された技の難度に応じた価値点の集計結果が表示される。なお、あん馬では演技された複数の技のうち、終末技および終末技の他に難易度の高いもの9個(計10個)について価値点の集計が行われる。採点結果表示画面600の例では、計12個の技が演技されたが、A難度の2つの技の価値点は評価されない。
採点結果表示画面600の例では、E難度の技は2つである。したがって、E難度の技の価値点の集計結果は、2*0.5=1.0である。D難度の技は4つである。したがって、D難度の技の価値点の集計結果は、4*0.4=1.6である。B難度の技は4つである。したがって、B難度の技の価値点の集計結果は、4*0.2=0.8である。これら難度別の価値点の集計結果を更に集計した結果(Total elements)は、“3.4”である。また、4つのグループ“I”〜“IV”全ての技が演技されているので、要求グループ点(Element group)は0.5*4=2.0である。更に、終末技(グループ“V”)は、E難度の技なので、終末技の点数(Dismount)は、“0.5”である(終末技に対して加算される点数は難度に応じて予め定められている)。あん馬では、組み合わせ加点(Connections)はないので、該当欄は空欄である。よって、Dスコア(D Score)は、3.4+2.0+0.5=5.9となる。
なお、採点結果表示画面600は、競技者P10の氏名(Name)や、種目に応じたライン減点やタイム減点などの減点(P:Penalty)、Eスコアの採点結果(E Score)および決定点(Final Score)などの表示欄を含んでもよい。
次に、第二の実施の形態の採点支援システムによる処理手順を説明する。
図17は、端末装置の処理例を示すフローチャートである。以下、図17に示す処理をステップ番号に沿って説明する。
図17は、端末装置の処理例を示すフローチャートである。以下、図17に示す処理をステップ番号に沿って説明する。
(S11)GUI処理部130は、採点手書き入力画面300をディスプレイ105に表示させ、競技者P10による演技が開始されると、審判員R10による技を表す文字列の手書き入力を受け付ける。審判員R10は、演技中、採点手書き入力画面300の手書き入力領域310に、自身が判断した技名を表す文字列を手書き入力領域310の左側から右側へ向かって並べて記入する。このとき、審判員R10は、技の切れ目に所定長さ以上のスペースを設ける。また、GUI処理部130は、各技を表す文字列の入力開始時刻や各技を表す文字列の入力終了時刻を記憶部110に記録する。GUI処理部130は、競技者P10による演技が完了され、審判員R10による手書き入力が完了されると、審判員R10による採点ボタン360の押下入力を受け付ける。
(S12)GUI処理部130は、手書き文字認識の機能により、技判定結果を取得する。具体的には、手書き文字認識の機能は、技名認識部120により提供される。技名認識部120は、文字間のスペースや入力の時間間隔により、技の区切りを特定する。技名認識部120は、手書き入力領域310に入力された文字列の筆跡情報を、記憶部110に記憶された技名テーブル111の速記文字の筆跡情報と照合することで、技名を特定する。技名認識部120は、特定した技名を、当該技名を表す文字列の入力開始時刻に対応付けて、記憶部110に記憶された手書き認識結果テーブル115に記録する。前述のように、技名認識部120は、入力開始時刻に加えて、該当の文字列の入力終了時刻を、特定した技に対応付けて手書き認識結果テーブル115に記録してもよい。
(S13)GUI処理部130は、サーバ200による技判定結果を取得する。GUI処理部130は、サーバ200による技判定結果を、記憶部110に記憶されたセンシング結果テーブル114に登録する。サーバ200の技判定結果は、技名の判定結果に加え、当該技名に対応する技に対してサーバ200により検出された開始時刻や終了時刻の情報を含む。前述のように、GUI処理部130は、技の開始時刻に加えて、技の終了時刻を、判定された技名に対応付けてセンシング結果テーブル114に登録してもよい。また、GUI処理部130は、該当の演技の演技開始時刻の情報もサーバ200から取得する。
(S14)GUI処理部130は、記憶部110に記憶された技管理テーブル112、難度管理テーブル113、センシング結果テーブル114および手書き認識結果テーブル115に基づいて、技判定結果画面400をディスプレイ105に表示させる。このとき、GUI処理部130は、センシング結果テーブル114に登録された技名と手書き認識結果テーブル115に登録された技名とを時系列に順番に対応付ける。GUI処理部130は、技判定結果画面400における自動採点結果領域410のタイムラインの欄および手書き入力結果領域420のタイムラインの欄には、サーバ200により検出された各技が行われた時間帯(演技開始時刻からの経過時間)を表示させる。
(S15)GUI処理部130は、技判定結果画面400の表示内容のうち、両判定結果(自動採点結果領域410の表示内容および手書き入力結果領域420の表示内容)において、同じタイムラインで技名が異なる箇所があるか否かを判定する。異なる箇所がある場合、GUI処理部130は、処理をステップS16に進める。異なる箇所がない場合、GUI処理部130は、処理をステップS21に進める。
(S16)GUI処理部130は、ステップS15で判定した技名が異なる箇所(手書き入力結果領域420の該当箇所)を強調表示する(ハイライト表示)。具体的には、該当の箇所を示すカーソル430を表示させたり、該当の箇所の背景や文字などを他の箇所とは別の色で表示させたりすることが考えられる。
(S17)GUI処理部130は、強調表示した該当箇所の選択入力を受け付けたか否かを判定する。該当箇所の選択入力を受け付けた場合、GUI処理部130は、処理をステップS18に進める。該当箇所の選択入力を受け付けていない場合、GUI処理部130は、処理をステップS20に進める。
(S18)GUI処理部130は、技動画再生画面500をディスプレイ105に表示させ、選択箇所に対応する動画を動画再生領域510内に表示させる。具体的には、GUI処理部130は、技判定結果画面400の選択箇所に表示された技名(すなわち、見直し対象の技名)に対応するタイムラインの時間帯を取得し、技動画再生部140に通知する。技動画再生部140は、サーバ200により記録された該当の演技の動画のうち、該当の時間帯の部分(技動画)をダウンロードし、再生する。GUI処理部130は、技動画再生部140により再生された技動画を動画再生領域510内に表示させる。
(S19)GUI処理部130は、技判定結果画面400における選択箇所の技判定結果を確定する。具体的には、GUI処理部130は、技動画再生画面500における技選択フォーム520を用いた審判員R10による技名の選択入力を受け付ける。GUI処理部130は、選択された技名に対する難度を難度選択フォーム530に表示させる。また、GUI処理部130は、選択された技名に対するグループを、グループ選択フォーム540に表示させる。GUI処理部130は、決定ボタン550に対する審判員R10の押下操作の入力を受け付けると、技動画再生画面500を閉じ、技判定結果画面400における選択箇所の技判定結果を、選択された技名に確定する。GUI処理部130は、技判定結果画面400の選択箇所(手書き入力結果領域420の該当箇所)に確定された技名、当該技名に対する難度、グループおよび価値点を表示させる。
(S20)GUI処理部130は、技判定結果画面400の集計ボタン440が押されたか否かを判定する。集計ボタン440が押された場合、GUI処理部130は、処理をステップS21に進める。集計ボタン440が押されていない場合、GUI処理部130は、処理をステップS17に進める。
(S21)GUI処理部130は、技判定結果画面400の手書き入力結果領域420に表示された技判定結果に基づく採点を採点処理部150に依頼し、採点処理部150による採点結果を含む採点結果表示画面600をディスプレイ105に表示させる。具体的には、採点処理部150は、所定の採点ルールに従って、技の価値点、要求グループ点および終末技の点を集計することで、Dスコアを計算し、Dスコアの計算結果をGUI処理部130に提供する。GUI処理部130は、採点処理部150から取得した計算結果を基に、採点結果表示画面600をディスプレイ105に表示させる。
ここで、端末装置100aも端末装置100と同様の手順を実行する。
次に、サーバ200による処理手順を説明する。
図18は、サーバの処理例を示すフローチャートである。以下、図18に示す処理をステップ番号に沿って説明する。
次に、サーバ200による処理手順を説明する。
図18は、サーバの処理例を示すフローチャートである。以下、図18に示す処理をステップ番号に沿って説明する。
(S31)動画保存部220は、競技者P10による演技の開始に伴って、動画撮影カメラ21による演技の動画の撮影を開始し、撮影された動画を動画記憶部210へ保存する。また、センサデータ受信部260は、競技者P10による演技の開始に伴って、レーザーセンサ22,22aのレーザーによるセンシングを開始し、取得されたセンサデータをセンサデータ記憶部250に保存する。動画やセンサデータには、演技開始時刻の情報が含まれる。なお、動画に対して記録される時刻およびセンサデータに対して記録される時刻は動画保存部220およびセンサデータ受信部260の間で同期されている。
(S32)動画保存部220は、競技者P10による演技の終了に伴って、動画撮影カメラ21による演技の動画の撮影を終了する。センサデータ受信部260は、競技者P10による演技の開始に伴って、レーザーセンサ22,22aのレーザーによるセンシングを終了する。
(S33)骨格認識部270および技認識部280は、センサデータに基づく技の判定を行う。具体的には、骨格認識部270は、センサデータ記憶部250に記憶されたセンサデータに基づいて、3次元の骨格データD11の時系列変化を検出する。技認識部280は、骨格データD11の時系列変化を、辞書情報記憶部240に記憶された基本運動辞書情報241の基本運動の運動パターンと照合し、基本運動および基本運動の組み合わせを特定する。技認識部280は、辞書情報記憶部240に記憶された技関連辞書情報242を参照して、基本運動の組み合わせに応じた技の技名を特定する。技認識部280は、特定した技の開始時刻および終了時刻も検出する。
(S34)技認識部280は、技判定結果を端末装置100に送信する。例えば、技認識部280は、端末装置100によって送信される技判定結果の取得要求に応じて、技判定結果を端末装置100に送信する。技判定結果は、特定した技の技名、当該技の開始時刻および終了時刻を含む。
なお、ステップS34の後、動画配信部230は、記録された演技の動画のうち、所定の時間帯の部分を、端末装置100,100aから要求されると、該当の動画のうち要求された時間帯の部分を、端末装置100,100aに配信する。
ただし、技動画再生部140は、演技の終了後に、サーバ200に保存された演技の動画をダウンロードしておき、審判員R10により指定された時間帯の技動画を、ダウンロードした動画の中から抽出して、ディスプレイ105に表示させてもよい。
なお、Dスコアは、前述のように、審判員R10,R20の2人制で確定される。審判員R20も、審判員R10と同様に、演技に対する採点を行う。そして、審判員R10,R20により判定されたDスコアに差異があれば、審判員R10,R20は、協議により最終的なDスコアを決定する。更に、Eスコアなどが加味され、演技に対する決定点が確定される。
このように、審判員R10が自身の採点結果とサーバ200による採点結果とを比較してDスコアを決定する際に、端末装置100は、両採点結果に含まれる技の識別情報を対応付けて表示し、選択された識別情報に対応する技動画を特定して表示する。これにより、端末装置100は、採点結果の比較に用いられる情報(技判定結果画面400や技動画再生画面500に含まれる情報)を審判員R10に対して速やかに提示することが可能となる。
審判員R10は、技判定結果画面400により、両採点結果において判定に相違のある技を容易に特定できる。また、審判員R10は、技動画再生画面500により、技の判定結果が相違する箇所の動画を即座に確認し、判定の訂正を行える。こうして、審判員R10による採点を効率化することができる。また、採点の信頼性を効率的に高めることができる。
ここで、図17のステップS11では、GUI処理部130は、採点手書き入力画面300により手書き入力を支援するものとしたが、採点手書き入力画面300とは異なるGUIにより手書き入力を支援してもよい。
図19は、採点手書き入力画面の他の例を示す図である。採点手書き入力画面300aは、GUI処理部130により生成され、ディスプレイ105により表示される。採点手書き入力画面300aは、色選択フォーム320、大きさ選択フォーム330、消去ボタン340、初期化ボタン350、採点ボタン360、手書き入力領域370およびEnterボタン380を含む。
ここで、色選択フォーム320、大きさ選択フォーム330、消去ボタン340、初期化ボタン350および採点ボタン360の役割は、採点手書き入力画面300における同名の画面要素と同様である。
手書き入力領域370は、審判員R10による手書きの文字入力を受け付ける領域である。手書き入力領域370の左側から右側へ向かう方向が技の時系列の正方向に対応する。審判員R10は、指やスタイラスペンなどを用いてタッチパネル107により文字を入力できる。手書き入力領域370には、入力された速記文字が表示される。
Enterボタン380は、技単位の手書き入力が完了した際に、審判員R10により押下操作されるボタンである。GUI処理部130は、Enterボタン380に対する押下操作を受け付けると、手書き入力領域370に記述された速記文字の筆跡情報を取得し、技名テーブル111により技名を特定する。GUI処理部130は、特定した技名を手書き認識結果テーブル115に登録する。また、GUI処理部130は、手書き入力領域370の表示をクリアし、次の技に対する手書き入力を待機する。
GUI処理部130は、演技が完了すると、審判員R10による採点ボタン360の押下操作を受け付ける。GUI処理部130は、採点ボタン360の押下操作を受け付けると、技判定結果画面400の表示に移る。
このように、GUI処理部130は、手書き入力された速記文字を技毎に確定できるようにしてもよい。
更に、GUI処理部130は、採点手書き入力画面300aおよび技判定結果画面400の両方をディスプレイ105により同時に表示させ、技毎に確定された速記文字から即時に技名を解析して、技判定結果画面400に反映させてもよい。
更に、GUI処理部130は、採点手書き入力画面300aおよび技判定結果画面400の両方をディスプレイ105により同時に表示させ、技毎に確定された速記文字から即時に技名を解析して、技判定結果画面400に反映させてもよい。
図20は、技判定結果画面の他の例を示す図である。図17および図18で例示した手順では、GUI処理部130は、技判定結果画面400を演技が完了した後に表示させるものとしたが、演技中にも技判定結果画面400を表示させ、演技中の入力に応じて技判定結果画面400の表示内容を即時に更新してもよい。図20の例では、サーバ200により判定された3つ目の技“Eフロップ”、および、審判員R10により判定された3つ目の技“Eフロップ”までが技判定結果画面400に反映された状態を例示している。
なお、以上の説明では、主に、審判員R10による技判定結果と、サーバ200による技判定結果とを比較する場合を例示した。端末装置100の機能は、それ以外にも、例えば審判員R10による技判定結果と審判員R20による技判定結果との比較にも利用できる。
図21は、端末装置の他の処理例を示すフローチャートである。以下、図21に示す処理をステップ番号に沿って説明する。ここで、図21の手順では、GUI処理部130が、図17のステップS13に代えて、ステップS13aを実行する点が、図17の手順と異なる。そこで、以下では、ステップS13aを説明し、他のステップの説明を省略する。
(S13a)GUI処理部130は、他の端末装置(端末装置100a)の手書き文字認識による技判定結果を取得する。端末装置100aの技判定結果は、図17で例示した手順を用いた審判員R20による訂正後の技判定結果でもよい。GUI処理部130は、端末装置100aから取得した技判定結果を、記憶部110に保存する。端末装置100aから取得される技判定結果も、判定された技名、技の開始時刻および技の終了時刻を含む。
GUI処理部130は、ステップS14以降の処理を、端末装置100による技判定結果と、端末装置100aによる技判定結果とに対して実行する。これにより、端末装置100は、審判員R10,R20による技の判定結果の効率的な比較を支援できる。
例えば、審判員R10がサーバ200による技判定結果を踏まえて訂正した後の技判定結果と、審判員R20がサーバ200による技判定結果を踏まえて訂正した後の技判定結果とをステップS13a以降の手順を用いて更に比較可能にすることも考えられる。
こうして、端末装置100は、審判員R10,R20によるDスコアの決定を迅速に行えるよう支援することができる。
なお、第一の実施の形態の情報処理は、処理部1bにプログラムを実行させることで実現できる。また、第二の実施の形態の情報処理は、プロセッサ101にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体12に記録できる。
なお、第一の実施の形態の情報処理は、処理部1bにプログラムを実行させることで実現できる。また、第二の実施の形態の情報処理は、プロセッサ101にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体12に記録できる。
例えば、プログラムを記録した記録媒体12を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体12に記録されたプログラムまたは他のコンピュータから受信したプログラムを、RAM102やHDD103などの記憶装置に格納し(インストールし)、当該記憶装置からプログラムを読み込んで実行してもよい。
上記については単に本発明の原理を示すものである。更に、多数の変形や変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応する全ての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
1 採点支援装置
1a 記憶部
1b 処理部
1c 通信部
1d 入力部
1e 表示部
2 情報処理装置
3 動画撮影カメラ
4,4a レーザーセンサ
5 ネットワーク
6 アクセスポイント
7 採点結果比較画面
8 技動画再生画面
8a 動画再生領域
8b 技選択フォーム
8c 決定ボタン
D1 骨格データ
P1 競技者
R1 審判員
1a 記憶部
1b 処理部
1c 通信部
1d 入力部
1e 表示部
2 情報処理装置
3 動画撮影カメラ
4,4a レーザーセンサ
5 ネットワーク
6 アクセスポイント
7 採点結果比較画面
8 技動画再生画面
8a 動画再生領域
8b 技選択フォーム
8c 決定ボタン
D1 骨格データ
P1 競技者
R1 審判員
Claims (8)
- 競技者が複数の技を時系列に演技する競技について、演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、
前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、
表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記複数の技を記録した画像の中から特定し、特定した前記映像を表示する、
処理をコンピュータに実行させる採点支援プログラム。 - 前記第一の採点結果は、前記第一の識別情報の判定元の動作を前記競技者が行った時間帯の情報を含み、
前記映像の特定では、選択された前記識別情報に対応する前記時間帯に記録された前記映像を前記画像の中から特定する、請求項1記載の採点支援プログラム。 - 前記第一の識別情報の判定元の動作を前記競技者が行った第一の時刻と、前記審判員により前記第二の識別情報に対応する入力が行われた第二の時刻とに基づいて、前記第一の識別情報と前記第二の識別情報とを対応付ける、請求項1または2記載の採点支援プログラム。
- 前記第一の識別情報に対応付けられた前記第二の識別情報が前記第一の識別情報とは異なる場合、前記第二の識別情報を強調表示する、請求項1乃至3の何れか1項に記載の採点支援プログラム。
- 前記映像の表示では、前記映像に含まれる技に対応する前記識別情報の訂正を受け付ける、請求項1乃至4の何れか1項に記載の採点支援プログラム。
- 前記第二の採点結果の取得では、前記審判員による文字列の手書き入力を受け付け、前記文字列に対応する前記第二の識別情報を取得する、請求項1乃至5の何れか1項に記載の採点支援プログラム。
- 競技者が複数の技を時系列に演技する競技を記録した画像を記憶する記憶部と、
演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記画像の中から特定し、特定した前記映像を表示する処理部と、
を有する採点支援装置。 - コンピュータが、
競技者が複数の技を時系列に演技する競技について、演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、
前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、
表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記複数の技を記録した画像の中から特定し、特定した前記映像を表示する、
採点支援方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/080154 WO2018069985A1 (ja) | 2016-10-11 | 2016-10-11 | 採点支援プログラム、採点支援装置および採点支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018069985A1 JPWO2018069985A1 (ja) | 2019-04-25 |
JP6683938B2 true JP6683938B2 (ja) | 2020-04-22 |
Family
ID=61905230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018544614A Active JP6683938B2 (ja) | 2016-10-11 | 2016-10-11 | 採点支援プログラム、採点支援装置および採点支援方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10936860B2 (ja) |
EP (1) | EP3527268A1 (ja) |
JP (1) | JP6683938B2 (ja) |
CN (1) | CN109789329B (ja) |
WO (1) | WO2018069985A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6915701B2 (ja) * | 2017-12-27 | 2021-08-04 | 富士通株式会社 | 抽出プログラム、抽出方法および情報処理装置 |
JP7087655B2 (ja) * | 2018-05-14 | 2022-06-21 | 富士通株式会社 | 表示方法、表示プログラムおよび情報処理装置 |
JP7222226B2 (ja) * | 2018-11-28 | 2023-02-15 | 富士通株式会社 | 表示方法、表示プログラムおよび情報処理装置 |
WO2021019641A1 (ja) * | 2019-07-29 | 2021-02-04 | 富士通株式会社 | 表示方法、表示プログラムおよび情報処理装置 |
JP7235133B2 (ja) * | 2019-10-03 | 2023-03-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
JP7363403B2 (ja) * | 2019-11-19 | 2023-10-18 | 富士通株式会社 | 画面出力プログラム、画面出力方法、情報処理装置、画面生成プログラム、画面生成方法およびモニタリングシステム |
JP7363402B2 (ja) * | 2019-11-19 | 2023-10-18 | 富士通株式会社 | 画面生成プログラム、画面生成方法および情報処理装置 |
JP7338707B2 (ja) * | 2020-01-27 | 2023-09-05 | 富士通株式会社 | 画面出力プログラム、画面出力方法、情報処理装置およびモニタリングシステム |
CN111782868A (zh) * | 2020-07-06 | 2020-10-16 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种音频处理方法、装置、设备及介质 |
JP1724444S (ja) * | 2021-03-31 | 2022-09-09 | トレーニング支援用画像 | |
CN114722230B (zh) * | 2022-03-30 | 2022-10-18 | 西安西科软件技术有限公司 | 利用角度大数据匹配的辅助判决系统 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6055774A (ja) | 1983-09-06 | 1985-04-01 | Nec Corp | 特殊効果波形発生器 |
JP2826821B2 (ja) | 1987-07-16 | 1998-11-18 | 株式会社 バンダイ | 歌唱力評価装置 |
JP3746380B2 (ja) * | 1998-08-25 | 2006-02-15 | 三菱電機株式会社 | ビデオ映像による空間表現装置 |
US6086487A (en) * | 1999-04-02 | 2000-07-11 | Acushnet Company | Method for matching golfer with a ball |
JP3732746B2 (ja) * | 2001-02-26 | 2006-01-11 | 富士通エフ・アイ・ピー株式会社 | 採点業務支援方法,採点業務支援システム |
JP2004208995A (ja) * | 2002-12-30 | 2004-07-29 | Casio Comput Co Ltd | 競技用審判支援装置、競技結果表示装置及び競技用審判支援システム |
US8321786B2 (en) * | 2004-06-17 | 2012-11-27 | Apple Inc. | Routine and interface for correcting electronic text |
US8348276B2 (en) * | 2006-03-01 | 2013-01-08 | Brennan Broadcast Group Pty Ltd | Detecting contacts during sporting activities etc |
US20080255911A1 (en) * | 2007-04-13 | 2008-10-16 | Raytheon Company | Method and system for adaptive closed loop resource management |
JP4962195B2 (ja) * | 2007-08-03 | 2012-06-27 | コニカミノルタオプティクス株式会社 | パルスオキシメータ |
EP2260453A4 (en) * | 2008-02-14 | 2016-03-23 | Infomotion Sports Technologies Inc | ELECTRONIC ANALYSIS OF ATHLETIC PERFORMANCE |
US8175326B2 (en) * | 2008-02-29 | 2012-05-08 | Fred Siegel | Automated scoring system for athletics |
US9396385B2 (en) * | 2010-08-26 | 2016-07-19 | Blast Motion Inc. | Integrated sensor and video motion analysis method |
US9025824B2 (en) * | 2010-12-07 | 2015-05-05 | Movement Training Systems Llc | Systems and methods for evaluating physical performance |
CN102724445A (zh) * | 2011-09-28 | 2012-10-10 | 新奥特(北京)视频技术有限公司 | 一种竞技比赛信息即时生成方法及系统 |
US9566021B2 (en) * | 2012-09-12 | 2017-02-14 | Alpinereplay, Inc. | Systems and methods for synchronized display of athletic maneuvers |
US10548514B2 (en) * | 2013-03-07 | 2020-02-04 | Alpinereplay, Inc. | Systems and methods for identifying and characterizing athletic maneuvers |
CN103024286A (zh) * | 2012-12-24 | 2013-04-03 | 河海大学常州校区 | 一种基于视频回放的体育竞赛成绩评判系统和方法 |
US20140287388A1 (en) * | 2013-03-22 | 2014-09-25 | Jenna Ferrier | Interactive Tumble Gymnastics Training System |
CN103550923B (zh) * | 2013-10-29 | 2015-09-09 | 南京邮电大学 | 一种无线智能裁判系统及其实现智能裁判打分的方法 |
US20150187219A1 (en) * | 2013-12-27 | 2015-07-02 | Cloud Ta Llc | Systems and methods for computer-assisted grading of printed tests |
JP2015146980A (ja) | 2014-02-07 | 2015-08-20 | セイコーエプソン株式会社 | 運動支援システム、運動支援装置及び運動支援方法 |
WO2016092933A1 (ja) * | 2014-12-08 | 2016-06-16 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN205460873U (zh) * | 2016-01-08 | 2016-08-17 | 上海凯哲信息科技有限公司 | 一种用磁性感应方式来判别格斗类比赛中有效击打的系统 |
WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
-
2016
- 2016-10-11 EP EP16918513.9A patent/EP3527268A1/en not_active Ceased
- 2016-10-11 WO PCT/JP2016/080154 patent/WO2018069985A1/ja unknown
- 2016-10-11 CN CN201680089879.9A patent/CN109789329B/zh active Active
- 2016-10-11 JP JP2018544614A patent/JP6683938B2/ja active Active
-
2019
- 2019-03-26 US US16/365,185 patent/US10936860B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10936860B2 (en) | 2021-03-02 |
EP3527268A4 (en) | 2019-08-21 |
US20190220658A1 (en) | 2019-07-18 |
WO2018069985A1 (ja) | 2018-04-19 |
CN109789329B (zh) | 2020-12-01 |
JPWO2018069985A1 (ja) | 2019-04-25 |
EP3527268A1 (en) | 2019-08-21 |
CN109789329A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6683938B2 (ja) | 採点支援プログラム、採点支援装置および採点支援方法 | |
US10486050B2 (en) | Virtual reality sports training systems and methods | |
US11839805B2 (en) | Computer vision and artificial intelligence applications in basketball | |
KR101711488B1 (ko) | 동작 기반 인터랙티브 서비스 방법 및 시스템 | |
US11826628B2 (en) | Virtual reality sports training systems and methods | |
US11847828B2 (en) | System, method and device operable to produce a video | |
US20160314620A1 (en) | Virtual reality sports training systems and methods | |
CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
US20200179759A1 (en) | Display method, information processing apparatus, and computer-readable recording medium | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
US20210170230A1 (en) | Systems and methods for training players in a sports contest using artificial intelligence | |
CN102939574A (zh) | 字符选择 | |
Permana et al. | Development of augmented reality (AR) based gamelan simulation with leap motion control | |
US20230249031A1 (en) | Systems and methods for personalized exercise protocols and tracking thereof | |
WO2004001536A2 (en) | An athletic game learning tool, capture system, and simulator | |
CN113409651A (zh) | 直播健身方法、系统、电子设备、存储介质 | |
US10600329B2 (en) | Providing live feedback using a wearable computing device | |
KR20020028578A (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
JP6010062B2 (ja) | キューポイント制御装置およびキューポイント制御プログラム | |
Connaghan et al. | An automatic visual analysis system for tennis | |
KR101892514B1 (ko) | 좌표값을 이용한 당구게임의 득점 자동계산 시스템 | |
JP5920785B2 (ja) | 体験記録システム、体験記録方法および体験記録プログラム | |
US11606608B1 (en) | Gamification of video content presented to a user | |
WO2022224504A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP5276609B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6683938 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |