JP6813086B2 - 演技表示プログラム、演技表示方法および演技表示装置 - Google Patents

Description

本発明は、演技表示プログラム、演技表示方法および演技表示装置に関する。

従来から、選手が一連の技を行って審判が採点する競技などでは、より高難易度の技の成功や完成度が、高得点や高順位に大きな影響を与える。例えば、男子が６種目、女子が４種目で構成され、男女跳馬以外の種目では技を１０個以上連続して行うことで１つの演技が構成される。採点規則では、技の種類、グループ、数、実施に対して基準が定められており、それぞれの技には点数を決定する基準が設定されている。競技の採点は選手の演技の終了の後、審判により短時間で行われる。

近年では、３Ｄセンシングを用いて人の姿勢や動きなどの情報を取得し、スポーツ選手などを支援する技術が知られている。例えば、練習中に、体操選手が技を行ったときの動き等を取得し、技の完成度などを確認することに利用されている。

特開２０１０−２６４０８８号公報

しかしながら、専門家である審判であっても、選手の関節角度を正確に確認し、種目や技ごとに定められた採点規則に則って、演技の採点を行うことが難しいので、個々の審判によって採点にバラツキが生じる。

例えば、体操選手の身体は３次元的に複雑な動作をしており、また、選手ごとに体格や技の動きが異なる。このため、ある技が採点規則に則って正確に実施されたことを、短時間に判断して採点をすることは、審判員資格をもっている審判にとっても容易なことではない。このようなことから、個別の技の点数は審判によりばらつく場合もあり、定められた方法で選手側から審判に異議申立て（問合せ）をすることにより、点数の詳細な再判定がなされる場合がある。

一つの側面では、採点規則に則って統一的な採点を行うための情報を提供することができる演技表示プログラム、演技表示方法および演技表示装置を提供することを目的とする。

第１の案では、演技表示プログラムは、コンピュータに、演技者の演技画像から前記演技者の関節の位置を特定する処理を実行させる。演技表示プログラムは、コンピュータに、競技種目の技の採点に用いられる関節がなす角度を算出するための算出式に関する算出情報と、特定された前記演技者の関節の位置とを用いて、前記角度を算出する処理を実行させる。演技表示プログラムは、コンピュータに、前記演技画像と、前記演技画像上に前記角度を表示させた採点用画像とを比較可能に表示する処理を実行させる。

一実施形態によれば、採点規則に則って統一的な採点を行うための情報を提供することができる。

図１は、実施例１にかかる映像再生装置を説明する図である。 図２は、実施例１にかかる映像再生装置の機能構成を示す機能ブロック図である。 図３は、関節定義データＤＢに記憶される情報の例を示す図である。 図４は、関節位置データＤＢに記憶される情報の例を示す図である。 図５は、映像データＤＢに記憶される情報の例を示す図である。 図６は、採点ルールＤＢに記憶される情報の例を示す図である。 図７は、計算式ＤＢに記憶される情報の例を示す図である。 図８は、あん馬の終末局面（正面維持）の関節角度の算出例を示す図である。 図９は、吊り輪のほん転逆上がり中水平支持の関節角度の算出例を示す図である。 図１０は、出力画面の表示例を示す図である。 図１１は、拡大表示の表示例を説明する図である。 図１２は、減点の表示例を示す図である。 図１３は、事前処理の流れを示すフローチャートである。 図１４は、関節位置の登録処理の流れを示すフローチャートである。 図１５は、比較表示処理の流れを示すフローチャートである。 図１６は、関節のなす角度の表示処理の流れを示すフローチャートである。 図１７は、ハードウェア構成例を示す図である。

以下に、本発明にかかる演技表示プログラム、演技表示方法および演技表示装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は矛盾のない範囲内で適宜組み合わせることができる。

［映像再生装置の説明］
図１は、実施例１にかかる映像再生装置１０を説明する図である。図１に示す映像再生装置１０は、サーバ、タブレット端末、スマートフォンなどのコンピュータの一例であり、演技表示装置の一例である。映像再生装置１０は、３Ｄ（Three Dimensions）レーザセンサを用いて、選手の関節の動きや位置を立体的かつ時系列に特定し、関節位置データとして関節表に予め保持する。また、映像再生装置１０は、競技種目ごとの採点規則をルール化してデータベースに登録し、技の種類、技の採点に用いられる関節と角度、角度逸脱による減点などを指標化しておく。

このような映像再生装置１０は、競技終了後の発表された採点に対して異議が申し立てられた場合に、審判が映像を見て採点を確認して再判定を実行するときなどに使用される。具体的には、映像再生装置１０は、競技種目の技の採点に用いられる関節がなす角度を算出するための算出式に関する算出情報を記憶する。そして、映像再生装置１０は、ビデオカメラで撮影した演技者の演技映像のうち指定された特定フレームである演技画像から演技者の関節の位置を特定する。続いて、映像再生装置１０は、特定された演技者の関節の位置と算出情報を用いて関節のなす角度を算出し、演技映像内で指定された演技画像と、演技画像上に角度を表示させた採点画像とを比較可能に表示する。

つまり、映像再生装置１０は、３Ｄレーザセンサによる３Ｄセンシングによって、演技者の姿勢や動きを把握したうえで、演技中の各関節の動きや位置を単に可視化するだけでなく、採点規則に従ってその技の実施を採点する際に判断に寄与する情報を審判に対して提示する。この結果、映像再生装置１０は、採点規則に則って統一的な採点を行うための情報を提供することができる。

［機能構成］
図２は、実施例１にかかる映像再生装置１０の機能構成を示す機能ブロック図である。図２に示すように、映像再生装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との通信を制御する通信インタフェースなどである。例えば、通信部１１は、ビデオカメラによって撮影された演技映像を受信し、ビデオカメラによって撮影された演技映像を受信する。また、通信部１１は、３Ｄレーザセンサによる３Ｄセンシングの結果である関節位置データを受信する。また、通信部１１は、管理者端末などから採点ルールを受信する。

記憶部１２は、プログラムやデータを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。記憶部１２は、関節定義データＤＢ１３、関節位置データＤＢ１４、映像データＤＢ１５、採点ルールＤＢ１６、計算式ＤＢ１７を記憶する。なお、計算式ＤＢ１７は、採点記憶部の一例である。

関節定義データＤＢ１３は、骨格モデル上の各関節を特定するための定義情報を記憶するデータベースである。ここで記憶される定義情報は、３Ｄレーザセンサによる３Ｄセンシングによって演技者ごとに測定してもよく、一般的な体系の骨格モデルを用いて定義してもよい。

図３は、関節定義データＤＢ１３に記憶される情報の例を示す図である。図３に示すように、関節定義データＤＢ１３は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。例えば、図３に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例では、８番の右肩関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

関節位置データＤＢ１４は、演技者の映像データから取得される各関節の位置データであり、関節位置データの時系列の変化を記憶するデータベースである。図４は、関節位置データＤＢ１４に記憶される情報の例を示す図である。図４に示すように、関節位置データＤＢ１４は、「記録ＩＤ、時刻、Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応付けて記憶する。ここで記憶される「記録ＩＤ」は、映像データを識別する情報であり、「時刻」は、関節の位置情報が特定された時刻である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、「Ｘ０、Ｙ０、Ｚ０」は、図３に示す０番号の関節の座標である。

図４は、００１番の映像データにおける各関節の時系列の変化を示しており、時刻「００：００：００」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、時刻「００：００：３３」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

映像データＤＢ１５は、演技者の映像データを記憶するデータベースである。図５は、映像データＤＢ１５に記憶される情報の例を示す図である。図５に示すように、映像データＤＢ１５は、「記録ＩＤ、種目、選手ＩＤ、時間、映像ファイル」を対応付けて記憶する。ここで記憶される「記録ＩＤ」は、映像データを識別する情報であり、「種目」は、ビデオカメラで撮影した演技者の種目を示し、「選手ＩＤ」は、演技者を識別する情報であり、「時間」は、演技時間を示す情報であり、「映像ファイル」は、映像データを特定する情報である。図５の場合、記録ＩＤが「００１」の映像ファイル「００１＿あん馬＿１１２２．ｍｐ４」は、選手ＩＤ「１１２２」の選手が演技した「あん馬」の映像データであり、「１０分９９秒」の演技データであることを示す。

採点ルールＤＢ１６は、種目ごとの採点ルールを記憶するデータベースである。図６は、採点ルールＤＢ１６に記憶される情報の例を示す図である。図６に示すように、採点ルールＤＢ１６は、「採点ルールＩＤ、種目、動作、採点対象、閾値（小欠点、中欠点、大欠点）、減点（小欠点、中欠点、大欠点）」を対応付けて記憶する。

ここで記憶される「採点ルールＩＤ」は、採点ルールを識別する情報である。「種目」は、採点対象の種目を特定する情報である。「動作」は、採点対象の動作を特定する情報である。「採点対象」は、採点対象となる角度の算出対象の技名や採点項目などを特定する情報である。「閾値（小欠点、中欠点、大欠点）」は、減点対象となる角度の閾値を示す情報である。「減点（小欠点、中欠点、大欠点）」は、減点内容を示す情報である。

図６の場合、採点ルールＩＤ「００１００１」は、「あん馬」の「縦向き旋回」における「終末局面」での「角度逸脱」が採点対象であることを示す。この例では、角度が１５°（１５度）から３０°の範囲では減点「０．１」、角度が３１°から４５°の範囲では減点「０．３」、角度が４５°より大きい場合は、減点「０．５」と判定されることを示す。

計算式ＤＢ１７は、採点対象となる関節間の角度、すなわち関節のなす角度の計算式を記憶するデータベースである。図７は、計算式ＤＢ１７に記憶される情報の例を示す図である。図７に示すように、計算式ＤＢ１７は、「採点ルールＩＤ、計算式、基準座標、表示面、計測回数」を対応付けて記憶する。ここで記憶される「採点ルールＩＤ」は、採点ルールを識別する情報である。「計算式」は、採点対象となる角度の計算式である。「基準座標」は、角度を表示するときの基準となる座標である。「表示面」は、算出した角度を表示する面である。「計測回数」は、１回の採点で算出する回数である。

図７の例では、採点ルールＩＤ「００１００１」では、基準座標が２番の関節であり、旋回の方向が時計回り（ＣＷ）と反時計回り（ＣＣＷ）の場合で「flag」の値が動的に変更することを示す。また、表示するときはＸＹ平面上に表示し、計測回数が１回であることを示す。

また、採点ルールＩＤ「００２００１」では、基準座標が９番の関節であり、θ_Ｒの最大値と最小値（静止姿勢）との差が採点対象であることを示す。また、θ_Ｒの最大値と最小値（静止姿勢）を計算することから、計測回数が２回であり、表示するときはＹＺ平面上に表示することを示す。

制御部２０は、映像再生装置１０全体を司る処理部であり、例えばプロセッサなどである。制御部２０は、事前処理部２１、関連付け部２２、比較表示部２３、角度算出部２４を有する。なお、事前処理部２１、関連付け部２２、比較表示部２３、角度算出部２４は、プロセッサなどの電子回路の一例やプロセッサが実行するプロセスの一例である。なお、角度算出部２４は、特定部と算出部の一例であり、比較表示部２３は、表示制御部の一例である。

事前処理部２１は、関節の定義情報を事前に取得する処理部である。具体的には、事前処理部２１は、３Ｄレーザセンサによる３Ｄセンシングによって演技者の関節を測定する。そして、事前処理部２１は、一般的な骨格モデルにしたがって、演技者の関節をナンバリングして関節位置データＤＢ１４に格納する。

また、事前処理部２１は、ビデオカメラを用いて撮影した演技者の演技映像を取得して、映像データとして記憶部１２に格納する。また、事前処理部２１は、ビデオカメラを用いて撮影される演技に対して、３Ｄレーザセンサによる３Ｄセンシングを実行して、演技者の関節位置データの時系列の変化を取得して記憶部１２に格納する。

関連付け部２２は、演技映像と演技中の関節位置データとを関連付ける処理部である。例えば、関連付け部２２は、事前処理部２１によって取得された映像データと、その映像データから取得した演技者の関節位置データとを対応付ける記録ＩＤを付与する。その後、関連付け部２２は、記録ＩＤと映像データを特定する情報とを関連付けて映像データＤＢ１５に格納し、記録ＩＤと関節位置データとを関連付けて関節位置データＤＢ１４に格納する。

比較表示部２３は、演技の映像データとその映像データにおける関節位置データとを比較可能に表示する処理部である。具体的には、比較表示部２３は、映像データを各フレーム（演技画像）に分割して表示する。さらに、比較表示部２３は、各フレームに対応する関節位置データを関節位置データＤＢ１４から取得して、骨格モデルに当てはめて３Ｄモデルに生成し、生成した３Ｄモデルを表示する。つまり、比較表示部２３は、映像データを構成する複数のフレームのうち、審判などが選択した特定のフレームとその時の演技者の関節位置データの３Ｄモデルとを並べて表示する。

角度算出部２４は、選択されたフレームに対応する演技者の関節位置データの３Ｄモデルに対して、採点対象となる角度を算出して、３Ｄモデル上に表示させる処理部である。具体的には、角度算出部２４は、選択されたフレームの種目を映像データＤＢ１５から特定し、特定された種目に対応する採点ルールを採点ルールＤＢ１６から特定する。ここで、角度算出部２４は、複数の採点ルールが特定された場合は、審判などにどの採点ルールを適用するかを選択させる。そして、角度算出部２４は、選択された採点ルールに対応する計算式を計算式ＤＢ１７から特定し、特定した計算式を用いて、採点対象の角度を算出する。

例えば、角度算出部２４は、採点ルール「００１００１」が選択された場合、図７の１行目の計算式を用いて角度を算出する。この計算式で算出される角度では、あん馬の縦向き旋回時の「終末局面」における胸と腰の位置から得られる角度であり、関節番号２の座標と関節番号０の座標とから算出される。そして、角度算出部２４は、３Ｄモデル上のＸＹ平面に、算出した角度を表示させる。

図８は、あん馬の終末局面（正面維持）の関節角度の算出例を示す図である。図８に示す例は、縦向き支持を基準とする。図８の（ａ）に示すように、終末局面において採点対象となす関節の角度は、胸（関節番号２）と腰（関節番号０）を結んだ直線があん馬の土台Ａの水平方向となす角度θである。この角度θは、図７の１行目の計算式によって算出される。そして、この角度θが１５°よりも小さい場合は、欠点無しと判定されて減点も０となり（図８の（ｂ））、角度θが１５°から３０°の間の場合は、小欠点と判定されて減点が０．１点と判定され（図８の（ｃ））、角度θが３１°から４５°の間の場合は、中欠点と判定されて減点が０．３点と判定され（図８の（ｄ））、角度θが４５°よりも大きい場合は、大欠点と判定されて減点が０．５点と判定される（図８の（ｅ））。

別例を説明すると、角度算出部２４は、採点ルール「００２００１」が選択された場合、図７の２行目の計算式を用いて角度を算出する。この計算式で算出される角度では、吊り輪の振動から静止姿勢における「肩位置」の最大角度と最小角度（静止姿勢）との差分であり、関節番号９の座標と関節番号７の座標とから算出される。そして、角度算出部２４は、３Ｄモデル上のＹＺ平面に、算出した角度を表示させる。

図９は、吊り輪のほん転逆上がり中水平支持の関節角度の算出例を示す図である。図９に示すように、吊り輪のほん転逆上がり中水平支持において採点対象となる関節の角度θ_Ｒは、右肩（関節番号９）と右手（関節番号７）を結んだ直線が地面の水平方向（Ｙ方向）となす角度である。この角度θ_Ｒは、図７の２行目の計算式によって算出される。図７の２行目に示すように、角度θ_Ｒの計算回数は２回となる。これは、最大角度と最小角度との差が採点対象となるからである。

つまり、角度算出部２４は、審判が最大角度の判定対象として指定したフレームから最大角度θ_Ｒを算出し、審判が静止姿勢の判定対象として指定したフレームから静止時の角度θ_Ｒを算出する。そして、これらの差分が採点対象となる。例えば、最大角度θ_Ｒと静止時の角度θ_Ｒとの差分が１５°よりも小さい場合は、欠点無しと判定されて減点も０となり、差分が１５°から３０°の間の場合は、小欠点と判定されて減点が０．１点と判定され、差分が３１°から４５°の間の場合は、中欠点と判定されて減点が０．３点と判定され、差分が４５°よりも大きい場合は、大欠点と判定されて減点が０．５点と判定される。

［画面表示例］
次に、比較表示部２３がディスプレイなどに表示する画面表示例を説明する。図１０は、出力画面の表示例を示す図である。比較表示部２３は、図１０に示す比較表示画面Ｂを生成して表示する。比較表示画面Ｂには、演技者の氏名や所属チーム、演技種目などの情報が含まれる。比較表示画面Ｂには、選択されたフレームの画像を表示する映像領域Ｃ、採点ルールを選択可能に表示する選択領域Ｄ、各フレームを表示する領域Ｐ、フレームを選択するスクロールバーＱが含まれる。なお、画面上でＸＹＺ面は予め決められている。例えば、あん馬の場合、あん馬の水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸などと予め決定しておく。

具体的には、比較表示部２３は、比較表示画面Ｂの映像領域Ｃに、審判が選択したフレームに対応する映像（画像）を表示する。また、比較表示部２３は、比較表示画面Ｂの領域Ｐに、映像データを構成する各フレームの画像を表示する。そして、比較表示部２３は、領域Ｐに表示される各フレームの中から審判などのユーザがスクロールバーＱを動かすことで選択したフレームの画像を領域Ｃに表示する。

また、比較表示部２３は、映像領域Ｃに表示されるフレームの画像に対応する骨格モデルを、映像領域Ｃの画像と並べて表示する。ここで、比較表示部２３は、予め定めた複数の視点から見た骨格モデルの画像を表示する。そして、角度算出部２４は、選択領域Ｄに表示される採点ルールのうち選択された採点ルールの計算式を用いて、表示される各骨格モデルの画像に角度を表示させる。つまり、審判は、選択領域Ｄに表示される採点ルールを選択することで、所望の角度を表示させることができる。

例えば、審判が０８秒のフレームおよび採点ルールＤ１を選択すると、比較表示部２３は、０８秒のフレームの画像を領域Ｃに表示するとともに、当該画像の骨格モデルを表示する。そして、角度算出部２４は、当該フレームに対応する関節位置データを関節位置データＤＢ１４から取得し、採点ルールＤ１に対応する計算式を用いて採点対象の角度を算出したのち、表示される骨格モデルの画像に重畳させて表示する。

その後、審判が採点ルールＤ１を維持したまま、０９秒のフレームを選択すると、比較表示部２３は、０９秒のフレームの画像を領域Ｃに表示するとともに、当該画像の骨格モデルを表示する。そして、角度算出部２４は、当該フレームに対応する関節位置データを用いて算出した角度を、表示される骨格モデルの画像に重畳させて表示する。

さらに、審判が０９秒のフレームを選択したまま、採点ルールＤ２を選択すると、比較表示部２３は、表示を維持し、角度算出部２４は、当該フレームに対応する関節位置データを関節位置データＤＢ１４から取得し、採点ルールＤ２に対応する計算式を用いて採点対象の角度を算出したのち、表示される骨格モデルの画像に重畳させて表示する。

なお、角度算出部２４は、１つのフレームが選択された場合に、その前後のフレームについても角度を算出しておくこともできる。例えば、角度算出部２４は、０８秒のフレームが選択されると、０８秒のフレームの骨格モデルを用いた角度に加えて、０７秒のフレームの骨格モデルを用いた角度と０９秒のフレームの骨格モデルを用いた角度を算出することもできる。

このように、予め算出することで、フレーム切替えによる角度の算出時間を短縮することができ、審判の負担も軽減できる。また、審判がフレームをこまめに切替えて角度を確認する場合であっても、ストレスなく確認作業を実行することができる。

そして、比較表示部２３は、複数の骨格モデルの画像のうち、ダブルクリックなどによって選択された骨格モデルの画像を拡大表示することもできる。図１１は、拡大表示の表示例を説明する図である。図１１に示すように、比較表示部２３は、図１０の状態からＴｏｐの骨格モデルの画像が選択された場合、Ｔｏｐの骨格モデルの画像を拡大表示する。なお、フレームの選択は、領域Ｂの下に表示されるボタンを押下することでも実行できる。

さらに、角度算出部２４は、減点度合いによって角度の表示形式を変更することもできる。図１２は、減点の表示例を示す図である。例えば、角度算出部２４は、小欠点の場合は角度を青色で表示し（図１２の（ａ））、中欠点の場合は角度を黄色で表示し（図１２の（ｂ））、大欠点の場合は角度を赤色で表示する（図１２の（ｃ））。このようにすることで、減点度合いを視覚的に表示することができ、審判の負担を軽減できる。なお、色は任意に変更することができる。

［事前処理の流れ］
図１３は、事前処理の流れを示すフローチャートである。図１３に示すように、事前処理部２１は、演技の撮影開始の指示を受け付けると（Ｓ１０１）、記録ＩＤを採番する（Ｓ１０２）。そして、事前処理部２１は、３Ｄレーザセンサで関節位置データを取得する一方で（Ｓ１０３）、ビデオカメラで映像データを取得する（Ｓ１０４）。

そして、関連付け部２２は、関節位置データと映像データとを関連付けて、それぞれ関節位置データＤＢ１４と映像データＤＢ１５に格納する（Ｓ１０５）。なお、記録ＩＤを採番するタイミングは、任意に変更できる。

［関節位置の登録処理の流れ］
図１４は、関節位置の登録処理の流れを示すフローチャートである。図１４に示すように、事前処理部２１は、採点ルールを採番し（Ｓ２０１）、管理者等から、体操審判が採点時に見るポイント（動作、採点対象、閾値、減点など）を受け付けて、競技種目ごとの採点ルールＤＢ１６に登録する（Ｓ２０２）。

続いて、事前処理部２１は、採点ルールＩＤごとに骨格モデルの関連する関節番号を特定し（Ｓ２０３）、管理者等から受け付けた、関節がなす角度を算出するための計算式を計算式ＤＢ１７に登録する（Ｓ２０４）。

そして、事前処理部２１は、関節の角度を表示する円弧を表示する平面の指定を管理者等から受け付けて計算式ＤＢ１７に設定する（Ｓ２０５）。その後、事前処理部２１は、複数の時点でのなす角度が採点に関わる場合は必要に応じて計測回数の指定を管理者等から受け付けて計算式ＤＢ１７に登録する（Ｓ２０６）。

［比較表示処理の流れ］
図１５は、比較表示処理の流れを示すフローチャートである。図１５に示すように、比較表示部２３は、再判定となる選手の演技の映像データを映像データＤＢ１５から検索して表示する（Ｓ３０１）。なお、再判定となる選手の演技は、管理者等により指定することができる。

続いて、比較表示部２３は、検索された映像データの記録ＩＤで関連付けられる関節位置データを関節位置データＤＢ１４から抽出する（Ｓ３０２）。そして、比較表示部２３は、抽出した関節位置データを骨格モデルに当てはめて人体の３Ｄモデルを作成して表示する（Ｓ３０３）。その後、比較表示部２３は、映像データの再生操作にあわせて３Ｄモデルの時間軸を同期して表示する（Ｓ３０４）。

［角度の表示処理の流れ］
図１６は、関節のなす角度の表示処理の流れを示すフローチャートである。図１６に示すように、角度算出部２４は、判定対象となる記録ＩＤの種目名を映像データＤＢ１５から取得し（Ｓ４０１）、その種目にかかわる採点ルールＩＤを採点ルールＤＢ１６から取得する（Ｓ４０２）。

続いて、角度算出部２４は、取得した採点ルールＩＤごとに計算式を計算式ＤＢ１７から検索して、演技の再生時刻時点の関節のなす角度を算出する（Ｓ４０３）。ここで、角度算出部２４は、計測回数が複数回設定されている場合（Ｓ４０４：Ｙｅｓ）、計算式に従って複数回の計測時刻における角度の差分を算出する（Ｓ４０５）。

そして、複数回の計測回数が設定されていない場合（Ｓ４０４：Ｎｏ）、または、Ｓ４０５が実行された場合、角度算出部２４は、選択ボタンと連動して、表示される３Ｄモデルにおいて計算式ＤＢ１７の基準座標を原点として、基準面に水平な面に角度を示す円弧を表示する（Ｓ４０６）。さらに、角度算出部２４は、閾値に従い、円弧の色を変更する（Ｓ４０７）。

［効果］
上述したように、映像再生装置１０は、体操審判が選手の関節角度を、計算式にしたがって算出して表示するので、採点規則に則って統一的な採点を行うための情報を提供することができる。この結果、体操審判は、個人的な癖、能力、経験などに依存することなく、種目や技ごとに定められた採点規則に則って、演技の採点を詳細に行うことができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

［競技種目］
上記実施例では、体操競技のあん馬や吊り輪を例にして説明したが、これに限定されるものではなく、選手が一連の技を行って審判が採点する他の競技にも適用することができる。他の競技の一例としては、体操競技の他の種目、フィギュアスケート、新体操、チアリーディングなどがある。

［対象データ］
上記例では、演技の映像を用いた例を説明したが、これに限定されるものではない。例えば、静止画像であっても同様に処理することができる。なお、骨格モデルから各関節の３次元座標を取得する技術は、一般的な３Ｄモデリング技術を用いることができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア構成］
図１７は、ハードウェア構成例を示す図である。図１７に示すように、映像再生装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。

通信インタフェース１０ａは、他の装置の通信を制御するネットワークインタフェースカードなどである。ＨＤＤ１０ｂは、プログラムやデータなどを記憶する記憶装置の一例である。

メモリ１０ｃの一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。プロセッサ１０ｄの一例としては、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）等が挙げられる。

また、映像再生装置１０は、プログラムを読み出して実行することで映像再生方法を実行する情報処理装置として動作する。つまり、映像再生装置１０は、事前処理部２１、関連付け部２２、比較表示部２３、角度算出部２４と同様の機能を実行するプログラムを実行する。この結果、映像再生装置１０は、事前処理部２１、関連付け部２２、比較表示部２３、角度算出部２４と同様の機能を実行するプロセスを実行することができる。なお、この他の実施例でいうプログラムは、映像再生装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１０ 映像再生装置
１１ 通信部
１２ 記憶部
１３ 関節定義データＤＢ
１４ 関節位置データＤＢ
１５ 映像データＤＢ
１６ 採点ルールＤＢ
１７ 計算式ＤＢ
２０ 制御部
２１ 事前処理部
２２ 関連付け部
２３ 比較表示部
２４ 角度算出部

Claims (8)

1. コンピュータに、
   センサによるセンシング結果から演技者の関節の位置を特定し、
   競技種目の技の採点に用いられる関節がなす角度を算出するための算出式に関する算出情報と、特定された前記演技者の関節の位置とを用いて、前記角度を算出し、
   カメラから取得した前記演技者の演技画像と、前記センシング結果から生成した前記演技者の３Ｄモデル画像上に前記角度を表示させた採点用画像とを比較可能に表示する
   処理を実行させることを特徴とする演技表示プログラム。
2. 前記特定する処理は、
   予め測定して保持する前記演技者の関節の位置を特定する関節情報を参照して、前記演技画像における演技者の関節の位置を特定することを特徴とする請求項１に記載の演技表示プログラム。
3. 前記演技者の演技における特定の時点の指定を受け付け、
   前記特定の時点における前記角度を用いて、選択された前記演技画像と、前記採点用画像とを比較可能に表示する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の演技表示プログラム。
4. 前記特定の時点の前後の角度を算出し、
   前記前後の角度それぞれについて新たな採点用画像を生成する処理を前記コンピュータに実行させることを特徴とする請求項３に記載の演技表示プログラム。
5. 複数の技それぞれに対応付けて、当該技の採点に用いられる前記関節および前記算出情報を記憶する記憶部を参照して、選択された技に対応する前記関節および前記算出情報を特定し、
   特定される前記算出情報を用いて、選択された技の採点に用いられる前記角度を算出する処理を前記コンピュータに実行させることを特徴とする請求項１に記載の演技表示プログラム。
6. 前記技の採点に用いられる角度と、当該角度との差に応じて決定される採点基準とを対応付けて記憶する採点情報を参照し、
   算出された前記角度に対応する前記採点基準に応じて、前記演技画像と前記採点用画像とを比較可能に表示する際の前記角度の表示色を変更することを特徴とする請求項１に記載の演技表示プログラム。
7. コンピュータが、
   センサによるセンシング結果から演技者の関節の位置を特定し、
   競技種目の技の採点に用いられる関節がなす角度を算出するための算出式に関する算出情報と、特定された前記演技者の関節の位置とを用いて、前記角度を算出し、
   カメラから取得した前記演技者の演技画像と、前記センシング結果から生成した前記演技者の３Ｄモデル画像上に前記角度を表示させた採点用画像とを比較可能に表示する
   処理を実行することを特徴とする演技表示方法。
8. 競技種目の技の採点に用いられる関節がなす角度を算出するための算出式に関する算出情報を記憶する採点記憶部と、
   センサによるセンシング結果から演技者の関節の位置を特定する特定部と、
   特定された前記演技者の関節の位置と前記算出情報を用いて、前記角度を算出する算出部と、
   カメラから取得した前記演技者の演技画像と、前記センシング結果から生成した前記演技者の３Ｄモデル画像上に前記角度を表示させた採点用画像とを比較可能に表示する表示制御部と
   を有することを特徴とする演技表示装置。

Images