JP7205201B2 - 表示方法、表示プログラムおよび情報処理装置 - Google Patents

Description

本発明は、表示方法等に関する。

体操競技として、男子は床運動、あん馬、つり輪、跳馬、平行棒、鉄棒の６種目、女子は跳馬、段違い平行棒、平均台、床運動の４種目が行われている。男女とも跳馬以外の種目では、複数の技を連続して行うことで、１つの演技が構成される。

演技のスコアは、Ｄ（Difficulty）スコアとＥ（Execution）スコアとの合計で算出される。たとえば、Ｄスコアは、技の成立不成立に基づいて算出されるスコアである。Ｅスコアは、技の完成度に応じて、減点法により算出されるスコアである。技の成立不成立や、技の完成度は、採点規則を記したルールブックに基づく、審判員の目視により判断される。

さらに、Ｄスコアについて、得点表示直後、あるいは遅くとも次の選手またはチームの得点表示前に限り、得点の問合せ（Inquiries of the score)が認められている。競技エリアに入ることを許されたコーチのみが、問合せをする権利を有する。すべての問合せは上級審判員により審査される必要があり、ビデオ撮影された選手の映像を確認し、スコアが適切であるか否かを協議する。また、体操の採点を行う審判を支援する目的において、演技中の競技者を３Ｄセンサによりセンシングし、センシングした結果に対応する競技者の３Ｄモデルを表示画面に表示する技術がある。さらに、そのほかの技術として、例えば、特許文献１乃至３の技術もある。

特開２００３－３３４６１号公報 特開２０１８－６８５１６号公報 特開２０１８－８６２４０号公報

たとえば、審判が採点競技の採点を行う際、演技の中の各技について、ビデオ等を再生して、詳細に検討する場合がある。また、選手からの問合せに応じて、問合せの対象となった技について、ビデオ等を再生して、再度検討する場合がある。このように、審判は、ビデオなどを利用して、選手の細部の状態と、採点基準とを照らし合わせて、採点を行う。

ここで、採点基準に係る評価指標について、選手の細部の状態を把握するための補助表示を行うことで、審判を支援することが考えられる。このとき、発明者は、多数の評価指標から、見るべき評価指標を選択する作業が、審判にとって、煩雑となることに気が付いた。

そこで、１つの側面では、本発明は、ユーザによる、採点競技における採点基準に係る評価指標を選択する作業を支援することができる表示方法、表示プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、コンピュータが次の処理を実行する。コンピュータは、採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、採点競技における技の特徴を定義した技辞書データとを基にして認識された、一連の演技に含まれる複数の技の認識結果を取得する。コンピュータは、３Ｄセンシングデータに基づく一連の演技に対応する３Ｄモデル映像の表示中の技を、技の認識結果に基づき特定する。コンピュータは、表示中の技に応じて、採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定する。コンピュータは、一部の選択肢を、選択可能な態様で表示し、３Ｄモデル映像に、一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する。

ユーザによる、採点競技における採点基準に係る評価指標を選択する作業を支援することができる。

図１は、参考技術を説明するための図である。 図２は、本実施例に係るシステムの構成を示す図である。 図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。 図４は、本実施例に係るセンシングＤＢのデータ構造の一例を示す図である。 図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。 図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。 図７は、本実施例に係る３ＤモデルＤＢのデータ構造の一例を示す図である。 図８は、本実施例に係る技辞書データのデータ構造の一例を示す図である。 図９は、本実施例に係る技認識結果ＤＢのデータ構造の一例を示す図である。 図１０は、本実施例に係る情報処理装置が生成する表示画面の一例を示す図である。 図１１は、表示画面の比較結果の一例を示す図である。 図１２は、アイコンが選択された場合の３Ｄモデル映像の一例を示す図である。 図１３は、本実施例に係る情報処理装置の構成を示す図である。 図１４は、本実施例に係る映像ＤＢのデータ構造の一例を示す図である。 図１５は、アイコン定義テーブルのデータ構造の一例を示す図である。 図１６は、評価指標テーブルのデータ構造の一例を示す図である。 図１７は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。 図１８は、本実施例に係る技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 図１９は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する表示方法、表示プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例の説明を行う前に、参考技術について説明する。この参考技術は、従来技術ではない。

図１は、参考技術を説明するための図である。参考技術の情報処理装置は、競技者に関する映像および３Ｄモデル映像を表示する表示画面の情報を生成し、表示画面１０を表示させる。図１に示すように、この表示画面１０には、領域１０ａ、１１、１２ａ～１２ｄ、１３を有する。

領域１０ａは、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御するボタンを含む領域である。審判員は、領域１０ａの各ボタンを押下することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。

領域１１は、映像データに基づく映像を表示する領域である。領域１１に表示される映像は、領域１０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

領域１２ａ，１２ｂ，１２ｃ，１２ｄは、異なる仮想視点方向から、３Ｄモデル映像をそれぞれ表示する領域である。領域１２ａ，１２ｂ，１２ｃ，１２ｄに表示される３Ｄモデル映像は、領域１０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

領域１３は、全種目の全技にそれぞれ関連する評価指標の全アイコンを表示する領域である。評価指標は、技のスコアを決定するための指標であり、評価指標が理想的な値から乖離するほど、スコアが悪くなる。評価指標には、競技者の複数の関節を通るある直線と複数の直線を通る他の直線とのなす角度（関節角度）、ある直線と他の直線との距離、基準線（基準面）とある直線とのなす角度などが含まれる。一例をあげると、評価指標には、膝角度、肘角度、膝間の距離、競技者のある関節位置と垂線との距離等が含まれる。

ここで、審判員は、領域１３に示される複数のアイコンのうち、いずれかのアイコンを選択する。情報処理装置は、アイコンが選択されると、選択されたアイコンに対応する評価指標についての補助情報を、領域１２ａ～１２ｄに表示する。補助情報は、評価指標に対応する、数値および図形の少なくとも一方を示すものである。たとえば、評価指標の一つである肘角度に対応する補助情報は、肘角度の数値や、肘角度を示す図形となる。

審判員は、補助情報を参照して、Ｅスコアでの減点、あるいは、Ｄスコアに関わる技の成立不成立などを判断する。審判員は、肘角度が理想の肘角度から乖離するほど、減点を大きくする。審判員は、肘角度と理想の肘角度との差が所定角度以上である場合に、技が成立していないと判断する。

領域１４は、競技者のある関節位置の時間推移、ある直線と他の直線とのなす角の時間推移などを表示する領域である。

しかしながら、技のスコアを採点する場合に、技の種類によって、着目すべき評価指標が異なるが、上述した参考技術では、技の種類によらず、領域１３に全てのアイコンを表示しているため、審判員の選択肢が多くなっているといえる。すなわち、審判員が、領域１３に表示された全てのアイコンを確認して、採点の根拠となる評価指標を表示させるためのアイコンを選択する作業に時間を要してしまうという問題がある。

次に、本発明に関する実施例について説明する。図２は、本実施例に係るシステムの構成を示す図である。図２に示すように、このシステムは、３Ｄ（3 dimensional）レーザセンサ５０と、カメラ５５と、技認識装置８０と、情報処理装置１００とを有する。ここでは一例として、競技者５は、３Ｄレーザセンサ５０およびカメラ５５の前方で体操演技を行う場合について説明するが、競技者５が他の採点競技を行う場合にも同様に適用することができる。

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。

３Ｄレーザセンサ５０は、競技者５に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となる３Ｄセンシングデータを、技認識装置８０に出力する。以下の説明では、３Ｄセンシングデータを、単に「センシングデータ」と表記する。３Ｄレーザセンサ５０により取得される、各フレームのセンシングデータは、フレーム番号と、競技者５上の各点までの距離情報とを含む。各フレームには、フレーム番号が昇順に付与される。３Ｄレーザセンサ５０は、各フレームのセンシングデータを、順次、技認識装置８０に出力してもよいし、複数フレーム分のセンシングデータを、定期的に、技認識装置８０に出力してもよい。

カメラ５５は、競技者５の映像データを撮影する装置である。カメラ５５は、映像データを、情報処理装置１００に出力する。映像データには、競技者５の画像に相当する複数のフレームが含まれ、各フレームには、フレーム番号が割り振られる。映像データのフレーム番号と、センシングデータのフレーム番号とは、同期しているものとする。また、下記の説明では、適宜、センシングデータに含まれるフレームを、「センシングフレーム」と表記し、映像データのフレームを「映像フレーム」と表記する。

技認識装置８０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、３Ｄモデルデータを生成する。技認識装置８０は、３Ｄモデルデータを基にして、競技者５が行った種目および技を認識する。技認識装置８０は、３Ｄモデルデータおよび認識結果データを、情報処理装置１００に出力する。認識結果データには、フレーム番号と、認識した種目および技の種別とが含まれる。

図３は、本実施例に係る技認識装置の構成を示す機能ブロック図である。図３に示すように、この技認識装置８０は、通信部８１と、記憶部８２と、制御部８３とを有する。

通信部８１は、３Ｄレーザセンサ５０と、情報処理装置１００とのデータ通信を実行する処理部である。通信部８１は、通信装置に対応する。

記憶部８２は、センシングＤＢ８２ａ、関節定義データ８２ｂ、関節位置ＤＢ８２ｃ、３ＤモデルＤＢ８２ｄ、技辞書データ８２ｅ、技認識結果ＤＢ８２ｆを有する。記憶部８２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

センシングＤＢ８２ａは、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。図４は、本実施例に係るセンシングＤＢのデータ構造の一例を示す図である。図４に示すように、このセンシングＤＢ８２ａは、演技ＩＤと、フレーム番号と、フレームとを対応づける。演技ＩＤ（Identification）は、競技者５が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の演技ＩＤに対応する各センシングフレームを一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングデータに含まれるフレームである。

関節定義データ８２ｂは、競技者５の各関節位置を定義するデータである。図５は、本実施例に係る関節定義データのデータ構造の一例を示す図である。図５に示すように、関節定義データ８２ｂは、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図５に示すように、右肩関節（SHOULDER＿RIGHT）にはＡ７番が付与され、左肘関節（ELBOW＿LEFT）にはＡ５番が付与され、左膝関節（KNEE＿LEFT）にはＡ１１番が付与され、右股関節（HIP＿RIGHT）にはＡ１４番が付与される。ここで、本実施例では、Ａ８番の右肩関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

関節位置ＤＢ８２ｃは、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者５の各関節の位置データである。図６は、本実施例に係る関節位置ＤＢのデータ構造の一例を示す図である。図６に示すように、この関節位置ＤＢ３２ｃは、演技ＩＤと、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」を対応づける。演技ＩＤに関する説明は、センシングＤＢ８２ａで行った説明と同様である。

図６において、フレーム番号は、同一の演技ＩＤに対応する各センシングフレームを一意に識別する番号である。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図６に示すＡ０番号の関節の３次元座標である。

図６は、演技ＩＤ「Ｐ１０１」のセンシングデータにおける各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」あることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

３ＤモデルＤＢ８２ｄは、センシングデータを基に生成される競技者５の３Ｄモデルのデータを格納するデータベースである。図７は、本実施例に係る３ＤモデルＤＢのデータ構造の一例を示す図である。図７に示すように、３ＤモデルＤＢ８２ｄは、演技ＩＤと、フレーム番号と、骨格データと、３Ｄモデルデータとを対応づける。演技ＩＤ、フレーム番号に関する説明は、センシングＤＢ８２ａで行った説明と同様である。

骨格データは、各関節位置を接続することで推定される競技者５の骨格を示すデータである。３Ｄモデルデータは、センシングデータから得られる情報と、骨格データとを基にして推定される競技者５の３Ｄモデルのデータである。

技辞書データ８２ｅは、競技者５が行う演技に含まれる技を認識する場合に用いられる辞書データである。図８は、本実施例に係る技辞書データのデータ構造の一例を示す図である。図８に示すように、この技辞書データ１０ｅは、種目と、技番号と、技名と、成立条件とを対応付ける。種目は、演技の種目を示す。技番号は、技を一意に識別する情報である。技名は、技の名称である。成立条件は、技が成立する条件を示すものである。成立条件には、該当する技が成立するための各関節位置、各関節角度、各関節位置の推移、各関節角度の推移などが含まれる。

技認識結果ＤＢ８２ｆは、技の認識結果を格納するデータベースである。図９は、本実施例に係る技認識結果ＤＢのデータ構造の一例を示す図である。図９に示すように、この技認識結果ＤＢ８２ｆは、種目、演技ＩＤ、技番号、開始時刻、終了時刻、技名を対応付ける。種目、技番号、技名に関する説明は、技辞書データ８２ａで説明したものと同様である。演技ＩＤは、演技を一意に識別する情報である。開始時刻は、各技の開始時刻を示す。終了時刻は、各技の終了時刻を示す。なお、ここでいう、「時刻」は、時間情報の一例である。たとえば、時間情報は、日付および時刻を含む情報であってもよいし、演技開始からの経過時間を示すものでもよい。図９に示す例では、演技者が一連の演技で行った技の順番は、「Ｇ３－５３、Ｇ２－５２、Ｇ１－８７、Ｇ１－５１、Ｇ１－５２、Ｇ３－１６、Ｇ１－４９、Ｇ３－６９、Ｇ１－８１、Ｇ１－２６、Ｇ４－４１」となる。

図３の説明に戻る。制御部８３は、取得部８３ａ、モデル生成部８３ｂ、技認識部８３ｃ、通知部８３ｄを有する。制御部８３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部８３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

取得部８３ａは、３Ｄレーザセンサ５０から、センシングデータを取得する処理部である。取得部８３ａは、取得した３Ｄレーザセンサ５０を、センシングＤＢ８２ａに格納する。

モデル生成部８３ｂは、センシングＤＢ８２ａを基にして、各演技ＩＤの各フレーム番号に対応する３Ｄモデルデータを生成する処理部である。以下において、モデル生成部８３ｂの処理の一例について説明する。モデル生成部８３ｂは、センシングＤＢ８２ａのセンシングフレームと、関節定義データ８２ｂに定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。モデル生成部８３ｂは、各演技ＩＤのフレーム番号毎に上記処理を繰り返し実行することで、関節位置ＤＢ８２ｃを生成する。

モデル生成部８３ｂは、関節位置ＤＢ８２ｃに格納された各関節の３次元座標を、関節定義データ８２ｂに定義された接続関係を基にしてつなぎ合わせることで、骨格データを生成する。また、モデル生成部８３ｂは、推定した骨格データを、競技者５の体格に合わせた骨格モデルに当てはめることで、３Ｄモデルデータを生成する。モデル生成部８２ｂは、各演技ＩＤのフレーム番号毎に上記処理を繰り返し実行することで、３ＤモデルＤＢ８２ｄを生成する。

技認識部８３ｃは、３ＤモデルＤＢ８２ｄに格納される各骨格データをフレーム番号順に辿り、各骨格データと技辞書データ８２ｅに格納される成立条件とを比較して、成立条件にヒットするか否かを認識する。技認識部８３ｃは、ある成立条件にヒットした場合には、ヒットしたある成立条件に対応する種目、技番号、技名を特定する。また、技認識部８３ｃは、予め設定されたＦＰＳ（Frames Per Second）を基にして、ある成立条件にヒットした一連のフレーム番号の開始フレーム番号を開始時刻に変換し、一連のフレーム番号の終了フレームを終了時刻に変換する。技認識部８３ｃは、種目、演技ＩＤ、技番号、開始時刻、終了時刻、技名を対応付けて、技認識結果Ｄ８２ｆに格納する。

通知部８３ｄは、３ＤモデルＤＢ８２ｄに格納された情報と技認識結果ＤＢ８２ｆに格納された情報とを、情報処理装置１００に送信する処理部である。

図２の説明に戻る。情報処理装置１００は、映像および３Ｄモデル映像を表示する表示画面の情報を生成し、表示部（図示略）に表示させる処理部である。図１０は、本実施例に係る情報処理装置が生成する表示画面の一例を示す図である。図１０に示すように、この表示画面２０には、領域２０ａ、２１、２２ａ～２２ｄ、２３を有する。

領域２０ａは、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御するボタンを含む領域である。審判員は、領域２０ａの各ボタンを押下することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。

領域２１は、映像データに基づく映像を表示する領域である。領域２１に表示される映像は、領域２０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

領域２２ａ，２２ｂ，２２ｃ，２２ｄは、異なる視点方向から、３Ｄモデル映像をそれぞれ表示する領域である。領域２２ａ，２２ｂ，２２ｃ，２２ｄに表示される３Ｄモデル映像は、領域２０ａで押下されたボタンに応じて、再生、停止、コマ送り、早送り、巻き戻し等がなされる。

領域２４は、競技者５のある関節位置の時間推移、ある直線と他の直線とのなす角の時間推移などを表示する領域である。領域２４において、再生時刻（領域２４の太線）から、所定時間（たとえば２秒）を強調表示しても良い。

領域２３は、全種目の全技にそれぞれ関連する評価指標の全アイコンのうち、再生中（または一時停止などにより表示中）の技に対応する一部のアイコンを表示する領域である。評価指標は、技のスコアを決定するための指標であり、評価指標が理想的な値から乖離するほど、スコアが悪くなる。評価指標には、競技者５の複数の関節を通るある直線と複数の直線を通る他の直線とのなす角度、ある直線と他の直線との距離、基準線（基準面）とある直線とのなす角度などが含まれる。一例をあげると、評価指標には、膝角度、肘角度、膝間の距離、競技者のある関節位置と垂線との距離等が含まれる。

各アイコンは、各アイコンに対応付けられた複数の評価指標から、いずれかの評価指標を選択する選択肢に対応する。

情報処理装置１００は、領域２２ａ～２２ｄに現在表示している３Ｄモデル映像の再生時刻を特定し、再生時刻と、技認識結果ＤＢ８２ｆの情報とを比較して、再生時刻に対応する技を特定する、情報処理装置１００は、領域２３に表示可能な全アイコンの内、特定した技に対応する一部のアイコンを領域２３に表示する。

図１１は、表示画面の比較結果の一例を示す図である。図１１に示すように、参考技術による表示画面の領域１３には、全種目の全技にそれぞれ関連する評価指標の全アイコンが表示されている。これに対して、本実施例に関する表示画面の領域２３には、再生時刻において、競技者５が演じている技に関する評価指標を選択するためのアイコンのみが表示される。

たとえば、技「後ろ振り上がり中水平支持（２）秒」の技の評価指標に対応するアイコンを、アイコン２３_１－１、２３_１－２、２３_１－３、２３_１－４、２３_２－２、２３_３－３、２３_４－４とする。この場合には、情報処理装置１００は、再生時刻の技が「後ろ振り上がり中水平支持（２）秒」である場合において、全アイコンの内、アイコン２３_１－１、２３_１－２、２３_１－３、２３_１－４、２３_２－２、２３_３－３、２３_４－４を受け付け可能な様態で表示する。図１０、図１１に示すように、領域２３の各アイコンは、領域２２ａ～２２ｄに再生中の技のスコアを採点する場合に、着目すべき評価指標を表示するアイコンのみを表示されている。これによって、採点の根拠となる評価項目を表示させるためのアイコンを選択する作業に時間を要することがなくなり、審判員の作業が改善される。

なお、審判員は、領域２３に示される複数のアイコンのうち、いずれかのアイコンを選択する。情報処理装置１００は、アイコンが選択されると、選択されたアイコンに対応する評価指標についての補助情報を、領域２２ａ～２２ｄに表示する。補助情報は、評価指標に対応する、数値および図形を示すものである。たとえば、評価指標の一つである肘角度に対応する補助情報は、肘角度の数値、肘角度を示す図形となる。ここでは、アイコン２３_１－４が選択された場合について説明する。アイコン２３_１－４は、肘角度を示すアイコンである。

図１２は、アイコンが選択された場合の３Ｄモデル映像の一例を示す図である。図１２に示すように、アイコン２３_１－４が選択されると、情報処理装置１００は、領域２２ａ～領域２２ｄにおいて、異なる視点角度から３Ｄモデルを表示し、選択されたアイコン「肘角度（評価指標）」に対応する補助情報として、肘角度の数値と当該角度を示す図形とを合わせて表示する。審判員は、補助情報を参照して、Ｅスコアでの減点、あるいは、Ｄスコアに関わる技の成立不成立などを判断する。審判員は、肘角度が理想の肘角度から乖離するほど、減点を大きくする。審判員は、肘角度と理想の肘角度との差が所定角度以上である場合に、技が成立していないと判断する。

次に、本実施例に係る情報処理装置１００の構成について説明する。図１３は、本実施例に係る情報処理装置の構成を示す図である。図１３に示すように、情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、カメラ５５および技認識装置８０とデータ通信を行う処理部である。たとえば、通信部１１０は、技認識装置８０から３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を受信し、受信した３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を制御部１５０に出力する。また、通信部１１０は、カメラ５５から映像データを受信し、受信した映像データを制御部１５０に出力する。後述する制御部１５０は、通信部１１０を介して、カメラ５５、技認識装置８０とデータをやり取りする。

入力部１２０は、各種の情報を情報処理装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。審判員は、入力部１２０を操作して、図１０等に示した表示画面２０の領域２０ａのボタンを選択することで、映像、３Ｄモデル映像の再生、停止、コマ送り、早送り、巻き戻し等を制御する。また、入力部１２０を操作して、審判員は、図１０に示した表示画面２０の領域２３に含まれるアイコンを選択する。

表示部１３０は、制御部１５０から出力される各種の情報を表示する表示装置である。たとえば、表示部１３０は、図１０等に示した表示画面２０の情報を表示する。また、審判員が領域２３に含まれるアイコンを押下すると、表示部１３０には、図１２に示したように、選択されたアイコンに対応する評価指標についての補助情報を、３Ｄモデル上に重畳表示する。

記憶部１４０は、映像ＤＢ１４０ａ、３ＤモデルＤＢ９２ｄ、技認識結果ＤＢ９２ｆ、アイコン定義テーブル１４０ｂ、評価指標テーブル１４０ｃを有する。記憶部１４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

映像ＤＢ１４０ａは、映像フレームを格納するデータベースである。図１４は、本実施例に係る映像ＤＢのデータ構造の一例を示す図である。図１４に示すように、この映像ＤＢ１４０ａは、演技ＩＤと、フレーム番号と、映像フレームとを対応付ける。演技ＩＤは、競技者５が行った一つの演技を一意に識別する情報である。フレーム番号は、同一の演技ＩＤに対応する各映像フレームを一意に識別する番号である。映像フレームは、カメラ５５に撮影された映像データに含まれるフレームである。図４に示したセンシングフレームのフレーム番号と、映像フレームのフレーム番号とは同期しているものとする。

３ＤモデルＤＢ９２ｄは、技認識装置８０により生成される競技者５の３Ｄモデルのデータを格納するデータベースである。３ＤモデルＤＢ９２ｄには、図７で説明した３ＤモデルＤＢ８２ｄと同様の情報が格納される。

技認識結果ＤＢ９２ｆは、技認識装置８０により生成される一連の演技に含まれる各技の認識結果を格納するデータベースである。技認識結果ＤＢ９２ｆには、図９で説明した技認識結果ＤＢ８２ｆと同様の情報が格納される。

アイコン定義テーブル１４０ｂは、演技の種目および技に対応するアイコンを定義するテーブルである。このアイコン定義テーブル１４０ｂにより、再生時刻の競技者５の技に対して、どのアイコンを領域２３に表示されるのかが決定される。図１５は、アイコン定義テーブルのデータ構造の一例を示す図である。図１５に示すように、このアイコン定義テーブル１４０ｂは、テーブル１４１，１４２を有する。

テーブル１４１は、技番号に対応するアイコン識別番号を定義するテーブルである。技番号は、技を一意に識別する情報である。アイコン識別番号は、アイコンを一意に識別する情報である。アイコン識別番号が技番号に対応する場合には、技番号の行とアイコン識別番号の列との交差する部分が「オン」となる。アイコン識別番号が技番号に対応しない場合には、技番号の行とアイコン識別番号の列との交差する部分が「オフ」となる。たとえば、再生時刻の競技者の技が技番号「Ｇ３－３９」の技であるとする。この場合には、テーブル１４１の技番号「Ｇ３－３９」の行において、オンとなるアイコン識別番号のアイコンが、領域２３に表示される。

テーブル１４２は、アイコン識別番号とアイコン画像とを対応付けるテーブルである。アイコン識別番号は、アイコンを一意に識別する情報である。アイコン画像は、図１１に示した各アイコン、あるいは、図１２の領域２３に示した各アイコンの画像を示すものである。

評価指標テーブル１４０ｃは、アイコンに対応する評価指標について、どのように評価指標に対応する補助情報を特定するのかを定義するテーブルである。図１６は、評価指標テーブルのデータ構造の一例を示す図である。図１６に示すように、この評価指標テーブル１４０ｃは、アイコン識別番号と、評価指標と、定義とを対応付ける。

アイコン識別番号は、アイコンを一意に識別する情報である。評価指標は、技のスコアを決定するための指標である。定義は、競技者５の評価指標を骨格データから導くための定義を示すものである。たとえば、骨格データに含まれる複数の関節の内、ある関節とある関節とを結ぶ直線、および、２つの直線のなす角度などにより、評価指標が定義される。

図１３の説明に戻る。制御部１５０は、取得部１５０ａと、表示制御部１５０ｂと、特定部１５０ｃと、判定部１５０ｄとを有する。制御部１５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

取得部１５０ａは、カメラ５５から映像データを取得し、取得した映像データを、映像ＤＢ１４０ａに格納する。取得部１５０ａは、技認識装置８０から３ＤモデルＤＢ８２ｄの情報および技認識結果ＤＢ８２ｆの情報を取得する。取得部１５０ａは、３ＤモデルＤＢ８２ｄの情報を、３ＤモデルＤＢ９２ｄに格納する。取得部１５０ａは、技認識結果ＤＢ８２ｆの情報を、技認識結果ＤＢ９２ｆに格納する。

表示制御部１５０ｂは、図１０に示した表示画面２０の情報を生成し、表示部１３０に表示する処理部である。表示制御部１５０ｂは、映像ＤＢ１４０ａから映像フレームを順に読み出し、表示画面２０の領域２１において、映像を再生する。

表示制御部１５０ｂは、３ＤモデルＤＢ８２ｄから３Ｄモデルデータを順に読み出し、表示画面２０の領域２２ａ～２２ｄにおいて、３Ｄモデル映像を再生する。各領域２２ａ～２２ｄに表示される各３Ｄモデル映像は、予め指定された仮想視点方向から、３Ｄモデルデータを撮影した映像である。

表示制御部１５０ｂは、領域２１に表示する映像の時刻（フレーム番号）と、各領域２２ａ～２２ｄに表示される各３Ｄモデル映像の時刻（フレーム番号）とを同期させて再生させるものとする。表示制御部１５０ｂは、審判員により、領域２０ａに表示されるボタンを押下された場合には、押下されたボタンに応じて、領域２１の映像、領域２２ａ～２２ｄの３Ｄモデル映像に関して、再生、停止、コマ送り、早送り、巻き戻し等を行う。

表示制御部１５０ｂは、３ＤモデルＤＢ９２ｄに格納された骨格データを参照し、競技者５のある関節位置の時間推移、ある直線と他の直線とのなす角の時間推移等の情報を生成し、領域２４に表示する。

表示制御部１５０ｂは、領域２２ａ～２２ｄに現在表示している３Ｄモデル映像の再生時刻の情報を、特定部１５０ｃに出力する。以下の説明では、領域２２ａ～２２ｄに現在表示している３Ｄモデル映像の再生時刻を単に「再生時刻」と表記する。

表示制御部１５０ｂは、競技者５の技が切り替わったタイミングで、判定部１５０ｄからアイコン情報を受信する。アイコン情報は、複数のアイコン識別情報と、アイコン識別情報に対応する複数の評価指標の補助情報とを対応付ける情報である。表示制御部１５０ｂは、判定部１５０ｄから最後に受信したアイコン情報に含まれる複数のアイコン識別情報のアイコン画像を、アイコン定義テーブル１４０ｂから取得する。そして、表示制御部１５０ｂは、アイコン識別情報に対応するアイコン画像を、表示画面２０の領域２３にそれぞれ表示する。

表示制御部１５０ｂは、審判員により、表示画面２０の領域２３に表示した複数のアイコン（アイコン画像）のうち、いずれかのアイコンが選択されると、選択されたアイコンのアイコン識別情報に基づき、アイコン識別情報に対応する評価指標の補助情報を、最後に受信したアイコン情報から、取得する。表示制御部１５０ｂは、領域２２ａ～２２ｄに表示している３Ｄモデル映像に、選択されたアイコンに対応する補助情報を重畳して表示する。

表示制御部１５０ｂは、補助情報を３Ｄモデル映像に重畳して表示する場合に、選択された評価指標についての補足情報に関連する部分を強調表示してもよい。たとえば、評価指標として「肘角度」のアイコンが選択された場合に、図１２で説明したように、補助情報として、肘角度の値と、当該肘角度を示す図形（扇形で角度の大きさを表現する図形）が生成される。そして、３Ｄモデル映像において、肘角度を示す図形を、３Ｄモデルとは異なる色で重畳することで、強調表示する。３Ｄモデル映像において、どの部分を強調表示するのかは、たとえば、アイコン識別情報と、強調部分とを対応付けたテーブル（図示略）を用いることができる。または、表示制御部１５０ｂが、図１６の評価指標テーブル１４０ｃの定義に含まれる情報を基にして、強調する部分を算出してもよい。たとえば、表示制御部１５０ｂは、アイコン識別番号が「Ｅ１」である場合には、３Ｄモデル映像において、第１線分と第２線分との間を、強調表示する。

特定部１５０ｃは、表示制御部１５０ｂから再生時刻の情報を取得し、再生時刻と、技認識結果ＤＢ８２ｆとを比較して、再生時刻に対応する技番号を特定する処理部である。特定部１５０ｃは、特定した再生時刻に対応する技番号を、判定部１５０ｄに出力する。なお、一時停止がなされている場合には、特定部１５０ｃは、一時停止がなされた時刻（表示されている時刻）に基づき、技番号を特定する。

判定部１５０ｄは、特定部１５０ｃから、再生時刻に対応する技番号を取得し、技番号に対応するアイコン識別番号を判定する処理部である。判定部１５０ｄは、技番号と、テーブル１４１とを比較して、技番号とアイコン識別番号との関係が「オン」で関連付けられたアイコン識別番号を判定し、判定したアイコン識別番号をアイコン情報に登録する。

また、判定部１５０ｄは、アイコン識別番号に基づく評価指標の補助情報を生成する。判定部１５０ｄは、アイコン識別番号と、評価指標テーブル１４０ｃとを比較して、アイコン識別番号に対応する評価指標および定義を判定する。また、判定部１５０ｄは、再生時刻に対応するフレーム番号の骨格データを、３ＤモデルＤＢ９２ｄから取得する。判定部１５０ｄは、定義により特定される複数の線を、骨格データを基に特定し、特定した複数の線分のなす角、ある基準面、基準線との距離等を補助情報として算出する。判定部１５０ｄは、算出した補助情報を、アイコン情報に登録する。

上記の処理を行うことで、判定部１５０ｄは、技番号を取得する度に、アイコン識別番号と、補助情報とをアイコン情報に登録し、アイコン情報を、表示制御部１５０ｂに出力する。

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１７は、本実施例に係る情報処理装置の処理手順を示すフローチャートである。図１７に示すように、情報処理装置１００の取得部１５０ａは、映像データと、３ＤモデルＤＢ８２ｄの情報と、技認識結果ＤＢ８２ｆの情報とを取得し、記憶部１４０に格納する（ステップＳ１０１）。

情報処理装置１００の表示制御部１５０ｂは、ユーザからの指示に応じて、映像データおよび３Ｄモデル映像の再生を開始する（ステップＳ１０２）。表示制御部１５０ｂは、表示画面の領域２０ａのボタンにより、再生開始時刻の変更指定を受け付けたか否かを判定する（ステップＳ１０３）。

表示制御部１５０ｂは、再生開始時刻の変更指定を受け付けていない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０５に移行する。

一方、表示制御部１５０ｂは、再生開始時刻の変更指定を受け付けた場合には（ステップＳ１０３，Ｙｅｓ）、再生時刻を変更して再生を継続（ステップＳ１０４）し、ステップＳ１０５に移行する。

情報処理装置１００の特定部１５０ｃは、再生に同期して、再生時刻に対応する技番号を特定する（ステップＳ１０５）。情報処理装置１００の判定部１５０ｄは、技番号に対応する評価指標であるアイコン識別番号を、複数のアイコン識別番号から判定する（ステップＳ１０６）。

表示制御部１５０ｂは、表示画面２０の領域２３において、技番号に関連するアイコン（アイコン画像）を表示する（ステップＳ１０７）。表示制御部１５０ｂは、アイコンの選択を受け付けたか否かを判定する（ステップＳ１０８）。

表示制御部１５０ｂは、アイコンの選択を受け付けていない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１１０に移行する。一方、表示制御部１５０ｂは、アイコンの選択を受け付けた場合には（ステップＳ１０８，Ｙｅｓ）、３Ｄモデル映像に、アイコンに対応する補足情報を重畳して表示する（ステップＳ１０９）。

表示制御部１５０ｂは、処理を継続する場合には（ステップＳ１１０，Ｙｅｓ）、ステップＳ１０３に移行する。一方、表示制御部１５０ｂは、処理を継続しない場合には（ステップＳ１１０，Ｎｏ）、処理を終了する。

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００が表示する表示画面２０の領域には、再生時刻において、競技者５が演じている技に関する評価指標を選択するためのアイコンのみを表示する。

たとえば、技「後ろ振り上がり中水平支持（２）秒」の技の評価指標に対応するアイコンを、アイコン２３_１－１、２３_１－２、２３_１－３、２３_１－４、２３_２－２、２３_３－３、２３_４－４とする。この場合には、情報処理装置１００は、再生時刻の技が「後ろ振り上がり中水平支持（２）秒」である場合において、全アイコンの内、アイコン２３_１－１、２３_１－２、２３_１－３、２３_１－４、２３_２－２、２３_３－３、２３_４－４を受け付け可能な様態で表示する。図１０、図１１に示すように、領域２３の各アイコンは、領域２２ａ～２２ｄに再生中の技のスコアを採点する場合に、着目すべき姿勢の評価指標を表示するアイコンのみを表示されている。これによって、採点の根拠となる姿勢を表示させるためのアイコンを選択する作業に時間を要することがなくなり、審判員の作業が改善される。

情報処理装置１００は、再生中の３Ｄモデル映像の再生時刻を特定し、特定した再生時刻と、技認識結果ＤＢ８２とを基にして、技番号を特定する。また、情報処理装置１００は、技番号と、アイコン定義テーブル１４０ｂとを比較して、技番号に対応するアイコンを特定する。技番号は、競技者５が行った種目と技を特定するものであるため、種目と技との組に関連するアイコンを容易に特定することができる。

情報処理装置１００は、技番号に対応する評価指標の定義と、３ＤモデルＤＢ８２ｄに格納された骨格データとを基にして、評価指標に対応する補助情報を生成する。このため、競技者５の骨格レベルに基づいた評価指標に対応する補助情報を生成することができ、目視により審判員の採点を補助することができる。

なお、図２に示したシステムでは、技認識装置８０と、情報処理装置１００とが別の装置に実装される場合について説明したがこれに限定されるものではなく、情報処理装置１００が、技認識装置８０の機能を有していてもよい。たとえば、情報処理装置１００が、技認識装置８０の制御部８３に示す機能を有し、記憶部８２に格納された情報を基にして、３ＤモデルＤＢ８２ｄの情報、技認識結果ＤＢ８２ｆの情報を生成してもよい。

次に、本実施例に示した技認識装置８０および情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１８は、本実施例に係る技認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１８に示すように、コンピュータ４００は、各種演算処理を実行するＣＰＵ４０１と、ユーザからのデータの入力を受け付ける入力装置４０２と、ディスプレイ４０３とを有する。また、コンピュータ４００は、記憶媒体からプログラム等を読み取る読み取り装置４０４と、有線または無線ネットワークを介して、３Ｄレーザセンサ５０等との間でデータの授受を行うインタフェース装置４０５とを有する。コンピュータ４００は、各種情報を一時記憶するＲＡＭ４０６と、ハードディスク装置４０７とを有する。そして、各装置４０１～４０７は、バス４０８に接続される。

ハードディスク装置４０７は、取得プログラム４０７ａ、モデル生成プログラム４０７ｂ、技認識プログラム４０７ｃ、通知プログラム４０７ｄを有する。ＣＰＵ４０１は、受信プログラム４０７ａ、生成プログラム４０７ｂ、技認識プログラム４０７ｃ、通知プログラム４０７ｄを読み出してＲＡＭ４０６に展開する。

取得プログラム４０７ａは、取得プロセス４０６ａとして機能する。モデル生成プログラム４０７ｂは、モデル生成プロセス４０６ｂとして機能する。技認識プログラム４０７ｃは、技認識プロセス４０６ｃとして機能する。通知プログラム４０７ｄは、通知プロセス４０６ｄとして機能する。

取得プロセス４０６ａの処理は、取得部８３ａの処理に対応する。モデル生成プロセス４０６ｂの処理は、モデル生成部８３ｂの処理に対応する。技認識プロセス４０６ｃの処理は、技認識部８３ｃの処理に対応する。通知プロセス４０６ｄの処理は、通知部８３ｄの処理に対応する。

なお、各プログラム４０７ａ～４０７ｄについては、必ずしも最初からハードディスク装置４０７に記憶させておかなくてもよい。例えば、コンピュータ４００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム４０７ａ～４０７ｄを読み出して実行するようにしてもよい。

図１９は、本実施例に係る情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１９に示すように、コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、ディスプレイ５０３とを有する。また、コンピュータ５００は、記憶媒体からプログラム等を読み取る読み取り装置５０４と、有線または無線ネットワークを介して、カメラ５５、技認識装置８０等との間でデータの授受を行うインタフェース装置５０５とを有する。コンピュータ５００は、各種情報を一時記憶するＲＡＭ５０６と、ハードディスク装置５０７とを有する。そして、各装置５０１～５０７は、バス５０８に接続される。

ハードディスク装置５０７は、取得プログラム５０７ａ、表示制御プログラム５０７ｂ、特定プログラム５０７ｃ、判定プログラム５０７ｄを有する。ＣＰＵ５０１は、取得プログラム５０７ａ、表示制御プログラム５０７ｂ、特定プログラム５０７ｃ、判定プログラム５０７ｄを読み出して、ＲＡＭ５０６に展開する。

取得プログラム５０７ａは、取得プロセス５０６ａとして機能する。表示制御プログラム５０７ｂは、表示制御プロセス５０６ｂとして機能する。特定プログラム５０７ｃは、特定プロセス５０６ｃとして機能する。判定プログラム５０７ｄは、判定プロセス５０６ｄとして機能する。

取得プロセス５０６ａの処理は、取得部１５０ａの処理に対応する。表示制御プロセス５０６ｂの処理は、表示制御部１５０ｂの処理に対応する。特定プロセス５０６ｃの処理は、特定部１５０ｃの処理に対応する。判定プロセス５０６ｄの処理は、判定部１５０ｄの処理に対応する。

なお、各プログラム５０７ａ～５０７ｄについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくてもよい。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ４００が各プログラム５０７ａ～５０７ｄを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータが、
採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得し、
前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定し、
前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定し、
前記一部の選択肢を、選択可能な態様で表示し、
前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する
処理を実行することを特徴とする表示方法。

（付記２）前記判定する処理は、前記３Ｄモデル映像で表示中のフレームの時間情報を特定し、前記時間情報において実施された技に応じて、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記１に記載の表示方法。

（付記３）前記３Ｄセンシングデータに基づき認識された前記競技者の関節位置を基にして、前記補助情報を生成する処理を更に実行することを特徴とする付記１または２に記載の表示方法。

（付記４）前記特定する処理は、前記採点競技における前記複数の種目のうち、表示中の種目を更に特定し、前記判定する処理は、前記表示中の技と、前記表示中の種目との組を基にして、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記１、２または３に記載の表示方法。

（付記５）採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得し、
前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定し、
前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定し、
前記一部の選択肢を、選択可能な態様で表示し、
前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する
処理をコンピュータに実行させることを特徴とする表示プログラム。

（付記６）前記判定する処理は、前記３Ｄモデル映像で表示中のフレームの時間情報を特定し、前記時間情報において実施された技に応じて、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記５に記載の表示プログラム。

（付記７）前記３Ｄセンシングデータに基づき認識された前記競技者の関節位置を基にして、前記補助情報を生成する処理を更に実行することを特徴とする付記５または６に記載の表示プログラム。

（付記８）前記特定する処理は、前記採点競技における前記複数の種目のうち、表示中の種目を更に特定し、前記判定する処理は、前記表示中の技と、前記表示中の種目との組を基にして、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記５、６または７に記載の表示プログラム。

（付記９）採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得する取得部と、
前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定する特定部と、
前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定する判定部と、
前記一部の選択肢を、選択可能な態様で表示し、前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する表示制御部と
を有することを特徴とする情報処理装置。

（付記１０）前記判定部は、前記３Ｄモデル映像で表示中のフレームの時間情報を特定し、前記時間情報において実施された技に応じて、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記９に記載の情報処理装置。

（付記１１）前記判定部は、前記３Ｄセンシングデータに基づき認識された前記競技者の関節位置を基にして、前記補助情報を生成する処理を更に実行することを特徴とする付記９または１０に記載の情報処理装置。

（付記１２）前記特定部は、前記採点競技における前記複数の種目のうち、表示中の種目を更に特定し、前記判定部は、前記表示中の技と、前記表示中の種目との組を基にして、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする付記９、１０または１１に記載の情報処理装置。

５ 競技者
５０ ３Ｄレーザセンサ
５５ カメラ
８０ 技認識装置
８１，１１０ 通信部
８２，１４０ 記憶部
８２ａ センシングＤＢ
８２ｂ 関節定義データ
８２ｃ 関節位置ＤＢ
８２ｄ ３ＤモデルＤＢ
８２ｅ 技辞書データ
８２ｆ 技認識結果ＤＢ
８３，１５０ 制御部
８３ａ，１５０ａ 取得部
８３ｂ モデル生成部
８３ｃ 技認識部
８３ｄ 通信部
１００ 情報処理装置
１４０ａ 映像ＤＢ
１４０ｂ アイコン定義テーブル
１４０ｃ 評価指標テーブル
１５０ｂ 表示制御部
１５０ｃ 特定部
１５０ｄ 判定部

Claims (6)

1. コンピュータが、
   採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得し、
   前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定し、
   前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定し、
   前記一部の選択肢を、選択可能な態様で表示し、
   前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する
   処理を実行することを特徴とする表示方法。
2. 前記判定する処理は、前記３Ｄモデル映像で表示中のフレームの時間情報を特定し、前記時間情報において実施された技に応じて、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする請求項１に記載の表示方法。
3. 前記３Ｄセンシングデータに基づき認識された前記競技者の関節位置を基にして、前記補助情報を生成する処理を更に実行することを特徴とする請求項１または２に記載の表示方法。
4. 前記特定する処理は、前記採点競技における複数の種目のうち、表示中の種目を更に特定し、前記判定する処理は、前記表示中の技と、前記表示中の種目との組を基にして、前記複数の評価指標に対応する前記複数の選択肢のうち、前記一部の選択肢を判定することを特徴とする請求項１、２または３に記載の表示方法。
5. 採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得し、
   前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定し、
   前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定し、
   前記一部の選択肢を、選択可能な態様で表示し、
   前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する
   処理をコンピュータに実行させることを特徴とする表示プログラム。
6. 採点競技の競技者による一連の演技をセンシングした３Ｄセンシングデータと、前記採点競技における技の特徴を定義した技辞書データとを基にして認識された、前記一連の演技に含まれる複数の技の認識結果を取得する取得部と、
   前記３Ｄセンシングデータに基づく前記一連の演技に対応する３Ｄモデル映像の表示中の技を、前記技の認識結果に基づき特定する特定部と、
   前記表示中の技に応じて、前記採点競技の採点にかかる複数の評価指標に対応する複数の選択肢のうち、表示対象とする一部の選択肢を判定する判定部と、
   前記一部の選択肢を、選択可能な態様で表示し、前記３Ｄモデル映像に、前記一部の選択肢の中から選択された選択肢に対応する評価指標についての補助情報を表示する表示制御部と
   を有することを特徴とする情報処理装置。

Images