JPWO2019146024A1 - 画面生成プログラム、画面生成方法および情報処理装置 - Google Patents

Abstract

情報処理装置１００は、競技者による実演技が開始した場合に、リアルタイムで取得するデータに基づき、実演技の中で、実施済みの技および実施済みの技のスコアを取得する。情報処理装置１００は、予定演技情報およびデータの少なくとも一方に基づき、実演技の中で、これから実施される可能性が高い未実施の技を予測する。情報処理装置１００は、実施済みの技のスコアと、予測された未実施の技が成功した場合の予測スコアとに基づき、実施中の実演技の予測スコアを予測し、予定演技の予測スコアと、実演技の予測スコアとを表示する画面情報を生成する。

Description

本発明は、画面生成プログラム等に関する。

採点競技において、選手は、複数の技からなる演技を実施する。選手が実施する演技の構成は、シーズンを通してある程度決まっている場合が多い。このため、試合本番前の練習、予選の試合、試合本番等において、選手が行う演技構成を予測することは可能であり、演技のスコアを予測することも可能である。

特開２００４−１０９２６４号公報 特開２０１２−０４２２８７号公報 特開２０１５−２２８１８３号公報 特開２０１１−０８１４３１号公報

しかしながら、上述した従来技術では、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができないという問題がある。

たとえば、選手は、本番直前に、順位の逆転を狙うために技の難度を上げる場合や、試合当日のコンディションに応じて、予定していた演技の構成を一部変更する場合がある。または、選手は、演技の途中で、選手自身の判断により、一部の技を変更したりする場合がある。このような場合には、想定していた演技構成と異なるため、演技のスコアを予測することは難しい。

１つの側面では、本発明は、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる画面生成プログラム、画面生成方法および情報処理装置を提供することを目的とする。

第１の案では、コンピュータに下記の処理を実行させる。コンピュータは、採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得する。コンピュータは、予定演技情報から、複数の技が成功した場合の第一の予測スコアを算出する。コンピュータは、予定演技の第一の予測スコアを表示する画面情報を生成する。コンピュータは、競技者による実演技が開始した場合に、実演技をセンシングしたデータを、リアルタイムで取得する。コンピュータは、データに基づき、実演技の中で、実施済みの技および実施済みの技のスコアを取得する。コンピュータは、予定演技情報およびデータの少なくとも一方に基づき、実演技の中で、これから実施される可能性が高い未実施の技を予測する。コンピュータは、実施済みの技のスコアと、予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の実演技全体の第三の予測スコアを予測する。コンピュータは、第一の予測スコアと、第三の予測スコアとを表示する画面情報を生成する。

採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる。

図１は、本実施例１に係るシステムの一例を示す図である。 図２は、センシングデータを説明するための図である。 図３は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。 図４は、本実施例１に係る関節定義データの一例を示す図である。 図５は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。 図６は、本実施例１に係る技判定テーブルのデータ構造の一例を示す図である。 図７は、開始姿勢および終末姿勢の一例を説明するための図である。 図８は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。 図９は、演技開始前の表示画面の一例を示す図である。 図１０は、演技中の表示画面の一例を示す図である。 図１１は、演技終了後の表示画面の一例を示す図である。 図１２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。 図１３は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。 図１４は、本実施例１に係る演技履歴テーブルのデータ構造の一例を示す図である。 図１５は、演技構成情報の一例を示す図である。 図１６は、本実施例１に係るスコアテーブルのデータ構造の一例を示す図である。 図１７は、本実施例１に係る難度テーブルのデータ構造の一例を示す図である。 図１８は、演技遷移フロー情報の一例を示す図である。 図１９は、本実施例１に係る画面生成部の処理の一例を説明するための図（１）である。 図２０は、本実施例１に係る画面生成部の処理の一例を説明するための図（２）である。 図２１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。 図２２は、演技中処理の処理手順を示すフローチャートである。 図２３は、本実施例２に係るシステムの一例を示す図である。 図２４は、本実施例２に係る情報処理装置が表示する表示画面の一例を示す図である。 図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。 図２６は、本実施例２に係る認識部の処理を説明するための図である。 図２７は、本実施例２に係る演技中の表示画面の一例を示す図である。 図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。 図２９は、予測処理の一例を示すフローチャートである。 図３０は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する画面生成プログラム、画面生成方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例１に係るシステムの一例を示す図である。図１に示すように、このシステムは、３Ｄ（3 dimension）レーザセンサ５０と、カメラ６０と、技認識装置７０と、情報処理装置１００とを有する。情報処理装置１００は、カメラ６０、技認識装置７０に接続される。本実施例１では一例として、競技者１０は、３Ｄレーザセンサ５０およびカメラ６０の前方で体操演技を行う場合について説明するが、競技者１０が他の採点競技を行う場合にも同様に適用することができる。

たとえば、他の採点競技は、トランポリン、水泳の飛び込み、フィギュアスケート、空手の型、社交ダンス、スノーボード、スケートボード、スキーエアリアル、サーフィンを含む。また、クラシックバレエ、スキージャンプ、モーグルのエアー、ターン、野球、バスケットボールのフォームチェック等にも適用してもよい。また、剣道、柔道、レスリング、相撲などの競技にも適用してもよい。

３Ｄレーザセンサ５０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となる３Ｄセンシングデータを、技認識装置７０に出力する。以下の説明では、３Ｄセンシングデータを、単に、センシングデータと表記する。

図２は、センシングデータを説明するための図である。センシングデータには、複数のフレームが含まれ、各フレームには、フレームを一意に識別するフレーム番号が昇順に付与される。図２に示すセンシングデータでは、古いフレームから順番に、フレーム番号ｎ、ｎ＋１、・・・、ｎ＋１５、・・・、ｎ＋３０のフレームを示す。ｎは自然数に対応する。たとえば、各フレームには、３Ｄレーザセンサ５０から、競技者１０上の各点までの距離情報が含まれる。

カメラ６０は、競技者１０の映像データを撮影する装置である。カメラ６０は、映像データを、情報処理装置１００に出力する。映像データには、競技者１０の画像に相当する複数のフレームが含まれ、各フレームには、フレーム番号が割り振られる。映像データのフレーム番号と、センシングデータのフレーム番号とは、同期しているものとする。また、下記の説明では、適宜、センシングデータに含まれるフレームを、「センシングフレーム」と表記し、映像データのフレームを「映像フレーム」と表記する。

技認識装置７０は、３Ｄレーザセンサ５０がセンシングしたセンシングデータを基にして、技を認識する装置である。技認識装置７０は、センシングデータの各フレーム番号と、各認識結果とをそれぞれ対応づけた認識結果データを生成する。技認識装置７０は、認識結果データを、情報処理装置１００に出力する。ここでは一例として、技認識装置７０が、情報処理装置１００の外部に位置する場合を示すが、情報処理装置１００が、技認識装置７０と同様の処理を行う機能部を有していてもよい。

たとえば、技認識装置７０は、センシングＤＢ７１、関節定義データ７２、関節位置ＤＢ７３、技判定テーブル７４、技認識ＤＢ７５を有する。センシングＤＢ（Data Base）７１は、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。図３は、本実施例１に係るセンシングＤＢのデータ構造の一例を示す図である。図３に示すように、このセンシングＤＢ７１は、フレーム番号と、センシングフレームとを対応づける。フレーム番号は、同一の演技識別番号に対応する各センシングフレームを、一意に識別する番号である。センシングフレームは、３Ｄレーザセンサ５０にセンシングされたセンシングフレームである。

関節定義データ７２は、競技者１０の各関節位置を定義するものである。図４は、本実施例１に係る関節定義データの一例を示す図である。図４に示すように、関節定義データ７２は、公知の骨格モデルで特定される各関節をナンバリングした情報を記憶する。たとえば、図４に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例１では、８番の右肘関節のＸ座標をＸ８、Ｙ座標をＹ８、Ｚ座標をＺ８と記載する場合がある。なお、点線の数字は、骨格モデルから特定されても、採点には利用されない関節等である。

関節位置ＤＢ７３は、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者１０の各関節の位置データである。図５は、本実施例１に係る関節位置ＤＢのデータ構造の一例を示す図である。図５に示すように、この関節位置ＤＢ７３は、フレーム番号と、「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」とを対応づける。

図５において、フレーム番号は、センシングフレームを一意に識別する番号である。図５に示すフレーム番号と、図３に示すフレーム番号は、同期しているものとする。「Ｘ０、Ｙ０、Ｚ０、・・・、Ｘ１７、Ｙ１７、Ｚ１７」は、各関節のＸＹＺ座標であり、たとえば「Ｘ０、Ｙ０、Ｚ０」は、図４に示す０番号の関節の３次元座標である。

図５は、各関節の時系列の変化を示しており、フレーム番号「１」では、各関節の位置が「Ｘ０＝１００、Ｙ０＝２０、Ｚ０＝０、・・・、Ｘ１７＝２００、Ｙ１７＝４０、Ｚ１７＝５」であることを示す。そして、フレーム番号「２」では、各関節の位置が「Ｘ０＝１０１、Ｙ０＝２５、Ｚ０＝５、・・・、Ｘ１７＝２０２、Ｙ１７＝３９、Ｚ１７＝１５」へ移動したことを示す。

技判定テーブル７４は、競技者１０が行う技を判定する際に用いるテーブルである。図６は、本実施例１に係る技判定テーブルのデータ構造の一例を示す図である。図６に示すように、この技判定テーブルは、技グループと、技番号と、技名と、開始姿勢と、開始姿勢の成立条件と、終末姿勢と、終末姿勢の成立条件とを対応付ける。

技グループと技番号との組合せにより、技（技名）が一意に特定される。技グループと技番号とを組み合わせたものが、技の識別情報となる。技名は、技の名称である。

開始姿勢は、技の開始姿勢を示すものである。開始姿勢の成立条件は、該当する開始姿勢の成立する条件を示す。たとえば、開始姿勢の成立条件は、該当する開始姿勢となる各関節の位置の推移を示す。終末姿勢は、技の終末姿勢（静止姿勢）を示すものである。たとえば、終末姿勢の成立条件は、該当する終末姿勢となる各関節の位置の関係を示す。

図７は、開始姿勢および終末姿勢の一例を説明するための図である。図７では一例として、競技者１０が技「後ろ振り上がり中水平支持（２秒）」を行う例を示している。競技者１０は、期間Ｔａにおいて、開始姿勢「後ろ振り上がり」を行い、期間Ｔｂにおいて、終末姿勢「中水平支持（２秒）」を行っている。この開始姿勢「後ろ振り上がり」と終末姿勢「中水平支持（２秒）」との組合せにより、技「後ろ振り上がり中水平支持（２秒）」となる。このように、開始姿勢および終末姿勢が決まると、技も決まる。

技認識ＤＢ７５は、技の認識結果データを格納するＤＢである。図８は、本実施例１に係る技認識ＤＢのデータ構造の一例を示す図である。図８に示すように、この技認識ＤＢ７４は、フレーム番号と、関節位置データ、開始姿勢フラグと、終末姿勢フラグと、技グループと、技番号と、技名とを対応付ける。

フレーム番号は、図３で説明したセンシングフレームのフレーム番号に対応する番号である。関節位置データは、図５等で説明した、各フレーム番号に対応する各関節位置の３次元座標を示す情報である。開始姿勢フラグは、競技者１０の姿勢が開始姿勢であるか否かを示す情報である。開始姿勢フラグが「１」となる間は、競技者１０の姿勢が開始姿勢であることを示す。終末姿勢は、競技者１０の姿勢が終末姿勢であるか否かを示す情報である。終末姿勢フラグが「１」となる間は、競技者１０の姿勢が終末姿勢であることを示す。技グループおよび技番号の組は、技を一意に識別する情報である。技名は、技の名称を示すものである。

図１の説明に戻る。技認識装置７０が、センシングＤＢ７１、関節定義データ７２、関節位置ＤＢ７３、技判定テーブル７４、技認識ＤＢ７５を用いて行う処理について説明する。

技認識装置７０は、センシングＤＢ７１のセンシングフレームと、関節定義データ７２に定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。技認識装置７０は、センシングＤＢ７１のフレーム番号毎に上記処理を繰り返し実行し、各関節の３次元座標の情報を、関節位置ＤＢ７３に格納する。

技認識装置７０は、フレーム番号毎に、各関節の３次元座標の情報と、技判定テーブル７４とを比較して、開始姿勢および終末姿勢を特定する。また、技認識装置７０は、特定した開始姿勢および終末姿勢の組合せと、技判定テーブル７４とを比較することで、フレーム番号に対応する技グループ、技番号、技名を特定する。

技認識装置７０は、フレーム番号、関節位置データ、開始姿勢フラグ、終末姿勢フラグ、技グループ、技番号、技名を対応付けた情報を、技認識ＤＢ７５に格納する。また、技認識装置７０は、技認識ＤＢ７５に格納した各レコードを、認識結果データとして、情報処理装置１００に出力する。たとえば、技認識装置７０は、３Ｄレーザセンサ５０から取得するセンシングデータに対して、上記処理をリアルタイム処理し、認識結果データを、情報処理装置１００に出力するものとする。

情報処理装置１００は、競技者１０が過去に行った演技構成の履歴を基にして、競技者１０の一連の予定演技から算出される予測スコアを表示する装置である。また、情報処理装置１００は、競技者１０の実際の演技の進行に伴って、競技者１０の演技が変更になった場合には、後の予測演技を更新しつつ、演技更新に応じて、予測スコアを更新する。

ここで、情報処理装置１００が表示する画面の一例について説明する。図９は、演技開始前の表示画面の一例を示す図である。図９に示す例では、表示画面１０Ａには、映像領域１０ａと、予測演技リスト１０ｂと、Ｄスコア領域１０ｃと、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆとを含む。

映像領域１０ａは、競技者１０の映像データを表示する領域である。たとえば、情報処理装置１００は、競技者１０が過去に行った予選演技の映像データを、映像領域１０ａに表示する。

予測演技リスト１０ｂは、競技者１０が行うと予測される一連の技（演技）の情報を表示するものである。たとえば、予測演技リスト１０ｂは、技名と、技グループと、技番号と、難度とを対応付ける。技名、技グループ、技番号に関する説明は、上述した説明と同様である。難度は、技の難しさの程度を示すものである。男子には、「Ａ〜Ｈ」の難度があり、女子には、「Ａ〜Ｉ」の難度がある。

予測演技リスト１０ｂは、１行目の技（技名）から順に、下の行に向かって各技が実行されることを示す。図９に示す例では、後ろ振り上がり中水平支持（２秒）、後ろ振り上がり水平支持（２秒）、アザリアン、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字が順に実行される。また、続いて、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りの順に実行される旨が示される。

Ｄスコア領域１０ｃは、予測演技リスト１０ｂの技を競技者１０が予定通り行った場合のＤスコアを表示する領域である。Ｄ（Difficulty）スコアは、演技を構成する技の難度に応じて算出されるスコアである。

Ｅスコア領域１０ｄは、予測演技リスト１０ｂの技を競技者１０が過去の行った実績を基に算出されるＥスコアを表示する領域である。Ｅ（Execution）スコアは、演技の技術、技の各要素における身体の姿勢に関する減点法により算出されるスコアである。たとえば、ある技の理想的な姿勢と、競技者１０の姿勢とが比較され、各姿勢の乖離具合が大きいほど、Ｅスコアからスコアが減点される。

得点領域１０ｅは、競技者１０が予測演技リスト１０ｂの技を予定通り行った場合に予測されるスコアを表示する領域である。具体的に、情報処理装置１００は、Ｄスコア領域１０ｃに表示するＤスコアと、Ｅスコア領域１０ｄに表示するＥスコアとを合計したスコアを、得点領域１０ｅに表示させる。

順位予測領域１０ｆは、複数の競技者に関する予測順位の情報を表示する領域である。たとえば、順位予測領域１０ｆは、順位と、競技者の名前と、予測得点とを対応付ける。

たとえば、図９に示す演技開始前の表示画面１０Ａを、ユーザ（ＴＶ中継の実況アナウンサーあるいは視聴者）が参照することで、競技者１０が演技する技の順序、Ｄスコア、Ｅスコア、スコア、順位を容易に把握することができる。

図１０は、演技中の表示画面の一例を示す図である。図１０に示す例では、表示画面１１には、演技リスト１１ａと、演技遷移情報１１ｂと、Ｄスコア領域１１ｃと、Ｅスコア領域１１ｄと、得点領域１１ｅと、順位予測領域１１ｆとを含む。

演技リスト１１ａは、演技中の競技者１０が実際に行った技と、これから競技者１０が行うと予測される技の情報を表示するものである。演技リスト１１ａは、技名と、技グループと、枝番と、難度とを対応付ける。たとえば、情報処理装置１００は、競技者１０が現在行っている技の技名と、次に行う技の技名とを強調表示してもよい。図１０に示す例では、演技リスト１１ａにおいて、競技者１０が現在行っている技の技名「アザリアン」と、次の演技が予測される「後ろ振り上がり十字倒立（２秒）」とを強調表示している。

演技遷移情報１１ｂは、競技者１０が実際に行った技の遷移と、これから競技者１０が行うと予測される技の遷移を示す情報である。演技遷移情報１１ｂには、開始を示すノードと、技を示す複数のノードとが接続されている。たとえば、技を示すノードには、技グループと、技番号との組が付与される。また、ある技から次の技に遷移する際に、遷移先の候補が複数存在する場合には、遷移先に遷移する確率が合わせて表示される。

図１０の演技遷移情報１１ｂに示すように、開始のノードからノード「Ｇ３−５３」に遷移することが示される。ノード「Ｇ３−５３」の遷移先は、ノード「Ｇ３−７０」およびノード「Ｇ２−５２」である。ノード「Ｇ３−５３」からノード「Ｇ３−７０」に遷移する確率は「６０％」である。一方、ノード「Ｇ３−５３」からノード「Ｇ２−５２」に遷移する確率は「４０％」である。また、ノード「Ｇ３−７０」の遷移先は、ノード「Ｇ２−５２」である。

ノード「Ｇ２−５２」の遷移先は、ノード「Ｇ３−９４」およびノード「Ｇ１−８７」である。ノード「Ｇ２−５２」からノード「Ｇ１−８７」に遷移する確率は「６０％」である。一方、ノード「Ｇ２−５２」からノード「Ｇ３−９４」に遷移する確率は「４０％」である。また、ノード「Ｇ３−９４」の遷移先は、ノード「Ｇ１−８７」である。

ノード「Ｇ１−８７」に続く、ノードの遷移先は、順に、ノード「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。

情報処理装置１００は、競技者１０が現在行っている技に対応するノードと、次に遷移するノードを強調表示する。情報処理装置１００は、次に遷移するノードが複数存在する場合には、遷移する確率の高いノードを強調表示する。

Ｄスコア領域１１ｃは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のＤスコアを表示する領域である。たとえば、図１０に示す演技リスト１１ａにおいて、競技者１０が、アザリアンまで実際に行ったものとする。この場合には、実際におこなわれた技と、続いて予測される技とを基にしたＤスコアが算出され、かかるＤスコアが、Ｄスコア領域１１ｃに表示される。実際に行われた技は、後ろ振り上がり中水平支持（２秒）、アザリアンとなる。続いて予測される技は、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りとなる。

Ｅスコア領域１１ｄは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のＥスコアを表示する領域である。たとえば、図１０に示す演技リスト１１ａにおいて、競技者１０が、アザリアンまで実際に行ったものとする。この場合には、実際に行われた技と、続いて予測される技とを基にしたＥスコアが算出され、かかるＥスコアが、Ｅスコア領域１１ｄに表示される。実際に行われた技は、後ろ振り上がり中水平支持（２秒）、アザリアンとなる。続いて予測される技は、後ろ振り上がり倒立（２秒）、ジョナサン、ヤマワキ、ホンマ十字、ほん転逆上がり倒立（２秒）、伸腕ほん転逆上がり倒立経過、後方かかえ込み２回宙返り２回ひねり下りとなる。

得点領域１１ｅは、演技開始から、競技者１０が実際に行った技と、続く技を予定通り行った場合のスコアを表示する領域である。具体的に、情報処理装置１００は、Ｄスコア領域１１ｃのＤスコアと、Ｅスコア領域１１ｄのＥスコアとを合計したスコアを、得点領域１１ｅに表示させる。

順位予測領域１１ｆは、複数の競技者に関する予測順にの情報を表示する領域である。たとえば、順位予測領域１１ｆは、順位と、競技者の名前と、予測得点と、順位の変更状況とを対応付ける。情報処理装置１００は、競技者１０の演技進行に伴い、得点領域１１ｅの更新に伴って、順位が上昇する場合には、順位の変更情報に上の印を表示する。情報処理装置１００は、順位が下降する場合には、順位の変更情報に下の印を表示する。

たとえば、図１０に示す表示画面１１を、ＴＶ中継の実況アナウンサーが参照すると、技の変更を一目で把握できるため、アナウンサーの実況をサポートすることができる。たとえば、図１０において、ノード「Ｇ３−５３」の遷移先が、ノード「Ｇ２−５２」から、ノード「Ｇ３−７０」に変更となった場合には、「予定の技Ｇ３−５３を、技Ｇ３−７０に変更して、逆転を狙ってきた」等の実況を行うことができる。また、図１０に示す表示画面１１を、視聴者が参照すると、いま行われている技の理解を補助することができるため、わくわくしながら、競技者１０の演技を参照することができる。

図１１は、演技終了後の表示画面の一例を示す図である。図１１に示す例では、表示画面１２には、映像領域１２ａと、演技リスト１２ｂと、Ｄスコア領域１２ｃと、Ｅスコア領域１２ｄと、得点領域１２ｅと、順位予測領域１２ｆとを含む。

映像領域１２ａは、競技者１０の映像データを表示する領域である。たとえば、情報処理装置１００は、カメラ６０が撮影した競技者１０の映像データを、映像領域１２ａに表示する。

演技リスト１２ｂは、競技者１０が実際に行った一連の技（演技）の情報を表示するものである。演技リスト１２ｂは、技名と、技グループと、枝番と、難度とを対応付ける。演技リスト１２ｂは、１行目の技（技名）から順に、下の行に向かって各技が実行されたことを示す。

Ｄスコア領域１２ｃは、競技者１０が実際に行った各技に基づくＤスコアを表示する領域である。Ｅスコア領域１２ｄは、競技者１０が実際に行った各技に基づくＥスコアを表示する領域である。得点領域１０ｅは、競技者１０が実際に行った技に基づくスコアを表示する領域である。

順位予測領域１２ｆは、複数の競技者に関する順位（たとえば、競技者１０の演技終了時の暫定的な順位）の情報を表示する領域である。たとえば、順位予測領域１２ｆは、順位と、競技者の名前と、得点とを対応付ける。

たとえば、図１１に示す演技開始後の表示画面１２を、ユーザ（ＴＶ中継の実況アナウンサーあるいは視聴者）が参照することで、正式な発表を待つことなく、ある程度の結果を事前に把握することができる。

続いて、本実施例１に係る情報処理装置１００の構成について説明する。図１２は、本実施例１に係る情報処理装置の構成を示す機能ブロック図である。図１２に示すように、この情報処理装置は、インタフェース部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

インタフェース部１１０は、カメラ６０、技認識装置７０と接続し、カメラ６０、技認識装置７０からデータを取得する装置である。インタフェース部１１０は、取得したデータを、制御部１５０に出力する。たとえば、インタフェース部１１０は、カメラ６０から映像データを取得する。インタフェース部１１０は、技認識装置７０から、認識結果データを取得する。

入力部１２０は、情報処理装置１００に各種の情報を入力するための入力装置である。入力部１２０は、キーボード、マウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される表示画面の情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部１３０は、図９〜図１０に示した表示画面を表示する。

記憶部１４０は、技認識ＤＢ１４１と、映像ＤＢ１４２と、演技履歴テーブル１４３と、スコアテーブル１４４と、難度テーブル１４５とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

技認識ＤＢ１４１は、技認識装置７０の認識結果データを保持するテーブルである。技認識ＤＢ１４１のデータ構造は、図８で説明した技認識ＤＢ７５のデータ構造に対応する。たとえば、技認識ＤＢ１４１は、フレーム番号と、関節位置データと、開始姿勢フラグと、終末姿勢フラグと、技グループと、技番号と、技名とを対応付ける。

映像ＤＢ１４２は、カメラ６０から取得する映像データを格納するデータベースである。図１３は、本実施例１に係る映像ＤＢのデータ構造の一例を示す図である。図１３に示すように、この映像ＤＢ１４２は、フレーム番号と、映像フレームとを対応付ける。なお、図示を省略するが、映像ＤＢ１４２は、各競技者が過去に行った演技の映像データを、競技者ＩＤと対応付けて、保持してもよい。

図１３において、フレーム番号は、各映像フレームを、一意に識別する番号である。なお、映像フレームのフレーム番号は、センシングフレームのフレーム番号と同期しているものとする。映像フレームは、カメラ６０に撮影された映像フレームである。

演技履歴テーブル１４３は、競技者１０や他の競技者が過去に行った演技の履歴に関する情報を保持するテーブルである。図１４は、本実施例１に係る演技履歴テーブルのデータ構造の一例を示す図である。図１４に示すように、この演技履歴テーブル１４３は、競技者ＩＤ、日付、大会ＩＤ、演技構成情報、得点、演技時間を対応付ける。

競技者ＩＤは、競技者を一意に識別する情報である。日付は、競技者が演技を行った日付を示すものである。大会ＩＤは、大会を一意に識別する情報である。演技構成情報は、該当する大会において、競技者が行った演技の構成を示す情報である。得点は、該当する大会における競技者の得点を示す。たとえば、得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。演技時間は、競技者が行った演技の時間を示す。

また、図示を省略するが、演技履歴テーブル１４３は、後述するＥスコアを算出する処理を支援するために、競技者ＩＤ毎に、各グループおよび技番号に対応するＥスコアの履歴を更に保持しておくものとする。

図１５は、演技構成情報の一例を示す図である。図１５では一例として、図１４の１列目に含まれる、大会ＩＤ「Ａ１０１」の大会において競技者ＩＤ「Ｕ１００１」が行った演技構成情報を示す。図１５に示すように、演技構成情報は、順番と、技名と、技グループと、技番号と、難度とを対応付ける。順番は、競技者が該当する技名の技を行った順番を示すものである。技名、技グループ、技番号、難度に関する説明は、上記の説明と同様である。

スコアテーブル１４４は、各競技者の得点に関する情報を保持するテーブルである。図１６は、本実施例１に係るスコアテーブルのデータ構造の一例を示す図である。図１６に示すように、このスコアテーブル１４４は、競技者ＩＤと、予測得点と、得点とを対応付ける。図１６において、競技者ＩＤは、競技者を一意に識別する情報である。予測得点は、競技者の予測される得点である。予測得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。得点は、競技者が演技を行った後の実際の得点である。得点には、Ｄスコアと、Ｅスコアと、得点（ＤスコアとＥスコアとの合計得点）とが含まれる。

難度テーブル１４５は、Ｄスコアを算出する場合に用いられる難度と得点とを対応付けるテーブルである。図１７は、本実施例１に係る難度テーブルのデータ構造の一例を示す図である。図１７に示すように、この難度テーブル１４５は、技グループと、技番号と、難度と、得点とを対応付ける。

制御部１５０は、登録部１５１と、前処理部１５２と、画面生成部１５３とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

登録部１５１は、競技者１０の演技が開始された場合に、技認識装置７０から、認識結果データを取得し、取得した認識結果データを、技認識ＤＢ１４１に登録する処理部である。また、登録部１５１は、競技者１０の競技が開始された場合に、カメラ６０から映像データを取得し、取得した映像データを、映像ＤＢ１４２に登録する。

前処理部１５２は、演技履歴テーブル１４３から、競技者１０の実施予定の複数の技を含む「予定演技情報」を取得する。また、前処理部１５２は、予定演技情報から、複数の技が成功した場合の予測得点を算出し、予測演技の予測得点を表示する画面情報を生成する。たとえば、予測演技の予測得点を表示する画面情報は、図９で説明した表示画面１０Ａの情報に対応する。前処理部１５２が算出する予測得点は、第一の予測スコアに対応する。

ここで、前処理部１５２が、演技履歴テーブル１４３から、「予定演技情報」を取得する処理の一例について説明する。たとえば、前処理部１５２は、入力部１２０から、対象となる競技者の競技者ＩＤを受け付けると、受け付けた競技者ＩＤに対応する複数の演技構成情報を、演技履歴テーブル１４３から取得する。前処理部１５２は、複数の演技構成情報に含まれる順番および技（技名）の組をそれぞれ比較し、順番毎に、最も頻度が高い技を特定していくことで、「演技遷移フロー情報」を生成する。また、前処理部１５２は、ある技からの遷移先が、複数存在する場合には、各遷移先の技に移行する確率を合わせて算出する。

図１８は、演技遷移フロー情報の一例を示す図である。図１８に示すように、この演技遷移フロー情報２０は、開始を示すノードと、技を示す複数のノードとが接続されている。たとえば、技を示すノードには、技グループと、技番号との組が付与される。また、ある技から次の技に遷移する際に、遷移先の候補が複数存在する場合には、遷移先に遷移する確率が付与される。

図１８に示すように、開始のノードからノード「Ｇ３−５３」に遷移することが示される。ノード「Ｇ３−５３」の遷移先は、ノード「Ｇ３−７０」およびノード「Ｇ２−５２」である。ノード「Ｇ３−５３」からノード「Ｇ３−７０」に遷移する確率は「６０％」である。一方、ノード「Ｇ３−５３」からノード「Ｇ２−５２」に遷移する確率は「４０％」である。また、ノード「Ｇ３−７０」の遷移先は、ノード「Ｇ２−５２」である。

ノード「Ｇ２−５２」の遷移先は、ノード「Ｇ３−９４」およびノード「Ｇ１−８７」である。ノード「Ｇ２−５２」からノード「Ｇ１−８７」に遷移する確率は「６０％」である。一方、ノード「Ｇ２−５２」からノード「Ｇ３−９４」に遷移する確率は「４０％」である。また、ノード「Ｇ３−９４」の遷移先は、ノード「Ｇ１−８７」である。

ノード「Ｇ１−８７」に続く、ノードの遷移先は、順に、ノード「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。

ここでは一例として、前処理部１５２が、演技遷移フロー情報を生成する場合ついて説明したがこれに限定されるものではない。競技者ＩＤ毎に、演技遷移フロー情報が予め生成されており、前処理部１５２は、かかる演技遷移フロー情報を取得して利用してもよい。

前処理部１５２は、演技遷移フロー情報２０を基にして、最も確からしい、競技者が行う技の順番を特定する。前処理部１５２は、演技遷移フロー情報２０の開始ノードから技のノードを辿っていき、技の遷移先が複数存在する場合には、確率の高い方のノードに遷移することで、技の順番を特定する。

たとえば、図１８に示す演技遷移フロー情報２０では、競技者が行う技の順番は、開始ノードから、ノード「Ｇ３−５３」、「Ｇ３−７０」、「Ｇ２−５２」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。上述した処理により、前処理部１５２が特定した技の種別および技の順番が、「予定演技情報」となる。前処理部１５２は、予定演技情報と、演技遷移フロー情報とを、画面生成部１５３に出力する。

続いて、前処理部１５２は、予定演技情報のＤスコアを算出する処理について説明する。前処理部１５２は、予定演技情報に含まれる技と、難度テーブル１４５とを比較して、技毎の得点を特定する。前処理部１５２は、特定した技毎の得点を合計することで、予定演技情報に対応するＤスコアを算出する。たとえば、予定演技情報に対応するＤスコアは、図９のＤスコア領域１０ｃに表示されるスコアである。

前処理部１５２は、予定演技情報のＥスコアを算出する処理について説明する。前処理部１５２は、予定演技情報に含まれる技と、競技者ＩＤと、演技履歴テーブル１４３とを比較して、技毎のＥスコアを特定する。前処理部１５２は、特定した技毎のＥスコアを合計することで、予定演技情報に対応するＥスコアを算出する。たとえば、予定演技情報に対応するＥスコアは、図９のＤスコア領域１０ｄに表示されるスコアである。

前処理部１５２は、予定演技情報の得点を算出する処理について説明する。前処理部１５２は、予定演技情報のＤスコアとＥスコアとを合計することで、予定演技情報の得点を算出する。たとえば、予定演技情報に対応する得点は、図９の得点領域１０ｅに表示されるスコアである。

前処理部１５２は、算出したＤスコア、Ｅスコア、得点と、競技者ＩＤとを対応付けて、スコアテーブル１４４に格納する。なお、前処理部１５２が算出するＤスコア、Ｅスコア、得点は、スコアテーブル１４４の予測得点の項目に対応する情報となる。

画面生成部１５３は、競技者１０の演技開始前において、図９に示した表示画面１０Ａの情報を生成し、表示部１３０に出力して表示させる。画面生成部１５３は、競技者１０の演技中において、図１０に示した表示画面１１の情報を生成し、表示部１３０に出力して表示させる。画面生成部１５３は、競技者１０の演技終了後において、図１１に示した表示画面１２の情報を生成し、表示部１３０に出力して表示させる。たとえば、画面生成部１５３は、実施済みの技のスコアと、予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の実演技全体の第三の予測スコアを予測する。たとえば、図１８において、技の順番が、「Ｇ３−５３」、「Ｇ３−７０」、「Ｇ２−５２」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」とし、「Ｇ２−５２」まで実施済みとする。この場合には、第二の予測スコアは、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」のスコアとなる。第三の予測スコアは、実施済みの「Ｇ３−５３」、「Ｇ３−７０」、「Ｇ２−５２」のスコアと、第二の予測スコアとを合計したスコアとなる。詳細については後述する。

画面生成部１５３が、競技者１０の「演技開始前」において、表示画面１０Ａの情報を生成する処理の一例について説明する。表示画面１０Ａには、映像領域１０ａ、予測演技リスト１０ｂ、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆが含まれる。

画面生成部１５３は、入力部１２０から対象となる競技者の競技者ＩＤを受け付けると、受け付けた競技者ＩＤに対応する過去の映像データを、映像ＤＢ１４２から取得し、映像領域１０ａに表示させる情報とする。

画面生成部１５３は、予定演技情報を基にして、技名、技グループ、技番、難度の組の情報を予測される技の順番に並べることで、予測演技リスト１０ｂを生成する。

画面生成部１５３は、入力部１２０から受け付けた競技者ＩＤに対応する予測得点をスコアテーブル１４４から取得する。画面生成部１５３は、予測得点に含まれるＤスコア、Ｅスコア、得点を、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅに表示させる情報とする。

画面生成部１５３は、対象となる競技者の競技者ＩＤと、今回の大会に参加する他の競技者の競技者ＩＤとを取得する。以下の説明では適宜、対象となる競技者を、第１競技者と表記し、比較対象となる他の競技者を第２競技者と表記する。画面生成部１５３は、第２競技者の得点を、第２競技者の競技者ＩＤと、スコアテーブル１４４との比較により取得する。画面生成部１５３は、第２競技者の演技が終わり、スコアテーブル１４４の得点に情報が格納されている場合には、係る得点の情報を取得する。一方、画面生成部１５３は、第２競技者の演技が演技前であり、スコアテーブル１４４の得点に情報が格納されていない場合には、予測得点の情報を取得する。

画面生成部１５３は、第１競技者の得点（演技前の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１０ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。

画面生成部１５３は、映像領域１０ａ、予測演技リスト１０ｂ、Ｄスコア領域１０ｃ、Ｅスコア領域１０ｄ、得点領域１０ｅ、順位予測領域１０ｆに対応する情報を生成して配置することで、表示画面１０Ａの情報を生成する。

続いて、画面生成部１５３が、競技者１０の「演技中」において、表示画面１１の情報を生成する処理の一例について説明する。図１０で説明したように、表示画面１１には、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆが含まれる。画面生成部１５３は、競技者１０の演技の進行に伴って、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆに表示する情報を更新していく。

画面生成部１５３が、演技リスト１１ａの情報を更新する処理の一例について説明する。まず、画面生成部１５３は、予定演技情報に示される各技の順番に従って、演技リスト１１ａの初期情報を生成する。

競技者１０の演技が開始されると、技認識装置７０による認識結果データの出力が開始され、認識結果データが、技認識ＤＢ１４１に格納される。画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報とを比較する。

画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、演技リスト１１ａを初期情報のままにする。また、画面生成部１５３は、演技リスト１１ａにおいて、現在競技者１０が行っている技の技名に対応する箇所を、強調表示してもよい。たとえば、競技者１０が、現在、技名「アザリアン」の技を行っている場合には、演技リスト１１ａに含まれる「アザリアン」の項目を強調表示する。

一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、演技リスト１１ｂの情報を更新する。たとえば、画面生成部１５３は、ノード「Ｇ３−５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ２−５２」の技であった場合には、確率の低い方に遷移しており、演技リスト１１ｂの情報を更新する。画面生成部１５３は、ノード「Ｇ２−５２」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３−９４」の技であった場合には、確率の低い方に遷移しており、演技リスト１１ｂの情報を更新する。

更新前の演技リスト１１ｂの技の順番は、「Ｇ３−５３」、「Ｇ３−７０」、「Ｇ２−５２」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」とする。これに対して、更新後の演技リスト１１の技の順番は、「Ｇ３−５３」、「Ｇ２−５２」、「Ｇ３−９４」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。

たとえば、画面生成部１５３は、演技リスト１１ａの情報を、図１９に示すように更新する。図１９は、本実施例１に係る画面生成部の処理の一例を説明するための図（１）である。図１９において、演技リスト１１ａ−１は、更新前の演技リストである。演技リスト１１ａ−２は、更新後の演技リストである。図１９に示すように、演技リスト１１ａ−１の２番目の技「後ろ振り上がり水平支持（２秒）＜Ｇ３−７０＞」が、演技リスト１１ａ−２から削除されている。また、演技リスト１１ａ−２の３番目には、演技リスト１１ａ−１にはない技「後ろ振り上がり十字倒立（２秒）＜Ｇ３−９４＞」が追加されている。

画面生成部１５３が、演技遷移情報１１ｂを更新する処理の一例について説明する。まず、画面生成部１５３は、演技遷移フロー情報２０に対応させて、開始ノードおよび技のノードを配置することで、演技遷移情報１１ｂを生成する。

競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、取得した技に対応する技のノードを順番に強調表示する。

画面生成部１５３が、Ｄスコア領域１１ｃを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測されたＤスコアを取得する。画面生成部１５３は、取得したＤスコアを、Ｄスコア領域１１ｃに設定する。

競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。

画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、Ｄスコア領域１１ｃに表示させるＤスコアを、そのままにする。

一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明をおこなう。たとえば、画面生成部１５３は、ノード「Ｇ３−５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３−５２」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。

競技者１０が行う更新前の技の内容は、「Ｇ３−５３」、「Ｇ３−７０」、「Ｇ２−５２」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。これに対して、競技者１０が行う更新後の技の内容は、「Ｇ３−５３」、「Ｇ２−５２」、「Ｇ３−９４」、「Ｇ１−８７」、「Ｇ１−５２」、「Ｇ１−５１」、「Ｇ３−１６」、「Ｇ１−８１」、「Ｇ１−２６」、「Ｇ４−４１」となる。

画面生成部１５３は、更新後の技と、難度テーブル１４５とを比較して、技毎の得点を特定する。画面生成部１５３は、特定した技毎の得点を合計することで、更新後の技に対応するＤスコアを新たに算出する。画面生成部１５３は、算出したＤスコアを、Ｄスコア領域１１ｃに表示させる。また、画面生成部１５３は、新たに算出したＤスコアを表示する場合に、Ｄスコア領域１１ｃのＤスコアを強調表示させてもよい。また、画面生成部１５３は、算出したＤスコアにより、スコアテーブル１４４のＤスコア（予測得点のＤスコア）を更新する。

画面生成部１５３が、Ｅスコア領域１１ｄを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測されたＥスコアを取得する。画面生成部１５３は、取得したＥスコアを、Ｅスコア領域１１ｄに設定する。

競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。

画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、Ｅスコア領域１１ｄに表示させるＥスコアを、そのままにする。

一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明をおこなう。たとえば、画面生成部１５３は、ノード「Ｇ３−５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３−７０」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。更新前の技の内容および更新後の技の内容は、Ｄスコア領域１１ｃを更新する処理で行ったものと同様である。

画面生成部１５３は、更新後の技と、演技履歴テーブル１４３とを比較して、技毎のＥスコアを特定する。画面生成部１５３は、特定した技毎のＥスコアを合計することで、更新後の技に対応するＥスコアを新たに算出する。画面生成部１５３は、算出したＥスコアを、Ｅスコア領域１１ｄに設定する。また、画面生成部１５３は、新たに算出したＥスコアを表示する場合に、Ｅスコア領域１１ｄのＥスコアを強調表示させてもよい。また、画面生成部１５３は、算出したＤスコアにより、スコアテーブル１４４のＥスコア（予測得点のＥスコア）を更新する。

画面生成部１５３が、得点領域１１ｅを更新する処理の一例について説明する。まず、画面生成部１５３は、競技者１０の競技者ＩＤと、スコアテーブル１４４とを比較して、予測得点の項目から、競技者１０の予測された得点を取得する。画面生成部１５３は、取得した得点を、得点領域１１ｅに設定する。

競技者１０の演技が開始されると、画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報と比較する。

画面生成部１５３は、競技者１０による技の遷移先が、確率の高い方に遷移した場合には、得点領域１１ｅに表示させる得点を、そのままにする。

一方、画面生成部１５３は、競技者１０による技の遷移先が、確率の低い方に遷移した場合には、演技遷移フロー情報を基にして、競技者１０が行う技の内容を更新する。一例として、図１８に示した演技遷移フロー情報２０を用いて説明を行う。たとえば、画面生成部１５３は、ノード「Ｇ３−５３」に対応する技の次に、競技者１０が行った技が、ノード「Ｇ３−７０」の技であった場合には、確率の低い方に遷移しており、競技者１０が行う技の内容を更新する。更新前の技の内容および更新後の技の内容は、Ｄスコア領域１１ｃを更新する処理で行ったものと同様である。

画面生成部１５３は、Ｄスコア領域１１ｃを更新する処理と同様にして、更新後の技に対応するＤスコアを算出する。画面生成部１５３は、Ｅスコア領域１１ｄを更新する処理と同様にして、更新後の技に対応するＥスコアを算出する。画面生成部１５３は、更新後の技に対応するＤスコアとＥスコアとを合計することで、更新後の得点を算出する。

画面生成部１５３は、算出した更新後の得点を、得点領域１１ｅに設定する。画面生成部１５３は、新たに算出した得点を表示する場合に、得点領域１１ｅの得点を強調表示させてもよい。また、画面生成部１５３は、算出した得点により、スコアテーブル１４４の得点（予測得点の得点）を更新する。

画面生成部１５３が、順位予測領域１１ｆの情報を更新する処理の一例について説明する。画面生成部１５３は、スコアテーブル１４４を参照して、第１競技者の得点と、複数の第２競技者の得点とを取得する。

第１競技者の得点は、スコアテーブル１４４において、演技を行っている競技者の競技者ＩＤに対応する、予測得点の項目の得点である。第２競技者の得点は、該当する第２競技者の演技が終了している場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、得点項目の得点である。または、第２競技者の得点は、該当する第２競技者の演技が終了していない場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、予測得点の項目の得点である。

画面生成部１５３は、第１競技者の得点（演技中の予測の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１１ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。

画面生成部１５３は、第１競技者の得点が更新される度に、上記処理を繰り返し実行することで、順位予測領域１１ｆの情報を更新する。画面生成部１５３は、競技者の順位が更新前の順位と比較して上がった場合には、該当する競技者名の隣に上矢印を表示させる。画面生成部１５３は、競技者の順位が更新前の順位と比較して下がった場合には、該当する競技者名の隣に下矢印を表示させる。

続いて、画面生成部１５３が、競技者１０の「演技終了後」において、表示画面１２の情報を生成し、表示部１３０に出力して表示させる。表示画面１２には、映像領域１２ａと、演技リスト１２ｂ、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅ、順位予測領域１２ｆが含まれる。

画面生成部１５３は、技認識ＤＢ１４１を参照して、競技者１０が実際に行った技を順番に取得し、実際に行った技と、演技遷移フロー情報とを比較し、演技遷移フロー情報の最後のノードに到達した場合に、競技者１０の演技が終了したと判定する。たとえば、図１８に示した演技遷移フロー情報２０を用いて説明すると、競技者１０の技が、ノード「Ｇ４−４１」に対応する技に到達した場合に、競技者１０の演技が終了したと判定する。

画面生成部１５３が、映像領域１２ａに情報を表示する処理について説明する。画面生成部１５３は、演技を行った競技者の映像データを、映像ＤＢ１４２から取得し、取得した映像データを、映像領域１２ａに表示させる。

画面生成部１５３が、演技リスト１２ｂに情報を表示する処理について説明する。画面生成部１５３は、競技者１０が演技を終了した時点において、表示画面１１の演技リスト１１ａに表示されている情報を、演技リスト１２ｂの情報として利用する。

画面生成部１５３が、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに情報を表示する処理について説明する。画面生成部１５３は、競技者１０が演技を終了した時点において、表示画面１１のＤスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅに設定されていたＤスコア、Ｅスコア、得点を、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに設定する。

画面生成部１５３は、Ｄスコア領域１２ｃ、Ｅスコア領域１２ｄ、得点領域１２ｅに設定したＤスコア、Ｅスコア、得点の情報を、競技者ＩＤと対応付けて、スコアテーブル１４４の得点の項目に登録する。

画面生成部１５３が、順位予測領域１２ｆに情報を表示する処理について説明する。画面生成部１５３は、スコアテーブル１４４を参照して、第１競技者の得点と、複数の第２競技者の得点とを取得する。

第１競技者の得点は、スコアテーブル１４４において、演技を終了した競技者の競技者ＩＤに対応する、得点項目の得点である。第２競技者の得点は、該当する第２競技者の演技が終了している場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、得点項目の得点である。または、第２競技者の得点は、該当する第２競技者の演技が終了していない場合には、スコアテーブル１４４において、第２競技者の競技者ＩＤに対応する、予測得点の項目の得点である。

画面生成部１５３は、第１競技者の得点（演技中の予測の得点）と、複数の第２競技者の得点（演技前または演技後の得点）とを比較して、競技者の順位を判定する。画面生成部１５３は、順位と、競技者の名前と、得点とを対応付けることで、順位予測領域１２ｆの情報を生成する。たとえば、画面生成部１５３は、競技者ＩＤと競技者名とを対応付けたテーブル（図示略）を参照して、競技者ＩＤに対応する競技者名を特定する。また、画面生成部１５３は、直近の順位と比較して、競技者の順位に変動がある場合には、矢印の方向を表示して、順位の変動を可視化してもよい。すなわち、画面生成部１５３は、競技者の順位が更新前の順位と比較して上がった場合には、該当する競技者名の隣に上矢印を表示させる。画面生成部１５３は、競技者の順位が更新前の順位と比較して下がった場合には、該当する競技者名の隣に下矢印を表示させる。

続いて、競技者１０の演技開始から演技終了までの間における、表示画面１１の演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅの情報の変化の一例について、図２０を用いて説明する。

図２０は、本実施例１に係る画面生成部の処理の一例を説明するための図（２）である。図２０では一例として、競技者１０が演技を開始し、「Ｇ３−５３」の技の次に、予定とは異なる技（「Ｇ２−５２」の技）を実行し、その後は、予定通りの演技を行った場合について説明する。

ステップＳ１０について説明する。ステップＳ１０において、演技前の表示画面には、演技遷移情報１１ｂ−１と、Ｄスコア領域１１ｃ−１と、Ｅスコア領域１１ｄ−１と、得点領域１１ｅ−１とが含まれる。

画面生成部１５３は、演技遷移情報１１ｂ−１に、演技遷移フロー情報２０を表示させる。画面生成部１５３は、予定演技情報のＤスコア、Ｅスコア、得点を算出し、Ｄスコア領域１１ｃ−１と、Ｅスコア領域１１ｄ−１と、得点領域１１ｅ−１にそれぞれ表示させる。Ｄスコア領域１１ｃ−１と、Ｅスコア領域１１ｄ−１と、得点領域１１ｅ−１に表示されるＤスコア、Ｅスコア、得点は、競技者１０が予定通り演技（予定演技情報の演技）を行った場合の、Ｄスコア、Ｅスコア、得点となる。

ステップＳ１１について説明する。ステップＳ１１において、演技中の表示画面には、演技遷移情報１１ｂ−２と、Ｄスコア領域１１ｃ−２と、Ｅスコア領域１１ｄ−２と、得点領域１１ｅ−２とが含まれる。

画面生成部１５３は、技認識ＤＢ１４１を参照し、「Ｇ３−５３」の技から「Ｇ２−５２」の技に遷移した場合には、演技遷移情報１１ｂ−２の「Ｇ３−５３」の技から「Ｇ２−５２」の技へ遷移する線を強調表示する。画面生成部１５３は、Ｄスコア領域１１ｃ−１と、Ｅスコア領域１１ｄ−１と、得点領域１１ｅ−１の情報を更新する。なお、「Ｇ３−７０」の技の難度と、「Ｇ２−５２」の技の難度は同じ「Ｄ」難度であるため、Ｄスコア領域１１ｃ−２のＤスコアと、Ｄスコア領域１１ｃ−１のＤスコアとは同一となる。

「Ｇ３−５３」の技から「Ｇ２−５２」の技に遷移し、本来実行予定であった「Ｇ３−７０」の技が行われないことで、Ｅスコアは「８．２００」に更新される。画面生成部１５３は、Ｅスコア領域１１ｄ−２にＥスコア「８．２００」を表示する。また、Ｅスコアが更新に応じて、画面生成部１５３は、得点領域１１ｅ−２に得点「１３．９００」を表示させる。

ステップＳ１２について説明する。ステップＳ１２において、演技中から演技終了までの表示画面には、演技遷移情報１１ｂ−３、Ｄスコア領域１１ｃ−３と、Ｅスコア領域１１ｄ−３と、得点領域１１ｅ−３とが含まれる。「Ｇ２−５２」の技以降において、競技者１０が予定通りの演技を行った場合には、画面生成部１５３は、Ｄスコア領域１１ｃ−３、Ｅスコア領域１１ｄ−３、得点領域１１ｅ−３には、Ｄスコア領域１１ｃ−２、Ｅスコア領域１１ｄ−２、得点領域１１ｅ−２と同様の情報が表示される。

次に、本実施例１に係る情報処理装置１００の処理手順の一例について説明する。図２１は、本実施例１に係る情報処理装置の処理手順を示すフローチャートである。図２１に示すように、情報処理装置１００の前処理部１５２は、演技履歴テーブル１４３から、予定演技情報を取得する（ステップＳ１０１）。前処理部１５２は、予定演技情報に含まれる各技が成功した場合の予測スコアを算出する（ステップＳ１０２）。

情報処理装置１００の画面生成部１５３は、予測スコアを表示する表示画面を生成し、表示部１３０に表示させる（ステップＳ１０３）。たとえば、ステップＳ１０３で表示される表示画面は、図９で説明した表示画面１０Ａに対応する。画面生成部１５３は、演技中処理を実行する（ステップＳ１０４）。

続いて、図２１のステップＳ１０４に示した演技中処理の一例について説明する。図２２は、演技中処理の処理手順を示すフローチャートである。図２２に示すように、情報処理装置１００の画面生成部１５３は、競技者１０の演技が開始された場合に、実施中の演技の認識結果データを取得する（ステップＳ２０１）。

画面生成部１５３は、認識結果データと、演技遷移フロー情報とを比較する（ステップＳ２０２）。画面生成部１５３は、実施中の技が予定の技と異なる場合には（ステップＳ２０３，Ｙｅｓ）、予測スコアを更新して（ステップＳ２０４）、ステップＳ２０５に移行する。

一方、画面生成部１５３は、実施中の技が予定の技と異ならない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０５に移行する。画面生成部１５３は、表示画面を更新して表示する（ステップＳ２０５）。たとえば、ステップＳ２０５で表示される表示画面は、図１０で説明した表示画面１１に対応する。

画面生成部１５３は、演技が終了した場合には（ステップＳ２０６，Ｙｅｓ）、演技終了時の表示画面を表示する（ステップＳ２０７）。たとえば、ステップＳ２０７で表示される表示画面は、図１１で説明した表示画面１２に対応する。

一方、画面生成部１５３は、演技が終了していない場合には（ステップＳ２０６，Ｎｏ）、次の認識結果データを取得し（ステップＳ２０８）、ステップＳ２０２に移行する。

次に、本実施例１に係る情報処理装置１００の効果について説明する。情報処理装置１００は、演技開始前において、予定演技情報に対する予測スコアを算出し、算出した予測スコアを表示する。演技が開始されると、情報処理装置１００は、演技の進行に伴って、予定の技が変更されたか否かを判定し、予定の技が変更された場合には、これから実施される可能性の高い未実施の技を予測することで、一連の予定技を更新し、更新した一連の予測技に基づく予測スコアを更新し、更新した予測スコアを表示画面に表示させる。これにより、採点競技における予定演技の予測スコアと、演技の進行に伴う予測スコアとを提供することができる。

情報処理装置１００は、競技者１０の演技開始前において、図９に示した表示画面１０Ａを表示させる。たとえば、アナウンサーが、表示画面１０Ａの順位予測領域１０ｆを参照することで、演技者の順位変動が生じる得点ラインを把握することができる。たとえば、これから演技を行う競技者を「富士太郎」とすると、アナウンサーは、表示画面を見ながら、「予定演技のままでは１位になれないようで、きっと演技を変えてくるでしょう」等のコメントを容易に発言することができる。

情報処理装置１００は、競技者１０の演技中において、図１０に示した表示画面１１を表示させる。たとえば、アナウンサーが、表示画面１１の演技遷移情報１１ｂを参照することで、競技者１０が行う技が「Ｇ３−７０」の技から、「Ｇ２−５２」の技に変更されたことをリアルタイムに把握することができる。また、技が「Ｇ３−７０」の技から、「Ｇ２−５２」の技に変更されることにより、Ｅスコア領域１１ｄのＥスコアが上がった場合には、競技者１０は、得意な技にシフトしたことを確認することができる。これにより、アナウンサーは、表示画面を見ながら、「予定演技の技（Ｇ３−７０）を、本番で完成度の高い技（Ｇ２−５２）に変えてきた！過去の演技ではこちらの演技構成の方がＥスコアが１．０高くなっています。」等のコメントを容易に発言することができる。

一方、視聴者が、表示画面１１の演技遷移情報１１ｂを参照すると、逆転の可能性を感じながら、中継をわくわくしながら視聴することができる。たとえば、図１０の表示画面１１において、現在の技が「Ｇ３−５３」である場合に、視聴者は、競技者１０に関する過去の演技の知識がなくても、次は「Ｇ３−７０」の技を演技者が行うことを事前に予測できるが、技を「Ｇ２−５２」に変更して逆転を狙うのか等、競技者１０の駆け引きを楽しむことができる。

情報処理装置１００は、競技者１０の演技終了時において、図１１に示した表示画面１２を表示させる。たとえば、アナウンサーが、表示画面１２の順位予測領域１２ｆの情報を参照することで、最終的なスコアが、審判員から発表される前に、予想スコアを把握することができる。たとえば、「富士太郎さんは暫定１位に浮上する可能性が高いですね」等のコメントを容易に発言することができる。

図２３は、本実施例２に係るシステムの一例を示す図である。図２３に示すように、このシステムは、３Ｄレーザセンサ５０と、カメラ６０と、情報処理装置２００とを有する。情報処理装置２００は、３Ｄレーザセンサ５０と、カメラ６０に接続される。本実施例２では一例として、競技者１０は、３Ｄレーザセンサ５０およびカメラ６０の前方で体操演技を行う場合について説明するが、競技者１０が他の採点競技を行う場合にも同様に適用することができる。

３Ｄレーザセンサ５０は、競技者１０に対して３Ｄセンシングを行うセンサである。３Ｄレーザセンサ５０は、センシング結果となるセンシングデータを、情報処理装置２００に出力する。

カメラ６０は、競技者１０の映像データを撮影する装置である。カメラ６０は、映像データを、情報処理装置２００に出力する。

情報処理装置２００は、競技者１０が過去に行った演技構成の履歴を基にして、競技者１０の一連の予定演技から算出される予測スコアを表示する装置である。また、情報処理装置２００は、競技者１０の実際の演技の進行に伴って、競技者１０の演技が変更になった場合には、後の予測演技を更新しつつ、演技更新に応じて、予測スコアを更新する。

また、情報処理装置２００は、図１で説明した技認識装置７０の機能を有し、３Ｄレーザセンサ５０から出力されるセンシングデータを基にして、競技者１０の技を認識する。ここで、情報処理装置２００は、競技者１０の技を認識する場合には、センシングデータから特定される開始姿勢に基づいて、技を予測して表示する。

たとえば、競技者１０が現在行っている技の次の技が、複数存在するものとし、次の技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」、「他の技」であったものとする。情報処理装置２００は、センシングデータから特定される開始姿勢が「後ろ振り上がり」であると判定した時点で、終末姿勢の認識を待たなくても、次の行う技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」のどちらかであることが判定できる。情報処理装置２００は、推定した「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」を、表示画面に表示させる。

図２４は、本実施例２に係る情報処理装置が表示する表示画面の一例を示す図である。たとえば、情報処理装置２００は、次の行う技が、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」のどちらかであると判定した場合には、表示画面１３に示すように、「後ろ振り上がり十字倒立（２秒）」、「後ろ振り上がり倒立（２秒）」の技名を強調表示する。この表示画面１３を参照することで、終末時の姿勢を見ることなく、競技者１０が行おうとする技を前もって把握することができる。

次に、本実施例２に係る情報処理装置２００の構成について説明する。図２５は、本実施例２に係る情報処理装置の構成を示す機能ブロック図である。図２５に示すように、情報処理装置２００は、インタフェース部２１０と、入力部２２０と、表示部２３０と、記憶部２４０と、制御部２５０とを有する。

インタフェース部２１０は、３Ｄレーザセンサ５０、カメラ６０と接続し、３Ｄレーザセンサ５０、カメラ６０からデータを取得する装置である。インタフェース部２１０は、取得したデータを、制御部２５０に出力する。たとえば、インタフェース部２１０は、３Ｄレーザセンサ５０から、センシングデータを取得する。インタフェース部２１０は、カメラ６０から、映像データを取得する。

入力部２２０は、情報処理装置２００に各種の情報を入力するための入力装置である。入力部２２０は、キーボード、マウス、タッチパネル等に対応する。

表示部２３０は、制御部２５０から出力される表示画面の情報を表示する表示装置である。表示部２４０は、液晶ディスプレイ、タッチパネル等に対応する。たとえば、表示部２３０は、図９〜図１０に示した表示画面を表示する。

記憶部２４０は、センシングＤＢ２４１、関節定義データ２４２、関節位置ＤＢ２４３、技判定テーブル２４４、技認識ＤＢ２４５を有する。また、記憶部２４０は、映像ＤＢ２４６、演技履歴テーブル２４７、スコアテーブル２４８、難度テーブル２４９を有する。記憶部２４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。

センシングＤＢ２４１は、３Ｄレーザセンサ５０から取得するセンシングデータを格納するＤＢである。センシングＤＢ２４１のデータ構造は、実施例１で説明したセンシングＤＢ７１のデータ構造と同様である。

関節定義データ２４２は、競技者１０の各関節位置を定義するものである。関節定義データ２４２のデータ構造は、実施例１で説明した関節定義データ７２のデータ構造と同様である。

関節位置ＤＢ２４３は、３Ｄレーザセンサ５０のセンシングデータを基に生成される競技者１０の各関節の位置データである。関節位置ＤＢ２４３のデータ構造は、実施例１で説明した関節位置ＤＢ７３のデータ構造と同様である。

技判定テーブル２４４は、競技者１０が行う技を判定する際に用いるテーブルである。技判定テーブル２４４のデータ構造は、実施例１で説明した技判定テーブル７４のデータ構造と同様である。

技認識ＤＢ２４５は、技の認識結果データを格納するＤＢである。技認識ＤＢ２４５のデータ構造は、実施例１で説明した技認識ＤＢ７５のデータ構造と同様である。

映像ＤＢ２４６は、カメラ６０から取得する映像データを格納するＤＢである。映像ＤＢ２４６のデータ構造は、実施例１で説明した映像ＤＢ１４２のデータ構造と同様である。

演技履歴テーブル２４７は、競技者１０や他の競技者が過去に行った演技の履歴に関する情報を保持するテーブルである。演技履歴テーブル２４７のデータ構造は、実施例１で説明した演技履歴テーブル１４３のデータ構造と同様である。

スコアテーブル２４８は、各競技者の得点に関する情報を保持するテーブルである。スコアテーブル２４８のデータ構造は、実施例１で説明したスコアテーブル１４４のデータ構造と同様である。

難度テーブル２４９は、Ｄスコアを算出する場合に用いられる難度と得点とを対応付けるテーブルである。難度テーブル２４９のデータ構造は、実施例１で説明した難度テーブル１４５のデータ構造と同様である。

制御部２５０は、登録部２５１と、認識部２５２と、前処理部２５３と、画面生成部２５４とを有する。制御部２５０は、ＣＰＵやＭＰＵなどによって実現できる。また、制御部２５０は、ＡＳＩＣやＦＰＧＡなどのハードワイヤードロジックによっても実現できる。

登録部２５１は、３Ｄレーザセンサ５０から、センシングデータを取得し、取得したセンシングデータを、センシングＤＢ２４１に登録する。登録部２５１は、カメラ６０から、映像データを取得し、取得した映像データを、映像ＤＢ２４６に格納する。

認識部２５２は、センシングＤＢ２４１に格納されたセンシングデータを基にして、競技者１０の技を認識する処理部である。認識部２５２は、センシングデータの各フレーム番号と、各認証結果とをそれぞれ対応付けた認識結果データを生成する。認識部２５２は、認識結果データを、技認識ＤＢ２４５に格納する。

認識部２５２は、センシングＤＢ２４１のセンシングフレームと、関節定義データ２４２に定義された各関節の位置関係とを比較して、センシングフレームに含まれる各関節の種別および関節の３次元座標を特定する。認識部２５２は、センシングＤＢ２４１のフレーム番号毎に上記処理を繰り返し実行し、各関節の３次元座標の情報を、関節位置ＤＢ２４３に格納する。

認識部２５２は、フレーム番号毎に、各関節の３次元座標の情報と、技判定テーブル２４４とを比較して、開始姿勢および終末姿勢を特定する。また、認識部２５２は、特定した開始姿勢および終末姿勢の組合せと、技判定テーブル２４４とを比較することで、フレーム番号に対応する技グループ、技番号、技名を特定する。

認識部２５２は、フレーム番号、関節位置データ、開始姿勢フラグ、終末姿勢フラグ、技グループ、技番号、技名を対応付けた情報を、技認識ＤＢ２４５に格納する。

ここで、本実施例２に係る認識部２５２は、センシングＤＢ２４１に格納されるセンシングデータを基にして、技の認識を行う場合に、センシングデータから特定される開始姿勢に基づいて、技を予測してもよい。認識部２５２は、開始姿勢から予測した技の情報を、画面生成部２５４に出力する。

図２６は、本実施例２に係る認識部の処理を説明するための図である。たとえば、認識部２５２は、演技遷移フロー情報を基にして、図２６に示すような各技の遷移先を判定する。図２６に示すように、技「後ろ振り上がり中水平支持（２秒）」の後に、「後ろ振り上がり水平支持（２秒）」または「アザリアン：伸腕伸身逆上がり十字懸垂（２秒）」が実行される。そして、「アザリアン」の後に、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行される。

図７で説明したように、技は、開始姿勢と終末姿勢との組合せから決定されるが、終末姿勢の判定を待たず、開始姿勢が判定できれば、次の競技者１０が実行する技を予測することができる。たとえば、図２６において、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了した場合には、次に競技者１０が行う可能性がある技は、「後ろ振り上がり水平支持（２秒）」または「アザリアン」となる。

このため、認識部２５２は、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了し、開始姿勢「後ろ振り上がり」を行った場合には、次の技が「後ろ振り上がり水平支持（２秒）」であると予測する。一方、認識部２５２は、競技者１０の技「後ろ振り上がり中水平支持（２秒）」が終了し、開始姿勢「伸腕伸身逆上がり」を行った場合には、次の技が「アザリアン」であると予測する。

認識部２５２は、競技者１０の技「アザリアン」が終了し、開始姿勢「後ろ振り上がり」を行った場合には、他の技ではなく、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行されることを予測する。

なお、体操競技では、同じ技を２度行わないというルールが存在する。このため、認識部２５２は、予測した技が、一連の演技で既に行われている場合には、予測結果から除外する処理を行ってもよい。たとえば、認識部２５２は、競技者１０の技「アザリアン」が終了し、競技者１０が開始姿勢「後ろ振り上がり」を行った場合には、「後ろ振り上がり十字倒立（２秒）」または「後ろ振り上がり倒立（２秒）」が実行されると予測する。しかしながら、「後ろ振り上がり十字倒立（２秒）」が既に実行されている場合には、認識部２５２は、次に行われる技を「後ろ振り上がり倒立（２秒）」と予測する。

前処理部２５３は、演技履歴テーブル２４７を基にして、「予定演技情報」および「演技遷移フロー情報」を生成する。前処理部２５３は、予定演技情報および演技遷移フロー情報を、画面生成部２５４に出力する。

前処理部２５３は、予定演技情報から、複数の技が成功した場合の予測得点を算出し、予定演技の予測得点を表示する画面情報を生成する。たとえば、予測演技の予測得点を表示する画面情報は、図９で説明した表示画面１０Ａの情報に対応する。前処理部２５３に関する他の処理は、実施例１で説明した前処理部１５２の処理と同様であるため説明を省略する。

画面生成部２５４は、競技者１０の演技開始前において、図９に示した表示画面１０Ａの情報を生成し、表示部２３０に出力して表示させる。画面生成部２５４は、競技者１０の演技中において、図１０に示した表示画面１１の情報を生成し、表示部２３０に出力して表示させる。画面生成部２５４は、競技者１０の演技終了後において、図１１に示した表示画面の情報を生成し、表示部２３０に出力して表示させる。

画面生成部２５４が、表示画面１０Ａ、１１、１２の画面を生成して表示する処理は、実施例１で説明した画面生成部１５３の処理と同様であるため説明を省略する。なお、画面生成部２５４が、演技中に表示画面１１を生成する場合には、認識部２５２が予測した技を用いて、演技リスト１１ａ、演技遷移情報１１ｂ、Ｄスコア領域１１ｃ、Ｅスコア領域１１ｄ、得点領域１１ｅ、順位予測領域１１ｆを更新してもよい。

ここで、画面生成部２５４は、認識部２５２が予測した技の情報を受け付けた場合には、予測された技の情報を表示部２３０に表示させる。たとえば、画面生成部２５４は、図２４で説明した表示画面１３を表示することで、次に実行される可能性が高い技の情報を、終末姿勢を待つことなく表示する。

また、画面生成部２５４は、演技中に表示画面を表示する場合に、残りの演技時間を予測し、表示してもよい。たとえば、画面生成部２５４は、演技履歴テーブル２４７を参照し、競技者１０の過去の演技構成情報と、予定演技情報とを比較して、予定演技時間を特定する。画面生成部２５４は、図示しないタイマを用いて、競技者１０が演技を開始してからの経過時間をカウントし、予定演技時間から、経過時間を減算することで、残りの演技時間を予測する。

図２７は、本実施例２に係る演技中の表示画面の一例を示す図である。図２７に示すように、表示画面１４には、表示領域１４ａが含まれる。画面生成部２５４は、表示領域１４ａに、残りの演技時間を表示させる。

次に、本実施例２に係る情報処理装置２００の処理手順の一例について説明する。図２８は、本実施例２に係る情報処理装置の処理手順を示すフローチャートである。図２８に示すように、情報処理装置２００の前処理部２５３は、演技履歴テーブル２４７から、演技者１０の予定演技情報を取得する（ステップＳ３０１）。前処理部２５３は、予定演技情報に含まれる各技が成功した場合の予測スコアを算出する（ステップＳ３０２）。

情報処理装置２００の画面生成部２５４は、予測スコアを表示する表示画面を生成し、表示部１３０に表示させる（ステップＳ３０３）。情報処理装置１００は、競技者１０の演技が開始された場合に、センシングデータを取得し、実施中の技の認識結果データを生成する（ステップＳ３０４）。

情報処理装置２００の認識部２５２は、予測処理を実行する（ステップＳ３０５）。画面生成部２５４は、実施中の技が予定の技と異なる場合には（ステップＳ３０６，Ｙｅｓ）、予測スコアを更新し（ステップＳ３０７）、ステップＳ３０８に移行する。

一方、画面生成部２５４は、実施中の技が予定の技と異ならない場合には（ステップＳ３０６，Ｎｏ）、ステップＳ３０８に移行する。画面生成部２５４は、表示画面を更新して表示する（ステップＳ３０８）。たとえば、ステップＳ３０８で表示される表示画面は、図１０で説明した表示画面１１に対応する。

画面生成部２５４は、残りの演技時間を表示画面に表示する（ステップＳ３０９）。画面生成部２５４は、演技が終了していない場合には（ステップＳ３１０，Ｎｏ）、次の認識結果データを生成し（ステップＳ３１１）、ステップＳ３０５に移行する。

一方、画面生成部２５４は、演技が終了した場合には（ステップＳ３１０，Ｙｅｓ）、演技終了時の表示画面を表示する（ステップＳ３１２）。

次に、図２８のステップＳ３０５に示した予測処理の一例について説明する。図２９は、予測処理の一例を示すフローチャートである。図２９に示すように、情報処理装置２００の認識部２５２は、予定演技の技の開始姿勢と終末姿勢とを取得する（ステップＳ４０１）。認識部２５２は、実施中の演技の開始姿勢を特定する（ステップＳ４０２）。

認識部２５２は、開始姿勢を基にして、次の行われる技を予測する（ステップＳ４０３）。認識部２５２は、予定演技の技の開始姿勢と、実施中の演技の開始姿勢とが一致するか否かを判定する（ステップＳ４０４）。

認識部２５２は、一致しない場合には（ステップＳ４０５，Ｎｏ）、実施中の演技の開始姿勢と終末姿勢に対応する技を技判定テーブル２４４から特定し（ステップＳ４０６）、予測処理を終了する。

一方、認識部２５２は、一致する場合には（ステップＳ４０５，Ｙｅｓ）、予定演技の技の終末姿勢と、実施中の演技の終末姿勢とが一致するか否かを判定する（ステップＳ４０７）。認識部２５２は、一致しない場合には（ステップＳ４０８，Ｎｏ）、ステップＳ４０６に移行する。認識部２６２は、一致する場合には（ステップＳ４０８，Ｙｅｓ）、予測処理を終了する。

次に、本実施例２に係る情報処理装置２００の効果について説明する。情報処理装置２００は、センシングデータを基にして、技の開始姿勢を判定し、終末姿勢の認識を行う前に、予測される技を表示画面に表示する処理を行う。これにより、表示画面を参照するアナウンサーや視聴者は、競技者１０が行おうとする技を事前に知ることができる。

また、情報処理装置２００は、競技者１０の過去の演技構成から、競技者１０の演技時間を予測し、競技者１０が演技を開始した場合に、残りの演技時間を算出して表示させる。これにより、アナウンサーは、残りの演技時間を把握して、実況を行うことができる。たとえば、アナウンサーは、残りの演技時間を把握することで、スピード等を調整して、原稿を読むことができる。

次に、上記実施例に示した情報処理装置１００，２００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図３０は、情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図３０に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して収録機器等との間でデータの授受を行うインタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置５０７は、登録プログラム３０７ａ、認識プログラム３０７ｂ、前処理プログラム３０７ｃ、画面生成プログラム３０７ｄを有する。ＣＰＵ３０１は、各プログラム３０７ａ〜３０７ｄを読み出してＲＡＭ３０６に展開する。

登録プログラム３０７ａは、登録プロセス３０６ａとして機能する。認識プログラム３０７ｂは、認識プロセス３０６ｂとして機能する。前処理プログラム３０７ｃは、前処理プロセス３０６ｃとして機能する。画面生成プログラム３０７ｄは、画面生成プロセス３０６ｄとして機能する。

登録プロセス３０６ａの処理は、登録部１５１，２５１の処理に対応する。認識プロセス３０６ｂの処理は、認識部２５２の処理に対応する。前処理プロセス３０６ｃの処理は、前処理部１５２，２５３の処理に対応する。画面生成プロセス３０６ｄの処理は、画面生成部１５３，２５４の処理に対応する。

なお、各プログラム３０７ａ〜３０７ｄについては、必ずしも最初からハードディスク装置５０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｄを読み出して実行するようにしても良い。

５０ ３Ｄレーザセンサ
６０ カメラ
７０ 技認識装置
１００，２００ 情報処理装置
１１０，２１０ インタフェース部
１２０，２２０ 入力部
１３０，２３０ 表示部
１４０，２４０ 記憶部
１４１，２４５ 技認識ＤＢ
１４２，２４６ 映像ＤＢ
１４３，２４７ 演技履歴テーブル
１４４，２４８ スコアテーブル
１４５，２４９ 難度テーブル
１５０，２５０ 制御部
１５１，２５１ 登録部
１５２，２５３ 前処理部
１５３，２５４ 画面生成部
２４１ センシングＤＢ
２４２ 関節定義データ
２４３ 関節位置ＤＢ
２４４ 技判定テーブル
２５２ 認識部

Claims (12)

1. コンピュータに、
   採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、
   前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、
   前記予定演技情報の第一の予測スコアを表示する画面情報を生成し、
   前記競技者による実演技が開始した場合に、前記実演技をリアルタイムでセンシングしたデータに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
   前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、
   前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、
   前記第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する
   処理を実行させることを特徴とする画面生成プログラム。
2. 前記第三の予測スコアを予測する処理によって予測された前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示する処理を更に実行することを特徴とする請求項１に記載の画面生成プログラム。
3. 前記未実施の技を予測する処理は、前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測することを特徴とする請求項１または２に記載の画面生成プログラム。
4. 前記予定演技情報を基にして、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出する処理を更に実行し、前記画面情報を生成する処理は、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項１に記載の画面生成プログラム。
5. コンピュータが、
   採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、
   前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、
   前記予定演技情報の第一の予測スコアを表示する画面情報を生成し、
   前記競技者による実演技が開始した場合に、前記実演技をリアルタイムでセンシングしたデータに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
   前記データに基づき、前記実演技の中で、実施済みの技および前記実施済みの技のスコアを取得し、
   前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、
   前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、
   前記予定演技の第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する
   処理を実行することを特徴とする画面生成方法。
6. 前記第三の予測スコアを予測する処理によって予測された前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示する処理を更に実行することを特徴とする請求項５に記載の画面生成方法。
7. 前記未実施の技を予測する処理は、前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測することを特徴とする請求項５または６に記載の画面生成方法。
8. 前記予定演技情報を基にして、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出する処理を更に実行し、前記画面情報を生成する処理は、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項５に記載の画面生成方法。
9. 採点競技の競技者が実施予定の複数の技を含む予定演技情報を取得し、前記予定演技情報から、前記複数の技が成功した場合の第一の予測スコアを算出し、前記予定演技情報の第一の予測スコアを表示する画面情報を生成する前処理部と、
   前記競技者による実演技が開始した場合に、前記実演技の中において、前記実演技をリアルタイムでセンシングしたデータに基づき特定される、実施済みの技および前記実施済みの技のスコアを取得し、前記予定演技情報および前記データの少なくとも一方に基づき、前記実演技の中で、これから実施される可能性が高い未実施の技を予測し、前記実施済みの技のスコアと、前記予測された未実施の技が成功した場合の第二の予測スコアとに基づき、実施中の前記実演技全体の第三の予測スコアを予測し、前記第一の予測スコアと、前記第三の予測スコアとを表示する画面情報を生成する画面生成部と
   を有することを特徴とする情報処理装置。
10. 前記画面生成部は、前記第三の予測スコアと、他の競技者のスコアとを基にして、前記競技者および前記他の競技者の順位を予測し、予測した順位の情報を表示することを特徴とする請求項９に記載の情報処理装置。
11. 前記データに基づく技の開始時の競技者の姿勢に基づき、前記未実施の技を予測する認識部を更に有することを特徴とする請求項９または１０に記載の情報処理装置。
12. 前記画面生成部は、前記競技者が演技を開始してから演技を終了するまでの演技時間を予測し、前記実演技が開始した場合に、前記演技時間を基にして、演技の残り時間を算出し、前記画面情報に、前記演技の残り時間の情報を含めることを特徴とする請求項９に記載の情報処理装置。

Images