JP2024022812A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】特定動作に関して人物に適した動き方を推定し提示する【解決手段】人物にとってより負荷の小さい体の使い方を推定する推定手段と、推定の結果を出力する出力手段と、を有し、推定手段においては、人物について、特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて推定を行うことを特徴とする。【選択図】 図４

Description

本開示は、体の使い方を提案する技術に関する。

従来、楽器演奏やスポーツにおける技術習得を目的として、どのように体を動かすのがよいかをユーザに提示するシステムが考えられている。例えば特許文献１は、ゴルフのスイングのトレーニング用であって、トレーナーの映像とトレーニーの映像とを重ねて表示する際、トレーナーの模範動作と比較しやすいようにトレーニーの躯体や肢体をトレーナーの体型に合わせて拡大縮小する技術を開示する。この技術によれば、教わる側のユーザは、自身がどのように体を動かせばよいかを知ることができる。

特開２０２１－１５４１００号公報

竹川 佳成、他２名、"運指認識技術を活用したピアノ演奏学習支援システムの設計と実装"、[online]、2009、日本ソフトウェア科学界、[令和４年７月２９日検索]、インターネット＜URL:http://www.wiss.org/WISS2009Proceedings/papers/paper0008.pdf＞

上記特許文献１の技術においてユーザに提示される内容は、トレーナーによる模範の動きであるが、適切とされる動きが当該トレーナーによる模範１つだけとは限らない。また、提示されるトレーナーの動きが、トレーニーが備える筋力や柔軟性といった特性に合ったものでない可能性もあり、その場合は効果的なトレーニングができないことになる。

本開示は、係る点に鑑みてなされたものであり、楽器演奏やスポーツにおいて、個々のユーザに適した体の使い方を提示することを目的とする。

本開示に係る情報処理装置は、人物が行う時間的に連続する特定動作において当該人物にとってより負荷の小さい体の使い方を推定する推定手段と、前記推定の結果を出力する出力手段と、を有し、前記推定手段は、前記人物について、前記特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて、前記推定を行う、ことを特徴とする。

本開示によれば、楽器演奏やスポーツにおいて、個々のユーザに適した体の使い方を提示することが可能となる。

実施形態１に係る、情報処理システムの構成を示す模式図。 サーバのハードウェア構成を示す図。 実施形態１に係る、サーバのソフトウェア構成を示す機能ブロック図。 実施形態１に係る、処理全体の流れを示すフローチャート。 実施形態１に係る、ユーザ負荷データの一例。 実施形態１に係る、入力映像データの一例。 （ａ）～（ｃ）は、実施形態１に係る解析データの一例。 実施形態１に係る、出力映像データの一例。 （ａ）は最適動作推定処理の流れを示すフローチャート、（ｂ）は負荷評価値算出処理の流れを示すフローチャート。 実施形態１に係る、負荷ＤＢの一例。 （ａ）及び（ｂ）は、実施形態１に係る、所作間の移動ベクトルを求める様子を説明する図。 実施形態１に係る、所作パターンＤＢの一例。 実施形態１の変形例に係る、サーバのソフトウェア構成を示す機能ブロック図。 実施形態１の変形例に係る、処理全体の流れを示すフローチャート。 実施形態１の変形例に係る、出力映像データの一例。 実施形態２に係る、情報処理システムの構成を示す模式図。 実施形態２に係る、ユーザ負荷データの一例。 実施形態２に係る、負荷ＤＢの一例。 実施形態２に係る、所作パターンＤＢの一例。

以下、本開示の実施形態について図面を用いて説明する。なお、以下の実施形態に示す構成は一例に過ぎず、本開示の範囲をその構成のみに限定するものではない。

＜用語の定義＞
本明細書において、各種楽器の演奏や各種スポーツにおける基準動作といった、ユーザが習得したい特定の動きを「特定動作」と呼び、特定動作における瞬間毎（タイミング毎）の体の使い方を「所作」と呼ぶこととする。

［実施形態１］
本実施形態では、ピアノのレッスン等において、演奏者に合った指の使い方（運指）を提示する情報処理システムを例に説明する。

＜システム構成＞
図１は、本実施形態に係る、情報処理システムの構成の一例を示す模式図である。サーバ１００は、入力された映像データを解析して演奏者１０２に合った運指を推定し、推定結果を出力する情報処理装置である。演奏者１０２は、撮像空間１０１に設置されたピアノ１０４を弾き、その様子が撮像装置であるカメラ１０５によって撮像される。撮像によって得られた映像（演奏動画）のデータは、無線ネットワーク１１０を介してサーバ１００に送信される。タブレット端末１０３は、ユーザが利用する情報処理端末である。演奏者１０２或いはその指導者（不図示）は、タブレット端末１０３を利用して、カメラ１０５に対する撮像指示、サーバ１００への映像データの送信、推定結果の受信・閲覧などを行う。なお、無線ネットワーク１１０に代えて有線のネットワークでシステムを構築してもよい。

＜ハードウェア構成＞
図２は、サーバ１００のハードウェア構成を示す図である。サーバ１００は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、Ｉ／Ｆ２０３、ＨＤＤ２０４を有し、それぞれの構成はバス２０５で接続されている。ＣＰＵ２００は、ＲＯＭ２０１に格納されたプログラムを読み出してＲＡＭ２０２に展開してこれを実行することで、サーバ１００全体を制御する演算処理装置である。ＲＯＭ２０１は、読み出し専用メモリであり、ブートプログラムやファームウェア、後述する各種析処理を実現するためのアプリケーションプログラム、各種設定データ等を格納する。ＲＡＭ２０２は、ＣＰＵ２００が一時的にプログラムやデータを格納するためのワークメモリであり、ＣＰＵ２００により各種プログラムやデータがロードされる。Ｉ／Ｆ２０３は、ネットワーク機器やＵＳＢデバイスといった外部装置と通信するためのインターフェースであり、無線ネットワーク１１０を通じたデータ通信や、外部装置とデータの送受信を行う。ＨＤＤ２０４は、タブレット端末１０３から送られた映像データや各種データを保存する大容量の二次記憶装置である。なお、この二次記憶装置は、サーバ１００内に設けられていなくてもよい。例えば無線ネットワーク１１０を介して接続された外部ストレージサーバによって確保されてもよい。

＜ソフトウェア構成＞
続いて、サーバ１００のソフトウェア構成（論理構成）と各部の機能について、図３に示すブロック図と、図４に示すフローチャートを参照して説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。

Ｓ４０１では、負荷データ取得部３０１が、解析対象の映像に映る人物の、特定動作における瞬間毎の所作の種類に応じた負荷を記したデータ（以下、「ユーザ負荷データ」と呼ぶ。）を取得する。本実施形態ではピアノの演奏者が曲を演奏中に鍵盤を押さえる各タイミングで取り得る様々な手の形それぞれに応じた負荷を記したデータ（以下、「ユーザ負荷データ」と呼ぶ。）を取得する。このユーザ負荷データは、映像解析処理の開始前に、左右の手それぞれについて生成し、ＨＤＤ２０４に保存しておいたものを読み出して取得する。データ生成は、例えば、上記様々な手の形をタブレット端末１０３に表示して演奏者にそれと同じ手の形を作ってもらい、自身が感じた負荷の程度（例えば、大中小の３段階、０（負荷なし）～１００（負荷最大）の範囲の数値など）を入力してもらう。図５は、ユーザ負荷データの一例としてのテーブル（右手用）である。図５のテーブルの例では、「ユーザ名」、「手の形状パターン」、「負荷度合」の各項目に分けて必要な情報が格納されている。なお、図５のテーブルに示す３つの項目は一例であり、例えば、「手の形状パターン」で示されるその形ができるか否か、手を最大限まで拡げたときの指間の角度といった項目を含んでいてもよい。さらには、例えば高いドの音と低いドの音では同じ手の形であっても演奏者が感じる負荷が違う場合などは、そのときの手の形と負荷との対応関係に加え、音（音階）との紐付けを行ってもよい。また、手の形状パターンに応じた負荷の程度を表す値については、演奏者が手動入力した値ではなく、例えば演奏者の指や手首に筋電センサーを付けて得られた計測値を自動入力するようにしてもよい。

Ｓ４０２では、映像データ取得部３０２が、演奏者が演奏する様子を撮像した映像データをカメラ１０５から取得する。取得した映像データは、ＨＤＤ２０４に格納される。図６は、演奏者がピアノを弾いているときの鍵盤と手の周辺を映した入力映像データの一例である。時刻ｔ１においては、ミとファ＃の鍵盤が薬指と小指によって同時に押下されている。次の時刻ｔ２においては、ド＃とミの鍵盤が人差し指と中指によって同時に押下されている。次の時刻ｔ３においては、ミとファの鍵盤が中指と薬指によって同時に押下されている。

Ｓ４０３では、映像解析部３０３が、処理対象の映像データをＨＤＤ２０４から読み出して解析し、特定動作を構成する瞬間毎の所作を特定可能な解析データを生成する。本実施形態では、この解析データとして、演奏されている曲において鍵盤が押下されている各瞬間における音及び当該音に対応する手の形のデータを生成する。ここで、「各瞬間における音」は、その瞬間に１つの鍵盤だけが押下されていれば単音となり、同時に２つ以上の鍵盤が押下されている場合は和音となる。以下、演奏されている曲の、鍵盤が押下されている各瞬間における音とそのときの手の形を特定するデータを「曲分解データ」と呼ぶこととする。この曲分解データは、鍵盤が押下されている各瞬間の音単位で入力映像データ（演奏動画）を分割し、各瞬間においてどの鍵盤をどの指でどの程度の長さ押下しているかを、例えば非特許文献１の運指認識技術を用いて判定することで生成可能である。図７の（ａ）～（ｃ）は、前述の図６に示した入力映像データから生成した曲分解データのうち、連続する複数の瞬間（時刻ｔ１～ｔ３）における各音に対応する手の形を特定するデータ（静止画像データ）を示している。さらに、曲分解データには、各瞬間の音の構造を特定可能な配列情報も含まれる。例えば短い和音（重音）、長い単音・・・と続く場合、「（ミとファ#，長さ１）、（ド，長さ２）、・・・」のように各瞬間の音の構造を表した配列情報が生成されることになる。なお、ピアノ演奏においては右手がメロディー、左手が伴奏といったように、右手と左手で違う動き（役割）をする。そこで、上記曲分解データの生成は、左右の手それぞれについて行う。

Ｓ４０４では、最適動作推定部３０４が、入力映像データに映る演奏者にとって最適な指運びの動作（運指）を推定する処理を行う。この最適動作推定処理の詳細については後述する。

Ｓ４０５では、推定結果出力部３０５が、Ｓ４０４での最適動作推定処理の結果を出力する。本実施形態では、ピアノ演奏を撮像した入力映像データに対し、演奏者にとって最適な運指を重畳表示した出力映像データを生成して、ネットワーク１１０を介してタブレット端末１０３に送信する。図８は、前述の図６の入力映像データに対して推定結果を視覚的に重畳表示させた出力映像データの一例である。いま、時刻ｔ１においては、ミとファ＃の鍵盤を中指と小指によって同時に押下する別の手が、元の手と識別可能な態様で重畳表示されている。次の時刻ｔ２においては、ド＃とミの鍵盤を人指し指と薬指によって同時に押下する別の手が重畳表示されている。次の時刻ｔ３においては、ミとファの鍵盤を薬指と小指によって同時に押下する別の手が重畳表示されている。ユーザは、このような出力映像データをタブレット端末１０３で視聴し、現在行っている運指と理想的な運指との違いを把握することができる。

＜最適動作推定処理＞
続いて、最適動作推定処理（Ｓ４０４）の詳細について、図９（ａ）のフローチャートを参照して説明する。

Ｓ９０１では、次のＳ９０２で実行する負荷評価値算出処理のための初期パラメータが設定される。この負荷評価値算出処理は、入力映像データに移っている人物の特定動作における瞬間毎の所作の負荷度合いを数値化して評価する処理であり、所作の種類を変えながら繰り返し実行することで、より負荷の低い各所作を決定できる。ピアノ演奏時における音が出ている瞬間毎の手の形に対する負荷度合いを評価する本実施形態では、曲分解データに含まれる１つ１つの静止画像データによって特定される「手の形」が、初期パラメータとして設定されることになる。

Ｓ９０２では、設定されたパラメータに従って、負荷評価値算出処理が実行される。図９（ｂ）は、負荷評価値算出処理の詳細を示すフローチャートである。

まず、Ｓ９１１では、入力映像データ全体を通じた、特定動作を構成する各所作における負荷の度合いが決定される。いま初期パラメータとして、演奏動画における瞬間毎の音に対応する手の形が設定されている。この場合、各瞬間における手の形と前述のユーザ負荷データに含まれる複数種類の手の形状パターンとのパターンマッチングによって、各瞬間の手の形に応じた負荷の度合いが決定される。ここで、静止画像データによって特定された手の形と一致する形状パターンがユーザ負荷データに含まれていなかった場合は、予め用意した負荷ＤＢ３１１を参照して、それぞれの手の形に応じた負荷の度合いを決定する。この負荷推定に用いるデータベースである負荷ＤＢ３１１は、サーバ１００に予め登録しておくものとする。図１０は、本実施形態に係る負荷ＤＢ３１１の一例であり、「人物タイプＩＤ」、「手の形状パターン」、「負荷」の３つの項目で構成されている。この例では「人物タイプＩＤ」として“人物１”と“人物２”が示されており、“人物１”は手のサイズの小さい人に対応し、“人物２”は手のサイズの大きな人に対応している。そして「手の形状パターン」として３種類の典型的な手の形が規定され、その形毎の負荷の程度を示す値が「負荷度合」に記載されている。例えば、同じ手の形状パターンであっても、“人物１”と“人物２”とでは負荷の程度が異なっているのが分かる。なお、他のバリエーションとして、手のサイズは同じで、手の形に応じた負荷の程度が異なるパターンがあってもよい。これは、手の各関節の柔らかさが個人ごとに異なり得ることを考慮したもので、例えば“人物１”と同じ手のサイズで３つの形状パターンに対する負荷が異なる“人物３”を加えてもよい。これにより、同じ手の大きさでもどのタイプに一番近いかを判定することができる。このようにして、１曲を演奏する間における各瞬間の手の形に応じた負荷の度合いを決定すると、次にＳ９１２が実行される。

Ｓ９１２では、特定動作を構成する各所作間の移動ベクトルが導出される。本実施形態の場合、時間的に連続する２つの静止画像データが表す手の形を、鍵盤の位置を基準に、図１１の（ａ）及び（ｂ）に示すように重ね合わせて、次の音に移行する際の手の形の移動ベクトルを求める。移動ベクトルは、手の特徴点（指先、指の関節、手の関節）の位置を比較し、各特徴点の移動量と方向を測定することで求めることができる。図１１（ａ）の例では移動ベクトルが大きく、図１１（ｂ）の例では移動ベクトルが小さいことが分かる。こうした処理をすべての隣り合う静止画像データを対象に行って、１曲分の移動ベクトルの導出が完了すると、次にＳ９１３が実行される。

Ｓ９１３では、Ｓ９１１にて得た各所作における負荷の度合い、Ｓ９１２にて得た所作間の移動ベクトルに基づき、特定動作を構成する全所作を通じた負荷の評価値が算出される。具体的には、例えば以下の式（１）を用いた重み付け加算を行って評価値を算出する。

評価値＝α×（負荷度合いの合計値）＋β×（移動ベクトルの大きさの合計値）。
・・・式（１）

上記式（１）において、α、βは２つの合計値を加算する際の重みである。“負荷度合いの合計値”は、Ｓ９１１にて決定された各所作における負荷の度合いをすべて合算した、１曲分のトータルの負荷の度合いを表す値である。また、“移動ベクトルの大きさの合計値”は、Ｓ９１２にて導出された各所作間の移動ベクトルの大きさをすべて合算した、１曲分のトータルの移動ベクトルの大きさを表す値である。なお、移動ベクトルの大きさの合計値を算出する際、例えば休符箇所のように一定時間音が止まっている部分については、所作が不連続であるとして、その前後の手の形の移動ベクトルを合算の対象外としてもよい。

Ｓ９１４では、Ｓ９１３で算出された評価値が、先行する処理によって保存済みの評価値よりも小さいかどうかによって、次に実行する処理が振り分けられる。算出された評価値が先行処理によって保存済みの評価値よりも小さい場合はＳ９１５に進み、小さくない場合は本処理を抜ける。初期パラメータを適用して得られた評価値の場合は、先行する処理がないので必ずＳ９１５に進むことになる。

Ｓ９１５では、Ｓ９１３にて算出された評価値を設定中のパラメータと紐づけてＲＡＭ２０２に保存する処理が実行される。

以上が、負荷評価値算出処理の内容である。このような処理を、パラメータを変えながら繰り返し行い、更新可能なパラメータがなくなった時点で保存されていた評価値が、最小の評価値ということになる。

図９（ａ）のフローチャートの説明に戻る。

Ｓ９０３では、パラメータの更新が可能であるかどうか判定される。このパラメータ更新可否の判定には、所作パターンＤＢ３１２を用いる。本実施形態の所作パターンＤＢ３１２は、各種の音（和音又は単音）に対する手の形状パターンを格納したデータベースであり、図１２にその一例を示す。図１２に示す所作パターンＤＢ３１２は、「音」と「手の形状パターン」の２つの項目で構成されており、様々な特定の音（ここでは、ミとファ＃の和音）を出す際に演奏者が取り得る手の形のデータを保持している。本ステップでは、所作パターンＤＢ３１２を参照し、各瞬間の音について、パラメータとして設定中の手の形とは異なる、入れ替え可能な手の形を表した形状パターンがあるかどうかが判定される。具体的には、各瞬間の音に対して、他の取り得る手の形が所作パターンＤＢ３１２に残っているかがまず検索される。そして、他の取り得る手の形が見つかった場合、それがユーザ負荷データにおいて一定以上の高い負荷となっていたり或いは実施不可となっていなければ、Ｓ９０４にて、新たなパラメータとして設定する更新処理が実行される。パラメータが更新されるとＳ９０２に戻って、更新後のパラメータを用いて上述の負荷評価値算出処理が実行されることになる。これにより、演奏者が実施可能な別の「手の形」を使った場合の評価値が改めて算出されることになる。一方、どの音についても他の取り得る手の形がなければ、本処理を抜ける。

以上が、最適動作推定処理の内容である。パラメータ更新ができなくなるまで負荷評価値算出処理を繰り返すことで、評価値が最小になるパラメータが求まる。本実施形態では、入れ替え可能な「手の形」がなくなった時点で残っていた最小評価値に紐づくパラメータが、最適な運指を示すデータとして出力されることになる。すなわち、演奏者が１曲を演奏する際の手にかかるトータルの負荷が最小となる「１曲分の手の形」が推定結果として得られる。なお、図９（ａ）のフローでは、演奏者が取り得る手の形の全形状パターンを網羅的に入れ替えて負荷評価値の算出を行っているがこれに限定されない。例えば、入れ替えたときの評価値の変化量からより小さい評価値が得られそうな「手の形」に絞って入れ替えを行うようにしてもよい。また、予め決めた評価値（閾値）に到達した時点で処理を終了してもよい。そして、ピアノ演奏の場合は、左右それぞれの手について、上述した最適動作推定処理を行うことになる。

＜変形例＞
上述の実施形態では、ピアノ演奏を撮像した映像データを解析してその演奏者にとってより適切な運指を推定していたが、対象となる曲の楽譜データを解析して、演奏者にとって理想的な運指を推定してもよい。本変形例に係るサーバ１００’のソフトウェア構成（論理構成）と各部の機能について、図１３に示すブロック図と、図１４に示すフローチャートを参照して説明する。なお、以下の説明において記号「Ｓ」はステップを意味する。なお、基本的なシステム構成は共通でよいが、本変形例の場合は実際の演奏を撮像する訳ではないので、カメラ１０５とピアノ等の楽器１０４はなくてもよい。

まずＳ１４０１は前述のＳ４０１と同じであり、負荷データ取得部３０１が、これから曲を演奏しようとしている人物（演奏予定者）についてのユーザ負荷データを取得する。次のＳ１４０２では、楽譜データ取得部１３０１が、演奏予定の曲の楽譜データをタブレット端末１０３等から取得する。取得した楽譜データは、ＨＤＤ２０４に格納される。続くＳ１４０３では、楽譜解析部１３０２が、処理対象の楽譜データをＨＤＤ２０４から読み出して五線譜上に並ぶ音符や記号を解析し、各瞬間の音の構造を特定可能な上述の配列情報から成る曲分解データを生成する。Ｓ１４０４では、最適動作推定部３０４が、楽譜データが表す曲を演奏する際の最適な運指を推定する処理を行う。この最適動作推定処理は、基本的には前述の図９（ａ）及び（ｂ）のフローのとおりである。上述の実施形態１と異なる点は、初期パラメータとしての１曲分の「手の形」を、楽譜データに基づく曲分解データを構成する配列情報と所作パターンＤＢ３１２とに基づいてランダムに決定して設定する点である。Ｓ１４０５では、推定結果出力部３０５が、Ｓ１４０４での最適動作推定処理の結果を出力する。図１５は、本変形例に係る、推定結果を視覚的に表した出力映像データの一例である。いま、時刻ｔ１においては、ミとファ＃の鍵盤を中指と小指によって同時に押下する手が表示されている。次の時刻ｔ２においては、ド＃とミの鍵盤を人指し指と薬指によって同時に押下する手が表示されている。次の時刻ｔ３においては、ミとファの鍵盤を薬指と小指によって同時に押下する手が表示されている。ユーザは、このような出力映像データをタブレット端末１０３で視聴し、対象とする曲を演奏する際の自身にとって理想的な運指を把握することができる。ここでは、実際の手の形を鍵盤に重ねて表示しているが、例えば各指を識別する番号（親指：１番、人差し指：２番、中指：３番、薬指：４番、小指：５番）等を表示してもよい。

以上のとおり、上記変形例を含む本実施形態によれば、ピアノの演奏において、演奏者の個性を踏まえたより適した運指を提示することができる。なお、本実施形態ではピアノの演奏を例に説明を行ったが、例えばバイオリンやギターといった弦楽器における弦の押さえ方やドラムや木琴といった打楽器におけるスティックの叩き方など様々な楽器の演奏に適用可能あることは言うまでもない。

［実施形態２］
次に、ゴルフのレッスン等において、プレーヤに合ったスイングを提示する態様について説明する。なお、実施形態１と共通する内容については説明を省略し、以下では差異点を中心に説明を行うこととする。

＜システム構成＞
図１６は、本実施形態に係る、情報処理システムの構成の一例を示す模式図である。サーバ１６００は、入力された映像データ（スイング動画）を解析してプレーヤ１６０２に合ったスイングを推定し、推定結果の情報を出力する情報処理装置である。プレーヤ１６０２は、撮像空間１６０１でゴルフクラブ１６０４を持ってスイングを行い、その様子が撮像装置であるカメラ１６０５によって撮像される。撮像によって得られた映像（スイング動画）のデータは、無線ネットワーク１６１０を介してサーバ１６００に送信される。タブレット端末１６０３は、ユーザが利用する情報処理端末である。プレーヤ１６０２或いはその指導者（不図示）は、タブレット端末１６０３を利用して、カメラ１６０５に対する撮像指示、サーバ１６００への映像データの送信、推定結果の受信・閲覧などを行う。無線ネットワーク１６１０に代えて有線のネットワークでシステムを構築してもよい点は、実施形態１と同様である。なお、サーバ１６００のハードウェア構成は実施形態１のサーバ１００と同じである。

＜ソフトウェア構成と動作＞
サーバ１６００のソフトウェア構成（論理構成）と各部の機能は、実施形態１と基本的に同じである。よって、前述の図３に示すブロック図と、図４に示すフローチャートを参照して、本実施形態における処理の流れを説明する。

Ｓ４０１では、負荷データ取得部３０１が、解析対象の映像に映る人物の、特定動作における瞬間毎の所作の種類に応じた負荷を記したユーザ負荷データを取得する。本実施形態ではゴルフのプレーヤがスイング中の所定タイミング毎に取り得る様々な姿勢それぞれに応じた負荷を記したユーザ負荷データを取得する。このユーザ負荷データは、映像解析処理の開始前に生成し、ＨＤＤ２０４に保存しておいたものを読み出して取得する。データ生成は、例えば、一連のスイングにおける所定タイミング毎の姿勢（フォーム）をタブレット端末１６０３に表示して対象のプレーヤにそれと同じ姿勢を作ってもらう。そして、各姿勢において自身が感じた負荷の程度（例えば、大中小の３段階、０（負荷なし）～１００（負荷最大）の範囲の数値など）して入力してもらう。ここで、所定タイミングは、例えば、アドレス、トップ、インパクト、フォロースルーといったタイミングである。図１７は、本実施形態に係る、ユーザ負荷データの一例としてのテーブルである。図１７のテーブルの例では、「ユーザ名」、「姿勢の形状パターン」、「負荷度合」の各項目に分けて、実施形態１の図５のテーブルと同様、必要な情報が格納されている。また、これら項目に追加して、その姿勢をとることができるか、腕や体を回転させたときの最大の角度といった別の項目があってもよい。また、姿勢の形状パターンに応じた負荷の程度を表す値については、プレーヤが手動入力した値ではなく、例えばプレーヤの腕や脚に筋電センサーを付けて得られた計測値を自動入力するようにしてもよい。

Ｓ４０２では、映像データ取得部３０２が、プレーヤがスイングする様子を撮像した映像データをカメラ１０５から取得する。取得した映像データは、ＨＤＤ２０４に格納される。

Ｓ４０３では、映像解析部３０３が、入力映像データをＨＤＤ２０４から読み出して解析し、特定動作を構成する瞬間毎の所作を特定可能なデータを生成する。本実施形態では、スイング中の各所定タイミングにおける姿勢を特定するデータ（以下、「スイング分解データ」と呼ぶ。）を生成する。具体的には、例えば以下の表１に従って、複数のタイミングで入力映像データを分割し、各タイミングにおける姿勢を捉えた複数の静止画像データを生成する。

上記表１の例では１０分割としているが、もっと細かく分割してもよいし、もっと荒く分割してもよい。

Ｓ４０４では、最適動作推定部３０４が、入力映像データに映るプレーヤにとって最適なスイング、より詳細には、上述の各タイミングにおける理想的な姿勢を推定する処理を行う。この最適動作推定処理の詳細については後述する。

Ｓ４０５では、推定結果出力部３０５が、Ｓ４０４での最適動作推定処理の結果を出力する。本実施形態では、プレーヤのスイングを撮像した入力映像データに対し、当該プレーヤにとって各タイミングにおける最適な姿勢を重畳表示した出力映像データを生成して、ネットワーク１１０を介してタブレット端末１６０３に送信する。ユーザは、各タイミングにおける理想的な姿勢が識別可能に重畳表示された出力映像データをタブレット端末１６０３で視聴し、現在のスイング中の各姿勢と理想的な姿勢との違いを把握することができる。

＜最適動作推定処理＞
続いて、最適動作推定処理（Ｓ４０４）の詳細について、図９の（ａ）及び（ｂ）のフローチャートを参照して説明する。

Ｓ９０１では、次のＳ９０２で実行する負荷評価値算出処理のための初期パラメータが設定される。本実施形態では、プレーヤによるスイングの所定タイミング毎の姿勢に対する負荷の度合いを数値で評価する。そこで、スイング分解データを構成する各タイミングに対応する１つ１つの静止画像データによって特定される「姿勢（フォーム）」が、初期パラメータとして設定されることになる。

Ｓ９０２では、設定されたパラメータに従って、負荷評価値算出処理（図９（ｂ）のフロー）が実行される。

まず、Ｓ９１１では、入力映像データ全体を通じた、特定動作を構成する人物の各所作における負荷の度合いが決定される。いま初期パラメータとして、１つ１つの静止画像データが示す姿勢が設定されている。この場合、各静止画像データが示す姿勢と、前述のユーザ負荷データに含まれる複数種類の形状パターンとのパターンマッチングによって、スイングにおける各タイミングにおける姿勢に応じた負荷の度合いを決定する。ここで、特定された姿勢と一致する形状パターンがユーザ負荷データに含まれていなかった場合は、予め用意されている負荷ＤＢ３１１を参照して、姿勢に応じた負荷の度合いを決定する。この負荷推定に用いるデータベースである負荷ＤＢ３１１は、サーバ１６００に予め登録されているものとする。図１８は、本実施形態に係る負荷ＤＢ３１１の一例であり、「人物タイプＩＤ」、「姿勢の形状パターン」、「負荷度合」の３つの項目で構成されている。この例では「人物タイプＩＤ」として“人物１”と“人物２”が示されており、“人物１”は小柄な人に対応し、“人物２”は大柄な人に対応している。そして「姿勢の形状パターン」として、トップ、スリークォーター、ハーフウェイバックのときの姿勢が規定され、その形毎の負荷の程度を示す値が「負荷度合」に記載されている。例えば、同じ形状パターンであっても、“人物１”と“人物２”とでは負荷の程度が異なっているのが分かる。このようにして、一連のスイングにおける各タイミングにおける姿勢に応じた負荷の度合いを決定すると、次にＳ９１２が実行される。

Ｓ９１２では、特定動作を構成する各所作間の移動ベクトルが導出される。本実施形態の場合、時間的に連続する２つの静止画像データが表すそれぞれの姿勢を重ね合わせて、次の姿勢に移行する際の移動ベクトルを求める。こうした処理を、すべての隣り合う静止画像データを対象に行って、一連のスイングにおける移動ベクトルの導出が完了すると、次にＳ９１３が実行される。

Ｓ９１３では、Ｓ９１１にて得た各所作における負荷の度合い、Ｓ９１２にて得た所作間の移動ベクトルに基づき、特定動作を構成する全所作を通じた負荷の評価値が算出される。具体的な算出方法は実施形態１と同様である。Ｓ９１４では、Ｓ９１３で算出された評価値が、先行する処理によって保存済みの評価値よりも小さいかどうかによって、次に実行する処理が振り分けられる。算出された評価値が先行処理によって保存済みの評価値よりも小さい場合はＳ９１５に進み、小さくない場合は本処理を抜ける。初期パラメータを適用して得られた評価値の場合は、先行する処理がないので必ずＳ９１５に進むことになる。Ｓ９１５では、Ｓ９１３にて算出された評価値を、設定中のパラメータと紐づけてＲＡＭ２０２に保存する処理が実行される。このような処理を、パラメータを変えながら繰り返し行い、更新可能なパラメータがなくなった時点で保存されていた評価値が、最小の評価値ということになる。

図９（ａ）のフローチャートの説明に戻る。

Ｓ９０３では、パラメータの更新が可能であるかどうか判定される。このパラメータ更新可否の判定には、所作パターンＤＢ３１２を用いる。所作パターンＤＢ３１２は、スイングの各タイミングに対する姿勢の形状パターンを格納したデータベースであり、図１９にその一例を示す。図１９に示す所作パターンＤＢ３１２は、「スイングタイミング名称」と「姿勢の形状パターン」の２つの項目で構成されており、様々なタイミング（ここでは、トップ）におけるプレーヤが取り得る姿勢のデータを保持している。本ステップでは、所作パターンＤＢ３１２を参照し、各タイミングについて、パラメータとして設定中の姿勢とは異なる、入れ替え可能な姿勢を表した形状パターンがあるかどうかが判定される。具体的には、各タイミングに対して、他の取り得る姿勢が所作パターンＤＢ３１２に残っているかがまず検索される。そして、他の取り得る姿勢が見つかった場合、それがユーザ負荷データにおいて一定以上の高い負荷となっていたり或いは実施不可となっていなければ、Ｓ９０４にて、新たなパラメータに設定する更新処理が実行される。パラメータが更新されるとＳ９０２に戻って、上述の負荷評価値算出処理が新たに設定されたパラメータを用いて実行されることになる。これにより、プレーヤが実施可能な別の「姿勢」をとった場合の負荷評価値が改めて算出されることになる。一方、どのタイミングについても他の取り得る姿勢がなければ、本処理を抜ける。

以上が、最適動作推定処理の内容である。パラメータ更新ができなくなるまで負荷評価値算出処理を繰り返すことで、評価値が最小になるパラメータが求まる。本実施形態では、入れ替え可能な「姿勢」がなくなった時点で残っていた最小評価値に紐づくパラメータが、最適なスイングを示すデータとして出力されることになる。すなわち、プレーヤが各タイミングにおける各姿勢をとったときにかかるトータルの負荷が最小となる「一連のスイングにおける各姿勢」が推定結果として得られる。なお、図９のフローでは、プレーヤが取り得る姿勢の全形状パターンを網羅的に入れ替えて負荷評価値の算出を行っているがこれに限定されない。例えば、入れ替えたときの評価値の変化量からより小さい評価値が得らえそうな「姿勢」に絞って入れ替えを行うようにしてもよい。また、予め決めた評価値（閾値）に到達した時点で処理を終了してもよい。

以上のとおり本実施形態によれば、ゴルフのスイング練習において、プレーヤの個性を踏まえたより適した動作、すなわち、各タイミングにおける負荷の低い姿勢を提示することができる。なお、本実施形態ではゴルフのスイングを例に説明を行ったが、例えば野球におけるバットの素振りやバスケットボールにおけるシュートなど様々なスポーツにおける基準動作に適用可能あることは言うまでもない。

（その他の実施例）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本開示は、以下の構成及び方法を含む。

（構成１）
人物が行う時間的に連続する特定動作において当該人物にとってより負荷の小さい体の使い方を推定する推定手段と、
前記推定の結果を出力する出力手段と、
を有し、
前記推定手段は、前記人物について、前記特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて、前記推定を行う、
ことを特徴とする情報処理装置。

（構成２）
前記人物による前記特定動作を撮像した映像データを取得する取得手段と、
前記映像データから前記特定動作に含まれる瞬間毎の所作を特定可能な解析データを生成する解析手段と、
をさらに有し、
前記推定手段は、前記解析データに基づき、前記特定動作における瞬間毎に、前記映像データにおける前記特定動作に含まれる瞬間毎の所作よりも負荷が低い所作を推定する、
ことを特徴とする構成１に記載の情報処理装置。

（構成３）
前記特定動作に含まれる瞬間毎の所作を特定可能な解析データを生成する解析手段と、
をさらに有し、
前記推定手段は、前記解析データに基づき、前記特定動作における瞬間毎に、前記特定動作に含まれる瞬間毎の所作よりも負荷が低い所作を推定する、
ことを特徴とする構成１に記載の情報処理装置。

（構成４）
前記推定手段は、前記瞬間毎の所作間の移動ベクトルが小さくなるように、前記負荷が低減した所作を推定する、ことを特徴とする構成２又は３に記載の情報処理装置。

（構成５）
前記推定手段は、前記瞬間毎の所作間の移動ベクトルに基づき、前記特定動作における全所作を通じた負荷の評価値を算出し、最小の評価値が得られる各所作を、前記負荷が低減した各所作として推定する、ことを特徴とする構成４に記載の情報処理装置。

（構成６）
前記推定手段は、前記瞬間毎の所作の種類を変えながら前記算出を繰り返し行って、前記最小の評価値が得られる各所作を決定する、ことを特徴とする構成５に記載の情報処理装置。

（構成７）
前記推定手段は、前記瞬間毎に、前記特定動作に関する複数の所作が登録された所作パターンのデータベースを参照して、前記瞬間毎の所作の種類を変える、ことを特徴とする構成６に記載の情報処理装置。

（構成８）
前記特定動作は、楽器の演奏であり、
前記瞬間毎の所作は、前記演奏において前記楽器から音が出ている瞬間毎の、前記人物による体の使い方である、
ことを特徴とする構成１乃至７のいずれか一項に記載の情報処理装置。

（構成９）
前記楽器は、ピアノであり、
前記瞬間毎の所作は、鍵盤を押下する際の指の使い方である、
ことを特徴とする構成８に記載の情報処理装置。

（構成１０）
前記特定動作は、スポーツにおける基準動作であり、
前記瞬間毎の所作は、前記基準動作における特定のタイミング毎の、前記人物による体の使い方である、
ことを特徴とする構成１乃至７のいずれか一項に記載の情報処理装置。

（構成１１）
前記スポーツは、ゴルフであり、
前記瞬間毎の所作は、ゴルフクラブを持ってスイングする際の姿勢である、
ことを特徴とする構成１０に記載の情報処理装置。

（方法１）
人物が行う時間的に連続する特定動作において当該人物にとってより負荷の小さい体の使い方を推定する推定ステップと、
前記推定の結果を出力する出力ステップと、
を含み、
前記推定ステップでは、前記人物について、前記特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて、前記推定を行う、
ことを特徴とする情報処理方法。

（構成１２）
コンピュータを、構成１乃至１１のいずれか一項に記載の情報処理装置として機能させるためのプログラム。

Claims (13)

1. 人物が行う時間的に連続する特定動作において当該人物にとってより負荷の小さい体の使い方を推定する推定手段と、
   前記推定の結果を出力する出力手段と、
   を有し、
   前記推定手段は、前記人物について、前記特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて、前記推定を行う、
   ことを特徴とする情報処理装置。
2. 前記人物による前記特定動作を撮像した映像データを取得する取得手段と、
   前記映像データから前記特定動作に含まれる瞬間毎の所作を特定可能な解析データを生成する解析手段と、
   をさらに有し、
   前記推定手段は、前記解析データに基づき、前記特定動作における瞬間毎に、前記映像データにおける前記特定動作に含まれる瞬間毎の所作よりも負荷が低い所作を推定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記特定動作に含まれる瞬間毎の所作を特定可能な解析データを生成する解析手段と、
   をさらに有し、
   前記推定手段は、前記解析データに基づき、前記特定動作における瞬間毎に、前記特定動作に含まれる瞬間毎の所作よりも負荷が低い所作を推定する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記推定手段は、前記瞬間毎の所作間の移動ベクトルが小さくなるように、前記負荷が低減した所作を推定する、ことを特徴とする請求項２に記載の情報処理装置。
5. 前記推定手段は、前記瞬間毎の所作間の移動ベクトルに基づき、前記特定動作における全所作を通じた負荷の評価値を算出し、最小の評価値が得られる各所作を、前記負荷が低減した各所作として推定する、ことを特徴とする請求項４に記載の情報処理装置。
6. 前記推定手段は、前記瞬間毎の所作の種類を変えながら前記算出を繰り返し行って、前記最小の評価値が得られる各所作を決定する、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記推定手段は、前記瞬間毎に、前記特定動作に関する複数の所作が登録された所作パターンのデータベースを参照して、前記瞬間毎の所作の種類を変える、ことを特徴とする請求項６に記載の情報処理装置。
8. 前記特定動作は、楽器の演奏であり、
   前記瞬間毎の所作は、前記演奏において前記楽器から音が出ている瞬間毎の、前記人物による体の使い方である、
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記楽器は、ピアノであり、
   前記瞬間毎の所作は、鍵盤を押下する際の指の使い方である、
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記特定動作は、スポーツにおける基準動作であり、
    前記瞬間毎の所作は、前記基準動作における特定のタイミング毎の、前記人物による体の使い方である、
    ことを特徴とする請求項１に記載の情報処理装置。
11. 前記スポーツは、ゴルフであり、
    前記瞬間毎の所作は、ゴルフクラブを持ってスイングする際の姿勢である、
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 人物が行う時間的に連続する特定動作において当該人物にとってより負荷の小さい体の使い方を推定する推定ステップと、
    前記推定の結果を出力する出力ステップと、
    を含み、
    前記推定ステップでは、前記人物について、前記特定動作における瞬間毎の所作の種類に応じた負荷の度合いを記した負荷データを用いて、前記推定を行う、
    ことを特徴とする情報処理方法。
13. コンピュータに、請求項１２に記載の情報処理方法を実行させるためのプログラム。

Images