JP5942908B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

従来、ゴルフのプレーヤが被写体として映る動画像に基づいて、被写体の姿勢の変化を表示する技術として、ボードに荷重センサを設けることで、ゴルフのスイングの動作での被写体（被験者）の状態を表示する技術が知られている（例えば、特許文献１参照）。

特開平５−７６６３４号公報

しかしながら、特許文献１に記載の技術では、荷重センサが設けられたボードなどの大掛かりなデバイスが必要なので、被写体の状態を表示する場所が限られてしまうという問題があった。

本発明は、このような状況に鑑みてなされたものであり、荷重センサ等の特殊なデバイスを用いずに、被写体の状態を把握することを目的とする。

上記目的を達成するため、本発明の一態様の表示制御装置は、
被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる
複数の点を選択する選択手段と、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数
の点を夫々特定する第１の特定手段と、
前記第１の特定手段により夫々特定された複数の点を含む指標を、前記一連の動作の画像の夫々に対して生成する指標生成手段と、
前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示
制御手段と、
を備える。

本発明によれば、荷重センサ等の特殊なデバイスを用いずに、被写体の状態を把握できる。

本発明の一実施形態に係る情報表示装置のハードウェアの構成を示すブロック図である。 図１の情報表示装置の機能的構成のうち、第１指標表示処理を実行するための機能的構成を示す機能ブロック図である。 一連のゴルフのスイングの動作におけるマーキング画像の位置を示す図である。 スタート画像におけるポイントが指定された様子を示す図である。 指標図形がフレーム毎に重畳された動画像の表示例を示す図である。 図２の機能構成を有する図１の情報表示装置が実行する第１指標表示処理の流れを示すフローチャートである。 図１の情報表示装置の機能的構成のうち、第２指標表示処理を実行するための機能的構成を示す機能ブロック図である。 スタート画像におけるポイントが指定された様子を示す図である。 指標形状がフレーム毎に重畳された動画像の表示例を示す図である。 複数フレームの各々における複数の指標形状が表示部１７の一画面に重畳されて同時に表示されている様子を示す図である。 指標形状の画像と共に、付帯情報の画像が表示部１７の位置画面に表示されている様子を示す図である。 図７の機能構成を有する図１の情報表示装置が実行する第２指標表示処理の流れを示すフローチャートである。 複数のポイントの選択の手法の例を説明する図である。 複数のポイントの選択の手法の例を説明する図である。

以下、本発明の実施形態について、図面を用いて説明する。

［第１実施形態］
以下、第１実施形態の説明において、本実施形態とは、第１実施形態のことをいう。
［構成］
図１は、本発明の第１実施形態に係る情報表示装置のハードウェアの構成を示すブロック図である。

情報表示装置１は、例えばデジタルカメラとして構成され、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、表示部１７と、記憶部１８と、通信部１９と、撮像部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムにしたがって各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、表示部１７、記憶部１８、通信部１９、撮像部２０及びドライブ２１が接続されている。

入力部１６は、例えば、表示部１７の表示画面に積層される静電容量式又は抵抗膜式の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。ここで、タッチ操作とは、入力部１６に対する物体（ユーザの指やタッチペン等）の接触又は近接の操作をいう。
表示部１７は、ディスプレイにより構成され画像を表示する。
即ち、本実施形態では、入力部１６と表示部１７とにより、タッチパネルが構成されている。
記憶部１８は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部１９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
撮像部２０は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と称する）のデジタル信号（画像信号）をＣＰＵ１１に供給する。ここで、撮像画像のデジタル信号（画像信号）を、「撮像画像のデータ」と適宜呼ぶ。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。

図２は、このような情報表示装置１の機能的構成のうち、第１指標表示処理を実行するための機能的構成を示す機能ブロック図である。
第１指標表示処理とは、例えば、ゴルフのスイングの動作を行う人物が被写体として写る動画像（連写画像も含む）を表示するに際し、当該被写体の体重移動を示す指標となる図形の画像を、動画像を構成する各フレームに対応付けて表示するまでに行われる一連の処理をいう。
なお、以下、被写体の体重移動を示す指標となる図形を、「指標図形」と呼ぶ。本実施形態では、指標図形として、被写体の股下に形成される三角形が採用されている。

第１指標表示処理が実行される場合には、図２に示すように、ＣＰＵ１１において、動画像取得部４１と、動画像解析部４２と、スタート画像表示制御部４３と、ポイント選択部４４と、再生制御部４５と、指標生成部４６と、指標表示制御部４７と、比較部４８と、報知情報生成部４９と、報知制御部５０と、が機能する。

ただし、図２の機能的構成は例示であり、例えば情報表示装置１がＧＡ（Ｇｒａｐｈｉｃｓ Ａｃｃｅｌｅｒａｔｏｒ）等の画像処理を行うハードウェアを備えている場合、上述の機能ブロックの各機能のうち少なくとも一部を、ＣＰＵ１１から当該ハードウェアに委譲しても良い。

また、第１指標表示処理が実行される場合、記憶部１８の一領域として設けられた、動画像記憶部６１と、比較情報記憶部６２とが用いられる。
動画像記憶部６１には、１以上の動画像（複数のフレームから構成される動画像）のデータが予め記憶されている。動画像記憶部６１に記憶されている動画像のデータは、撮像部２０により撮像された撮像画像のデータであってもよいし、図示せぬ他の装置から送信されて通信部１９に受信された画像のデータであってもよい。本実施形態では、当該動画像の内容は、ゴルフのプレーヤにおける一連のゴルフのスイングの様子である。
比較情報記憶部６２は、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像に基づいて作成された指標図形のデータが、予め、一連のスイング動作の夫々の画像と対応付けて記憶されている。

動画像取得部４１は、動画像記憶部６１に記憶された動画像のデータを取得する。具体的には本実施形態では、動画像のデータは、フレームを単位としてエンコードされた状態で動画像記憶部６１に記憶されている。そこで、動画像取得部４１は、動画像記憶部６１に記憶された動画像のデータを、フレームを単位としてデコードし、デコードされた動画像のデータを取得する。

動画像解析部４２は、動画像取得部４１によって取得された動画像のデータを解析することで、当該動画像において、ゴルフのスイングの動作が映る区間のうち、セットアップからトップまでの動作が映る区間（以下、「第１区間」と呼ぶ）と、トップからフィニッシュまでの動作が映る区間（以下、「第２区間」と呼ぶ）とを識別する。

第１区間と第２区間との識別の手法は、特に限定されないが、本実施形態では、図３に示す手法が採用されている。
図３は、第１区間と第２区間との識別の手法を説明する図であって、一連のゴルフのスイングの動作におけるマーキング画像の位置を示す図である。
即ち、本実施形態では、動画像取得部４１によって取得された動画像に被写体として映るゴルフのプレーヤは、カメラによる撮像時において、マーキング素材が左手の甲に巻かれた状態で、ゴルフのスイングの動作をしたものとする。この場合に当該カメラにより撮像された動画像を構成する複数のフレームのうち、代表的な何枚かのフレームが表示順番にしたがって配置された様子が、図３に示されている。なお、マーキング素材は、カメラによる検出が可能なものであれば足りるが、本実施形態では、カメラの撮像素子によりコントラスト差が画面内で最大で検出されるように、コントラスト差の大きな色違いのマーキング素材が採用されている。
図３に示すように、各フレームには、マーキング素材を示すマーキング画像９１が含まれており、動画像解析部４２は、フレーム内におけるマーキング画像９１の空間的位置を、フレーム毎に認識することができるものとする。
この場合、動画像解析部４２は、マーキング画像９１が、動画像の開始時点から所定時間静止していて、上方に移動を開始する直前のフレームを、セットアップのフレームとして特定する。また、動画像解析部４２は、マーキング画像９１が最初に極大値に到達した時点のフレームを、ゴルフのスイングにおけるトップのフレームとして特定する。
ここで、極大値とは、例えばフレームの左下端を原点として、横方向の軸をＸ軸として、縦方向の軸をＹ軸とした場合、連続する一連の複数のフレームにおいて、マーキング画像９１がＹ軸方向に増加した後に減少する移動をしたときにおける、移動方向の変化時点のＹ座標の値、即ち移動中のＹ座標の最大値をいう。
また、動画像解析部４２は、次に極大値に到達した時点のフレームを、ゴルフのスイングにおけるフィニッシュのフレームとして特定する。
そして、動画像解析部４２は、図３に示すように、セットアップのフレームからトップのフレームまでの区間を第１区間として識別し、トップのフレームからフィニッシュのフレームまでの区間を第２区間として識別する。

図２に戻って、スタート画像表示制御部４３は、動画像解析部４２により解析された動画像を構成する各フレームのうちセットアップのフレームを、ゴルフのスイングがスタートする様子を示す静止画像（以下、「スタート画像」と呼ぶ）として表示部１７に表示させる制御を実行する。

図４は、第１指標表示処理が実行された場合のスタート画像の一例を示している。
ユーザは、図４に示すようなスタート画像が表示部１７に表示されている状態で、指標図形を形成するために必要な複数のポイント（以下、「ポイント群」と呼ぶ）を、入力部１６に対するタッチ操作により指定する。
このように、複数のポイントはユーザにより任意に指定が可能とされている。例えば、プレーヤの両肩、及び両手の合わさった箇所の３つのポイントとして指定されてもよい。ただし、本実施形態では、上述したように、被写体の股下に形成される三角形が指標図形として採用されているので、当該三角形を形成するための３つのポイント、具体的には図４の例ではプレーヤ（被写体）の股間と両足首とが夫々表示されている３つのポイントの組９２がポイント群として指定されたものとする。

図２に戻って、ポイント選択部４４は、入力部１６からの入力信号（ユーザのタッチ操作がなされた座標を示す信号）を受け付けて、ユーザにより指定された複数のポイント（図４の例では３つのポイントの組９２）を認識し、認識した複数のポイントを、スタート画像におけるポイント群として選択する。
なお、ポイント選択部４４は、選択されたポイント群を示す部分画像（黒丸等のシンボル画像）を生成して、当該部分画像をスタート画像に重畳させて表示させてもよい。即ち、ポイント選択部４４は、図４に示すような、３つのポイントの組９２を示す部分画像が重畳されたスタート画像を表示部１７に表示させてもよい。これにより、ユーザは、指標図形を形成するためのポイントを容易に視認することができる。
なお、ポイント選択部４４によるポイント群の選択の手法は、ユーザにより指定された複数のポイントの組を選択するといった上述の手法に特に限定されない。例えば、ポイント選択部４４は、ユーザにより指定された複数のポイントに基づいて指標図形の候補を作成し、当該候補を適宜加工することで指標図形を完成させ、当該指標図形を形成するための複数のポイント（補正されたポイント）をポイント群として選択してもよい。また例えば、股下検出器（図示せず）が情報表示装置１に搭載されている場合には、ポイント選択部４４は、スタート画像において、プレーヤの股間と両足首を結んだ線分で形成される三角形を検出し、当該三角形の各頂点をポイント群として選択してもよい。

図２に戻って、再生制御部４５は、動画像取得部４１により取得された動画像のうち、ポイント選択部４４によりポイント群が選択されたスタート画像から、フィニッシュのフレームまでの期間の動画像の再生を制御する。

指標生成部４６は、再生制御部４５により当該動画像の再生が開始されると、各フレームに指標図形の画像のデータを生成する。
まず、指標生成部４６は、ポイント選択部４４により選択されたポイント群に基づいて、スタート画像における指標図形の画像のデータを生成する。
その後、指標生成部４６は、当該動画像を構成する各フレームに対し、選択されたポイント群に対応する複数のポイントを追従していくことによって、指標図形の画像のデータを生成する。
例えば本実施形態では、指標生成部４６は、公知の画像マッチング技術を適用して、選択されたポイント群に対応するポイントとして、動画像の再生に伴い移動していく複数のポイントを追従していく。具体的には、例えば、指標生成部４６は、再生順で隣接するフレーム同士において、先のフレームに対応する複数のポイントを注目ポイント群として順次設定し、先のフレームの注目ポイント群における各ポイントを中心に含む周辺の画素群からなる領域を特定する。その後、指標生成部４６は、特定された各領域とマッチングする領域を後のフレームから検索して、検索された各領域の中心を後のフレームの注目ポイント群における各ポイントとして認識する。そして、指標生成部４６は、後のフレームにおいて、注目ポイント群を結んだ範囲内の画像のデータを、指標図形のデータとして生成する。

指標表示制御部４７は、指標生成部４６によってフレーム毎に生成された指標図形のデータを、再生対象の動画像のデータに合成することによって、指標図形がフレーム毎に重畳された動画像を表示部１７に表示させる制御を実行する。
図５は、指標図形がフレーム毎に重畳された動画像の表示例を示している。
なお、図５に示すように、指標表示制御部４７は、動画像解析部４２によって識別された第１区間と第２区間ごとに分けて、指標画像が重畳された動画像を表示部１７に表示させてもよい。
なお、指標表示制御部４７は、指標図形の画像を表示部１７に表示させれば足り、必ずしも指標図形と動画像とを同時に表示させなくてもよい。例えば図示はしないが、指標表示制御部４７は、第１区間及び第２区間ごとに、指標図形が重畳されたフレームのうち代表的な何枚かを抽出して、抽出した何枚かを、表示部１７に一画面に表示させたり、連続画像（静止画像が順次再生される画像）として表示部１７に順次表示させてもよい。また、例えば図示はしないが、指標表示制御部４７は、第１区間及び第２区間ごとに、指標図形のみを連続画像として表示部１７に順次表示させてもよい。

なお、図２に戻って、再生制御部４５により動画像の再生が実行されている間、指標生成部４６及び指標表示制御部４７の処理が再生対象のフレーム毎に繰り返して実行されることで、上述したように、指標図形のデータがフレーム毎に生成されて当該指標図形が表示される。

比較部４８は、比較情報記憶部６２に記憶された、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像に基づいて作成された指標図形の画像のデータを、一連のスイング動作の夫々の画像ごとに読み出す。
更に、比較部４８は、指標生成部４６により生成された、フレーム毎の指標図形と、比較情報記憶部６２から読み出した、一連のスイング動作における画像ごとの指標図形との各データを比較する。
この際、比較部４８は、ゴルフのスイングの動作区間を第１区間と第２区間とに区切って、両者の指標図形のデータの比較をしてもよい。

報知情報生成部４９は、比較部４８による比較結果に応じた報知情報を生成する。例えば、報知情報生成部４９は、指標生成部４６により生成された指標図形と、比較情報記憶部６２から読み出した指標図形との形状の差異に応じて、プレーヤにアドバイスするための報知情報を作成する。報知情報の例としては、例えば「スイング全体で体重をもう少し右にかけるとよいでしょう」などが考えられる。
この際、報知情報生成部４９は、第１区間及び第２区間ごとに分けて、プレーヤにアドバイスするための報知情報を作成してもよい。この場合の報知情報の例としては、テークバック期間に対しては「テークバックにおいて体重をもう少し右にかけるとよいでしょう」などがあり、第２区間に対しては「ダウンスイングにおいて体重をもう少し左にかけるとよいでしょう」などがある。

報知制御部５０は、報知情報生成部４９により生成された報知情報を画像として表示部１７に表示させることで、当該表示部を見るユーザに報知情報を報知する制御を実行する

［第１指標表示処理］
続いて、情報表示装置１が実行する第１指標表示処理について説明する。
図６は、図２の機能構成を有する図１の情報表示装置１が実行する第１指標表示処理の流れの一例を示すフローチャートである。

図６において、動画像のデータの取得が開始されるために、情報表示装置１の入力部１６が操作されると、次のようなステップＳ１乃至Ｓ１１の処理が実行される。

ステップＳ１において、動画像取得部４１は、動画像記憶部６１に記憶された動画像のデータを取得する。

ステップＳ２において、動画像解析部４２は、ステップＳ１にて取得された動画像のデータを解析する。動画像解析部４２は、解析結果に基づいて、ゴルフのスイングのうち、セットアップ、トップ、及びフィニッシュに対応するフレームを特定する。そして、動画像解析部４２は、特定結果に基づいて、セットアップからトップまでの動作区間を第１区間と、トップからフィニッシュまでの動作区間を第２区間と、それぞれ識別する。
ステップＳ３において、スタート画像表示制御部４３は、ステップＳ２にて特定されたセットアップのフレームをスタート画像として表示部１７に表示させる。

ステップＳ４において、ポイント選択部４４は、ユーザによる入力部１６に対するタッチ操作の内容（タッチ操作がなされた表示部１７の画面位置）に基づいて、スタート画像表示制御部４３にて表示されたスタート画像における、ポイント群を選択する。

ステップＳ５において、再生制御部４５は、ステップＳ４にてポイント群が選択されたスタート画像から、ステップＳ１にて取得された動画像の再生を開始する。

ステップＳ６において、指標生成部４６は、ステップＳ５にて再生が開始された当該動画像を構成する複数のフレームのうち、再生対象のフレームを注目フレームに設定し、注目フレームにおける指標図形の画像のデータを生成する。
ステップＳ７において、指標表示制御部４７は、当該指標図形を、注目フレームに重畳して表示部１７に表示させる。

ステップＳ８において、再生制御部４５は、再生が終了されるべきか否かを判断する。
ここで、本実施形態では、再生制御部４５は、フィニッシュのフレームが表示されたか否かを判断する。
フィニッシュのフレームが未だ表示されていない場合には、ステップＳ８においてＮＯであると判定されて、処理はステップＳ６に戻され、それ以降の処理が繰り返される。即ち、次の再生対象のフレームが注目フレームに設定され、当該注目フレームにおける指標画像のデータが生成され（ステップＳ６）、当該指標画像が注目フレームに重畳されて表示される（ステップＳ７）。
指標画像が重畳された、フィニッシュのフレームが表示されると、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、比較部４８は、ステップＳ１において取得された動画像と、プロゴルファ等のゴルフの上級者における一連のスイングの動作の画像との間で、指標図形を比較する。

ステップＳ１０において、報知情報生成部４９は、ステップＳ９における比較結果に応じた報知情報を生成する。
ステップＳ１１において、報知制御部５０は、ステップＳ１０にて生成された報知情報を画像として表示部１７に表示させることで、報知を実行する。
これにより、第１指標表示処理は終了となる。

以上説明したように、第１実施形態では、被写体の一連の動作の画像として、プレーヤ（被写体）のゴルフのスイングの動作が映る動画像が採用された。第１実施形態に係る情報表示装置１は、ポイント選択部４４と、指標生成部４６と、指標表示制御部４７とを備える。
ポイント選択部４４は、プレーヤのゴルフのスイング動作の動画像のうちの所定の画像としてスタート画像を選択し、当該スタート画像において、プレーヤの動作の基準となる複数のポイントをポイント群として選択する。
指標生成部４６は、選択されたポイント群からなる指標図形のデータに基づいて、動画像を構成するスタート画像以降のフレーム毎に指標図形のデータを生成する。
指標表示制御部４７は、フレーム毎に生成された指標図形を表示部１７に表示させる。
したがって、第１実施形態に係る情報表示装置１は、荷重センサ等の特殊なデバイスを用いずに、プレーヤの姿勢の変化を、指標図形の変化として表示できる。

指標表示制御部４７は、指標生成部４６により生成された各指標図形を当該各指標図形に対応する一連の動作の画像（例えば、動画像）に重畳して表示部１７に表示させる制御を実行する。
したがって、第１実施形態に係る情報表示装置１は、プレーヤのスイングの動作と共に、プレーヤの姿勢の変化を指標図形の変化として表示できる。よって、プレーヤは、姿勢の変化を実際のスイングの動作と対比して把握することができる。

情報表示装置１は、動画像解析部４２を更に備える。
動画像解析部４２は、ゴルフのスイング動作の中から特定の動作の区間（上述の例では第１区間及び第２区間）を識別する。
この場合、指標表示制御部４７は、特定の動作の区間における指標図形を表示部１７に表示させることができる。
したがって、第１実施形態に係る情報表示装置１は特定の動作の区間ごとに指標図形の変化を表示できるので、その表示を見るユーザは、特定の動作の区間における、プレーヤ（ユーザ自身の場合も含む）の姿勢の変化を容易に把握できる。

情報表示装置１は、報知制御部５０を更に備える。
報知制御部５０は、指標生成部４６により生成された指標図形に応じた報知情報を報知する制御を実行する。
この場合の報知情報としては、例えば、プロゴルファなどの上級者のスイング動作についての指標図形と、プレーヤのスイング動作についての指標図形との比較に基づく、プレーヤに対するアドバイス情報を採用することができる。したがって、このような報知情報を報知されたユーザは、被写体の一連の動作についての見識を高め、当該一連の動作の是正等各種各様の行動を起こすことができる。

ポイント選択部は、ユーザによる入力部１６に対するタッチ操作によりポイント群を選択する。
したがって、ユーザは、所望のポイント群を容易に選択できる。

［第２実施形態］
次に、本発明の第２実施形態について説明する。
以下、第２実施形態の説明において、本実施形態とは、第２実施形態のことをいう。

本発明の第２実施形態に係る情報表示装置１は、第１実施形態と同様のハードウェア構成を有している。即ち、図１は、第２実施形態に係る情報表示装置１のハードウェア構成も示している。なお、図１のハードウェア構成は説明済みであるので、ここではその説明は省略する。

図７は、図１に示した情報表示装置１の機能的構成のうち、第２指標表示処理を実行するための機能的構成を示す機能ブロック図である。
第２指標表示処理とは、例えば、走る動作を行う人物が被写体として写る動画像を表示するに際し、当該被写体の動き（例えば、体重移動）を示す指標となる形状の画像を、動画像を構成する各フレームに対応付けて表示するまでに行われる一連の処理をいう。
本実施形態において、被写体の動きを示す指標となる形状を、「指標形状」と呼ぶ。本実施形態では、指標形状として、被写体の首、腰、両膝、及び両足首といった被写体の各部位のうち、２以上の部位を点として結ぶ線分が採用されている。

ここで、図７において、図２と対応する機能ブロックについては、図２と同一の符号を付してある。図２と図７とを比較すれば容易にわかるが、第２指標表示処理が実行される場合には、第１指標表示処理が実行される場合に機能した機能ブロックのうち、動画像解析部４２及び比較部４８が機能せず、それ以外の機能ブロックが機能する。具体的には、第２指標表示処理が実行される場合には、図７に示すように、ＣＰＵ１１において、動画像取得部４１と、スタート画像表示制御部４３と、ポイント選択部４４と、再生制御部４５と、指標生成部４６と、指標表示制御部４７と、報知情報生成部４９と、報知制御部５０と、が機能する。
なお、これらの機能ブロックが有する主要な機能については、図２を参照して説明済みであるので、第２指標表示処理の実行に特有な機能についてのみ、以下説明する。

また、第２指標表示処理が実行される場合、記憶部１８の一領域として設けられた、動画像記憶部６１が用いられる。
本実施形態では、動画像記憶部６１に記憶されている動画像のデータの内容は、ランナーの走る動作の様子である。

スタート画像表示制御部４３が、スタート画像を表示部１７に表示させる制御を実行する点は、第１指標表示処理と同様である。ただし、第２指標表示処理では、動画像取得部４１により取得された動画像を構成する複数のフレームのうち、再生を開始するための任意のフレームが、スタート画像として選択され得る点が、第１指標表示処理とは異なる。

図８は、第２指標表示処理が実行された場合のスタート画像の一例を示している。
ユーザは、図８に示すようなスタート画像が表示部１７に表示されている状態で、指標形状を形成するために必要な複数のポイントを、入力部１６に対するタッチ操作により指定する。
このように、指標形状を形成するために必要な複数のポイントはユーザにより任意に指定が可能とされている。ただし、本実施形態では、ランナー（被写体）の首、腰、両膝、及び両足首の上が夫々表示されている６つのポイントの組９３がとして指定されたものとする。

図７に戻って、再生制御部４５により動画像の再生が開始されると、指標生成部４６が、各フレームに指標図形の画像のデータを生成する点は、第１指標表示処理と同様である。したがって、この点の詳細は、第１指標表示処理と同様であり説明済みであるので、ここでは説明を省略する。
なお、指標生成部４６は、第１指標表示処理では指標図形の画像のデータをフレーム毎に生成したのに対して、第２指標表示処理では指標形状の画像のデータをフレーム毎に生成する。

指標表示制御部４７は、指標生成部４６によってフレーム毎に生成された指標形状のデータを、再生対象の動画像のデータに合成することによって、指標形状がフレーム毎に重畳された動画像を表示部１７に表示させる制御を実行する。
図９は、指標形状がフレーム毎に重畳された動画像の表示例を示している。
なお、指標表示制御部４７は、指標形状の画像を表示部１７に表示させれば足り、必ずしも指標形状と動画像とを同時に表示させなくてもよい。
図１０は、複数フレームの各々における指標形状が表示部１７の一画面に重畳されて同時に表示されている様子を示している。
また、指標表示制御部４７は、指標形状の画像と共に、動画像以外の画像を同時に表示させてもよい。
図１１は、指標形状の画像と共に、付帯情報の画像が表示部１７の位置画面に表示されている様子を示している。
即ち、指標表示制御部４７は、図１１に示すように、ランナーの首を示すポイント９４と、ランナーの腰を示すポイント９５とを結ぶ線分の、鉛直方向とのなす角θを、「傾きθ」として、各フレームにおいて、当該傾きθを示す画像を、指標形状（同図の例ではポイント９４とポイント９５を結ぶ線分）と共に表示部１７に表示させてもよい。この際、指標表示制御部４７は、フレーム毎の傾きθの情報をＲＡＭ１３に記憶させる。

なお、図７に戻って、指標生成部４６及び指標表示制御部４７の処理は、再生制御部４５により動画像の再生が実行されている間、再生対象のフレーム毎に繰り返して実行されることで、上述したように、フレーム毎に、指標形状のデータが生成されて当該指標形状が表示される。

報知情報生成部４９が報知情報を生成する点は、第１指標表示処理と同様である。ただし、生成される報知情報の内容が、第１指標表示処理とは異なる。即ち、報知情報生成部４９は、例えば、指標表示制御部４７によりＲＡＭ１３に記憶されたフレーム毎の傾き角θの時間推移のグラフを報知情報として生成する。
なお、報知制御部５０が報知情報をユーザに報知する制御を実行する点は、第１指標表示処理と同様である。

［第２指標表示処理］
続いて、情報表示装置１が実行する第２指標表示処理について説明する。
図１２は、図７の機能構成を有する図１の情報表示装置１が実行する第２指標表示処理の流れの一例を示すフローチャートである。

図１２において、動画像のデータの取得が開始されるために、情報表示装置１の入力部１６が操作されると、次のようなステップＳ２１乃至Ｓ２９の処理が実行される。

ステップＳ２１において、動画像取得部４１は、動画像記憶部６１に記憶された動画像のデータを取得する。

ステップＳ２２において、スタート画像表示制御部４３は、動画像を構成する複数のフレームのうち任意の１枚をスタート画像として選択して、当該スタート画像を表示部１７に表示させる。

ステップＳ２３乃至ステップＳ２７の各処理は、図６の第１指標表示処理のステップＳ４乃至Ｓ８の各処理と基本的に同様である。
ただし、フレーム毎に生成されて表示される指標が、第１指標表示処理では指標図形であったものが、第２指標表示処理では指標形状である点が異なる。また、ステップＳ２６において、指標形状と共に傾き角θが表示され、当該傾き角θのフレーム毎の情報がＲＡＭ１３に記憶される点が、第１指標表示処理とは異なる。

ステップＳ２８において、報知情報生成部４９は、ステップＳ２６にてＲＡＭ１３に記憶されたフレーム毎の傾き角θを示す情報を、報知情報として生成する。
ステップＳ２９において、報知制御部５０は、当該報知情報を表示部１７に表示させることで、報知を実行する。
これにより、第２指標表示処理は終了となる。

以上説明したように、第２実施形態では、被写体の一連の動作の画像として、ランナー（被写体）の走る動作が映る動画像が採用された。
第２実施形態に係る情報表示装置１は、ポイント選択部４４と、指標生成部４６と、指標表示制御部４７とを備える。
ポイント選択部４４は、ランナーの走る動作の動画像のうちの所定の画像としてスタート画像を選択し、当該スタート画像において、ランナーの動作の基準となる複数のポイントを選択する。
指標生成部４６は、選択された複数のポイントからなる指標形状のデータに基づいて、動画像を構成する複数のフレーム毎に指標形状のデータを生成する。
指標表示制御部４７は、フレーム毎に生成された指標形状を表示部１７に表示させる。
したがって、第２実施形態に係る情報表示装置１は、荷重センサ等の特殊なデバイスを用いずに、ランナーの姿勢の変化を指標形状の変化として表示できる。

指標表示制御部４７は、指標生成部４６により生成された各指標図形を当該各指標図形に対応する一連の動作の画像（例えば、動画像）に重畳して表示部１７に表示させる制御を実行する。
したがって、第２実施形態に係る情報表示装置１は、ランナーの走る動作と共に、ランナーの姿勢の変化を指標図形の変化として表示できる。よって、ランナーは、姿勢の変化を実際の走る動作と対比して把握することができる。

情報表示装置１は、報知制御部５０を更に備える。
報知制御部５０は、指標生成部４６により生成された指標形状に基づいて、報知情報を報知する。
この場合の報知情報としては、例えば、指標形状としてのランナーの背中のラインと、鉛直方向とのなす角を傾き角として、当該傾き角を時系列に逐次並べた情報、即ちランナーについての当該傾き角時間的変化のグラフを採用することができる。したがって、このような報知情報を報知されたユーザは、傾き角につき、角度変化の周期や最大傾斜角度を把握できる。

ポイント選択部は、ユーザによる入力部１６に対するタッチ操作により複数のポイントを選択する。
したがって、ユーザは、所望する複数のポイントを容易に選択できる。

なお、本発明は、上述の第１及び第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の第１実施形態ではゴルフのスイングの動作に対して、上述の第２実施形態ではランナーの走る動作に対して、夫々本発明を適用する場合を例に挙げて説明したが、特にこれに限定されず、本発明は種々の動作に適用することができる。例えば、本発明は、野球のバットのスイング、テニスのラケットのスイング、ダンスの振り付け等の各種スポーツの動作に適用することが可能である。また例えば、本発明は、歩く動作、ラジオ体操での体を動かす動作等に適用することが可能である。
また、上述の第２の実施形態では、図１０のように、複数フレームの各々における指標形状が表示部１７の一画面に重畳されて同時に表示されているものとしたが、これに限らない。
つまり、複数フレームの各々における指標形状のみをフレーム毎に動画として表示させても良い。

また、上述の第１及び第２実施形態では、本発明に係る情報表示装置として、デジタルカメラが採用されたが、特にこれに限定されない。本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

また、上述の第１実施形態では、複数のポイント（点）は、先ずスタート画像についてはユーザの操作により直接指定されたものが選択され、それ以降のフレームについては、前のフレームのポイントのポイントから追従されたものが選択された。しかしながら、複数のポイントの選択の手法は、このような第１実施形態で採用された手法に特に限定されない。例えば、図１３及び図１４に示される手法を、複数のポイントの選択の手法として採用することもできる。
図１３及び図１４は、複数のポイントの選択の手法の別の例を説明する図である。
図１３の例では、プレーヤ（被写体）がゴルフのスイングの動作をする様子が映る動画像が採用されている。このため、図１３及び図１４の例では、第１実施形態に対応して、三角形の指標図形が採用されている。そこで、以下、説明の便宜上、三角形の指標図形を形成する３つのポイントの選択の手法についての第１実施形態とは異なる例として説明する。
先ず、ユーザ（被写体自身であってもよい）が、入力部１６を操作して、被写体についての基本情報として、図１３に示す情報、即ち、身長、股下長、及びスタンス幅を事前に情報表示装置１に入力しておく。
この場合、情報表示装置１は、被写体の両足に均等に体重がかかっているため、図１３に示すように、両足を結ぶ線分を底辺とする二等辺三角形がセットアップ時の指標図形として、当該二等辺三角形の３つの頂点座標を、基本情報に基づいて演算して算出し、これらの頂点座標に位置する３つの頂点をセットアップ時の３点のポイントとして選択する。
そして、情報表示装置１は、第１区間の指標図形の変化（体重移動の様子）を、図１４に示すように、徐々に右脚に体重がかかっていくように三角形が右側に徐々に移動していくものとして、次のように３つのポイントを演算していく。即ち、情報表示装置１は、セットアップ時の３つのポイントの各頂点座標を開始座標として、トップに至るまでの適当な時間間隔で時間分割して、当該開始座標から、三角形の頂点座標を少しずつ右側に移動させていくことで、それぞれの時点の３つの頂点座標を演算して算出し、これらの頂点座標に位置する３つの頂点を各時点における３つのポイントとして選択する。なお、この場合、各時点の頂点座標の移動量は、特に限定されず、ユーザによる入力部１６の所定の操作によって任意に変更可能となっている。
また、スタート画像における３つのポイントを選択する手法として、顔画像検出技術の分野で公知である識別器の情報に３つのポイントを検出するためのパターンを記憶させることで、スタート画像における３つのポイントを選択するようにしても良い。
また、情報表示装置１は、第２区間の指標図形の変化（体重移動の様子）を、図１４に示すように、テークバック期間とは逆の変化とし、つまり、トップ時の三角形を開始の指標図形として、この開始の指標図形から、徐々に左脚に体重がかかっていくように三角形が左側に徐々に移動していくものとして、次のように３点のポイントを演算していく。即ち、情報表示装置１は、トップ時の３つのポイントの各頂点座標を開始座標として、インパクトに至るまでの適当な時間間隔で時間分割して、当該開始座標から、三角形の頂点座標を少しずつ左側に移動させていくことで、それぞれの時点の３つの頂点座標を演算して算出し、これらの頂点座標に位置する３つの頂点を各時点のポイント群として選択する。なお、この場合も、各時点の頂点座標の移動量は、特に限定されず、ユーザによる入力部１６の所定の操作によって任意に変更可能となっている。
なお、図１３及び図１４の手法が適用されて選択された３つのポイントにより形成される三角形の変化（図１４参照）は、いわば被写体の体重移動の理想的な変化を示す指標図形（以下、「理想指標図形」と呼ぶ）である。一方、第１実施形態の手法が適用されて選択された３つのポイントにより形成される三角形の変化は、いわば被写体の体重移動の実際の変化を示す指標図形（以下、「実指標図形」と呼ぶ）である。
そこで、情報表示装置１は、これらの理想指標図形と実指標図形とを相互に独立して表示させてもよいが、理想指標図形と実指標図形とを同時に表示させてもよい。ユーザは、同時に表示された理想指標図形と実指標図形とを見比べることで、体重変化の実際と理想との差分を容易に視認することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２及び図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報表示装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２及び図７の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成しても良いし、ソフトウェア単体で構成しても良いし、それらの組み合わせで構成しても良い。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段と、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する第１の特定手段と、
前記第１の特定手段により夫々特定された複数の点に対し、当該複数の点を含む指標を生成する指標生成手段と、
前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段と、
を備える表示制御装置。
［付記２］
前記表示制御手段は、前記指標生成手段により生成された各指標を当該各指標に対応する前記一連の動作の画像に重畳して前記表示手段に表示させる制御を実行する
付記１に記載された表示制御装置。
［付記３］
前記一連の動作のうち所定の動作の区間を特定する第２の特定手段を更に備え、
前記表示制御手段は、前記指標生成手段により生成された各指標のうち、前記第２の特定手段により特定された所定の動作の区間に対応する各指標を前記表示手段に表示させる制御を実行する
付記１又は２に記載の表示制御装置。
［付記４］
前記指標生成手段により生成された指標に基づいて、前記一連の動作に関する報知情報を報知する報知手段、を更に備える
付記１から３の何れかに記載の表示制御装置。
［付記５］
前記選択手段は、ユーザによる入力操作により前記複数の点を選択する付記１から４の何れかに記載の表示制御装置。
［付記６］
表示制御装置が実行する表示制御方法であって、
被写体の一連の動作の画像のうちの所定の画像において、前記一連の動作の基準となる複数の点を選択する選択ステップと、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定ステップと、
前記特定ステップにて夫々特定された前記複数の点に対し、当該複数の点を含む指標を生成する指標生成ステップと、
前記指標生成ステップにて生成された各指標を表示手段に表示させる制御を実行する表示制御ステップと、
を含む表示制御方法。
［付記７］
コンピュータを、
被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段、
前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定手段、
前記特定手段により夫々特定された複数の点に対し、当該複数の点を含む指標を生成する指標生成手段、
前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段、
として機能させることを特徴とするプログラム。

１・・・情報表示装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・タッチパネル，１７・・・表示部，１８・・・記憶部，１９・・・通信部，２０・・・ドライブ，３１・・・リムーバブルメディア，４１・・・動画像取得部，４２・・・動画像解析部，４３・・・スタート画像表示制御部，４４・・・ポイント選択部，４５・・・再生制御部，４６・・・指標生成部，４７・・・指標表示制御部，４８・・・比較部，４９・・・報知情報生成部，５０・・・報知制御部，６１・・・動画像記憶部，６２・・・比較情報記憶部，

Claims (11)

1. 被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段と、
   前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する第１の特定手段と、
   前記第１の特定手段により夫々特定された複数の点を含む指標を、前記一連の動作の画像の夫々に対して生成する指標生成手段と、
   前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段と、
   を備える表示制御装置。
2. 前記表示制御手段は、前記指標生成手段により生成された各指標を当該各指標に対応する前記一連の動作の画像に重畳して前記表示手段に表示させる制御を実行する
   請求項１に記載の表示制御装置。
3. 前記一連の動作のうち所定の動作の区間を特定する第２の特定手段を更に備え、
   前記表示制御手段は、前記指標生成手段により生成された各指標のうち、前記第２の特定手段により特定された所定の動作の区間に対応する各指標を前記表示手段に表示させる制御を実行する
   請求項１又は２に記載の表示制御装置。
4. 前記指標生成手段により生成された指標に基づいて、前記一連の動作に関する報知情報を報知する報知手段、を更に備える
   請求項１から３の何れかに記載の表示制御装置。
5. 前記選択手段は、ユーザによる入力操作により前記複数の点を選択する請求項１から４の何れかに記載の表示制御装置。
6. 前記選択手段は、前記所定の画像における前記一連の動作の基準となる複数の点を画像解析により選択する
   請求項１から５の何れかに記載の表示制御装置。
7. 前記指標生成手段は、前記第１の特定手段により夫々特定された複数の点に対し、当該複数の点を結んだ形状の指標を生成する
   請求項１から６の何れかに記載の表示制御装置。
8. 前記選択手段は、前記被写体の画像領域から前記一連の動作の基準となる複数の点を選択する
   請求項１から７の何れかに記載の表示制御装置。
9. 前記選択手段は、前記被写体の画像領域を構成する複数の部分画像領域の大きさ、又は位置に基づいて、前記一連の動作の基準となる複数の点を選択する
   請求項８に記載の表示制御装置。
10. 表示制御装置が実行する表示制御方法であって、
    被写体の一連の動作の画像のうちの所定の画像において、前記一連の動作の基準となる複数の点を選択する選択ステップと、
    前記選択ステップにより選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定ステップと、
    前記特定ステップにて夫々特定された複数の点を含む指標を、前記一連の動作の画像の夫々に対して生成する指標生成ステップと、
    前記指標生成ステップにて生成された各指標を表示手段に表示させる制御を実行する表示制御ステップと、
    を含む表示制御方法。
11. コンピュータを、
    被写体の一連の動作の画像のうちの所定の画像において、当該一連の動作の基準となる複数の点を選択する選択手段、
    前記選択手段により選択された複数の点に対応する前記一連の動作の画像における複数の点を夫々特定する特定手段、
    前記特定手段により夫々特定された複数の点を含む指標を、前記一連の動作の画像の夫々に対して生成する指標生成手段、
    前記指標生成手段により生成された各指標を表示手段に表示させる制御を実行する表示制御手段、
    として機能させることを特徴とするプログラム。

Images