JP6484731B2 - 運動支援システム、および、運動支援方法 - Google Patents

Description

本発明は、運動支援システム、および、運動支援方法に係り、ゴルフなどの用具を用いるプレーの上達を効率的に支援する運動支援システム、および、運動支援方法に関する。

近年、情報処理技術を用いて、ユーザの動きと連動し、また、ユーザのプレーしている画像を撮像し、ユーザのプレーを支援するシステムが開発されている。

例えば、ゴルフのスイングに関して、ユーザのスイングに対しての情報を提供する装置としては、特許文献１の「ゴルフ練習装置」がある。この特許文献１では、「練習者９２が液晶表示パネルに表示されている練習者９２の画像を見ながらスイングするとき、練習者９２の顔は斜め方向に向けられていることにより、練習者９２のスイングは実際にゴルフボール８８を打つスイングにほぼ同じになるから、スイングをする練習者９２の画像からスイングの良否を判定することができる」（１９頁、２０頁）と記載されている。

特開平４−２０８１７３号公報

上記特許文献１に記載のゴルフ練習装置は、第７図に示されるようにユーザの斜め手前か、第１１図に示されるようにティーの手前側に液晶表示パネル５６を置き、それにユーザ自身のスイング姿勢を表示するものである。しかしながら、液晶表示パネル５６は、決められた狭いエリアに表示されるため、ユーザがプレー中に見ていると、目線が悪くなり、プレーに集中できないとおそれがある。さらに、表示装置の場所が近いと、プレーのじゃまになる問題点がある。

本発明は、上記問題点を解決するためになされたもので、その目的は、効率かつユーザのプレーにじゃまにならない方法で、ユーザに運動支援の情報を提示し、ユーザのスキルアップを図る運動支援システムを提供することにある。

上記問題点を解決するために、本発明の運動支援システムの構成は、ユーザが用具を用いておこなう運動を支援する運動支援システムであって、ユーザの運動に関する状況の映像を撮像する撮像部と、用具もしくはユーザに重畳した状態、または、用具もしくはユーザの近傍に画像を投射する画像投射部と、ユーザの運動を支援する運動支援表示を含む画像を生成する画像生成部と、制御部とを備えるようにしたものである。そして、制御部は、撮像部が撮像した映像中の用具の位置を検出し、用具の位置の検出結果に応じて、画像生成部が、生成する画像内での運動支援表示の位置を変更する。

また、好ましくは、制御部は、撮像部が撮像した映像中のユーザの位置を検出し、ユーザの位置の検出結果に応じて、画像生成部が、生成する画像内での運動支援表示の位置を変更する。

また、好ましくは、画像投射部は、撮像部で撮像したユーザの映像を、用具またはユーザと重畳しない位置に表示するようにしたものである。

さらに、詳細な構成は、上記運動支援システムにおいて、ユーザが用具を用いておこなう運動は、ゴルフ競技に関する運動であり、制御部は、撮像部が撮像した映像の中のユーザの位置、身長、ゴルフの用具のボール、ゴルフクラブのタイプ、位置に応じて、画像生成部が生成する画像内での運動支援表示の位置を変更するようにしたものである。

また、詳しくは、制御部が生成する運動支援表示は、ボールに投射する目印であるようにしたものである。

また、詳しくは、制御部が生成する運動支援表示は、ユーザが立つべき場所または向きに関する表示であるようにしたものである。

また、別の構成は、上記運動支援システムにおいて、ボール、ゴルフクラブのタイプごとに、インパクトする際の高さの差の下限、上限のデータを保持し、制御部は、撮像部が撮像した映像により、ボール、ゴルフクラブの高さの差を算出し、ボール、ゴルフクラブの高さの差が、インパクトする際の高さの差の下限から上限の間にあるか否かを判定し、画像投射部は、ボール、ゴルフクラブの高さの差が、インパクトする際の高さの差の下限から上限の間にあるときに、スイングの合図の情報を含む画像を投射するようにしたものである。

本発明によれば、効率かつユーザのプレーにじゃまにならない方法で、ユーザに運動支援の情報を提示し、ユーザのスキルアップを図る運動支援システムを提供することができる。

本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの利用シーンを示す図である。 本発明の第一の実施形態に係るシステム構成を示すブロック図である。 人検知結果データの一例を示す図である。 用具検知結果データの一例を示す図である。 本発明の第一の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第一の実施形態に係る支援表示設定データの別の例を示す図である。 人（ユーザ）に対する計測を説明する図である。 用具（ボール、ゴルフクラブ）に対する計測を説明する図である。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの動作シーケンス図である。 本発明の第一の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図の別の例である。 本発明の第二の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第二の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 ユーザの向きの角度について説明する図である。 本発明の第三の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第三の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。 ボールとゴルフクラブの位置関係を説明する図である。 本発明の第三の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第四の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第五の実施形態に係るシステム構成を示すブロック図である。

以下、本発明に係る各実施形態を、図１ないし図１９を用いて説明する。また、以下に説明する運動支援システムは、室内のゴルフシミュレータシステムに適用してもよいが、ゴルフ練習場に適用してもよく、また実際のゴルフコースのティーグラウンドに適用してもよい。

〔実施形態１〕
以下、本発明に係る第一の実施形態を、図１ないし図１０を用いて説明する。

本実施形態の運動支援システムは、情報処理技術によりユーザの運動を支援するシステムであり、ゴルフプレーヤー向けの運動技術を上達させるために、ボールに目印を提示する機能を有するものである。

ゴルフの初心者では、スイングするときに目線がボールから外れて、成績が悪くなる問題がよく発生する。そのため、本実施形態の運動支援システムは、ボールの目印をつけ、目印を適切な場所に表示できるようにボールを設置し、スイングの際に、目印を意識的に注視することによって、プレーヤーの目線外れを防止できるようにしたものである。

先ず、図１および図２を用いて本発明の第一の実施形態に係る運動支援システムの概要と構成について説明する。
図１は、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの利用シーンを示す図である。
図２は、本発明の第一の実施形態に係るシステム構成を示すブロック図である。
図１の図で、図１（ａ）は、平面図であり、図１（ｂ）は、上面図である。図１に示される状態は、ゴルフプレーヤー２は、ゴルフクラブ１０を持ち、ボール９の前に立っている所である。運動支援システム１は、撮像装置５、投射装置７から構成され、ゴルフグランド８に設置される。撮像装置５は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の画像を取り込める場所に設置される。投射装置（プロジェクタ）７は、グランド８の画像投射領域１２に運動支援のための支援情報が含まれる映像を投射することが可能である。なお、運動支援のための支援情報の詳細については後に説明する。

運動支援システム１は、撮像装置５が取得した画像から特定の対象の座標を取得する。なお、本実施形態では、図１に示されるように、座標系の原点３を、投射装置７の下辺中央、ゴルフグランド８の上の点にとり、三次元座標系として、（ｘ，ｙ，ｚ）として定めることとする。

運動支援システム１は、図２に示されるように、撮像部２０、制御部２４、画像生成部２１、画像投射部２２、メモリ２５、ストレージ２７から構成される。この運動支援システム１の各ブロックは、バス２３を介して接続されている。

撮像部２０は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０を撮像して、デジタル映像情報としてリアルタイムに取得する。

画像生成部２１は、画像投射領域１２に指示された内容を表示するための投射用画像を生成する。なお、どのような画像を生成するかは、後に詳述する。

画像投射部２２は、超短焦点プロジェクタなどの装置に相当する装置であり、非常に短い距離で所定の範囲内に画像を投射することができる。本実施形態の画像投射部２２は、後述するように、ゴルフプレーヤー２や用具（ゴルフクラブ１０やボール９）の一部分またはこれらの周辺のゴルフグラウンド８上に画像投射し、ユーザに支援情報を提示することが可能である。

制御部２４は、運動支援システムの各部を制御し、ストレージ２７からメモリ２５にロードされたプログラム、データを参照して、実行することにより各種機能を実行する。制御部２４は、バス２３を介して、撮像部２０の画像をメモリ２５に読込み、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の各属性を検知して、提示すべき情報を決定し、画像生成部２１を用いて画像を生成し、画像投射部２２により所定の画像を投射することによって、ゴルフプレーヤー２に支援情報を提示する機能を実現する。

メモリ２５は、半導体記憶装置から構成されるメインメモリであり、ストレージ２７に格納しているアプリケーションプログラムがロードされて、制御部２４は、それを命令語として実行する。また、動作中の中間データなどのワークデータがメモリ２５に一時保存され、制御部２４は、それを参照する。

ストレージ２７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの比較的大容量の記憶装置であり、アプリケーションプログラム２９と設定データ２８を格納する。制御部２４は、ストレージ２７からアプリケーションプログラム２９をメモリ２５にロードして、制御部２４が、ロードされたアプリケーションプログラムを実行することにより様々な機能を実現することができる。このアプリケーションプログラムが実行する際の設定情報は、設定データ２８として格納されており、制御部２４が読込んで参照することが可能である。

設定データ２８には、画像特徴量データ４２、支援表示設定データ４３がある。

画像特徴量データ４２は、認識する予定の各対象（ゴルフプレーヤー、ボール、ゴルフクラブなど）の特徴量を表すデータである。支援表示設定データ４３は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の属性に応じて提示すべき支援の支援内容の対応関係を格納するデータである。支援表示設定データ４３の一部の項目は予め設定しておく項目である。他の一部は、画像特徴量データ４２から算出した各検知結果に基づいて算出する項目である。制御部２４は支援表示設定データ４３を参照しながら、ゴルフプレーヤー２に運動支援情報の提示をおこなう。なお、支援表示設定データ４３は、運動支援システムが稼働中に変更可能としてもよい。

アプリケーションプログラム２９には、画像認識プログラム４４、運動状態認識プログラム４５がある。

画像認識プログラム４４は、パターン抽出などの技術を用い、画像の特徴量を算出し、学習済みの画像特徴量データ４２を用いて、画像の中で、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の有無、種類、タイプ、座標などの属性を認識するプログラムであり、制御部２４がこれを実行することにより、画像認識をおこなう。

運動状態認識プログラム４５は、画像認識プログラム４４により認識されたゴルフプレーヤー２、ボール９、ゴルフクラブ１０の属性を用い、ゴルフプレーヤー２が進行中の動作の状態を認識するプログラムであり、制御部２４がこれを実行することにより、ゴルフプレーヤー２が進行中の動作の状態を認識する。

以後の説明では説明を簡単にするため、制御部２４が画像認識プログラム４４を実行して、画像認識をするときには、運動支援システムの「画像認識部」が実行するように記述し、制御部２４が運動状態認識プログラム４５を実行して、ゴルフプレーヤー２が進行中の動作の状態を認識するときには、「運動状態認識部」が実行するように記述することとする。ただし、画像認識の機能、運動状態認識の機能をおこなう部分は、専用のハードウェアで実現されるようにしてもよい。

次に、図３ないし図６を用いて運動支援システムに用いられデータ構造について説明する。
図３は、人検知結果データの一例を示す図である。
図４は、用具検知結果データの一例を示す図である。
図５Ａは、本発明の第一の実施形態に係る支援表示設定データの一例を示す図である。
図５Ｂは、本発明の第一の実施形態に係る支援表示設定データの別の例を示す図である。
図６は、人（ユーザ）に対する計測を説明する図である。
図７は、用具（ボール、ゴルフクラブ）に対する計測を説明する図である。

人検知結果データ５０は、人（ユーザ）に対して取得した撮像データに対して、画像認識部が、制御部２４に送る画像認識した結果のデータであり、図３に示されるように、人有無フラグ５０ａ、座標５０ｂ、身長５０ｃの各データから構成される。人有無フラグ５０ａは、画像認識の結果、撮像された範囲内に人がいるかいないかを示すフラグである。座標５０ｂは、座標系上の人の座標である。人の座標は、その人の足の中点のゴルフグランド８の上の点を、人座標点５００（図６（ａ））を基準とすることにする。身長５０ｃは、撮像されたユーザの身長ｌ（図６（ｂ））である。ここで、撮像されたユーザの身長ｌは、ユーザが身長計で図るときの最大の身長ｌ_ｍａｘ（図６（ｂ））とするとｌ≦ｌ_ｍａｘが成立する。すなわち、ユーザの身長ｌは、実際に撮像された画像により計測された身長である。

用具検知結果データ６０は、ゴルフプレーヤー２の使用する用具であるボール９、ゴルフクラブ１０に対して取得した撮像データに対して、画像認識部が、制御部２４に送る画像認識した結果のデータであり、図４に示されるように、用具内容６０ａ、用具座標６０ｂの各データから構成される。

用具内容６０ａには、その用具の種類（ボール、ゴルフクラブの別）とそのタイプが格納される。用具のタイプとは、ボール９の場合は、形状や大きさ、ディンプルの情報（表面の小さな窪み）、また、商品名などにより識別して区別する際のボールの分類形態であり、ゴルフクラブ１０の場合は、ドライバ、アイアン、ウェッジなどの別、番手（ロフト角、ライ角により区別される）、また、商品名などにより識別して区別する際のゴルフクラブの分類の形態である。用具のタイプの画像認識は、形状を分析してそのタイプを判定することにしてもよいし、ボール９、ゴルフクラブ１０に特殊なマークを付けておき、それを画像認識して商品名などを判定するようにしてもよい。

用具座標６０ｂには、その用具の座標が格納される。ボール９の座標は、例えば、ボール表面の中心で、図１のｘ座標が一番大きくなる所を、ボール座標点６００（図７（ａ））と定める。ゴルフクラブ１０の座標は、例えば、ゴルフクラブ１０のヘッドのフェース６１０の中心点を、ゴルフクラブ座標点６０１（図７（ｂ））と定める。

支援表示設定データ７０は、制御部２４が人検知結果データ５０と用具検知結果データ６０に基づいて、プレー場所に投射する支援情報を決定するためのデータであり、身長７０ａ、ボールタイプ７０ｂ、ゴルフクラブタイプ７０ｃ、支援情報タイプ７０ｄ、支援情報属性７０ｅが格納される。

身長７０ａは、認識されたユーザ（ゴルフプレーヤー２）の身長である。ボールタイプ７０ｂは、用具内容６０ａに格納されたボール２のタイプである。ゴルフクラブタイプ７０ｃは、用具内容６０ａに格納されたゴルフクラブ１０のタイプである。支援情報タイプ７０ｄは、投射する支援情報のタイプである。支援情報属性７０ｅは、支援情報のタイプにしたがった属性である。
図５Ａに示される例では、ゴルフプレーヤー２の身長が１６５ｃｍ、ボール２のタイプ種類がＡ、ゴルフクラブ１０のタイプがＩの場合に、提示する支援情報の種類は、目印提示（ボール表面に目印を表示）であり、その目印の提示する場所の座標は、（８０，２，４）であることを示している。図５Ａに示されるように、ボール上に目印表示を表示する場合は、その目印表示の提示座標は、図４の用具検知結果データ６０におけるボールの用具座標６０ｂに基づいて算出する。このときボールの用具座標６０ｂそのものを目印表示にしてもよいし、支援表示設定データ７０の他の項目に基づいて修正した座標を用いてもよい。このように、目印表示の提示座標を、検出したボールの用具座標６０ｂに基づいて算出することにより、ボールの位置が変わった場合でも、正しく目印表示をボール上に表示することができる。

なお、図５Ｂに示される例のように、支援情報の種類として、ボールの周辺のゴルフグラウンドに表示する矢印表示を用いてもよい。その場合には、座標のほかに、支援情報属性７０ｅとして、その矢印の向き（角度など）も必要になる。図５Ｂの例では、矢印の向きを角度0度の例のみ挙げているが、必要に応じて矢印の表示角度を変更するために、支援情報属性７０ｅに格納する角度情報を変更すればよい。図５Ｂに示されるように、ボールの周辺に矢印表示を表示する場合は、その矢印表示の提示座標は、図４の用具検知結果データ６０におけるボールの用具座標６０ｂに基づいて算出する。このときボールの用具座標６０ｂのｘｙ座標に所定値のオフセット（例えば、ｘ＋０、ｙ−５など）を加えて算出してもよい。また、これを支援表示設定データ７０の他の項目に基づいてさらに修正した座標をもちいてもよい。このように、矢印表示の提示座標を、検出したボールの用具座標６０ｂに基づいて算出することにより、ボールの位置が変わった場合でも、矢印表示をボールに対して所定の相対位置に表示することができる。

次に、図８ないし図１０を用いて本発明の第一の実施形態に係る運動支援システムの処理について説明する。
図８は、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの動作シーケンス図である。
図９は、本発明の第一の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。
図１０Ａは、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
図１０Ｂは、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図の別の例である。

先ず、図８の処理において、運動支援システム１が立ち上がると、撮像部２０は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０を含める範囲の画像を取り込み（Ｓ００１）、画像データを画像認識部４０に送信する（Ｓ００２）。

画像認識部４０は、人検知を行い（Ｓ００３）、ゴルフプレーヤー２の有無をチェックし、ゴルフプレーヤー２が出場する場合、身長、現在座標などの属性を、図３に示した人検知結果データとして制御部２４に送信する（Ｓ００４）。

次に、制御部２４は、ゴルフプレーヤー２が検知される場合（人有無フラグ５０ａ＝“いる”）、支援情報提示の処理をおこなう（Ｓ１００）。支援情報提示の処理では、先ず、制御部２４は、画像認識部４０に用具の検知を要求する（Ｓ００５）。画像認識部４０は、ストレージ２７に格納されている画像特徴量データ４２を参照して、画像認識をして、用具の情報検知し、図４に示した制御部２４に送信する（Ｓ００７）。

制御部２４は、人検知結果データ５０と用具検知結果データ６０を用いて、図５に示した支援表示設定データ７０の座標など支援情報属性の一部の項目を算出して支援表示設定データ７０を投射するための支援情報として決定する（Ｓ００８）。支援情報決定の処理は、後に、図９のフローチャートを用いて詳説する。

そして、Ｓ００８で投射するための支援情報が決定されると、制御部２４は、画像生成部２１に対して、投射する支援情報の画像の生成を要求する（Ｓ００９）。画像生成部２１は、要求に応じて、支援情報の画像を生成し、制御部２４に返信する（Ｓ０１０）。次に、制御部２４は、画像投射部２２に対して、支援情報の画像を表示することを要求する（Ｓ０１１）。画像投射部２２は、支援情報の画像を画像投射領域１２に投射し、ゴルフプレーヤー２が支援情報を見て、プレーをできるようにする。

次に、図９を用いて支援情報決定の処理の詳細を説明する。

先ず、人検知結果データ５０および用具検知結果データ６０を入力データとして読込む（Ｓ２００）。そして、ボール９があるか否かのチェックをし（Ｓ２０１）、ゴルフクラブ１０があるか否かのチェックをおこなう（Ｓ２０２）。

ボール９やゴルフクラブ１０のいずれかが無い場合には、プレーに移れる状態ではないとして、処理を終了する。

ボール９とゴルフクラブ１０のいずれもある場合には、人検知結果データ５０および用具検知結果データ６０とを用いて座標などの支援情報属性７０ｅの一部を算出して、支援表示設定データ７０を確定する（Ｓ２０３）。そして、Ｓ２０３で確定した支援情報データの支援情報タイプ７０ｄ、支援情報属性７０ｅを出力する（Ｓ２０４）。

次に、図１０Ａおよび図１０Ｂを用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１０Ａ（ａ）および図１０Ｂ（ａ）は、平面図、図１０Ａ（ｂ）および図１０Ｂ（ｂ）は、上面図を表している。
図１０Ａの例では、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、ボール９の特定の位置に目印８１を投射することになる。
図１０Ｂの例では、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、ボール９周辺の特定の位置に矢印８２を投射することになる。

このように、ゴルフプレーヤー２は、特定の操作なしで、身長、ボール９の位置、またはゴルフクラブ１０に応じた自分にとって好適な位置に表示される支援情報表示を利用できるようになる。

〔実施形態２〕
以下、本発明に係る第二の実施形態を、図１１ないし図１３を用いて説明する。また、第一の実施形態と比較し、異なるところを強調して説明する。
図１１は、本発明の第二の実施形態に係る支援表示設定データの一例を示す図である。
図１２は、本発明の第二の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
図１３は、ユーザの向きの角度について説明する図である。

本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、支援情報のタイプが異なったものである。

ゴルフの初心者では、ボール９の前に立つ場合、どこは自分にとって最適であるかが不明確であり、また、成績を向上させるために、適切な向きについても不明である。インストラクターの指示に従って立ち位置を練習することが一般的ではあるが、インストラクターは毎回指摘するのが面倒であるし、人間の身長や用具の種類によって立ち位置が若干異なることを想定すると、インストラクターの指示でも最適とは言えないケースがある。この問題に対して、本実施形態では、ゴルフプレーヤー２に自動的に最適な立ち位置を提案できるシステムが可能となる。
図８のＳ００８の投射するための支援情報を決定するために利用される支援情報決定データ７０は、本実施形態では、支援情報タイプ７０ｄとして、「立ち位置」が格納されており、支援情報属性７０ｅとして、「座標：（１１９，２，０）、向き：１０度」が格納されている。

支援情報タイプ７０ｄが「立ち位置」であることは、ユーザ（ゴルフプレーヤー２）のプレー中における立ち位置が支援情報の画像として、投射されることを示している。このときの支援情報属性は、支援情報属性７０ｅは、そのプレー中におけるユーザの最適な座標と、最適な向きを示しており、それが支援情報の画像として投射される。図１１の例において、身長が１６５ｃｍ、ボールのタイプがＡであり、ゴルフクラブのタイプがＩである場合には、ゴルフプレーヤー２の立つべき場所の座標は（１１９，２，０）となり、向きは１０度の立ち位置支援情報の属性の画像が投射されることになる。

次に、図１２を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１２（ａ）は、平面図、図１２（ｂ）は、上面図を表している。
図１１に示されるように、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、画像投射領域１２にゴルフプレーヤー２が立つ立つべき場所に足型１０２を表示し、最適の向きの場合の体の平行方向で足型１０２のつま先を結んだ目安線１０１を提示する。なお、足型は、所定の大きさのものを出力するようにしてもよいし、ユーザの身長からその大きさを計算するようにしてもよい。

ゴルフプレーヤーの向きは、図１３に示されるように、例えば、目安線１０１の垂線１０２とｘ軸のなす方向をθにすればよい。

このように、本実施形態の運動支援システムによれば、ゴルフプレーヤー２は、ボール９の前に立つと、自分にとって最適の立ち位置および向きを把握することが可能になり、外部の指示がなくても常に最適の場所をたつことが可能になる。

〔実施形態３〕
以下、本発明に係る第三の実施形態を、図１４ないし図１７を用いて説明する。本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、支援情報のタイプと支援情報決定の処理が異なったものである。
図１４は、本発明の第三の実施形態に係る支援表示設定データの一例を示す図である。
図１５は、本発明の第三の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。
図１６は、ボールとゴルフクラブの位置関係を説明する図である。
図１７は、本発明の第三の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。

本実施形態は、ボール６とゴルフクラブ１０の位置関係に着目し、適切な関係にあることを、ユーザ（ゴルフプレーヤー２）に知らせることにより、ゴルフクラブ１０のスイングを促すものである。

本実施形態の支援表示設定データ１１０は、ボールのタイプ、ゴルフクラブのタイプと、インパクト時の高さの関係を示すデータであり、図１４に示されるように、ボールのタイプ１１０ａ、クラブのタイプ１１０ｂ、高さの差の上限ｄｉｆｆ_ｍａｘ１１０ｃ、高さの差の下限ｄｉｆｆ_ｍｉｎ１１０ｄが格納されている。図１４に示される例では、Ｂタイプボール、Ｉタイプのゴルフクラブの場合でユーザがプレーする場合には、高さの差の上限ｄｉｆｆ_ｍａｘ＝−１ｃｍ、高さの差の下限ｄｉｆｆ_ｍｉｎ＝−５ｃｍであることを示している。

高さの差Δｈは、図１６に示されるように、ボール６の高さをｚ_ｂａｌｌ、ゴルフクラブ１０の高さをｚ_ｈｅａｄとしたときに、以下の（式１）で表される。
Δｈ＝ｚ_ｈｅａｄ−ｚ_ｂａｌｌ …（式１）

次に、図１５を用いて本実施形態の支援情報決定の処理について説明する。これは、第一の実施形態の図８のＳ００８の支援情報決定処理に置き換わるものである。図１５が示すように、入力情報として、図４に示される用具検知結果データ６０を読込んで（Ｓ３００）、図１４に示した支援表示設定データ１１０を参照し、ボールのタイプ、ゴルフクラブのタイプから、インパクトする際に、適切となるｚ方向の高さの差の上限ｄｉｆｆ_ｍａｘと高さの差の下限ｄｉｆｆ_ｍｉｎを確定する（Ｓ３０１）。

次に、図４に示した用具検知結果データ６０の用具座標６０ｂから現在のゴルフクラブ１０のヘッド１２１とボール６のｚ方向の距離Δｈを、上記の（式１）により計算する。

そして、Δｈの値と高さの差の下限ｄｉｆｆ_ｍｉｎを比較し（Ｓ３０３）、Δｈの値が高さの差の下限ｄｉｆｆ_ｍｉｎより大きくない場合（Ｓ３０３：Ｎｏ）、ヘッドが低すぎると判断し、インパクト不可となるので、合図表示＝Ｆａｌｓｅとして、運動支援システムの方からスイングの合図（後述）を出さないことにする（Ｓ３０６）。Δｈの値が高さの差の下限ｄｉｆｆ_ｍｉｎより大きい場合には（Ｓ３０３：Ｙｅｓ）、Δｈの値と高さの差の下限ｄｉｆｆ_ｍｉｎを比較し（Ｓ３０４）、Δｈの値が高さの差の上限ｄｉｆｆ_ｍａｘより小さくない場合には（Ｓ３０４：Ｎｏ）、ヘッドが高すぎると判断し、インパクト不可となるので、合図表示＝Ｆａｌｓｅとして、スイングの合図を出さないことにする（Ｓ３０６）。Δｈの値が高さの差の上限ｄｉｆｆ_ｍａｘより小さい場合には（Ｓ３０４：Ｙｅｓ）、現在のヘッドの高さは最適であると判断して、運動支援システムは、ユーザに対してスイング可能の合図を出すことにする（Ｓ３０５）。

次に、図１７を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１７（ａ）は、平面図、図１７（ｂ）は、上面図を表している。

ゴルフプレーヤー２は、図１７に示されるように、ボール９の近くで、ゴルフクラブ１０を持ってゴルフクラブ１０を上下方向で移動させると、運動支援システム６は、撮像装置５によりそれを撮像して、撮像データを画像認識して、ボール９とゴルフクラブ１０のヘッドの間の高さ差１２２を自動的に計算し、高さ差が適切な範囲である場合には、投射装置７はヘッドの周辺に、スイング可能の合図の投射１２０（例えば、緑色の光線）をする。

このように、ゴルフプレーヤー２はスイングする前に、運動支援システムの方から、現在のボール６とゴルフクラブ１０の関係がスイング可能であるか否かを教示してくれるので、ユーザは、自然にインパクトする際のヘッドの高さの感覚を習得することが可能になる。

〔実施形態４〕
以下、本発明に係る第四の実施形態を、図１８を用いて説明する。本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、第一の実施形態のように、ボールに目印の画像を投射すると同時に、ゴルフプレーヤー２自身のプレーの映像を、適切な投射領域に投射するものである。

本実施形態では、ボール９に目印を提示すると同時に、画像生成部２１は、撮像装置３から取得した画像からゴルフプレーヤー２が撮像されている領域を切り出して、投射画像を生成し、支援情報提示生成ステップ（図８のＳ０１０）で生成された支援情報画像と重ね合わせて投射画像とする。そして、画像投射部２２は、その投射画像を画像投射領域１２に投射する。制御部２４は、画像生成部２１にゴルフプレーヤー２の映像を生成する際に、ボール９の位置およびゴルフプレーヤー２の位置、ゴルフクラブ１０の位置に基づいて、画像投射領域１２の空き領域、すなわち、ゴルフプレーヤー２や用具などにじゃまをされずに、ユーザがその画像を視認できる領域を計算する。制御部２４は、画像投射領域１２の空き領域の中で、ゴルフプレーヤー２の向きと同じ方向、かつゴルフプレーヤー２の推定目線とのずれが少ない領域をゴルフプレーヤー２自身の映像投射領域となるように計算する。

次に、図１８を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。
図１８は、本発明の第四の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。

本実施形態では、ゴルフプレーヤー２がスイングする前に、第一の実施形態と同じように、ボール９に目印８１を提示すると同時に、図１８に示されるように、ゴルフプレーヤー２の前方かつボール９やゴルフクラブ１０と重畳しない領域のゴルフグランド８上にゴルフプレーヤー２自身の映像１３０が投射される。

このように、ゴルフプレーヤー２は各種支援情報を確認できることと同時に、自身の姿勢を無理なく確認できるようになる。また、公知の運動支援におけるディスプレイ表示方法と比べると、ゴルフプレーヤー２は、自身の姿勢を確認するため姿勢が崩れることが避けられる効果がある。さらに、従来の固定ディスプレイではできない自身の映像が自身の向きに従い、提示場所が自動調整できる効果が考えられる。

〔実施形態５〕
以下、本発明に係る第五の実施形態を、図１９を用いて説明する。
図１９は、本発明の第五の実施形態に係るシステム構成を示すブロック図である。

本実施形態では、図１９が示すように、第一の実施形態のように運動支援システム６が利用する撮像装置は、システムの中に組み込むのではなく、独立の撮像システム１４０として存在している。撮像システム１４０は、撮像部２０、制御部１４１、通信／Ｆ１４３、メモリ１４４、ストレージ１４５を有し、それらがバス１４２により結合された形態である。

運動支援システム１′と撮像システム１４０は、通信Ｉ／Ｆ１４６および通信Ｉ／Ｆ１４３を有する。通信Ｉ／Ｆ１４６および通信Ｉ／Ｆ１４３は、ネットワークや回線により構成される通信経路１４７を経由し、データの送受信が可能になる。運動支援システム１′は、通信Ｉ／Ｆ１４６を用い、撮像システム１４０の映像を受信し、ゴルフプレーヤー２に情報提示をおこなう。また、必要に応じて、運動支援システム１は、通信Ｉ／Ｆ１４６を用いて撮像システムの解像度、向きなどを制御することが可能にしてもよい。このようシステム構成のもとにおいて、撮像システム１４０として、市場に流通している製品を直接利用することにより、運動支援システム１′の製造コストを下げることが可能になる。

〔運動支援システムの適用範囲〕
以上、本発明の運動支援システムについて、ゴルフプレーヤー向けの運動スキルを上達させることを目的とし、実施形態を中心に説明した。ただし、運動支援システムゴルフに限定せずとも、ほかの人間が用具を用いておこなう運動競技に関する運動スキル、例えば、野球、サッカー、卓球などにも適用することができる。

１，１′…運動支援システム
２…ゴルフプレーヤー
３…撮像装置
６…情報提示装置
７…投射装置
８…ゴルフグランド
９…ボール
１２…画像投射領域
２０…撮像部
２１…画像生成部
２２…画像投射部
２３…バス
２４…制御部
２５…メモリ
２６…ストレージ
４０…画像認識部
４１…運動状態認識部
４２…画像認識プログラム
４３…運動状態認識プログラム
４４…画像特徴量データ
４５…支援表示設定データ

Claims (1)

1. ユーザが用具を用いておこなう運動を支援する運動支援システムにおいて、
   前記ユーザの運動に関する状況の映像を撮像する撮像部と、
   前記用具もしくは前記ユーザに重畳した状態、または、前記用具もしくは前記ユーザの近傍に画像を投射する画像投射部と、
   前記ユーザの運動を支援する運動支援表示を含む画像を生成する画像生成部と、
   制御部と、を備え、
   前記制御部は、前記撮像部が撮像した映像中の前記用具の位置を検出し、前記用具の位置の検出結果に応じて、前記画像生成部が、生成する画像内での前記運動支援表示の位置を変更し、
   前記制御部は、前記撮像部が撮像した映像中の前記ユーザの位置を検出し、前記ユーザの位置の検出結果に応じて、前記画像生成部が、生成する画像内での前記運動支援表示の位置を変更し、
   ユーザが用具を用いておこなう運動は、ゴルフ競技に関する運動であり、
   前記制御部は、前記撮像部が撮像した映像の中のユーザの位置、身長、ゴルフの用具のボール、ゴルフクラブのタイプ、位置に応じて、前記画像生成部が生成する画像内での前記運動支援表示の位置を変更し、
   ボール、ゴルフクラブのタイプごとに、インパクトする際の高さの差の下限、上限のデータを保持し、
   前記制御部は、前記撮像部が撮像した映像により、前記ボール、ゴルフクラブの高さの差を算出し、前記ボール、ゴルフクラブの高さの差が、前記インパクトする際の高さの差の下限から上限の間にあるか否かを判定し、
   前記画像投射部は、前記ボール、ゴルフクラブの高さの差が、前記インパクトする際の高さの差の下限から上限の間にあるときに、スイングの合図の情報を含む画像を投射する
   ことを特徴とする運動支援システム。

Images