JP6983172B2 - スポーツ用品の運動解析を行うための方法及び装置 - Google Patents

Description

本発明は、球技のスポーツ用品、特に打つ道具、好ましくはゴルフクラブ、又は、ボール、好ましくはゴルフボール、の運動解析を行うための方法及び装置に関する。

本発明は、様々な種類のスポーツにおいて、運動シークエンスを解析するために使用可能であるものの、ゴルフに関しては、局所的な運動シークエンスが複雑なので、トレーニングの補助として特に適している。特にパットは、ゴルフプレーヤーに微細な運動を要求するので、パットは、本発明を描写するために特に適しており、以下において、解析されるべき運動シークエンスの例として用いられる。

パットのトレーニングの際、一般的には、ショットの技術、つまり動きの運動に関する側面と、その統計的評価とに、主に注意が向けられる。パットの際の運動力学は、実施速度及び高い精度要求ゆえに、肉眼では殆ど捉えることができない。パットの際のゴルフプレーヤーをビデオ撮影し生物解析を行うといった、従来の解析手法を用いても、手法上の理由から、パット運動の動的側面は、十分には解析できず、また、多くの費用を要する。

それゆえ、パットは、ゴルフの平均的なラウンドにおける打数を測定すると、プレイの約４０％以上を構成しているにも関わらず、パットのトレーニングは、しばしば非常に疎かにされるか、又は、不十分な結果につながっている。

パットのような速度を落とした運動を習得する際には、しばしば気づかないままに、体系的な運動誤差も共に習得される。高速の弾道運動は、つねに純粋に運動によって実施され、従って、自己組織化されている。それとは対照的に、速度を落とした運動は、つねに、戦略との強い関連において実施される。パットのような速度を落とした運動の際の、戦略的な運動誤差は、ゴルフプレーヤー自身には気付かれないことが多く、指導者も、肉眼では、この誤差を認識することが非常に難しい。逆説的なことに、この運動誤差は、練習を増やすことによって、ますます悪化することがあり得る。

さらに、トレーニングの補助を用いることは、運動シークエンスの習得にポジティブな影響を与え得ることが知られている。非特許文献１を参照のこと。

特許文献１は、ゴルフプレーヤーにパット情報を供給するためのシステム及び方法に関する。このようなパット情報には、最初の目標、ボールを打つべき点、及び、ボールを打つ際の最適な力を含む、最適なボールの軌道が含まれ得る。

特許文献２は、予め算定されたパッティンググリーンのパットデータに基づいて、パットされるゴルフボールが、ゴルフコース上で始点から目標点を目指すための、ボールの軌道及び目標点マーカーを算定し、表示するための方法を開示している。目標点マーカーは、パッティンググリーンの図の上に、目標点との距離で、目標地点の左側又は右側に垂直にグラフィック表示され、その際、目標点との距離は、ゴルフボールが開始位置から所望の目標位置に移動するように、パットの照準を合わせるための、パッティンググリーン上の位置を示している。

特許文献３は、ゴルフクラブの位置及び／又は方向付けを検出するための、運動解析方法に関するものであり、ゴルフクラブの動きは、ショットの際に、ゴルフクラブに取り付けられたロケーターを用いて把握及び解析され、位置信号が、ゴルフクラブに取り付けられたロケーターと、固定して配置された制御ユニットとの間で伝達され、ゴルフクラブの位置及び／又は方向付けが、位置信号に応じて検出される。

特許文献４は、無線送信機を用いた電磁トラッキングシステムに関する。

特許文献５は、センサと物体面との間の相対位置を決定するためのトラッキングシステムに関するものであり、物体面上でのマーカーのパターンを決定するためのセンサが設けられている。

特許文献６は、ヘッドアップディスプレイを用いて、ゴルフに関する情報を伝えるためのゴルフの補助装置に関する。

米国特許出願公開第２０１０／００８１５２０号明細書 米国特許第８７５７６２５号明細書 欧州特許第１７２７６０２号明細書 英国特許第２４０８８０５号明細書 米国特許第６６２５２９９号明細書 米国特許出願公開第２０１５／０３４３２９２号明細書

Birgitt Hilsebusch, Der Einsatz von Trainingshilfen zur Sensibilisierung der Wahrnehmung beim Golfunterricht mit Anfaengern, Masterarbeit zum PGA Master Professional

本発明の課題は、トレーニングの補助として、スポーツ用品の運動解析を行うための方法及び装置を改善して提供することにある。特に、本発明の課題は、ユーザーに、スポーツ用品の運動の同時フィードバックを提供することにある。

本課題は、請求項１及び３に記載の方法によって、及び、請求項２６及び２９に記載のシステムによって解決される。有利な実施形態は、従属請求項に主張されている。

本発明の第１の態様は、球技のスポーツ用品、特に打つ道具、特にゴルフクラブ、又は、ボール、好ましくはゴルフボール、の運動解析を行うための方法に関するものであり、当該方法は、好ましくは以下の作業ステップを有している：
−基準系における、球技のボールの開始位置、特にショット位置を検出する作業ステップ；
−基準系における、ボールの所定の目標位置、特にゴルフホールを検出する作業ステップ；
−基準系における、少なくとも１つの環境パラメータ、特に地形パラメータを検出する作業ステップであって、当該環境パラメータは、環境、特にフィールドを、開始位置と目標位置との間の領域において、少なくとも部分的に特徴付けるものである作業ステップ；
−基準系を活用して、ボールの開始位置、ボールの目標位置、及び、少なくとも１つの環境パラメータに応じて、スポーツ用品の理想の軌道を算定する作業ステップ；
−スポーツ用品の理想の軌道に基づいて、環境の少なくとも部分における、スポーツ用品の第１の仮想軌道モデルを作成する作業ステップ；
−表示装置、特にヘッドマウントディスプレイの、基準系における位置及び／又は方向付けを、特に連続的に検出する作業ステップ；
−基準系における表示装置を通じた視野を算定する作業ステップ；及び、
−第１の仮想軌道モデルを表示装置において描写する作業ステップであって、視野が環境の少なくとも現実に見ることができる部分に向けられている場合に、第１の軌道モデルが第１の線として、表示装置において、環境の部分の少なくとも一部、特に現実に見ることができる一部と重なって表示されるように描写する作業ステップ。

本発明の第２の態様は、同様に、球技のスポーツ用品、特に打つ道具、好ましくはゴルフクラブ、又は、ボール、好ましくはゴルフボール、の運動解析を行うための方法に関するものであり、当該方法は、好ましくは以下の作業ステップを有している：
−基準系における、球技のボールの開始位置、特にショット位置を検出する作業ステップ；
−基準系における、ボールの所定の目標位置、特にゴルフホールを検出する作業ステップ；
−基準系における、少なくとも１つの環境パラメータ、特に地形パラメータを検出する作業ステップであって、当該環境パラメータは、環境、特にフィールドを、開始位置と目標位置との間の領域において、少なくとも部分的に特徴付けるものである作業ステップ；
−基準系を活用して、ボールの開始位置、ボールの目標位置、及び、少なくとも１つの環境パラメータに応じて、スポーツ用品の理想の軌道を算定する作業ステップ；
−スポーツ用品の理想の軌道に基づいて、環境の少なくとも部分における、スポーツ用品の第１の仮想軌道モデルを作成する作業ステップ；及び、
−第１の仮想軌道モデルが、第１の線として、環境に投影されるように、第１の仮想軌道モデルを描写する作業ステップ。

本発明の第３の態様は、球技のスポーツ用品、特に打つ道具、好ましくはゴルフクラブ、又は、ボール、好ましくはゴルフボール、の運動解析を行うためのシステムに関するものであり、当該システムは、画像表示装置、特にヘッドマウントディスプレイを有しており、当該画像表示装置は、拡張現実及びトラッキングモジュールを形成するため、基準系における球技のボールの開始位置及びボールの所定の目標位置、特にゴルフホールを検出するため、並びに、基準系におけるヘッドマウントディスプレイの位置及び／又は方向付けを検出するために設けられている。当該システムはさらに、好ましくはデータインターフェース又はスキャン装置を有しており、これらの装置は、基準系における少なくとも１つの環境パラメータ、特に地形パラメータを検出するために設けられており、当該環境パラメータは、環境、特にフィールドを、開始位置と目標位置との間の領域において、少なくとも部分的に特徴付けるものである。さらに、当該システムは、好ましくは演算ユニットを有しており、当該演算ユニットは、基準系を活用して、ボールの開始位置、ボールの目標位置、及び、少なくとも１つの環境パラメータに応じて、スポーツ用品の理想の軌道を算定するため、及び、スポーツ用品の理想の軌道に基づいて、環境の少なくとも部分における、スポーツ用品の第１の仮想軌道モデルを作成するため、及び、基準系における表示装置を通じた視野を算定するために設けられている。その際、表示装置は、好ましくは、特に視野が環境の部分の少なくとも一部に向けられている場合に、第１の仮想軌道モデルを第１の線として、環境の部分の少なくとも一部、特に現実に見ることができる一部と重ねて表示するように調整されている。

本発明の第４の態様は、球技のスポーツ用品、特に打つ道具、好ましくはゴルフクラブ、又は、ボール、好ましくはゴルフボール、の運動解析を行うためのシステムに関するものであり、当該システムは、ユーザーインターフェースを有しており、当該ユーザーインターフェースは、球技のボールの基準系における開始位置を、特にユーザーの入力によって把握するために設けられている。さらに当該システムは、少なくともフィールドに投影するために設けられたプロジェクタと、データインターフェース又はスキャン装置とを有しており、当該データインターフェース又はスキャン装置は、プロジェクタの位置、ボールの所定の目標位置、特にゴルフホール、及び、基準系における少なくとも１つの環境パラメータ、特に地形パラメータを検出するために設けられており、当該環境パラメータは、開始位置と目標位置との間の領域におけるフィールドを、少なくとも部分的に特徴付けるものである。さらに当該システムは、好ましくは演算ユニットを有しており、当該演算ユニットは、基準系を活用して、ボールの開始位置、ボールの目標位置、及び、少なくとも１つの環境パラメータに応じて、スポーツ用品の理想の軌道を算定するため、並びに、ボールの理想の軌道に基づいて、スポーツ用品及び環境の少なくとも部分の第１の仮想軌道モデルを作成するために設けられている。さらに、好ましくはプロジェクタが、ボールの開始位置及び第１の仮想軌道モデルを、第１の線としてフィールド上に投影するように調整されている。

さらに、本発明の第１及び第２の態様の方法の有利な実施形態について記載するが、明確に排除されていない限りにおいて、これらの実施形態をそれぞれ互いに組み合わせることが可能である。

本発明において検出とは、最も広い意味では、データの読み込みである。これには、データ処理ユニットのデータインターフェースを通じた読み込み、すなわちすでに存在するデータ、及び、場合によっては一時的に保存されたデータの読み込みも、例えば情報の光学的決定を可能にするスキャン装置、特に３Ｄスキャナ又はトラッキングモジュールを用いた、対応するデータに変換される情報の測定又は記録も含まれる。検出は特に、例えばシステムにおいて、記憶装置に格納されたデータが用いられる場合、データの供給も意味している。

本発明において環境パラメータとは、周囲又は環境を特徴付けるパラメータである。特に、環境パラメータは、環境の地形の特徴を示す地形パラメータであり得る。環境パラメータのさらなる、限定的ではない例は、風又は空気流、露、水、水流、遠心力又は求心力、グリーンスピード、天候等である。環境パラメータの値は、本発明に係るシステム及び方法に、特にデータセットとして供給され、当該データセットが読み込まれる。好ましくは、環境パラメータの値は、本発明に係るシステム及び方法によって、独立して検出、特に測定又は同定され得る。

地形パラメータの値は、好ましくはデータマトリックスを形成し、当該データマトリックス内では、各位置に１つの値が格納されている。さらに、地形パラメータの値は、好ましくはいわゆる３Ｄグリッドを形成している。

本発明において算定とは、検出された情報から情報を引き出すこと、及び、場合によってはさらなる情報又は境界条件を引き出すこと、特に情報の評価である。

本発明において表示装置は、情報の視覚的描写に用いられる。

本発明において仮想とは、本当には存在しない、実際には存在しないことを意味している。

本発明において現実とは、実際に存在する、特に物理的に存在することを意味している。

本発明においてユーザーインターフェースとは、ユーザーがデータ処理ユニットと通信又は交信するために用いられる、あらゆる種類のインターフェースである。好ましくは、ユーザーインターフェースは、タッチスクリーン、マウス、キーボード、トラックパッド、特にスポーツ用品のジェスチャーを用いたジェスチャー制御装置等である。

本発明においてデータインターフェースは、データ処理ユニット内のデータを検出又は読み込むために用いられる。

本発明においてスキャン装置は、物体又は環境を調査のために、特に画像処理、レーザービーム又は電子ビームを用いて走査し、得られた測定値を保存し、好ましくはさらに処理する機器である。

本発明において演算ユニットは、特にメモリとプロセッサとを有する、あらゆる種類のデータ処理装置である。

本発明においてトラッキングモジュールとは、位置、方向付け、及び／又は、基準点からの物体の距離を測定するモジュールである。その際、測定は、光学測定、無線測定、超音波測定、赤外線測定、又は、類似の測定方法を用いて行われ得る。トラッキングモジュールは、既存のデータ処理ユニットのハードウェアとして、又は、ソフトウェアとして構成されている。

本発明は特に、プレーヤーが、ボールコントロールの間、又は、ボールが移動している間に、実施されたボールコントロールが望ましいボールの動きにつながるか、及び、ボールが動く間に、その理想の移動経路（軌道）からどのように逸脱するかを、視覚によって評価することは難しいか、又は、全く不可能であるというアプローチに基づいている。

特に、初心者が、スポーツ用品の軌道の内在的な視覚フィードバックから、その肉眼を通じたその感覚運動の視覚情報によって、運動における誤差を認識することは不可能である。なぜなら、初心者にとってスポーツ用品の理想の運動は、まだ習っていない固有運動に属するので、初心者は、この理想の運動を識別できないからである。

従って、本発明は、ボールの開始位置及び目標位置と環境とのデータに基づいて、ボールの理想の軌道を算定すると共に、必要に応じてそれに基づいて、打つ道具の理想の軌道を算定するという技術的教示を含んでいる。この、ボール及び／又は打つ道具の理想の運動と重なった、プレーヤー又はユーザーによる理想の運動は、プレーヤー又はユーザーが、理想の運動と現実の運動とを、そのプレイ位置から知覚できるように示される。

このような外在的な、拡張した視覚フィードバックは、運動解析に関する追加情報を提供し、初心者だけではなく熟練したプレーヤーが、その独自の内在的フィードバックとの関連によって、すなわち、その感覚的な固有の情報によって、そのスポーツ用品の運動の知覚を改善することを支援する。その際、補足的な未知の情報が、外在的フィードバックと称され、外部から、補助手段、特に視覚情報を用いて、プレーヤーに伝えられ得る。好ましくは、さらに、触覚フィードバックを用いても良い。

特に、本発明によって、スポーツ用品の運動に関して、推移に関連する知識が得られ、当該知識は、トレーニングの実践に有用である。

特に、本発明を用いて、ボール及び／又は打つ道具の理想の軌道が、ボール及び／又は打つ道具の現実の動きと同期して描写されることによって、運動の実施に対して同時に、同時フィードバックを行うことが可能になる。

ビデオ解析等の、既存の外在的フィードバックシステムには、これは不可能である。なぜなら、プレーヤーは、自身の運動シークエンスに関連して、ボール及び／又は打つ道具の実際の動きを、後から見ることはできるが、実施している間は、自身の知覚との関係を形成することが不可能だからである。従って、初心者における内在的フィードバックの改善は、先行技術のシステムによっては不可能である。

本発明の第１の態様に従う、本発明に係る方法の有利な実施形態において、当該方法はさらに、好ましくは以下の作業ステップを有している：
−少なくともスポーツ用品が動いている間の、基準系におけるスポーツ用品の位置及び／又は方向付けを検出する作業ステップ；
−スポーツ用品の実際の軌道に基づいて、少なくとも環境の部分におけるスポーツ用品の第２の仮想軌道モデルを作成する作業ステップ；及び、
−第２の仮想軌道モデルを表示装置において描写する作業ステップであって、特に視野が、環境の少なくとも現実に見ることができる部分に向けられている場合に、第２の仮想軌道モデルが第２の線として、表示装置において、第１の線の環境の部分の少なくとも一部との重なりとして表示されるように描写する作業ステップ。

本発明の第２の態様に従う、本発明に係る方法の有利な実施形態において、当該方法はさらに、好ましくは以下の作業ステップを有している：
−少なくともスポーツ用品が動いている間の、基準系におけるスポーツ用品の位置及び／又は方向付けを検出する作業ステップ；
−スポーツ用品の実際の軌道に基づいて、少なくとも環境の部分におけるスポーツ用品の第２の仮想軌道モデルを作成する作業ステップ；及び、
−第２の仮想軌道モデルを、第２の線として、環境において描写する作業ステップ。

この有利な実施形態を用いて、ユーザーに、打つ道具の現実の位置との関連における理想の軌道だけではなく、ボール又は打つ道具の現実の軌道も付加的に示すことが可能である。従って、ユーザー又はプレーヤーは、スポーツ用品の運動シークエンス全体にわたって、逸脱を知覚することが可能である。

本発明の第２の態様に従う、本発明に係る方法の有利な実施形態では、第１及び／又は第２の仮想軌道モデルを作成する際に、プロジェクタの方向付けが付加的に考慮され、その際、プロジェクタの方向付けを決定するために、既知の位置を有する少なくとも１つの物体の現実の位置が、少なくとも１つの物体の投影された位置と調整され、及び／又は、少なくとも１つの物体の現実の位置が検出され、基準系における位置と調整される。

本発明の第２の態様に従う、本発明に係る方法の有利な実施形態では、第１及び／又は第２の仮想軌道モデルを作成する際に、少なくとも１つの内在的プロジェクタパラメータ、特にプロジェクタ（８）の射影行列が、付加的に考慮される。

本発明に係る方法のさらなる有利な実施形態においては、打つ道具の理想の軌道を算定するために、ボールの理想の軌道が用いられる。

本発明に係る方法のさらなる有利な実施形態では、第１の軌道モデルは、ボールの理想の軌道、及び／又は、理想の軌道の開始方向を有する、平らな地形における理論上の軌道を示している。特に、理論上の軌道を用いて、ユーザー又はプレーヤーに、特にゴルフの際に、パッティンググリーン又はゴルフ場の地形的な特徴の複雑化を行わずに、どのようにボールを打つべきかが伝えられる。この情報は、ユーザー又はプレーヤーによって容易に、打つ道具の実施されるべき運動の評価に変換される。

さらなる有利な実施形態では、本発明に係る方法はさらに、好ましくは、基準系を用いて、第１の仮想軌道モデルにおけるスポーツ用品の位置の第１の仮想経時的推移を、開始位置、目標位置及び少なくとも１つの環境パラメータに応じて算定する作業ステップを有しており、スポーツ用品の位置の第１の仮想経時的推移は、第１の仮想軌道モデルを描写する際に表示される。

さらなる有利な実施形態では、本発明に係る方法はさらに、好ましくは、スポーツ用品の実際の軌道に基づいて、第２の仮想軌道モデルにおけるスポーツ用品の位置の第２の仮想経時的推移を算定する作業ステップを有しており、スポーツ用品の位置の第２の仮想経時的推移は、第２の仮想軌道モデルを描写する際に表示される。経時的推移における、特にボールの実際の位置と比較した理想の軌道上の経時的推移におけるスポーツ用品の位置を表示することによって、プレーヤー又はユーザーには、そのボールコントロールの質に関するさらなる重要な情報が与えられる。特に、ユーザー又はプレーヤーは、そのショットの強さ及び場合によってはスピン効果、及び／又は、軌道と通路（Ｒｏｌｌｂａｈｎ）との間の分配に関する情報を得る。

好ましくは、理想の軌道の経時的推移の表示は、周期的に繰り返される。それによって、スポーツ用品の運動が、ユーザーに刻み込まれる。その際特に、ユーザーのプレイのリズムを、当該方法を実施する際に、個別化することが可能であると規定し得る。付加的又は代替的に、時間的推移が音声出力によって明示されると規定し得る。

本発明に係る方法のさらなる有利な実施形態では、ボールが打たれた時点に関する、第１の仮想経時的推移が、現実の経時的推移及び／又は第２の仮想経時的推移と同期している。この打たれた時点での同期化によって、ボールの理想の経時的推移と、ボールの現実の経時的推移との間で直接の比較が行われる。従って、例えば打つ道具を振り上げる、又は、加速する際の、打つ道具の先行する動きにおける差異は、考慮されないままである。

本発明に係る方法のさらなる有利な実施形態では、第１の仮想経時的推移及び／又は第２の仮想経時的推移の表示は、第１の線若しくは第２の線の作成によって、及び／又は、マーキング、特にスポーツ用品の概略的な描画によって行われる。

本発明に係る方法のさらなる有利な実施形態では、描写の際に、プレーヤーに関する所定の位置、特に少なくとも第３の線が付加的に表示される。立ち位置を用いて、特に経験に乏しい初心者のために、特にゴルフの際に、打つ道具の優れた運動、及び、ボールの優れた運動のための前提を創り出すことが可能になる。特に、所定の立ち位置は、プレーヤーの身長及び／又は打つ道具の種類若しくは長さに依存している。

本発明に係る方法のさらなる有利な実施形態では、当該方法はそれぞれ、第１のスポーツ用品としての打つ道具と、第２のスポーツ用品としてのボールとに関してそれぞれ、特に並行して実施される。それによって、唯一のボールコントロール動作の際の、ボール及び打つ道具の運動を解析することが可能である。

本発明に係る方法のさらなる有利な実施形態では、打つ道具に関する第１の仮想軌道モデル及び／又は第２の仮想軌道モデルにおいて、打つ道具の方向付けが付加的に考慮される。

本発明に係る方法のさらなる有利な実施形態では、描写の際に、特に打つ時点の前に、理想の軌道からの打つ道具の位置及び／又は方向付けの逸脱が、特に矢印を用いて示される。

この有利な実施形態を用いて、打つ道具の運動のタイミングだけではなく、打つ道具の運動の間の打つ道具の方向付けも解析される。

さらなる有利な実施形態において、本発明に係る方法は、さらに以下の作業ステップを有している：
少なくともスポーツ用品が動いている間に、基準系におけるスポーツ用品の位置及び／又は方向付けを検出する作業ステップ；
検出されたデータに基づいて、スポーツ用品の実際の軌道を描写する作業ステップ；及び、
算定された軌道と実際の軌道とを比較する作業ステップ。
このとき、第１及び／又は第２の仮想軌道モデルは、付加的に、実際の軌道と算定された軌道との間の一致度に依存しており、当該一致度は、比較の際に決定される。

それによって、プレーヤーの構造誤差又は誤差挙動は、プレーヤーが最終的には所望の運動を実施するように解消され得る。

さらなる有利な実施形態において、本発明に係る方法は、さらに以下の作業ステップを有している：
少なくともスポーツ用品が動いている間に、基準系におけるスポーツ用品の位置及び／又は方向付けを検出する作業ステップ；
検出されたデータに基づいて、スポーツ用品の実際の軌道を描写する作業ステップ；
算定された軌道と実際の軌道とを比較する作業ステップ；及び、
比較の際に決定される、実際の軌道と算定された軌道との間の一致度に基づいて、トレーニング方法を調整する作業ステップ。

本発明においてトレーニング方法とは、所定のトレーニング環境及び／又は前もって定められた練習シークエンスに関する設定である。

この有利な実施形態によって、スポーツ用品の運動の際の、プレーヤーの誤差又は誤差挙動は、効果的に減少し得る。

本発明に係る方法のさらなる有利な実施形態では、少なくとも１つの環境パラメータが、スキャン装置、特にセンサ、好ましくはヘッドマウントディスプレイのカメラを用いて、測定技術的に検出され、及び／又は、別の測定技術的に検出されたパラメータから決定される。

好ましくは、トラッキングモジュール及び／又はヘッドマウントディスプレイのスキャン装置を用いて、環境が光学的に検出され、そこから、環境パラメータ、特に地形パラメータが決定される。

本発明に係る方法のさらなる有利な実施形態では、少なくとも１つの環境パラメータ、特に地形パラメータが、唯一の物体、特にボールの位置決定に基づいて、少なくとも物体の周囲において、２つの異なる視点から修正される。

それによって、少ない測定点に基づく環境の算定によって生じる誤差が修正され得る。

さらなる有利な実施形態において、本発明に係る方法は、さらに以下の作業ステップを有している：
少なくともボールが動いている間に、基準系におけるボールの位置を検出する作業ステップ；
検出されたデータに基づいて、ボールの実際の軌道を描写する作業ステップ；及び、
実際の軌道に基づいて、少なくとも１つの環境パラメータを修正する作業ステップ。

それによって、少なくとも１つの環境パラメータが、同定又は決定され、及び／又は、環境パラメータの質が連続的に改善され得る。

さらなる有利な実施形態において、本発明の第１の態様に基づく、本発明に係る方法は、好ましくは以下の作業ステップを有している：
視野を撮影する作業ステップ；及び、
撮影された、環境の部分の見ることができる一部を描写する作業ステップ。

これは特に、第１の仮想軌道モデルと、環境の部分の一時的に見ることができる一部とが、例えばタブレットコンピュータの場合のように、表示装置の唯一のスクリーンに表示されるべきである場合に有利である。

本発明の第１及び第２の態様に係る方法、及び、その有利な実施形態に関して記載された特徴及び利点は、対応して、本発明の第３及び第４の態様に係る装置及びその有利な実施形態にも有効であり、逆もまた同様である。

本発明の第３の態様に基づくシステムの有利な実施形態では、トラッキングモジュールは、表示装置を始点として、インサイドアウトトラッキングを実施し、当該システムはさらに、好ましくは、環境におけるインサイドアウトトラッキングに関する基準点として構成されるように調整された、少なくとも１つのマーカーを有している。

本発明の第３の態様に基づくシステムのさらなる有利な実施形態では、トラッキングモジュールは、アウトサイドイントラッキング方法を用いており、当該システムは、環境に設置されるように調整された測定ユニットを有している。当該実施形態では、環境においてマーカーを省略できる。

本発明の第３の態様に基づくシステムのさらなる有利な実施形態では、表示装置はさらにカメラを有しており、トラッキングモジュールは、少なくとも１つの光学トラッキングを用いている。

本発明に係るシステムのさらなる有利な実施形態では、トラッキングモジュールはさらに、スポーツ用品の実際の位置を決定するように調整され、並びに／又は、当該システムはさらに、スポーツ用品の実際の位置及び／若しくは実際の軌道を決定するための電波探知装置を有しており、及び、プロジェクタ又は表示装置はさらに、好ましくは、スポーツ用品の現実の位置及び／若しくは現実の軌道を表示するように調整されている。

本発明に係るシステムのさらなる有利な実施形態では、表示装置はさらに、６つの自由度で運動を測定するために、少なくとも１つの加速度センサ及びジャイロセンサを有しており、演算装置はさらに、トラッカーによって決定された位置を始点とする、表示装置の位置及び／若しくは方向付け、並びに／又は、表示装置の方向付けを、リンクによって検出するように調整されている。

本発明のさらなる特徴、利点及び応用の可能性は、図面との関連における以下の説明から明らかになる。少なくとも部分的に、以下が示されている。

本発明の第３の態様に基づくシステムの第１の実施形態を示す図である。 本発明の第４の態様に基づくシステムの第２の実施形態を示す図である。 本発明に係る表示装置の実施形態を示す図である。 本発明の第４の態様に基づくシステムの第３の実施形態を示す図である。 ユーザーの第１の可能な視野を描写した図である。 ユーザーの第２の可能な視野を描写した図である。 ユーザーの第３の可能な視野を描写した図である。 ユーザーの第２の可能な視野を描写した別の図である。 ユーザーの第２の可能な視野を描写した別の図である。 本発明の第１の態様に基づく方法のブロック図である。 本発明の第２の態様に基づく方法のブロック図である。

図１は、本発明の第３の態様に基づく、システム１の第１の実施形態を示している。

本発明に係るシステム１及び本発明に係る方法１００、２００を、以下において、球技の種類としてゴルフを用いて説明する。しかしながら、ゴルフに限定されるものではなく、本発明を、打つ道具を用いる、又は、打つ道具を用いない他の球技で用いることも可能である。

システム１は、ヘッドマウントディスプレイ１７、この場合はスマートグラス、及び、目標位置１２、この場合はゴルフホール、のためのマーカー２０ａを有している。ゴルフホール１２には、ユーザー７、この場合はゴルフプレーヤー、によってゴルフクラブ３で打たれたゴルフボール５が到達すべきである。

さらに、システム１は、マーカー２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉを有しており、これらのマーカーは、環境を形成しているフィールド９、この場合はパッティンググリーン、の周囲に配置されている。

スマートグラス１７は、ユーザー７によって装着される（描写技術上の理由から、図１では外れた様に示されているが）。このスマートグラス１７の実施形態は、図３に示されている。スマートグラスは、メガネに関して典型的である要素の他に、トラッキングモジュール１８を備えた演算ユニット１３を有している。スマートグラス１７はさらに、カメラ２８、加速度センサ２３、ジャイロセンサ２４、及び、データインターフェース１０、特に無線インターフェースを有している。言及されたトラッキング方法は、好ましくは、演算ユニット１３のトラッキングモジュール１８によって実施される。データは、好ましくは、システム１のデータインターフェース１０又はスマートグラス１７によって検出され得る。

図１に示された、本発明に係るシステムの第１の実施形態では、いわゆるインサイドアウトトラッキングが用いられる。その際、基準系６における、スマートグラス１７の位置及び／又は方向付けが、連続的に検出される１０６。その際、基準系６は、システム１によって設定される。スマートグラス１７は、方向付け及び位置に応じて、カメラ２８で、様々なマーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉを認識する。これらのマーカーの絶対位置は、システム１に知られており、例えばデータインターフェース１０を通じて、システム１に加えられている。マーキングのために、各マーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉは、ＱＲコード(登録商標)又は類似の同定装置を有しており、ＱＲコード(登録商標)は、表示装置１７を通じて認識され、各マーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉを明確に同定する。どのマーカーがスマートグラス１７の視野１９内に存在するかについての知識、及び、スマートグラス１７が、各マーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉの大きさから、又は、各ＱＲコード(登録商標)の大きさから導出できる、各マーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉに対する距離を基に、スマートグラス１７は、パッティンググリーン９上でのその絶対位置を算定する。

マーカー２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉに対するスマートグラス１７の相対位置に対応するスマートグラス１７の絶対位置が確定した場合１０１、好ましくは次の作業ステップにおいて、表示装置１７の視野１９（図１には示されていない）が、基準系６において算定される１０２。その際、視野１９は、特にユーザー７がスマートグラス１７によって見ることができる環境の部分に対応する。

スマートグラス１７の絶対位置及び／又は方向付けが一度確定したら、その後、少なくともある程度の期間にわたって、演算装置１３が新しい位置及び／又は新しい方向付けを、光学トラッキング方法並びに／又は加速度センサ２３及び／若しくはジャイロセンサ２４の測定を用いて周期的に新たに算定することによって、位置及び／又は方向付けが検出され得る。その際、元々トラッキングモジュール１８によって決定された位置及び／又は方向付けを始点として、いわゆるリンクが用いられる。

スマートグラス１７の絶対位置及び方向付けを基に、パッティンググリーン９上の物体の位置決定を、同様にインサイドアウトトラッキングを用いて行うことができる。本発明によると、そのために、特に本発明における開始位置及び目標位置である、ショット位置５及びゴルフホール１２の位置が、カメラ２８によって撮影され、既知の画像処理プロセスを用いて、撮影された動画像列において識別される。映像におけるショット位置５及びゴルフホール１２の位置と、基準系６におけるスマートグラス１７の既知の位置及び方向付けに基づいて、ショット位置５及びゴルフホール１２の位置も確定することができる１０３、１０４。これは、好ましくは単独の作業ステップにおいて並行して行われ得るが、現実には、そのために、時間的に連続する複数の作業ステップが必要である。なぜなら、ショット位置５とゴルフホール１２とはしばしば、ユーザー７の単独の位置から同時には見通すことができないからである。

パッティンググリーン９上のゴルフホール１２は、特にある程度離れているために、認識することが難しいので、図１に示されているように、ゴルフホール１２にもマーカー２０ａを割り当てることが可能である。

上述の、ショット位置５又はゴルフホール１２の位置を確定するための方法は、ゴルフボール３（図１には示されていない）又はゴルフクラブ２（図１には図示されていない）の位置及び／又は方向付けを確定するためにも用いられ得る１１０。基準系６におけるゴルフクラブ２の方向付けを、光学インサイドアウトトラッキング方法を用いて、より良好に決定可能にするために、ゴルフクラブ２に、動画像列における方向付けの識別を容易にするさらなるマーカーを取り付けることが可能である。

光学トラッキング方法を用いた位置決定に対して代替的、又は、付加的に、パッティンググリーン９上の物体の位置を、同じく図１に示された電波探知装置２２を用いて決定することも可能である。しかしながら、そのためには、その位置を検出すべき物体に、専用の送信装置又は少なくとも信号反射装置を設けなければならない。位置は、特に無線信号の所要時間の測定を用いて検出される１０３、１０４、１１０。特に、ボール３の位置及び／又は打つ道具２の方向付けの決定に関連して、このような電波探知装置２２を用いた電波探知は、物体それぞれの位置を決定するために、全ての物体が見えなければならない訳ではないという利点を提供している。さらに、物体、この場合はやはり打つ道具２及びボール３、の高速運動は、電波探知によって、より良好に追体験され得る。

さらに、システム１には、環境を、ショット位置５とゴルフホール１２との間の領域において特徴付ける環境パラメータが供給される１０５。

これらは、図１に示された実施例では、好ましくはパッティンググリーン９の地形、パッティンググリーン９の領域における風向、芝の生育方向、及び／又は、打った時点におけるグリーンスピードである。これらの環境パラメータは、好ましくは測定装置１１を用いて算定され得る。地形を特徴付ける地形パラメータは、例えば、好ましくはシステム１に組み込まれたレーザースキャナ等の３Ｄスキャナを用いて決定可能であるか、又は、飛行時間センサを用いて、特に多視点画像からの３次元形状復元（Structure from Motion）等の画像処理を用いて、生で測定され得る。

好ましくは、地形パラメータの値は、３Ｄグリッド（３Ｄメッシュ）として存在している。

環境パラメータ、特に地形パラメータは、しかしまた、例えば衛星写真に基づくデータバンクから得られる。風速及び天候は、例えば測候所又は気象データバンクから得られる。グリーンスピードは、例えばいわゆるスティンプメーター、又は、ボールが一定の高さから傾斜上に転がされる、別の方法を用いて決定され得る。従って、環境パラメータの検出１０５は、システム１に関するキャリブレーション段階とも表され得る。

パッティンググリーン９の地形、及び、必要に応じて環境パラメータ、並びに、ショット位置５及びゴルフホール１２の位置等の、システム１が利用できるデータに基づいて、基準系６における、ショット位置５からゴルフホール１２の位置までのゴルフボール３の理想の軌道１５が算定され得る１０６。代替的又は付加的に、検出されたデータ又はゴルフボール３の理想の軌道１５を用いて、ゴルフクラブ２又はクラブヘッドの理想の軌道１４を決定することも可能であり１０６、理想の軌道１４では、ゴルフボール３は、ショット位置５から出発して、ゴルフホール１２の位置に到達し、理想的にはゴルフホール１２に入るように打たれる。

ゴルフクラブ２の理想の軌道１４に基づいて、及び／又は、ゴルフボール３の理想の軌道１５に基づいて、ゴルフボール３及び／又はゴルフクラブ２の第１の仮想軌道モデルが作成される１０８。

理想の軌道１４、１５の算定、及び、第１の仮想軌道モデルの作成は、好ましくは演算ユニット１３によって実施される。

理想の軌道１４、１５の算定は特に、軌道１４、１５の各点の算定を含んでおり、各点は、ゴルフボール３の場合は、地形、及び、必要に応じてさらなる環境パラメータの境界条件に依存し、ゴルフクラブ２の場合は、その周りでゴルフクラブ２を用いた運動が実施される回転の中心に依存する。

ゴルフボール３の理想の軌道１５は、傾斜表面上を転がるボール３の数学モデル、特に微分方程式、及び、数値最適化手法を用いて算定され得る。

仮想軌道モデルの作成１０８は、好ましくは軌道１４、１５の３Ｄモデルの作成を含んでいる。すなわち、点を集めて、ある程度の幅を有する線が形成される。さらに、線の方向付けは、好ましくは、例えばその傾斜において、地形に合わせられる。さらに、好ましくは、この作成は、望ましい視点からの、特に表示装置１７又はユーザー７の視点からの理想の軌道１４、１５の描写の作成を含んでいる。これは、実質的に、画像合成又はレンダリングの作業ステップに相当し、画像又はシーンが生データから生成される。このシーンは、好ましくは仮想空間モデルであり、物体及びその材料特性、光源、並びに、観察者の位置及び目線の方向を定義している。

仮想軌道モデルは、特に演算装置１３のグラフィックモジュールを通じて、表示装置１７において描写される１０９。その際、仮想軌道モデルは、点線又は実線であり得る第１の線として、表示装置１７において、パッティンググリーン９又はさらなる周辺の見ることができる部分と重なって表示される。

その際好ましくは、軌道の算定のため、及び、仮想軌道モデルの作成のために、地形パラメータの値の２つの異なる３Ｄグリッド又は２つの異なる地形パラメータが用いられる。

軌道の算定のために、特に３Ｄグリッドが用いられ、当該３Ｄグリッドは、データセットとしてシステムに供給され、環境の地形の個別の測定において決定されており、十分な精度を有している。

それに対して、仮想軌道モデルを作成するために、特に、例えばトラッキング装置を用いて光学的に決定される３Ｄグリッドを用いることが可能である。特にこのような光学的方法で決定された３Ｄグリッドは、好ましくは、トラッキングモジュール付近における各点の位置測定を参照しながら修正される。なぜなら、部分的に、現実の地形からの大きな逸脱が生じ得るからである。

好ましい実施形態では、第１の仮想軌道モデルを描写する１０９前、又は、描写している間に、ゴルフボール３又はゴルフクラブ２の理想の軌道上の位置の、第１の仮想経時的推移を算定することが可能である。その際、ゴルフボール３の場合、この経時的推移は、軌道に依存し、主にまた、ショット位置５、ゴルフホール１２の位置及び地形、並びに、必要に応じてさらなる境界条件に依存する。ゴルフボール２の場合、この位置の経時的推移は主に、その周りでゴルフクラブ２がスイングされる回転の中心と、ショット位置５において到達される運動量とに依存する。ゴルフクラブ２及び／又はゴルフボール３の各経時的推移は、第１の軌道モデルを作成する１０７際に適切に考慮され、同じく、スマートグラス１７において描写される１０９。

表示装置１７がスマートグラスである場合、上述したように、軌道１４、１５を示すための線は、好ましくはシースルー方法において、パッティンググリーン９の現実に見ることができる部分と重ねられる。この場合、線は、スマートグラス１７の視野１９が環境の現実に見ることができる部分にも向けられている場合においてのみ、表示され得る。

同じく図１に示されている、別の好ましい実施形態において、第１の仮想軌道モデルは、タブレットコンピュータ１７のスクリーン上でも描写され得る。その際、線は、映像データと共にスクリーン上に描写され１０９、当該映像データは、パッティンググリーン９の部分を表示しており、タブレットコンピュータ自身がその視点から撮影したものである１０２ａ。

タブレットコンピュータ１７上で描写するという選択肢は、特に、ゴルフプレーヤー７の近くに立ち、打たれたゴルフボール３又はゴルフクラブの運動の、各理想の軌道１４、１５からの逸脱を同様に観察しようとしている指導者３２に適している。タブレットコンピュータ１７の視野の撮影１０２ａに対して代替的に、特にゴルフクラブ２又はゴルフボール３が動いている間の、基準系６におけるゴルフクラブ２の位置及び／若しくは方向付け、又は、ゴルフボール３の位置を検出することによって、各実際の軌道２６、２７に基づいて、視野１９におけるゴルフクラブ２又はゴルフボール３の第２の仮想軌道モデルを作成することもできる。この第２の仮想軌道モデルも、タブレットコンピュータ１７又はスマートグラス１７において、環境の見ることができる部分と重ねて表示され得る１１３。その際、経時的推移を付加的に算定し１１２、表示することが可能である。

第１の軌道モデルを通じてスマートグラス１７に描写され得るボール３の理想の軌道１５は、図１において、破線の曲線で示されている。代替的又は付加的に、仮想軌道モデルは、理想の軌道１５の推移ではなく、理論上の軌道１６の推移を含んでおり、理論上の軌道は、ボールが理想の軌道１５に関する開始方向において、理想の軌道１５に関する運動量の大きさで打たれた場合の、平らな地形におけるボール３の理論上の経路を示している。理論上の軌道１６を用いて、ゴルフプレーヤー７は、パッティンググリーン９が平らな地形を有している場合に、どれくらいの強さで、どの方向にボールを打てばよいのかを見積もることができる。

付加的に実際の軌道２６、２７が、第２の仮想軌道モデルを用いて、スマートグラス又はタブレットコンピュータ１７に仮想的に作成される場合、ゴルフプレーヤー７又は指導者３２は、スマートグラス又はタブレットコンピュータ１７の視野１９を、ゴルフクラブ２又はゴルフボール３が移動するパッティンググリーン９の見ることができる部分に向けるようにはもはや指示されていない。今や、ゴルフプレーヤー７及び指導者３２は、状況を、任意の視点から表示させることができるようになる。原則として、第２の仮想軌道モデルを作成せずとも、好ましくは、指導者３２が状況をゴルフプレーヤー７の視点から表示させることが可能である。

その際、本発明の各実施形態において、現実のゴルフクラブ２及び現実のゴルフボール３又はその運動を、リアルタイムで、各理想の軌道１４、１５と、及び、必要に応じて仮想のゴルフクラブ及び仮想のボールの、理想の軌道１４、１５上での仮想経時的推移と比較することが可能である。その際、両方の推移の同期は、ゴルフボール３を打った時点を通じて得られる。これは、ゴルフクラブ２がゴルフボール３に当たった瞬間、又は、打つ道具を用いない球技の場合には、ボール３がユーザー７との接触を失った瞬間である。

その際、理想の軌道１４、１５の第１の仮想軌道モデル、又は、実際の軌道２６、２７の第２の仮想軌道モデルにおける経時的推移は、特に各スポーツ用品、ゴルフクラブ２又はゴルフボール３の概略的な描写によって生じ得る。

図２は、本発明の第３の態様に基づくシステム１の第２の実施形態を示している。この第２の実施形態は、主に、パッティンググリーン９上のスマートグラス又はタブレットコンピュータ１７の絶対位置及び／又は方向付けは、インサイドアウトトラッキング法ではなく、アウトサイドイントラッキング法によって決定されるという点で、第１の実施形態とは異なっている。パッティンググリーン９の周りのマーカー２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉは、当該実施形態ではもはや不要である。

そのために、本発明に係るシステム１は、測定ユニット２１を有しており、測定ユニット２１は、例えばスマートグラス１７上に取り付けられたマーカー２０ｋを用いて、スマートグラス１７の位置及び／又は方向付けを検出する。好ましくは、複数のマーカー２０ｋが、スマートグラス１７の様々な箇所に存在している。

図４は、本発明の第２の態様に基づくシステム１の第３の実施形態を示している。この実施形態は、主に、ゴルフホール１２、及び、この場合はプロジェクタ８である表示装置の位置が、予め設定されているか、又は、知られており、データバンクから、データインターフェース１０を通じて、システムに読み込まれ得る２０２という点で、第１及び第２の実施形態とは異なっている。代替的に、これらの位置は、好ましくはタブレットコンピュータ１７に組み込まれた３Ｄスキャナ１１によっても決定され得る。

当該実施形態は、環境パラメータの検出２０３と、理想の軌道の算定２０４、並びに、必要に応じてゴルフクラブ２及び／又はゴルフボール３の理想の軌道１４、１５上での位置の第１の仮想経時的推移の算定と、に基づいて、ゴルフクラブ２及び／又はゴルフボール３の第１の仮想軌道モデルが作成され２０６、第１の仮想軌道モデルは、第１の線として、パッティンググリーン９上に直接投影される２０７ことを特徴としている。

従って、ユーザー７は、理想の軌道１５又は理論上の軌道１６を、パッティンググリーン９上で直接知覚できる。

当該実施形態では、スマートグラス又はタブレットコンピュータ１７の位置及び／又は方向付けの検出は不要である。

ショット位置５は、好ましくは、予め明確に規定されていない場合、ユーザーインターフェース４、特にタブレットコンピュータのタッチスクリーンを通じて検出され２０１、タッチスクリーン４上には、パッティンググリーン９が表示され、ショット位置５は同様に、ユーザー７のタッチスクリーン４上での入力に応じて、プロジェクタ８によって、パッティンググリーン９上に投影される。

当該実施形態では、演算装置１３は、好ましくはユーザーインターフェース４又はプロジェクタ８の一部である。

システム１の各要素は、好ましくは無線インターフェース（図示せず）を通じて通信する。

図５は、ヘッドマウントディスプレイ、特にスマートグラスとして構成されている表示装置１７の視野１９も、ゴルフプレーヤー７の視野も示している。

その際、図示されたプレイ状況は、図１のプレイ状況に対応しており、ゴルフプレーヤー７は、パッティンググリーン９の縁部に配置された両方のマーカー２０ｉ、２０ｂの方向を見ており、ゴルフホール１２内の、ここではフラッグの形状をしているマーカー２０ａも見ている。

ゴルフプレーヤー７は、ゴルフボール３をすでに打っており、現在は、視野１９内に、スマートグラス１７を通じて、ボールの理想の軌道１５、ゴルフボール３の理論上の軌道１６、及び、ゴルフプレーヤー７から離れていくゴルフボール３の実際の位置を見ている。

このような方法で、ゴルフプレーヤー７は、打たれたゴルフボール３の理想の軌道１５からの逸脱を認識し、この同時の外在的フィードバックを、その内在的フィードバック又はその実施されたショットの知覚に割り当てることができる。

追加情報として、ゴルフプレーヤー７は、ゴルフボールの理想の経時的推移を、仮想のゴルフボールの理想の軌道１５上の位置のマーキング２９として表示させることができる。この仮想のゴルフボール２９は、理想の軌道１５の線上を移動する。現実のボール３及び仮想のボール２９の運動は、打った時点、すなわちゴルフクラブ２が現実のゴルフボール２に衝突した時点を通じて同期されている。打った時点は、例えば光学的方法、ゴルフクラブ２における加速度センサ（衝突の際の速度低下）によって、又は、ショット位置５及びゴルフクラブ２を振り上げる運動から、計算によっても決定され得る。

得られた追加情報によって、プレーヤー７は、自身がゴルフボール３を打った際の強さに関する、さらなる同時の外在的フィードバックを経験することができる。ゴルフボール３の軌道は、その速度と密接に結びついているので、このさらなる外在的な視覚フィードバックは、理想のショットに関する情報と、プレーヤー７の自身の知覚又はその内在的フィードバックとの間の完全なフィードバックを初めて可能にする。

図６は、特にヘッドマウントディスプレイ１７を装着したゴルフプレーヤー７の視野１９を、図５と比べて異なる視点から描写している。ゴルフプレーヤー７は、ショットの実施前に、そのゴルフクラブ２と、ショット位置５に存在しているゴルフボール３とを見ている。その際、ゴルフクラブ２の理想の軌道１４も、ゴルフボール３の理想の軌道１５又は理論上の軌道１６も表示される。視野１９の下側領域には、ゴルフプレーヤー７の足の先端部が認識できる。

図７は、特にヘッドマウントディスプレイ１７を通じた視野１９を、さらなる視点から示している。ゴルフプレーヤー７は、その立ち位置にまだ到達していない。その際、プレーヤー７には、環境の見ることができる部分において、所定の立ち位置３１が、この場合は、線と必要に応じて当該線に対して垂直なさらなる線とが、図示されているように、付加的に表示される。代替的に、所定の立ち位置３１を、仮想の足を表示することによって描写することも可能である。

図８は、やはり図６の視点からのゴルフプレーヤー７の視野１９を示しており、さらに、所定の立ち位置３１を示すための線が表示されている。この線に、ゴルフプレーヤー７はその足を合わせ、そのゴルフクラブ２で、ショットの前にゴルフボール３に狙いを定める。ヘッドマウントディスプレイ１７又はプロジェクタ８は、ゴルフプレーヤー７に、付加的に矢印２５をフェードインさせる。矢印２５は、ゴルフプレーヤー７がショットを打った場合に、ゴルフクラブ２がこの位置にあると、どの方向にゴルフボール３が転がって／飛んでいくかを示している。このとき、ゴルフプレーヤー７は、ゴルフボール３の軌道の最初においては互いに重なっている、理想の軌道１５又は理論上の軌道１６に対する逸脱が存在することを認識することができる。対応して、ゴルフプレーヤー７は、そのゴルフクラブ２の位置を変更することができる。

図９は、やはり図６及び図８の視点からのゴルフプレーヤー７の視野１９を示している。ゴルフプレーヤー７は、すでにゴルフクラブを振り上げ、ショットを実施している。従って、ゴルフクラブ２の理想の軌道１４に加えて、クラブを振り上げる際、及び、ショットを打つ際の、ゴルフクラブの実施された、実際の軌道２７も、推移として表示される。打つ道具１４の理想の軌道は、視野１９の後方領域においてさらに続いており、マーキング３０は、図９に示した時点におけるゴルフクラブ２の理想の位置を示している。ゴルフボール３は、視野１９の範囲をすでに離れており、従って、もはや見ることができない。

ここでも、ゴルフプレーヤー７は、追加情報として、ゴルフクラブの理想の経時的推移を、仮想のゴルフクラブの理想の軌道１４上における位置のマーキング３０として表示させることができる。この仮想のゴルフボール２９は、理想の軌道１５の線上を移動する。その際、仮想のゴルフクラブ３０の運動は、現実のゴルフクラブ２の運動と、プレーヤー７の振り上げ運動の開始に関して、又は、振り上げ運動の反転点（ゴルフクラブ２のヘッドの速度＝０）に関して、同期している。

システム１の各ユニット間の連絡は、ワイヤレスに、例えば無線通信又は光信号を通じて行われ得る。例えば、運動、特にパッティングが、唯一のゴルフホール１２に向けて、同じショット位置５から複数回にわたって行われた場合、又は、類似のゴルフ場において類似のショット位置５から行われた場合、ゴルフクラブ２の実際の軌道２７及びゴルフボール３の実際の軌道２６に関して得られた情報は、統計的手法を用いて評価され得る。

プロのゴルフプレーヤーのデータが存在する場合、自身が行ったショット、及び、それに属するゴルフクラブ２とゴルフボール３との軌道を、プロのゴルフプレーヤーの例示的な軌道と比較することができる。

図１０は、図１及び図２、図５から図９に関連して上述したように、本発明の第１の態様に基づく方法１００のプロセスの実施形態を示している。その際、作業ステップの順序は、任意に変更可能である。特に、全ての作業ステップを並行して行うことも可能である。描写１０９、１１３の作業ステップから発している矢印が示すように、当該方法は、好ましくは任意の回数繰り返すことが可能であり、それによって、特にスポーツ用品２、３が動いている間、つねに更新された視覚的な拡張現実が形成される。

図１１は、図４から図９に関連して上述したように、本発明の第２の態様に基づく方法２００のプロセスの実施形態を示している。その際、作業ステップの順序は、任意に変更可能である。特に、全ての作業ステップを並行して行うことも可能である。描写２０６、２１０の作業ステップから発している矢印が示すように、当該方法２００も、好ましくは任意の回数繰り返すことが可能であり、それによって、特にスポーツ用品２、３が動いている間、つねに更新された視覚的な拡張現実が形成される。

方法（２００）のさらなる実施形態において、仮想軌道モデルを作成する際、少なくとも１つのプロジェクタの特性が付加的に考慮される。そのために、好ましくは、少なくとも以下の作業ステップのそれぞれが実施される：
−射影行列等の内在的なプロジェクタパラメータを検出する作業ステップであって、当該プロジェクタパラメータは、３次元の物体を、物体が正しく描写されるような方法で、２次元空間において変換する。この行列には、特にレンズの特性も含まれているが、レンズの特性に限定されるものではない。
−プロジェクタの位置及び方向付け等の外在的なプロジェクタパラメータを検出する作業ステップ。
−これらのプロジェクタパラメータが現実の正確な重なりに対応するような方法で、仮想軌道モデルを描写するために、プロジェクタパラメータを用いる作業ステップ。
−プロジェクタパラメータの同定を、予め手動で（少なくとも１つのプロジェクタの仕様から、並びに／又は、計測及び微調整によって）行うか、又は、自動的に（トラッキングモジュール及び／又はキャリブレーション方法が用いられる。特性描写（例えばグレイコード）は、プロジェクタによって表示され、トラッキングモジュールを通じて認識され、この認識は、プロジェクタパラメータの検出を可能にする）行う作業ステップ。

当該方法（１００；２００）のさらなる実施形態において、システムは、「閉ループ」式に、拡張現実ゴルフトレーニングを可能にする。プレーヤーには、そのショット及びショットの力学的動作に関して個々のフィードバックが与えられるので、トレーニング及びトレーニングの進展は、測定可能、追跡可能になり、より魅力的なものになる。そのために、好ましくは、少なくとも以下の作業ステップのそれぞれが実施される：
−トラッキングモジュールが、スポーツ用品の運動とプレーヤーのショットとを、特に連続的に追跡する作業ステップ。
−この追跡結果を、特にデータバンクに保存する作業ステップ。
−これらのデータを、特に連続的に解析し、プレーヤーの特性、統計及びその他の特徴を作成し評価する作業ステップ。この評価は、プレーヤーに、統計（例えばカップインしたパット、ミスパターン、スイングの流れ）の形で示され、及び／又は、トレーニング方法の表示又は仮想軌道モデルの調整に組み込まれ、プレーヤーがプレイを改善する際に、プレーヤーを支援する。

特に、収集されたデータを用いて、プロのプレーヤーとの比較をすることが可能であり、この比較もやはり、表示の調整に組み込まれる。それに加えて、統計に基づいて、いわゆるリーダーボードを作成することも可能であり、リーダーボードは、プレーヤーが他のプレーヤーとの比較を行うことを可能にし、そのトレーニングの進展を測定可能にすることもできる。

当該方法（１００；２００）及び／又はシステムのさらなる実施形態では、スマートグラス上に、仮想の３Ｄトレーニング環境が付加的に表示される。このトレーニング環境において、プレーヤーに、そのトレーニングに関して重要な情報が表示される。好ましくは、トレーニング環境は、まず、プレーヤー又はスポーツ用品のトラッキングを含んでいる。プレーヤー又はプロのプレーヤーの３Ｄモデルが利用できる場合、３Ｄモデルは、例えば「アバター」として表示され、プレーヤーに、正確な動作、又は、正確な動作からの逸脱が示される。好ましくは、プレーヤーの実際の挙動及び／又は運動シークエンスと、理想の挙動及び／又は運動シークエンスとの比較が可能になる。さらに、好ましくは、プレーヤーの物理特性を３Ｄモデルに関連付けることが実現するので、仮想のプレーヤーは、目下のショットに関して、それがまさに理想的であるかのように動作する。特に、当該システムは、３Ｄモデルのセット、再生、停止等を行う可能性を提供しており、それによって、一種の「３Ｄビデオプレーヤー」を提供している。

当該方法（１００；２００）及び／又はシステムのさらなる実施形態では、リアルタイムの３Ｄ測定、及び／又は、環境パラメータの連続的なリアルタイム同定が行われる。そのために、好ましくは、少なくとも以下の作業ステップのそれぞれが実施される：
−環境を、スキャン装置及び／又はトラッキングモジュールによって、特にセンサによって、特に光学的方法又はその他の方法を用いて連続的にスキャンする作業ステップ。
−さらなる作業ステップにおいて、少なくとも１つの環境パラメータが、スキャンの結果を基に同定され、及び／又は、連続的に改善され、すなわち、特に現実の環境に適合させられる。当該環境パラメータの例は、グリーンスピード、いわゆる芝目、すなわち芝の生育方向、地形、又は、３Ｄグリッド、風向、湿度レベル、又は、現在の天候を特徴付けるパラメータである。
−これらの情報を、アルゴリズム及び表示に還元し、システムを自己学習システムにする作業ステップ。

当該方法（１００；２００）及び／又はシステムのさらなる実施形態は、新しい種類の相互作用コンセプトを提供している。例えば：
−当該方法又はシステムは、ユーザーが、任意の視覚化を、直接環境の中に行うことを可能にする。このために、ユーザーは、システムの遠隔操作として、タブレットの使用が可能であり、タブレットの使用によって、ユーザーは入力を行うことができる。
−開始位置及び目標位置の位置決めが、プレーヤーの目線の方向の追跡、言語の入力又はタッチ等の、直感的入力手段を通じて行われる。
−当該システムは、特に入力を行い、システムと相互作用するために、スポーツ用品の双方向の識別によって制御され得る。

当該方法（１００）及び／又はシステムのさらなる実施形態は、位置の決定及び／又は方向付けに関して、新しい種類のアプローチを有している。例えば：
−同時位置決め地図作成：明確な目印及び現在位置及び／又は投影装置、特にヘッドマウントディスプレイの方向付けが、共同で、特に連続的に検出され、決定される。それによって、システムが、仮想情報を、環境における特定の点と重ねて、正確に表示することを可能にする。特に、この実施形態を通じて、マーカーの数を減少させることが可能であり、最良の場合では、マーカーを全く使用せずとも良い。同時に、この実施形態は、リアルタイムで環境パラメータ、特に地形パラメータを同定する可能性も提供している。
−同時位置決め地図作成のアプローチは、しばしば逸脱を有するので、そのために、記載された方法及び／又はシステムは、拡大されたアプローチを用いる。その際、第１の視点から、仮想のボールと現実のボールとが配置されたベクトルが形成される。その際、仮想のボールは、システムによって、基本的に現実のボールと一致させられる。第２の視点から、仮想のボールと現実のボールとが配置された第２のベクトルが形成される場合、２つのベクトルの交点から、当該位置における地面の実際の位置が推測され得る。地形パラメータの値は、基準系全体において局所的に、又は、全体的に、対応して修正され得る。

１ システム
２ 打つ道具
３ ボール
４ ユーザーインターフェース
５ 開始位置
６ 基準系
７ ユーザー
８ プロジェクタ
９ 環境、特にフィールド
１０ データインターフェース
１１ スキャン装置／測定装置
１２ 目標位置
１３ 演算ユニット
１４ 算定された、特に理想の、打つ道具の軌道
１５ 算定された、特に理想の、ボールの軌道
１６ 理論上の軌道
１７ 表示装置
１８ トラッキングモジュール
１９ 視野
２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉ、２０ｋ マーカー
２１ 測定ユニット
２２ 電波探知装置
２３ 加速度センサ
２４ ジャイロセンサ
２５ 矢印
２６ ボールの実際の軌道
２７ 打つ道具の実際の軌道
２８ カメラ
２９ ボールの位置のマーキング
３０ 打つ道具の位置のマーキング
３１ 立ち位置
３２ 指導者

Claims (25)

1. 球技の少なくとも１つのスポーツ用品（２；３）、好ましくはゴルフクラブ、又は、ボール（３）、好ましくはゴルフボール、の運動解析を行うための方法（２００）であって、以下の作業ステップ：
   基準系（６）における、球技のボール（２）の開始位置（５）を検出する作業ステップ（２０１）；
   前記基準系（６）における、前記ボール（３）の所定の目標位置（１２）、及び、プロジェクタ（８）の位置を検出する作業ステップ（２０２）；
   前記基準系（６）における、少なくとも１つの環境パラメータを検出する作業ステップであって、前記環境パラメータは、環境（２；３）を、前記開始位置（５）と前記目標位置（１２）との間の領域において、少なくとも部分的に特徴付けるものである作業ステップ（２０３）；
   前記基準系（６）を活用して、前記ボール（３）の前記開始位置（５）、前記ボール（３）の前記目標位置（１２）、及び、少なくとも１つの前記環境パラメータに応じて、少なくとも１つの前記スポーツ用品（２；３）の軌道（１４；１５）を算定する作業ステップ（２０４）；
   前記スポーツ用品（３）の算定された軌道（１４；１５）に基づいて、前記環境（９）の少なくとも部分における、少なくとも１つの前記スポーツ用品（２；３）の第１の仮想軌道モデルを作成する作業ステップ（２０６）；
   前記第１の仮想軌道モデルが、前記プロジェクタ（８）によって、第１の線（１６）として、前記環境（９）に投影されるように、前記第１の仮想軌道モデルを描写する作業ステップ（２０７）；
   少なくとも前記スポーツ用品（２；３）が動いている間の、前記基準系（６）における前記スポーツ用品（２；３）の位置及び／又は方向付けを検出する作業ステップ（２０８）；
   前記スポーツ用品（２；３）の実際の軌道（２６；２７）に基づいて、前記環境の少なくとも部分における、前記スポーツ用品（２；３）の第２の仮想軌道モデルを作成する作業ステップ（２０９）；及び、
   前記第２の仮想軌道モデルを、第２の線（２７；２８）として、前記環境（９）において描写する作業ステップ（２１０）、
   を有している方法（２００）。
2. 前記第１及び／又は第２の仮想軌道モデルを作成するために、前記プロジェクタ（８）の方向付け及び／又は位置合わせが付加的に考慮され、前記プロジェクタ（８）の方向付け及び／又は位置合わせを決定するために、既知の位置を有する少なくとも１つの物体の現実の位置が、少なくとも１つの前記物体の投影された位置と調整され、及び／又は、少なくとも１つの前記物体の現実の位置が検出され、前記基準系における位置と調整される、請求項１に記載の方法（２００）。
3. 少なくとも１つの内在的なプロジェクタパラメータが考慮される、請求項１又は２に記載の方法（２００）。
4. 打つ道具（２）の算定された軌道（１４）を算定するために、前記ボール（３）の算定された軌道（１５）が用いられる、請求項１から３のいずれか一項に記載の方法（２００）。
5. 前記第１の仮想軌道モデルが、前記ボール（３）の算定された軌道（１５）、及び／又は、算定された軌道（１５）の開始位置を有する、平らな地形における理論上の軌道（１６）を表している、請求項１から４のいずれか一項に記載の方法（２００）。
6. さらに、以下の作業ステップ：
   前記基準系（６）を活用して、前記開始位置（５）、前記目標位置（１２）及び少なくとも１つの前記環境パラメータに応じて、算定された軌道（１４；１５）上における前記スポーツ用品（２；３）の位置の第１の仮想経時的推移を算定する作業ステップであって、前記スポーツ用品（２；３）の位置の前記第１の仮想経時的推移は、前記第１の仮想軌道モデルを描写する（２０７）際に表示される作業ステップ（２０５）、
   を有する、請求項１から５のいずれか一項に記載の方法（２００）。
7. さらに、以下の作業ステップ：
   前記スポーツ用品（２；３）の実際の軌道（２６；２７）に基づいて、前記第２の仮想軌道モデルにおける前記スポーツ用品の位置の第２の仮想経時的推移を算定する作業ステップであって、前記スポーツ用品の位置の前記第２の仮想経時的推移は、前記第２の仮想軌道モデルを描写する（２０８）際に表示される作業ステップ（２０９）、
   を有する、請求項２から６のいずれか一項に記載の方法（２００）。
8. 前記第１の仮想経時的推移が、前記ボール（３）を打った時点に関して、実際の経時的推移及び／又は前記第２の仮想経時的推移と同期している、請求項６又は７に記載の方法（２００）。
9. 前記第１の仮想経時的推移及び／又は前記第２の仮想経時的推移の表示がリアルタイムに行われる、請求項６から８のいずれか一項に記載の方法（２００）。
10. 前記第１の仮想経時的推移及び／又は前記第２の仮想経時的推移の表示が、第１の線（１６；２６）若しくは第２の線（２７；２８）の作成によって、及び／又は、マーキング（２９；３０）によって行われる、請求項６から９のいずれか一項に記載の方法（２００）。
11. 描写（２０７、２１０）の際に、プレーヤーの所定の立ち位置（３１）が付加的に表示される、請求項１から１０のいずれか一項に記載の方法（２００）。
12. 前記方法（２００）が、それぞれ、第１のスポーツ用品として打つ道具（２）に関して、第２のスポーツ用品として前記ボール（３）に関して、特に並行及び／又は同時に実施される、請求項１から１１のいずれか一項に記載の方法（２００）。
13. 打つ道具（２）に関する、前記第１の仮想軌道モデル及び／又は前記第２の仮想軌道モデルにおいて、少なくとも前記打つ道具（２）の方向付けが付加的に考慮される、請求項１から１２のいずれか一項に記載の方法（２００）。
14. 描写（２０７、２１０）の際、前記打つ道具（２）の位置及び／又は方向付けの理想の軌道からの逸脱が示される、請求項１３に記載の方法（２００）。
15. さらに、以下の作業ステップ：
    視野を撮影する作業ステップであって、撮影された視野が、前記環境（９）の見ることができる部分として描写される作業ステップ（１０２ａ）、
    を有する、請求項１から１４のいずれか一項に記載の方法（２００）。
16. さらに、以下の作業ステップ：
    少なくとも前記スポーツ用品（２；３）が動いている間の、前記基準系（６）における前記スポーツ用品（２；３）の位置及び／又は方向付けを検出する作業ステップ（２０８）；
    検出されたデータに基づいて、前記スポーツ用品（２；３）の実際の軌道（２６；２７）を検出する作業ステップ；及び、
    前記実際の軌道（２６；２７）を算定された軌道（１４；１５）と比較する作業ステップであって、前記第１及び／又は前記第２の仮想軌道モデルは、付加的に、比較の際に決定される前記実際の軌道（２６；２７）と前記算定された軌道（１４；１５）との一致度に依存する作業ステップ、
    を有する、請求項１から１５のいずれか一項に記載の方法（２００）。
17. さらに、以下の作業ステップ：
    少なくとも前記スポーツ用品（２；３）が動いている間の、前記基準系（６）における前記スポーツ用品（２；３）の位置及び／又は方向付けを検出する作業ステップ（２０８）；
    検出されたデータに基づいて、前記スポーツ用品（２；３）の実際の軌道（２６；２７）を描く作業ステップ；
    前記実際の軌道（２６；２７）を、算定された軌道（１４；１５）と比較する作業ステップ；及び、
    比較の際に決定される前記実際の軌道（２６；２７）と前記算定された軌道（１４；１５）との一致度に基づいて、トレーニング方法を調整するステップ、
    を有する、請求項１から１６のいずれか一項に記載の方法（２００）。
18. 少なくとも１つの前記環境パラメータが、スキャン装置、及び／又は、トラッキングモジュール、好ましくはヘッドマウントディスプレイのカメラを用いて、測定技術的に検出され、及び／又は、別の測定技術的に検出されたパラメータから決定される、請求項１から１７のいずれか一項に記載の方法（２００）。
19. 少なくとも１つの前記環境パラメータ、好ましくは仮想軌道モデルの作成に用いられる３Ｄグリッドが、唯一の物体の位置決定に基づいて、少なくとも物体の周囲において、２つの異なる視点から修正される、請求項１から１８のいずれか一項に記載の方法（２００）。
20. さらに、以下の作業ステップ：
    少なくともボール（２）が動いている間の、前記基準系（６）における前記ボール（２）の位置を検出する作業ステップ（２０８）；
    検出されたデータに基づいて、前記ボール（２）の実際の軌道（２６）を描く作業ステップ；及び、
    前記実際の軌道（２６）に基づいて、少なくとも１つの前記環境パラメータを修正する作業ステップ、
    を有する、請求項１から１９のいずれか一項に記載の方法（２００）。
21. 命令を有するコンピュータプログラムであって、前記命令は、前記命令がコンピュータによって実施される場合に、コンピュータに請求項１から２０のいずれか一項に記載の方法（２００）を実施させるコンピュータプログラム。
22. 請求項２１に記載のコンピュータプログラムが保存されている、コンピュータ可読の記憶媒体。
23. 球技の少なくとも１つのスポーツ用品（２；３）、好ましくはゴルフクラブ、又は、ボール（３）、好ましくはゴルフボール、の運動解析を行うためのシステム（１）であって、
    少なくともフィールド（９）に投影するために設けられたプロジェクタ（８）；
    基準系（６）における球技のボール（３）の開始位置（５）及び前記ボール（３）の所定の目標位置（１２）を測定するため、及び、前記基準系（６）における前記プロジェクタ（８）の位置及び／又は方向付けを検出するために設けられたトラッキングモジュール（１８）；
    前記プロジェクタ（８）の位置、球技のボール（３）の所定の開始位置（５）、前記ボール（３）の所定の目標位置（１２）を検出するため、及び、前記フィールド（９）を前記開始位置（５）と前記目標位置（１２）との間の領域において少なくとも部分的に特徴付ける、基準系（６）における少なくとも１つの環境パラメータを検出するために設けられたデータインターフェース（１０）又はスキャン装置（１１）；及び、
    前記基準系（６）を活用して、前記ボール（３）の前記開始位置（５）、前記ボール（３）の前記目標位置（１２）、及び、少なくとも１つの前記環境パラメータに応じて、少なくとも１つの前記スポーツ用品（２；３）の軌道（１４；１５）を算定するため、並びに、前記ボール（３）の算定された軌道（１４）に基づいて、環境の少なくとも部分における、少なくとも１つの前記スポーツ用品（２；３）の第１の仮想軌道モデルを作成するために設けられている演算ユニット（１３）であって、前記プロジェクタ（８）が、前記ボール（３）の前記開始位置（５）と前記第１の仮想軌道モデルとを、第１の線（１６）として、前記フィールド（９）に投影するように調整されている演算ユニット（１３）、
    を有していて、
    前記トラッキングモジュール（１８）が、少なくとも前記スポーツ用品（２；３）が動いている間の、前記基準系（６）における前記スポーツ用品（２；３）の位置及び／又は方向付けを検出するように更に構成されていて、
    前記演算ユニット（１３）が、前記スポーツ用品（２；３）の実際の軌道（２６；２７）に基づいて、前記環境の少なくとも部分における、前記スポーツ用品（２；３）の第２の仮想軌道モデルを作成するように更に構成されていて、かつ
    前記プロジェクタ（８）が、前記第２の仮想軌道モデルを、第２の線（２７；２８）として、前記環境（９）において描写するように更に構成されている、
    システム（１）。
24. さらに、前記基準系（６）における、球技のボール（３）の開始位置（５）を検出するために設けられたユーザーインターフェース（４）を有している、運動解析を行うための、請求項２３に記載のシステム（１）。
25. 前記トラッキングモジュール（１８）がさらに、前記スポーツ用品（２；３）の現実の位置を決定するために設けられており、並びに／又は、前記システム（１）はさらに、前記スポーツ用品（２；３）の実際の位置及び／若しくは実際の軌道（２６；２７）を決定するために、電波探知装置（２３）を有しており、並びに、前記プロジェクタ（８）は、好ましくはさらに、前記スポーツ用品（２；３）の前記実際の位置及び／若しくは前記実際の軌道（２６；２７）を表示するために設けられている、請求項２３または２４に記載のシステム（１）。

Images