JP6176673B2 - 複数のカメラで運動する被写体を撮影し、その撮影イメージに基づいて被写体の実際の運動軌跡を取得するための方法およびシステム - Google Patents

Description

本発明は、複数のカメラで運動する被写体を撮影し、その撮影イメージに基づいて被写体の実際の運動軌跡を取得するための方法およびシステムに関するものである。

［関連出願の相互参照］
本出願は、本出願人によって本出願の出願日と同日付で出願された、発明の名称を「固定されたカメラで運動する被写体を撮影し、その撮影イメージに基づいて被写体の実際の運動軌跡の投射イメージを取得するための方法およびシステム」とする他の出願と相互参照の関係にある。そのため、本発明の属する技術分野における当業者は、本発明を理解または実施するために、前記他の出願の発明を参照するか、その逆を行うことができる。

［背景技術］
ゴルファーが都心などでも少ない費用で仮想的にゴルフを楽しめるようにする仮想ゴルフシステムが広く普及されている。このような仮想ゴルフシステムは、ゴルファーがゴルフボールを打つと、ゴルフボールを撮影したイメージを複数取得し、その軌跡、間隔、大きさなどに基づいてゴルフボールに関する物理量を測定し、シミュレーションを行ってショットのシミュレーション結果をスクリーン上に表示することを、その基本コンセプトとすることができる。

従来は、このような物理量に関する情報、特に、ゴルフボールの運動方向や運動速度を把握するために、同時にゴルフボールを撮影するように同期化した複数のカメラを利用する手法に多く依存してきたのが事実である。

しかし、このようなカメラを利用する手法は、システム生産費用の増加をもたらす欠点や、そのカメラの配置において制約が生じる欠点があった。
したがって、本発明者（ら）は、特許文献１（発明の名称：「単一光源と平面センサ部を用いて物体の物理量を測定する方法およびこれを用いる仮想ゴルフシステム」）により優れた仮想ゴルフシステムを紹介（特許文献１は、その全体として本明細書に組み込まれたと見なすべきである）したのに続いて、このような仮想ゴルフシステム、他の仮想ゴルフシステム、他の種類のスポーツ（例えば、野球、サッカーなど）を仮想的に楽しめるようにするシステム、その他、ボールでない被写体に関する仮想現実システムなどに結合され、これらが経済的な構成要素だけでも十分に良好なシミュレーション結果を出すようにする新たな技術に関して提案する。

韓国登録特許第１０４８８６４号

本発明は、運動するボールの撮影されたイメージに基づいてボールの実際の運動軌跡を取得することを目的とする。
本発明は、仮想スポーツシステムが経済的な構成要素だけでも十分に良好なシミュレーション結果を出すようにすることを他の目的とする。

本発明は、運動する被写体の撮影されたイメージに基づいて被写体の実際の運動軌跡を取得することを目的とする。

上記の目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によれば、被写体の運動軌跡を取得するための方法であって、複数のカメラで運動する被写体を撮影するステップと、前記複数のカメラの各々から、前記被写体の複数のイメージとこれらの当該カメライメージフレーム上の位置に関する情報を収集するステップと、前記収集された情報に基づいて前記被写体の運動軌跡を取得するステップとを含む、方法が提供される。

その他、本発明を実現するための他の方法およびシステムがさらに提供される。

本発明によれば、運動するボールの撮影されたイメージに基づいてボールの実際の運動軌跡を取得することができる。
本発明によれば、仮想スポーツシステムが経済的な構成要素だけでも十分に良好なシミュレーション結果を出すようにすることができる。

本発明によれば、運動する被写体の撮影されたイメージに基づいて被写体の実際の運動軌跡を取得することができる。

本発明の一実施形態にかかる仮想ゴルフシステムの全体的な構成を概略的に示す図である。 本発明の一実施形態にかかる撮影部１００の内部構成を詳細に示す図である。 本発明の一実施形態にかかるシミュレータ２００の内部構成を詳細に示す図である。 本発明で用いられる一概念に関する図である。 本発明の一実施形態により２つのカメラを用いた場合に取得される交線を例示する図である。

後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施形態を例として示す添付図面を参照する。このような実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、本明細書に記載されている特定の形状、構造および特性は、本発明の精神および範囲を逸脱しない範囲内で一実施形態から他の実施形態に変更されて実現可能である。また、各々の実施形態における個別構成要素の位置または配置も、本発明の精神および範囲を逸脱しない範囲内で変更可能であることが理解されなければならない。したがって、後述する詳細な説明は限定的な意味として行われるのではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括すると受け入れられなければならない。図面において、類似の参照符号は、様々な側面にわたって同一または類似の構成要素を表す。

以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の様々な好ましい実施形態に関して、添付した図面を参照して詳細に説明する。

［本発明の好ましい実施形態］
全体システムの構成
図１は、本発明の一実施形態にかかる仮想ゴルフシステムの全体的な構成を概略的に示す図である。

図１に示されるように、仮想ゴルフシステムは、打撃部１０と、撮影部１００と、シミュレータ２００と、表示装置３００とを含んで構成できる。
まず、本発明の一実施形態にかかる打撃部１０は、ゴルファーが仮想ゴルフシステムを用いる時に、踏み台に乗ってゴルフボールを打つ部分であってよい。このような打撃部１０は、その傾斜角が調節可能な公知のスイングプレートを含むことができる。参照として、当業者は、本発明が他の種類の仮想スポーツシステムに適用される場合には、打撃部１０の構成を、必要な場合、それに連動する他の構成要素の構成と共に、当該スポーツの特性に合わせて適切に変更することができる。

次に、本発明の一実施形態にかかる撮影部１００は、複数のカメラ（好ましくは、赤外線カメラ）を含み、その各々が運動するゴルフボールのイメージを複数個取得するようにする機能を果たすことができる。

このような撮影部１００は、図１に示されるように、運動するゴルフボールを上から見下ろす位置に配置されてもよいが、他の位置に配置されてもよい。好ましくは、撮影部１００は、図１に示されるように、構造物に対して固定されていて、その位置と視野方向が一定であり得る。一方、撮影部１００の複数のカメラは、互いに離隔していることが好ましい。

撮影部１００の具体的な構成に関しては、図２を参照してさらに後述する。
次に、本発明の一実施形態にかかるシミュレータ２００は、撮影部１００から、その複数のカメラの各々によって取得された、運動するゴルフボールの複数のイメージを受信して、ゴルフボールの実際の運動軌跡を取得し、これに基づいてシミュレーションを行う機能を果たすことができる。

シミュレータ２００は、撮影部１００および表示装置３００と通信することができ、仮想ゴルフシミュレーションのための専用プロセッサを含むことができる。このような専用プロセッサは、メモリ手段を備え、数値演算能力とグラフィック処理能力を備えたものであってよい。このようなシミュレータ２００は、従来の仮想ゴルフシミュレーション装置と類似のものであってよい。

前記シミュレータ２００の構成に関しては、図３を参照してさらに後述する。
最後に、本発明の一実施形態にかかる表示装置３００は、シミュレータ２００の数値演算やグラフィック処理の結果を表示する機能を果たすことができる。このような表示装置３００は、所定のディスプレイ手段を通して所定の映像を表示することができるが、好ましくは、打撃されたゴルフボールの衝撃を吸収する一方、直接は発光しないスクリーンと、このようなスクリーンに映像を出力するプロジェクタとから構成できる。

撮影部の構成
以下では、本発明の一実施形態にかかる撮影部１００の内部構成および各構成要素の機能について説明する。

図２は、本発明の一実施形態にかかる撮影部１００の内部構成を詳細に示す図である。
図２に示されるように、撮影部１００は、カメラ部１１０と、通信部１２０と、制御部１３０とを含んで構成できる。

本発明の一実施形態によれば、カメラ部１１０、通信部１２０、および制御部１３０は、その少なくとも一部がシミュレータ２００と通信するプログラムモジュールであってよい。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、またはその他のプログラムモジュールの形態で撮影部１００に含まれていてよく、物理的には種々の公知の記憶装置に格納されていてよい。また、このようなプログラムモジュールは、撮影部１００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明により、後述する特定の業務を行うか、特定の抽象データ類型を行うルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに制限されない。

まず、カメラ部１１０は、運動するゴルフボールのイメージを光学的に取得可能なカメラを２つ以上含むことができる。このような複数のカメラの各々は、運動するゴルフボールの複数のイメージを複数の視点から取得することができる。この場合、複数のカメラは同期化している必要がない。

カメラ部１１０は、運動するゴルフボールの各撮影されたイメージを、当該カメラに関する識別情報およびそれの当該カメライメージフレーム上の座標に関する情報と共に制御部１３０に伝送することができる。このような処理は、複数のカメラと当該撮影イメージに関して行われるとよい。カメライメージフレーム上の座標に関しては、前記関連出願を参照することができる。

カメラ部１１０のカメラは、前述のように、構造物に対して固定された後に、必要なだけ補正されたものであってよい。このような補正は、従来技術にかかるカメライメージセンサの歪曲に関する補正であるか、レンズの歪曲に関する補正であってよい。

次に、通信部１２０は、制御部１３０とシミュレータ２００との間のデータ送受信を仲介する機能を果たすことができる。通信部１２０が採用可能な通信方式に特別な制限はないが、有線ＬＡＮ通信、ケーブル通信などの有線通信方式や、無線ＬＡＮ通信、赤外線通信、ＲＦ通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、制御部１３０は、カメラ部１１０から伝送された運動するゴルフボールの撮影されたイメージに関する様々な情報をシミュレータ２００に伝送することができる。
一方、制御部１３０は、後述のような本発明の特有の原理によれば、複数のカメラが同時にゴルフボールを撮影するように同期化していない状態でもゴルフボールの実際の運動軌跡が取得できるため、カメラ部１１０のＮ個のカメラの撮影周期がいずれもＴの場合、各カメラが順にＴ／Ｎだけの時間間隔をおいて撮影を行うように制御することにより、まるで撮影周期がＴ／Ｎでより短い（すなわち、時間解像度の面で性能がより高い）カメラが用いられた場合と同様の効果を奏することもできる。

また、制御部１３０は、カメラ部１１０のＮ個のカメラの撮影周期がいずれもＴの場合、カメラのうちの少なくとも一部が所定の時間間隔をおいて撮影を行うように制御することにより、まるで撮影周期がＴより短い（すなわち、時間解像度の面で性能がより高い）カメラが用いられた場合と同様の効果を奏することもできる。

他方、制御部１３０は、カメラ部１１０のＮ個のカメラの撮影周期のうちの少なくとも一部が互いに異なる場合にも、カメラのうちの少なくとも一部が所定の時間間隔をおいて撮影を行うように制御することにより、より多くの撮影データを得る効果を奏することができる。

シミュレータの構成
以下では、本発明の一実施形態にかかるシミュレータ２００の内部構成および各構成要素の機能について説明する。

図３は、本発明の一実施形態にかかるシミュレータ２００の内部構成を詳細に示す図である。
図３に示されるように、本発明の一実施形態にかかるシミュレータ２００は、シミュレーション部２１０と、データ格納部２２０と、通信部２３０と、制御部２４０とを含んで構成できる。

本発明の一実施形態によれば、シミュレーション部２１０、データ格納部２２０、通信部２３０、および制御部２４０は、その少なくとも一部が撮影部１００や表示装置３００と通信するプログラムモジュールであってよい。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、またはその他のプログラムモジュールの形態でシミュレータ２００に含まれていてよく、物理的には種々の公知の記憶装置に格納されていてよい。また、このようなプログラムモジュールは、シミュレータ２００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明により、後述する特定の業務を行うか、特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに制限されない。

まず、シミュレーション部２１０は、撮影部１００から、前述のような運動するゴルフボールの撮影されたイメージに関する様々な情報を受信することができる。シミュレーション部２１０は、これをもって次のような演算処理を行ってゴルフボールの実際の運動軌跡と運動速度を取得することができる。図４を参照して説明する（図４は、本発明で用いられる一概念に関する図である）。

１．カメラの位置点、そして当該カメラによって撮影されたゴルフボールの撮影時点の位置点が背景部分の上に投射された点によって決定される平面の取得
図４において、Ｐｃ（ｉ）は、複数のカメラのうち、ｉ番目のカメラの位置点を示す。シミュレーション部２１０は、Ｐｃ（ｉ）の座標をすでに知っていてよい。

そして、Ｐｂ（ｉ，ｎ）〜Ｐｂ（ｉ，ｎ＋２）は、ｉ番目のカメラによってｎ番目〜ｎ＋２番目に撮影されたゴルフボールが撮影時点で実際に位置する位置点を示す。これらは、ゴルフボールの実際の運動軌跡である直線Ｌｔ上に存在する（ここで、ゴルフボールの運動軌跡が必ずしも直線を描くものではないが、ゴルフボールが打撃された直後に見える軌跡はほぼ直線に近くなるので、このような直線Ｌｔが認定され得る点が留意されなければならない）。また、直線Ｌｔは、ゴルフボールの所定時間の間の近似的な運動軌跡を示すものであってもよい。

Ｐｒ（ｉ，ｎ）は、ｉ番目のカメラの視点からみて、Ｐｂ（ｉ，ｎ）が背景部分の地面に対して投射された点を示す。シミュレーション部２１０は、このような点の地面上の座標を、前記関連出願の発明の原理を利用して、Ｐｂ（ｉ，ｎ）に位置するゴルフボールがｉ番目のカメラによって撮影されたイメージのそのカメライメージフレーム上の座標とすでに確保されていてもよいｉ番目のカメラに関する座標変換行列などによって決定することができる。同様に、Ｐｒ（ｉ，ｎ＋１）とＰｒ（ｉ，ｎ＋２）は、ｉ番目のカメラの視点からみて、Ｐｂ（ｉ，ｎ＋１）とＰｂ（ｉ，ｎ＋２）が地面に対して投射された点を示す。これら点の地面上の座標も決定できる。
そのため、シミュレーション部２１０は、Ｐｃ（ｉ）とＰｒ（ｉ，ｎ）〜Ｐｒ（ｉ，ｎ＋２）が描く線の直線Ｌｂ（ｉ）によって唯一に決定される平面を取得することができる。

２．ゴルフボールの運動軌跡を含む複数の平面の取得
このような平面は、直線Ｌｔを含むものであってよい。そして、シミュレーション部２１０は、１．の処理をｉ＋１番目のカメラに関しても行うことができる。もちろん、必要によって、シミュレーション部２１０は、１．の処理をｉ＋２番目のカメラに関しても行うことができる。したがって、シミュレーション部２１０は、毎処理ごとに直線Ｌｔを含む平面を１つずつさらに取得することができる。

３．ゴルフボールの運動軌跡の取得
シミュレーション部２１０は、２．の処理によって取得される平面の交線（図５の太い線）を取得することができ（図５は、本発明の一実施形態により２つのカメラを用いた場合に取得される交線を例示する図である）、これは、ゴルフボールの実際の運動軌跡である直線Ｌｔと一致する。

４．ゴルフボールの運動速度の取得
シミュレーション部２１０は、３．の処理によって取得された直線Ｌｔを利用し、Ｐｃ（ｉ）とＰｒ（ｉ，ｎ）のすでに知っている座標を用いてＰｂ（ｉ，ｎ）の座標も求めることができる。同様の原理により、Ｐｂ（ｉ，ｎ＋１）の座標も求めることができる。したがって、シミュレーション部２１０は、求められた２つの座標の間の距離をｉ番目のカメラの撮影周期で割って、ゴルフボールの実際の運動速度も取得することができる。

一方、以上において、シミュレーション部２１０がゴルフボールの運動軌跡と運動速度を演算的に取得できると例示的に説明されたが、このような演算過程の少なくとも一部が他の演算構成要素、例えば、撮影部１００の制御部１３０によって行われても構わないことは当業者にとって自明である。

次に、データ格納部２２０は、前述のような演算過程で利用または導出される様々な情報や、その他のシミュレーションに必要な情報を格納することができる。このようなデータ格納部２２０は、コンピュータ読み取り可能な記録媒体を含むことができる。

次に、通信部２３０は、シミュレーション部２１０およびデータ格納部２２０からの／へのデータ送受信を可能にする機能を果たすことができる。通信部２３０が採用可能な通信方式に特別な制限はないが、有線ＬＡＮ通信、ケーブル通信などの有線通信方式や、無線ＬＡＮ通信、赤外線通信、ＲＦ通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、制御部２４０は、シミュレーション部２１０、データ格納部２２０、および通信部２３０の間のデータの流れを制御する機能を果たすことができる。すなわち、本発明にかかる制御部２４０は、シミュレータ２００の外部からの／へのデータの流れ、またはシミュレータ２００の各構成要素の間のデータの流れを制御することにより、シミュレーション部２１０、データ格納部２２０、および通信部２３０でそれぞれ固有の機能を果たすように制御することができる。

以上では、本発明のシステムが仮想ゴルフシステムの場合を主に想定して説明したが、被写体の運動に関するシミュレーションが要求されるすべての種類の仮想現実システム（例えば、仮想野球システムや仮想サッカーシステム）に本発明の技術的原理および構成が適用可能であることは当業者にとって自明である。

以上説明された本発明にかかる実施形態は、多様なコンピュータ構成要素により実行可能なプログラム命令語の形態で実現され、コンピュータ読み取り可能な記録媒体に記録できる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピィーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納および実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードのみならず、インタプリタなどを用いてコンピュータによって実行可能な高級言語コードも含まれる。ハードウェア装置は、本発明にかかる処理を行うために１つ以上のソフトウェアモジュールに変更可能であり、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面によって説明されたが、これは、本発明のより全般的な理解のために提供されたに過ぎず、本発明が上記の実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正および変更を図ることができる。

したがって、本発明の思想は、上記の実施形態に限って定められるべきではなく、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等またはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属する。

２１０：シミュレーション部
２２０：データ格納部
２３０：通信部
２４０：制御部

Claims (7)

1. 被写体の運動軌跡を取得するための方法であって、
   複数のカメラで運動する被写体を撮影するステップであって、前記複数のカメラは、背景部分に対向して固定されている、前記被写体を撮影するステップと、
   前記複数のカメラの各々から、前記被写体の複数のイメージとこれらの当該カメライメージフレーム上の位置に関する情報を収集するステップと、
   前記収集された情報に基づいて前記被写体の運動軌跡を取得するステップとを含み、
   前記被写体の運動軌跡を取得するステップは、前記被写体の運動軌跡及び少なくとも２つの平面の交線に関する少なくとも２つの平面を決定するステップを含み、
   前記少なくとも２つの平面の各々は、当該カメラの位置点と、当該カメラの視点からみた前記被写体の前記背景部分に対する投射点とを含むことを特徴とする、方法。
2. 前記複数のカメラは、互いに離隔していることを特徴とする、請求項１に記載の方法。
3. 前記投射点の各々の前記背景部分上の位置は、当該イメージの当該カメライメージフレーム上の位置と当該カメラの固有の位置座標変換行列によって決定されることを特徴とする、請求項１に記載の方法。
4. 前記被写体の前記運動軌跡と前記複数のカメラのうちの少なくとも１つの位置および当該投射点の位置、そしてこのカメラの撮影周期に基づいて前記被写体の運動速度を取得するステップをさらに含むことを特徴とする、請求項３に記載の方法。
5. 前記複数のカメラの各々は、その撮影周期を前記複数のカメラの個数で割った時間だけの間隔をおいて撮影動作をするように制御されることを特徴とする、請求項１に記載の方法。
6. 前記複数のカメラは、その少なくとも一部が所定の時間間隔をおいて撮影動作をするように制御されることを特徴とする、請求項１に記載の方法。
7. 被写体の運動軌跡を取得するためのシステムであって、
   運動する被写体を撮影する複数のカメラであって、背景部分に対向して固定されている前記複数のカメラと、
   前記複数のカメラの各々から、前記被写体の複数のイメージとこれらの当該カメライメージフレーム上の位置に関する情報を収集し、前記収集された情報に基づいて前記被写体の運動軌跡を取得するシミュレータとを含み、
   前記シミュレータは、前記被写体の運動軌跡及び少なくとも２つの平面の交線に関する少なくとも２つの平面を決定し、
   前記少なくとも２つの平面の各々は、当該カメラの位置点と、当該カメラの視点からみた前記被写体の前記背景部分に対する投射点とを含むことを特徴とする、システム。