JP6445116B2 - 周辺の明るさに応じてカメラを制御して良好なボールのイメージを取得するための仮想スポーツシステム - Google Patents

Description

本発明は、周辺の明るさに応じてカメラを制御して良好なボールのイメージを取得するための仮想スポーツシステムに関するものである。

ゴルファーが都心などでも少ない費用で仮想的にゴルフを楽しめるようにする仮想ゴルフシステムが広く普及されている。このような仮想ゴルフシステムは、ゴルファーがゴルフボールを打つと、ゴルフボールを撮影したイメージを複数取得し、その軌跡、間隔、大きさなどに基づいてゴルフボールに関する物理量を測定し、シミュレーションを行ってショットのシミュレーション結果をスクリーン上に表示することを、その基本コンセプトとすることができる。このような仮想ゴルフシステムでは、ゴルフボールの撮影されたイメージをできるだけ良好な状態で取得することが重要である。

これに関連して、特許文献１（発明の名称：照明制御を用いたゴルフ映像取得装置、およびそれを用いた映像処理基盤のゴルフ練習システム）は、照明の位置や色を調節しながらゴルフ練習場面を撮影することにより、ゴルフボールのイメージをより多様に取得する技術に関して開示している（特許文献１は、その全体として本明細書に組み込まれたと見なすべきである）。しかし、この技術を含む種々の従来技術は、良好なゴルフボールのイメージ、すなわち、その軌跡、間隔、大きさなどを正確に決定可能なゴルフボールのイメージを取得するには関心がなかった。

したがって、本発明者（ら）は、特許文献２（発明の名称：「単一光源と平面センサ部を用いて物体の物理量を測定する方法およびこれを用いる仮想ゴルフシステム」）により優れた仮想ゴルフシステムを紹介（特許文献２は、その全体として本明細書に組み込まれたと見なすべきである）したのに続いて、このような仮想ゴルフシステム、他の仮想ゴルフシステム、他の種類のスポーツ（例えば、野球、サッカーなど）を仮想的に楽しめるようにするシステムなどに結合され、これらがより正確なシミュレーション結果を出すようにする新たな構成に関して提案する。

韓国公開特許公報第１０−２００９−０１１２５３８号 韓国登録特許第１０４８８６４号

本発明は、ボールの良好なイメージを取得することを目的とする。
本発明は、仮想スポーツシステムがより正確なシミュレーション結果を出すようにすることを他の目的とする。

上記の目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によれば、仮想スポーツシステムであって、ボールのイメージを取得するためのカメラを含む撮影部と、前記ボールの前記イメージに基づいて前記ボールに関する物理量を演算するシミュレータとを含み、前記撮影部は、前記カメラによって取得された少なくとも１つのイメージから映像情報を抽出し、前記映像情報に基づいて前記カメラの露出時間や映像利得を調節するための制御信号を決定する制御部をさらに含む、システムが提供される。

その他、本発明を実現するための他のシステムがさらに提供される。

本発明によれば、ボールの良好なイメージを取得することができる。
本発明によれば、仮想スポーツシステムがより正確なシミュレーション結果を出すようにすることができる。

本発明の一実施形態にかかる仮想ゴルフシステムの全体的な構成を概略的に示す図である。 本発明の一実施形態にかかる撮影部１００の内部構成を詳細に示す図である。 本発明の一実施形態にかかるシミュレータ２００の内部構成を詳細に示す図である。 本発明の一実施形態にかかる基準被写体を示す図である。

後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施形態を例として示す添付図面を参照する。このような実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、本明細書に記載されている特定の形状、構造および特性は、本発明の精神および範囲を逸脱しない範囲内で一実施形態から他の実施形態に変更されて実現可能である。また、各々の実施形態における個別構成要素の位置または配置も、本発明の精神および範囲を逸脱しない範囲内で変更可能であることが理解されなければならない。したがって、後述する詳細な説明は限定的な意味として行われるのではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括すると受け入れられなければならない。図面において、類似の参照符号は、様々な側面にわたって同一または類似の構成要素を表す。

以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の様々な好ましい実施形態に関して、添付した図面を参照して詳細に説明する。

［本発明の好ましい実施形態］
全体システムの構成
図１は、本発明の一実施形態にかかる仮想ゴルフシステムの全体的な構成を概略的に示す図である。

図１に示されるように、仮想ゴルフシステムは、打撃部１０と、照明装置２０と、撮影部１００と、シミュレータ２００と、表示装置３００とを含んで構成できる。
まず、本発明の一実施形態にかかる打撃部１０は、ゴルファーが仮想ゴルフシステムを用いる時に、踏み台に乗ってゴルフボールを打つ部分であってよい。このような打撃部１０は、その傾斜角が調節可能な公知のスイングプレートを含むことができる。参照として、当業者は、本発明が他の種類の仮想スポーツシステムに適用される場合には、打撃部１０の構成を、必要な場合、それに連動する他の構成要素の構成と共に、当該スポーツの特性に合わせて適切に変更することができる。

次に、本発明の一実施形態にかかる照明装置２０は、ゴルファーが屋内や屋外で仮想ゴルフを楽しむ場合に、人為的に光を照射できる装置であってよい。このような照明装置２０は、必要によって、点灯または消灯したり、その明るさが調節されたりすることができる。好ましくは、照明装置２０は、光のちらつき現象によるゴルフボールのイメージの自然的な劣化を防止するための赤外線照明であってよい。

次に、本発明の一実施形態にかかる撮影部１００は、少なくとも１つのカメラ（好ましくは、赤外線カメラ）（図示せず）を含み、ゴルフボールのイメージ（好ましくは、運動しているゴルフボールのイメージ）を１つ以上取得する機能を果たすことができる。このような撮影部１００は、図１に示されるように、運動するゴルフボールを上から見下ろす位置に配置されてもよいが、その他の位置に配置されてもよい。

ゴルフボールのイメージは、それが鮮明でその中心点を捉えたり、その直径や面積を測定するのに良いものであるほど、より良好であるといえる。例えば、ゴルフボールのイメージがより鮮明な場合、後述のようなシミュレータ２００が複数のゴルフボールのイメージの中心点をより正確に捉え、ゴルフボールの運動軌跡をより正確に演算することができる。また、例えば、ゴルフボールのイメージがより鮮明な場合、シミュレータ２００が複数のゴルフボールのイメージの中心点をより正確に捉え、それらの間の間隔をより正確に把握することにより、ゴルフボールの運動速度をより正確に演算することができる。他方、例えば、ゴルフボールのイメージがより鮮明な場合、シミュレータ２００が特定のゴルフボールのイメージ（例えば、撮影部１００が地面を垂直に見下ろした位置に最大限近い位置で撮影されたイメージ）の直径や面積をより正確に把握することにより、撮影部１００からゴルフボールまでの距離をより正確に演算することができる（多くの場合、このような距離はゴルフボールの高さに換算可能である）。

このように重要な良好なゴルフボールのイメージ取得のために、本発明によれば、撮影部１００のカメラの露出時間や映像利得が適応的に調節され得る。このような撮影部１００の具体的な構成に関しては、図２を参照してさらに後述する。

次に、本発明の一実施形態にかかるシミュレータ２００は、撮影部１００からゴルフボールのイメージを受信して、従来技術により、その軌跡、間隔、大きさなどに基づいてゴルフボールの運動に関するシミュレーションを行う機能を果たすことができる。このようなシミュレータ２００は、従来の仮想ゴルフシミュレーション装置と類似のものであってよい。

シミュレータ２００は、撮影部１００および表示装置３００と通信することができ、仮想ゴルフシミュレーションのための専用プロセッサを含むことができる。このような専用プロセッサは、メモリ手段を備え、数値演算能力とグラフィック処理能力を備えたものであってよい。

このようなシミュレータ２００の構成に関しては、図３を参照してさらに後述する。
最後に、本発明の一実施形態にかかる表示装置３００は、シミュレータ２００の数値演算やグラフィック処理の結果を表示する機能を果たすことができる。このような表示装置３００は、所定のディスプレイ手段を通して所定の映像を表示することができるが、好ましくは、打撃されたゴルフボールの衝撃を吸収する一方、直接は発光しないスクリーンと、このスクリーンに映像を出力するプロジェクタとから構成できる。

撮影部の構成
以下では、本発明の一実施形態にかかる撮影部１００の内部構成および各構成要素の機能について説明する。

図２は、本発明の一実施形態にかかる撮影部１００の内部構成を詳細に示す図である。
図２に示されるように、撮影部１００は、カメラ部１１０と、通信部１２０と、制御部１３０とを含んで構成できる。

本発明の一実施形態によれば、カメラ部１１０、通信部１２０、および制御部１３０は、その少なくとも一部がシミュレータ２００と通信するプログラムモジュールであってよい。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、またはその他のプログラムモジュールの形態で撮影部１００に含まれていてよく、物理的には、種々の公知の記憶装置に格納されていてよい。また、このようなプログラムモジュールは、撮影部１００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明により、後述する特定の業務を行うか、特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに制限されない。

まず、カメラ部１１０は、光学的に少なくとも１つのイメージを取得可能なカメラを含むことができる。
カメラ部１１０のカメラは、運動するゴルフボールがある状態かまたはない状態で撮影を行って所定のイメージを取得することができる。カメラ部１１０は、このようなイメージを、後述のような制御部１３０に伝送することができる。

一方、カメラ部１１０は、そのカメラの露出時間や映像利得が制御部１３０の制御によって適応的に調節できる。このようなカメラ部１１０の構成のために適応的露出制御機能を有する従来のカメラに関する技術を参照することができる。

次に、通信部１２０は、必要によって、制御部１３０とシミュレータ２００との間のデータ送受信を仲介する機能を果たすことができる。通信部１２０が採用可能な通信方式に特別な制限はないが、有線ＬＡＮ通信、ケーブル通信などの有線通信方式や、無線ＬＡＮ通信、赤外線通信、ＲＦ通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、制御部１３０は、カメラ部１１０によって伝送されたイメージから映像情報を抽出し、このような映像情報に基づいてカメラ部１１０のカメラの露出時間や映像利得を調節するための制御信号を決定し、これをカメラ部１１０に伝送することができる。

まず、制御部１３０は、カメラ部１１０からのイメージからその映像情報を抽出することができる。このような映像情報の種類には特別な制限がない。例えば、イメージ全体の明るさに関する情報、イメージの平均的な明るさに関する情報、イメージにおいて最も明るいピクセルの明るさに関する情報、イメージにおいて最も暗いピクセルの明るさに関する情報、およびイメージにおいて最も明るいピクセルと最も暗いピクセルの明るさとの差に関する情報のうちの少なくとも１つの情報が前記のような映像情報になっていてよい。

そして、制御部１３０は、複数回繰り返された実験などによって予め成立した公式を反映する関数（例えば、映像情報とカメラの最適露出時間との相関関係を公式化した関数）を実行させるか、複数回繰り返された実験などによって予め成立したルックアップテーブル（例えば、映像情報とカメラの最適露出時間との相関関係をテーブル化したもの）を参照することにより、現在の映像情報に関して最適な露出時間や映像利得に相当する制御信号を決定することができる。

前記関数や前記ルックアップテーブルは、例えば、映像情報がイメージ全体の明るさに関する情報の場合、イメージ全体の明るさが高いほど、カメラの露出時間をより多く減少させる制御信号のためのものであってよい。また、前記関数や前記ルックアップテーブルは、例えば、映像情報がイメージの平均的な明るさに関する情報の場合、イメージの平均的な明るさが高いほど、カメラの露出時間をより多く減少させる制御信号のためのものであってよい。

前述のように決定された制御信号は、制御部１３０からカメラ部１１０に伝送され、カメラの露出時間や映像利得を変更させることができる。
一実施形態によれば、制御部１３０は、短時間の間、１回は照明装置２０を点灯した状態で撮影されたイメージの映像情報（例えば、全体的な明るさ）を抽出し、１回は照明装置２０を消灯した状態で他の撮影されたイメージの映像情報（例えば、全体的な明るさ）を抽出した後に、２つの映像情報ともに基づくか、その差に関する情報（例えば、２つのイメージの明るさの差値）に基づいてカメラの露出時間や映像利得を最適化することもできる。例えば、制御部１３０は、映像情報の差が少ない場合、照明装置２０なしにも周辺が明るいと受け入れられ、カメラの露出時間を減少させる制御を行うことができる。

この実施形態において、制御部１３０は、必要によって、照明装置２０のオン／オフを制御する機能をさらに行うこともできる。
他の実施形態によれば、制御部１３０は、カメラ部１１０のカメラがゴルフボールや地面などでない、簡単に工夫された基準被写体を撮影してイメージを取得する場合を想定して、カメラに対する制御を行うこともできる。例えば、図４に示されるような基準被写体がカメラによって撮影されると、制御部１３０が当該イメージから映像情報を抽出することができる。このような映像情報は、仮に基準被写体の各部分（Ａ〜Ｄのいずれか１つの部分）の反射率が一定であるにもかかわらず、周辺の明るさに応じて非常に異なり得る。したがって、制御部１３０は、ゴルファーの操作に応じて基準被写体がカメラによって撮影されていることが認識されると、予め成立した所定の基準被写体用テーブルなどを参照してカメラの露出時間や映像利得を調節する制御を行うことができる。好ましくは、このような制御は、基準被写体の４つの部分のうちの全部または一部のイメージが地面とよく区分されるようにするための制御であってよい。

さらに他の実施形態によれば、前述した制御部１３０の様々な態様の制御は、単にしばらくの間撮影されたイメージにのみ基づいて行われるのではなく、一種のフィードバック制御原理によって行われてもよい。例えば、制御部１３０は、カメラ部１１０から一次的に伝送されたイメージに基づいてカメラの露出時間や映像利得を一定程度変更してから、再びカメラ部１１０から二次的に改善されたイメージを受信することができる。このように改善されたイメージが制御部１３０によって相変わらずそれに予め設定されている所定の基準に適合しないと判断されると、制御部１３０は、再びカメラの露出時間や映像利得をさらに変更することができる。制御部１３０は、このようなフィードバック制御を繰り返し行いながらやがて基準を満たす好適なイメージを受信することができるが、この時のカメラの露出時間や映像利得が現在の周辺の明るさからみて、最適なものと理解され得る。

シミュレータの構成
以下では、本発明の一実施形態にかかるシミュレータ２００の内部構成および各構成要素の機能について説明する。

図３は、本発明の一実施形態にかかるシミュレータ２００の内部構成を詳細に示す図である。
図３に示されるように、本発明の一実施形態にかかるシミュレータ２００は、シミュレーション部２１０と、データ格納部２２０と、通信部２３０と、制御部２４０とを含んで構成できる。

本発明の一実施形態によれば、シミュレーション部２１０、データ格納部２２０、通信部２３０、および制御部２４０は、その少なくとも一部が撮影部１００や表示装置３００と通信するプログラムモジュールであってよい。このようなプログラムモジュールは、運営システム、応用プログラムモジュールまたはその他のプログラムモジュールの形態でシミュレータ２００に含まれていてよく、物理的には種々の公知の記憶装置に格納されていてよい。また、このようなプログラムモジュールは、シミュレータ２００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明により、後述する特定の業務を行うか、特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに制限されない。

まず、シミュレーション部２１０は、撮影部１００から良好なゴルフボールのイメージを受信し、これに基づいて仮想ゴルフシミュレーションを行うことができる。すなわち、シミュレーション部２１０は、前述のように、ゴルフボールのイメージからゴルフボールの運動軌跡を演算するか、ゴルフボールの運動速度を演算するか、ゴルフボールの高さを演算することができる。

そして、シミュレーション部２１０は、ゴルフボールの運動をグラフィックオブジェクトに反映するか、映像信号を含む制御信号を表示装置３００に伝送して、ゴルフボールの運動が表示装置３００でリアリティーに表現されるようにすることができる。

次に、データ格納部２２０は、ゴルフボールの演算された物理量に関する情報や、シミュレーションに必要な情報を格納することができる。このようなデータ格納部２２０は、コンピュータ読み取り可能な記録媒体を含むことができる。

次に、通信部２３０は、シミュレーション部２１０およびデータ格納部２２０からの／へのデータ送受信を可能にする機能を果たすことができる。通信部２３０が採用可能な通信方式に特別な制限はないが、有線ＬＡＮ通信、ケーブル通信などの有線通信方式や、無線ＬＡＮ通信、赤外線通信、ＲＦ通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、制御部２４０は、シミュレーション部２１０、データ格納部２２０、および通信部２３０の間のデータの流れを制御する機能を果たすことができる。すなわち、本発明にかかる制御部２４０は、シミュレータ２００の外部からの／へのデータの流れ、またはシミュレータ２００の各構成要素の間のデータの流れを制御することにより、シミュレーション部２１０、データ格納部２２０、および通信部２３０でそれぞれ固有の機能を果たすように制御することができる。

以上では、本発明の仮想スポーツシステムが仮想ゴルフシステムの場合を主に想定して説明したが、ボールの運動に関するシミュレーションが要求されるすべての種類の仮想スポーツシステム（例えば、仮想野球システムや仮想サッカーシステム）に本発明の技術的原理および構成が適用可能であることは当業者にとって自明である。

以上説明された本発明にかかる実施形態は、多様なコンピュータ構成要素により実行可能なプログラム命令語の形態で実現され、コンピュータ読み取り可能な記録媒体に記録できる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってよい。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピィーディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納および実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードのみならず、インタプリタなどを用いてコンピュータによって実行可能な高級言語コードも含まれる。ハードウェア装置は、本発明にかかる処理を行うために１つ以上のソフトウェアモジュールに変更可能であり、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面によって説明されたが、これは、本発明のより全般的な理解のために提供されたに過ぎず、本発明が上記の実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正および変更を図ることができる。

したがって、本発明の思想は、上記の実施形態に限って定められるべきではなく、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等またはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属する。

Claims (8)

1. 仮想スポーツシステムであって、
   ボールのイメージを取得するためのカメラを含む撮影部と、
   前記ボールの前記イメージに基づいて前記ボールに関する物理量を演算するシミュレータとを含み、
   前記撮影部は、前記カメラによって取得された少なくとも１つのイメージから映像情報を抽出し、前記映像情報に基づいて前記カメラの露出時間や映像利得を調節するための制御信号を決定する制御部をさらに含み、
   前記制御部は、調整された露出時間や映像利得で前記カメラによって取得された少なくとも１つの他のイメージから映像情報を抽出し、該映像情報が所定の基準に適合しない場合に前記映像情報に基づいて前記カメラの露出時間や映像利得をさらに調節し、
   前記カメラは、均一な反射率をそれぞれ有する少なくとも２つの領域を含む基準被写体の少なくとも1つのイメージをさらに取得し、
   前記少なくとも２つの領域の反射率は互いに異なり、
   前記制御部は、前記基準被写体の少なくとも1つのイメージから抽出された映像情報に基づいて、前記基準被写体の少なくとも２つの領域のうちの少なくとも一部が地面と区分されるように前記制御信号を決定する、システム。
2. 前記カメラは、赤外線カメラであることを特徴とする、請求項１に記載のシステム。
3. 前記ボールに関する前記物理量は、前記ボールの運動軌跡、前記ボールの運動速度、および前記ボールの高さのうちの少なくとも１つであることを特徴とする、請求項１に記載のシステム。
4. 前記ボールの前記高さは、前記撮影部から前記ボールまでの距離に基づいて換算されることを特徴とする、請求項３に記載のシステム。
5. 前記映像情報は、当該イメージ全体の明るさに関する情報、当該イメージの平均的な明るさに関する情報、当該イメージにおいて最も明るい部分の明るさに関する情報、当該イメージにおいて最も暗い部分の明るさに関する情報、および当該イメージにおいて最も明るい部分と最も暗い部分との明るさの差に関する情報のうちの少なくとも１つであることを特徴とする、請求項１に記載のシステム。
6. 照明装置をさらに含み、
   前記制御部は、前記照明装置の点灯および消灯を制御することを特徴とする、請求項１に記載のシステム。
7. 前記少なくとも１つのイメージは、２つのイメージであり、
   前記２つのイメージのうちの第１イメージは、前記照明装置が点灯している場合に取得されたものであり、前記２つのイメージのうちの第２イメージは、前記照明装置が消灯している場合に取得されたものであることを特徴とする、請求項６に記載のシステム。
8. 前記映像情報は、前記第１イメージに相当する映像情報と、前記第２イメージに相当する映像情報との差に関する情報であることを特徴とする、請求項７に記載のシステム。