JP6869826B2 - ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体 - Google Patents

ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP6869826B2
JP6869826B2 JP2017126197A JP2017126197A JP6869826B2 JP 6869826 B2 JP6869826 B2 JP 6869826B2 JP 2017126197 A JP2017126197 A JP 2017126197A JP 2017126197 A JP2017126197 A JP 2017126197A JP 6869826 B2 JP6869826 B2 JP 6869826B2
Authority
JP
Japan
Prior art keywords
ball
interest
region
determining
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017126197A
Other languages
English (en)
Other versions
JP2018000959A (ja
Inventor
ヨン ホ スク
ヨン ホ スク
ジェイ ホ スク
ジェイ ホ スク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Creatz Inc
Original Assignee
Creatz Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Creatz Inc filed Critical Creatz Inc
Publication of JP2018000959A publication Critical patent/JP2018000959A/ja
Application granted granted Critical
Publication of JP6869826B2 publication Critical patent/JP6869826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体{METHOD、SYSTEM AND NON−TRANSITORY COMPUTER−READABLE RECORDING MEDIUM FOR DETERMINING REGION OF INTEREST FOR PHOTOGRAPHING BALL IMAGES}に関するものである。
[発明の背景となる技術]
ゴルファーが都心などでも低コストで仮想的にゴルフを楽しむことができるようにするシミュレーションゴルフシステムが広く普及されている。このようなシミュレーションゴルフシステムは、ゴルファーがゴルフボールを打ったら、ゴルフボールを撮影した画像を多数獲得し、その軌跡、間隔、サイズなどに基づいて、ゴルフボールの物理量を測定し、シミュレーションを行い、ショットのシミュレーション結果をスクリーン上に表示することを基本コンセプトとすることができる。これらのシミュレーションゴルフのシステムでは、ゴルフボールの撮影された画像を可能な限り良好な状態で獲得することが重要である。
これに関連し、特許文献1(発明の名称:照明制御を利用したゴルフ映像獲得装置、及び、それを利用した画像処理ベースのゴルフ練習システム)は、照明の位置や色を調節しながらゴルフ練習シーンを撮影することにより、ゴルフボールの画像をより多様に獲得する技術について開示されている(上記韓国公開特許公報の明細書は、その全体として本明細書に編入されたものとみなされるべきである)。しかし、この技術を含むいくつかの従来技術は、ゴルフボールの物理量を正確に測定するのに必要なゴルフボールの画像を効率的に獲得するのに必要な技術や複数のゴルフボールの画像から得られるマークシーケンス(Mark Sequence)を利用してゴルフ ボールの物理量を測定する技術について関心を示していないことは事実である。
したがって、本発明者(ら)は、短い時間の間に多くのフレームの画像を撮影できる高速カメラからゴルフボールの画像を効率的に獲得し、その獲得されたゴルフボールの画像で表示されるマークシーケンスを分析することにより、ゴルフボールの物理量を正確に測定するための新しい技術について提案するものである。
韓国公開特許公報第10-2009-0112538号
本発明は、ボールの様子を含む画像を取得するため、撮影の対象となる関心領域を動的に決定することにより、ボールの物理量を正確に測定するのに必要な複数のゴルフボールの画像を効率的に獲得することができるようにすることを他の目的とする。
また、本発明は複数のゴルフボールの画像で表示されるマークシーケンスを分析して、ゴルフボールの回転速度と回転方向を測定することをその目的とする。
上記の目的を達成するための本発明の代表的な構成は以下の通りである。
本発明の一態様によると、ボールの画像撮影のために関心領域を決定するための方法であって、ショットの準備が完了した状態で、物理量測定の対象となるボールの位置を認識するステップ、及び、前記のボールの予想移動方向と上記のボールを撮影するカメラの位置のうちの少なくとも一つと前記のボールの位置を参照にして、上記のボールの様子を含む画像を取得するために実行される撮影の対象となる関心領域(Region Of Interest)を動的に決定するステップとを含む方法が提供される。
本発明の他の態様によると、ボールの画像撮影のために関心領域を決定するためのシステムであって、物理量測定の対象となるボールを撮影する少なくとも一つのカメラ、及びショットの準備が完了した状態で、上記のボールの位置を認識し、前記のボールの予想移動方向及び前記カメラの位置のうちの少なくとも一つのカメラ位置と前記のボールの位置を参照して、上記のボールの様子を含む画像を取得するために実行される撮影の対象となる関心領域を動的に決定する制御部を含むシステムが提供される。
この他にも、本発明を実施するための他の方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体が提供される。
本発明によれば、ゴルフボールの外観を含む画像を取得するための撮影の対象となる関心領域を動的に決定することにより、ボールの物理量を正確に測定するのに必要な複数のゴルフボールの画像を効率的に獲得することができるので、ゴルフボールの画像を処理して分析するのにかかるリソースと時間を節約する効果を達成することができる。
本発明によれば、複数のゴルフボールの画像にわたって表示されるマーク(Mark)の時系列的な集合(つまり、マークシーケンス)を利用して、ゴルフボールの回転速度と回転方向を正確に測定する効果を達成することができる。
図1は、本発明の一実施形態に係るシミュレーションゴルフシステムの全体的な構成を概略的に示す図である。 図2は、本発明の一実施形態に係る撮影装置(100)の内部構成を詳細に示す図である。 図3は、本発明の一実施形態に係るシミュレータ(200)の内部構成を詳細に示す図である。 図4は、本発明の一実施例に基づいて、撮影の対象となる関心領域を決定する構成を例示的に示す図である。
[発明を実施するための具体的な内容]
後述する本発明の詳細な説明は、本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することがあるので、十分に詳細に説明される。本発明の様々な実施例は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造、及び特性は、本発明の精神と範囲を逸脱せずに一実施例から、他の実施例に変更されて実装されることができる。また、それぞれの実施例内の個々の構成要素の位置または配置も、本発明の精神と範囲を逸脱なく変更されることがあることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として行われるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲とその均等なすべての範囲を網羅するもので受け入れられなければならない。図面で同様の参照符号は、いくつかの側面に亘って同一または類似の構成要素を示す。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明のいくつかの好ましい実施例について添付された図面を参照して詳細に説明する。
[本発明の好ましい実施例]
システム全体の構成
図1は、本発明の一実施形態に係るシミュレーションゴルフシステムの全体的な構成を概略的に示す図である。
図1に示すように、シミュレーションゴルフシステムは打撃部(10)、照明装置(20)、撮影装置(100)、シミュレータ(200)と表示装置(300)を含んで構成されることがある。
まず、本発明の一実施形態に係る打撃部(10)は、ゴルファーが、シミュレーションゴルフシステムを利用する際に足を掛け、上がってゴルフボールを置いて打つ部分であることがある。このような打撃部(10)は、その傾斜角が調節されることがある公知のスイングプレートを含むことができる。ちなみに、当業者は、本発明は他の種類の仮想スポーツシステムに適用される場合には、打撃部(10)の構成を、必要に応じてそれと一緒に連動する他の構成要素の構成と共に当該スポーツの特性に合わせ適切に変更することができる。
次に、本発明の一実施形態に係る照明装置(20)は、ゴルファーが室内や屋外でのシミュレーションゴルフを楽しむ場合に人為的に光を照射することができる装置であることがある。このようなの照明装置(20)は、必要に応じてオンまたはオフになったり、その明るさが調節されることができる。好ましくは、照明装置(20)は光の震え現象によるゴルフボールの画像の自然な劣化を防ぐための赤外線照明であることがある。
次に、本発明の一実施形態に係る撮影装置(100)は、少なくとも一つのカメラ(例えば、高速カメラ)(未図示)を含み、ゴルフボールの画像(例えば、運動しているゴルフボールの画像)を複数の獲得する機能を実行することができる。これらの撮影装置(100)は、図1に示すように運動するゴルフボールを上から下に見下ろす位置に配置されることもあるが、その他の別の場所に配置することもできる。
また、本発明の一実施形態に係る撮影装置(100)は、ショットの準備が完了した状態での物理量測定の対象となるボールの位置を認識し、ボールの予想移動方向とボールを撮影するカメラの位置のうちの少なくとも一つと、ボールの位置を参照にして、ボールの様子を含む画像を取得するために実行される撮影の対象となる関心領域を動的に決定することで、ボールの物理量を正確に測定するのに必要な複数のゴルフボールの画像を効率的に獲得(つまり、撮影)する機能を実行することができる。
本発明の一実施例によると、ゴルフボールの画像は、そのゴルフボールの表面に表示されている所定のマークが鮮明に現れていて、そのマークの形状や位置を特定するのに良いものほど、より良好なものとすることができる。例えば、ゴルフボールの画像のボールに対応する領域に表示されたマークがより鮮明な場合、後述するようなシミュレータ(200)が多数のゴルフボールの画像にわたって表示されるマークの時系列的な集合であるマークシーケンスをより正確にキャッチしてゴルフボールの回転速度と回転方向をより正確に計算することができる。
上記のような撮影装置(100)の具体的な構成については、図2を参照して、下で更に説明することにする。
次に、本発明の一実施形態に係るシミュレータ(200)は、物理量測定の対象となるボールを撮影した複数の画像を撮影装置(100)から取得して、複数のゴルフボールの画像にわたって表示されるマークの時系列的な集合(つまり、マークシーケンス)を分析することにより、ゴルフボールの回転速度と回転方向を測定する機能をさらに実行することができる。
また、本発明の一実施形態に係るシミュレータ(200)は、上記のように測定されるゴルフボールの回転速度と回転方向に関する情報に基づいて、仮想現実でゴルフボールの運動を実現することができる。
一方、本発明の一実施形態に係るシミュレータ(200)は、撮影装置(100)と表示装置(300)との通信をすることができ、シミュレーションゴルフのシミュレーションのための専用のプロセッサを含むことがある。これらの専用プロセッサは、メモリ手段を備えて数値演算能力とグラフィックス処理能力を備えたものであることがある。
上記のようなシミュレータ(200)の構成については、図3を参照して、下で更に説明することにする。
最後に、本発明の一実施形態に係る表示装置(300)は、シミュレータ(200)の物理量の測定、仮想現実の実装の結果を表示してくれる機能を実行することができる。これらの表示装置(300)は、所定のディスプレイ手段を介して所定の映像を表示することができるが、例えば、打撃されたゴルフボールの衝撃を吸収する一方、直接発光しないスクリーンと、このようなスクリーンに映像を出力するプロジェクターで構成されることができる。
撮影装置の構成
下では、本発明の一実施形態に係る撮影装置(100)の内部構成と、各構成要素の機能について見てみることにする。
図2は、本発明の一実施形態に係る撮影装置(100)の内部構成を詳細に示す図である。
図2に示すように、撮影装置(100)は、カメラ部(110)、通信部(120)、制御部(130)とを含んで構成されることができる。
本発明の一実施例によると、カメラ部(110)、通信部(120)と制御部(130)は、そのうちの少なくとも一部がシミュレータ(200)と通信するためのプログラムモジュールであることがある。これらのプログラムモジュールは、オペレーティングシステム、アプリケーション、モジュール、または他のプログラムモジュールの形で撮影装置(100)に含まれることがあり、物理的には、いくつか公知の記憶装置に保存されることがある。また、これらのプログラムモジュールは、撮影装置(100)と通信可能なリモート記憶装置に保存されることもある。一方、これらのプログラムモジュールは、本発明に基づいて、後述する特定の業務を実行したり、特定の抽象データ型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに限定されない。
一方、撮影装置(100)について上記のように説明したが、これらの説明は、例示的なものであり、撮影装置(100)に要求される機能や構成要素の一部または全部が必要に応じて、後述するシミュレータ(200)で実現されるか含まれる可能性があるとのことは、当業者に自明である。
まず、本発明の一実施形態に係るカメラ部(110)は、光学的に複数の画像を取得することができる少なくとも一つのカメラを含むことがある。例えば、本発明の一実施形態に係るカメラ部(110)は、1秒あたりの数十フレーム(frame)の画像を撮影できる高速カメラや超高速カメラを含むことができる。
次に、本発明の一実施形態に係る通信部(120)は、必要に応じて制御部(130)とシミュレータ(200)との間のデータ送受信を媒介する機能を実行することがある。本発明の一実施例によると、通信部(120)が取ることができる通信方式に特別な制限はないが、有線LAN通信、ケーブル通信などの有線通信方式や無線LAN通信、赤外線通信、RF通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。
次に、本発明の一実施形態に係る制御部(130)は、カメラ部(110)と通信部(120)との間のデータの流れを制御する機能を実行することができる。すなわち、本発明に係る制御部(130)は、撮影装置(100)の外部からの/へのデータフローや撮影装置(100)の各構成要素間のデータフローを制御することにより、カメラ部(110)と通信部(120 )で、それぞれ固有の機能を実行するように制御することができる。
特に、本発明の一実施例によると、制御部(130)は、ショットの準備が完了した状態での物理量測定の対象となるボールの位置を認識し、ボールの予想移動方向とボールを撮影するカメラの位置のうちの少なくとも一つと、ボールの位置を参照にして、ボールの様子を含む画像を取得するために実行される撮影の対象となる関心領域を動的に決定することができる。
ここで、本発明の一実施例によると、関心領域はカメラ部(110)によって実行される撮影の対象となる領域を指すものであり、ボールが置かれている打撃部(10)の少なくとも一部の領域であることがある。ボールを撮影するカメラの性能やその撮影した画像を処理するプロセッサの性能には限界があるため、撮影の対象となる領域が広いほど、その撮影した画像の撮影品質(例えば、一秒あたりのフレーム数(fps)、ピクセル数など)は、低くなっているのが一般的である。したがって、ボールが置かれている位置、ボールの予想移動方向、カメラの位置等に関する様々な状況情報に基づいて、その撮影の対象となる関心領域を適切に決定する必要がある。
具体的には、本発明の一実施例によると、制御部(130)は、ボールの予想移動方向やカメラの位置とショットの準備が完了した状態で認識されるボールの位置を参照にして、関心領域の中心位置を決定することができる。
例えば、本発明の一実施形態に係る制御部(130)は、カメラの位置とボールの位置との間の距離が、カメラの位置と関心領域の中心位置との間の距離よりも小さくなるようにすることができる。より分かりやすく説明すると、カメラの立場から見るとき、撮影の対象となるボールの像は、カメラの反対側に焼き付き、打撃されたボールは、空中に浮かんで移動するのが一般的なので、カメラが打撃部(10)の表面と対比されるボールの姿が完全に詰まったイメージをできるだけ多く(または可能な限り長い時間の間)撮影するためには、関心領域内でのボールの位置がカメラに向かって偏っている必要がある。
別の例として、本発明の一実施形態に係る制御部(130)は、ボールの予想移動方向を基準にして、ボールの位置が関心領域の中心位置よりも先行するようにすることができる。より分かりやすく説明すると、カメラが打撃部(10)の表面と対比されるボールの姿が完全に詰まったイメージをできるだけ多く(または可能な長い時間の間)を撮影するためには、関心領域の中心位置がボールの予想移動経路の出発点(つまり、ボールの位置)からボールの予想移動方向に沿って遠くに離れている必要がある。
また、本発明の一実施例によると、制御部(130)はボールの予想移動方向やカメラの位置とショットの準備が完了した状態で認識されるボールの位置を参照にして、関心領域の形状を決定することができる。
例えば、本発明の一実施形態に係る制御部(130)は、ボールの予想移動方向と平行な辺の長さがボールの予想移動方向と垂直な辺の長さよりも長い長方形状の関心領域を決定することができる。より分かりやすく説明すると、カメラが打撃部(10)の表面と対比されるボールの姿が完全に詰まったイメージをできるだけ多く(またはできるだけ長い時間の間)を撮影するためには、関心領域がボールの予想進行経路に沿って長く伸びる必要がある。
図4は、本発明の一実施例に基づいて、撮影の対象となる関心領域を決定する構成を例示的に示す図である。
図4を参照すると、打撃部(10)の後方に位置するカメラ(111)と打撃部(10)の右側に位置するカメラ(112)が打撃部(10)の表面と対比されるボール(401)の姿が完全に詰まったイメージをできるだけ多く撮影できるようにするために、本発明の一実施形態に係る制御部(130)はボール(401)が関心領域(404)の中心(403)よりカメラ(111、 112)に近くて、ボール(401)の予想移動方向(402)を基準にして、ボール(401)が関心領域の中心(403)より先行するようにすることで、ボールの画像撮影の対象となる関心領域(404)を決定することができる。
次に、本発明の一実施例によると、制御部(130)は上記のように決定される関心領域の大きさを参照にして、カメラ部(110)によって撮影された画像の撮影品質を動的に決定する機能を実行することができる。ここで、本発明の一実施例によると、動的に決定される画像の撮影品質は、1秒あたりのフレーム数 、画像を構成するピクセル数、画像の圧縮(またはエンコード)フォーマットなどが含まれることがある。
具体的には、本発明の一実施形態に係る制御部(130)は、カメラ部(110)の性能が許容する範囲内で、関心領域を撮影した画像の撮影品質を高く決定することができる。
例えば、ユーザーがドライバーを利用して、ボールを打撃する場合に、ボールの移動速度が相対的に速いという点に基づいて、関心領域の大きさ(つまり、面積)が相対的に大きく決定されることがあるが、このような場合に画像の撮影品質は比較的低く決定されることがある。
別の例として、ユーザーがパターを使用して、ボールを打撃する場合にボールの移動速度が相対的に遅いという点に基づいて、関心領域の大きさ(つまり、面積)が相対的に小さく決定されることがあるが、このような場合に画像の撮影品質は比較的高く決定されることがある。
一方、本発明の一実施例によると、制御部(130)は、前述された関心領域を決定する前に、カメラ部(110)によって撮影された画像に表示されるボールの姿や位置を参照にしてショットの準備が完了したかどうかを判断することができる。例えば、ボールの打撃部(10)の表面またはティー(tee)の上に置かれたまま停止している状態が既に設定された時間以上に持続されると、ショットの準備が完了したと判断することがある。
このとき、本発明の一実施形態に係る制御部(130)は、ショットの準備完了かどうかを判断するために実行される画像の撮影の対象となる関心領域の大きさをボールの物理量を測定するために実行される画像の撮影の対象にされる関心領域の大きさよりも大きく決定することにより(例えば、打撃部(10)の表面全体を関心領域として決定することにより)、打撃部(10)上に任意の位置に存在するボールを正確に認識する確率を高めることができる。
また、本発明の一実施形態に係る制御部(130)は、ショットの準備完了かどうかを判断するために、撮影された画像の撮影品質をボールの物理量を測定するために撮影された画像の撮影品質よりも低く設定することで、高速撮影や高精細な画像を必要としないショットの準備完了かどうかの判断のステップで画像処理や演算に掛かるリソースと時間を節約することができる。
シミュレータの構成
下では、本発明の一実施形態に係るシミュレータ(200)の内部構成と、各構成要素の機能について見てみることにする。
図3は、本発明の一実施形態に係るシミュレータ(200)の内部構成を詳細に示す図である。
図3に示すように、本発明の一実施形態に係るシミュレータ(200)は、画像処理部(210)、物理量測定部(220)、シミュレーション部(230)、データベース(240)、通信部(250)、制御部(260)とを含んで構成されることができる。また、本発明の一実施例によると、画像処理部(210)は、画像取得部(未図示)と画像補正部(未図示)を含むことができる。本発明の一実施例によると、画像処理部(210)、物理量測定部(220)、シミュレーション部(230)、データベース(240)、通信部(250)、制御部(260)は、そのうちの少なくとも一部が撮影装置(100)や表示装置(300)と通信するプログラムモジュールであることがある。これらのプログラムモジュールは、オペレーティングシステム、アプリケーション、モジュール、または他のプログラムモジュールの形でシミュレータ(200)に含まれることがあり、物理的にはいくつかの公知の記憶装置に保存されることがある。また、これらのプログラムモジュールはシミュレータ(200)と通信可能なリモート記憶装置に保存することもある。
一方、これらのプログラムモジュールは、本発明に基づいて、後述する特定の業務を実行したり、特定の抽象データ型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに限定されない。
一方、シミュレータ(200)について上記のように説明したが、これらの説明は、例示的なものであり、シミュレータ(200)に要求される機能や構成要素の一部または全てが必要に応じて、撮影装置(100)で実現されるか含まれる場合があるとのことは当業者に自明である。
まず、本発明の一実施例によると、画像処理部(210)(具体的には、画像取得部)は、上記の撮影装置(100)から、物理量測定の対象となるボールを撮影した複数の画像を獲得する機能を実行することができる。
次に、本発明の一実施形態に係る物理量測定部(220)は、複数のゴルフボールの画像(より具体的には、時間的に隣接する複数のゴルフボールの画像)に表示されるマークシーケンスを分析することにより、ゴルフボールの回転速度と回転方向を測定する機能を実行することができる。具体的には、本発明の一実施形態に係る物理量測定部(220)は、上のマークシーケンスから観察されるマークのゴルフボールの表面上での移動速度と移動方向を参照にしてゴルフボールの回転速度と回転方向を推定することができる。また、本発明の一実施形態に係る物理量測定部(220)は、ゴルフボールの運動軌跡を演算したり、ゴルフボールの運動速度を演算したり、ゴルフボールの高さを演算する機能をさらに実行することができる。
次に、本発明の一実施形態に係るシミュレーション部(230)は、上記のように測定されるゴルフボールの物理量に関する様々な情報に基づいて、仮想現実でゴルフボールの運動(例えば、回転速度、回転方向、移動速度、移動方向、発射角度など)を実装することができる。また、本発明の一実施形態に係るシミュレーション部(230)は、ゴルフボールの運動をグラフィックオブジェクトに反映したり、映像信号を含む制御信号を表示装置(300)に送信してゴルフボールの運動が表示装置(300)でリアルに表現されるようにすることができる。
次に、本発明の一実施形態に係るデータベース(240)には、ゴルフボールの撮影された画像は、マークシーケンス、演算された物理量等に関する情報やシミュレーションに必要な情報(例えば、仮想現実の実装に必要なデータなど)が保存されることがある。たとえ図3で、データベース(240)がシミュレータ(200)に含まれて構成されているものと示されているが、本発明を実施する当業者の必要性に応じて、データベース(240)はシミュレータ(200)とは別に構成することもできる。一方、本発明でのデータベース(240)は、コンピュータ読み取り可能な記録媒体を含む概念であり、協議のデータベースだけでなく、ファイルシステムに基づいたデータ記録などを含む広義のデータベースであることもあり、単純なログの集まりでも、これを検索してデータを抽出することができる場合、本発明でのデータベース(240)になることがある。
次に、本発明の一実施形態に係る通信部(250)は、シミュレータ(200)からの/へのデータ送受信を可能にする機能を実行することができる。本発明の一実施例によると、通信部(250)が取ることができる通信方式に特別な制限はないが、有線LAN通信、ケーブル通信などの有線通信方式や無線LAN通信、赤外線通信、RF通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。
最後に、本発明の一実施形態に係る制御部(260)は、画像処理部(210)、物理量測定部(220)、シミュレーション部(230)、データベース(240)、通信部(250)との間のデータの流れを制御する機能を実行することができる。すなわち、本発明に係る制御部(260)は、シミュレータ(200)の外部からの/へのデータフローまたはシミュレータ(200)の各構成要素間のデータフローを制御することにより、画像処理部(210)、物理量測定部(220 )、シミュレーション部(230)、データベース(240)、通信部(250)からそれぞれ固有の機能を実行するように制御することができる。
上では、本発明の仮想スポーツシステムがシミュレーションゴルフシステムである場合を主に想定して説明したが、ボールの運動に関するシミュレーションが必要とされるすべての種類の仮想スポーツシステム(例えば、シミュレーション野ボールシステムやシミュレーションサッカーシステム)に本発明の技術的原理と構成が適用されることがあることは当業者に自明である。
以上説明した本発明に係る実施例は、様々なコンピュータの構成要素を介して実行されることができるプログラム命令の形で実装され、コンピュータ読み取り可能な記録媒体に記録されることができる。上記コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。上記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものか、またはコンピュータソフトウェア分野の当業者に公知されて使用可能なものであることがある。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク(登録商標)、及び磁気テープのような磁気媒体、CD−ROMやDVDなどの光記録媒体、プティカルディスク(Floptical Disk)のような磁気 - 光媒体(Magneto−optical Medium)、及びROM、RAM、フラッシュメモリなどのような、プログラム命令を保存して実行するように特別に構成されたハードウェアデバイスが含まれる。プログラムコマンドの例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードも含まれる。ハードウェアデバイスは、本発明に係る処理を実行するために複数のソフトウェアモジュールに変更することができ、その逆も同様である。
以上で、本発明が具体的な構成要素などの特定の事項、限定された実施例と図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであり、本発明は上記実施例に限定されるものではなく、本発明の属する技術分野で通常の知識を有する者であれば、このような記載から多様な修正と変更を図ることができる。
したがって、本発明の思想は、上記説明した実施例に限定されて決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等な、またはこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するとする。
100:撮影装置
110:カメラ部
120:通信部
130:制御部
200:シミュレータ
210:画像処理部
220:物理量測定部
230:シミュレーション部
240:データベース
250:通信部
260:制御部

Claims (11)

  1. ボールの画像撮影のための関心領域を決定するための方法であって、
    ショットの準備が完了した状態で、物理量測定の対象となるボールの位置を認識するステップ、及び上記のボールの予想移動方向及び前記のボールを撮影する少なくとも一つのカメラの位置のうちの少なくとも一つと前記のボールの位置を参照にして、上記のボールの様子を含む画像を取得するために実行される撮影の対象となる関心領域(Region Of Interest)を動的に決定するステップを含み、
    前記関心領域は、前記ボールの全体の様子を含む最大数の画像が得られるように決定される、ボールの画像撮影のための関心領域を決定するための方法。
  2. 上記決定ステップにおいて、
    上記のボールの予想移動方向及び前記カメラの位置のうちの少なくとも一つと前記のボールの位置を参照にして、上記関心領域の中心位置を動的に決定する請求項1に記載のボールの画像撮影のための関心領域を決定するための方法。
  3. 上記決定ステップにおいて、
    前記少なくとも一つのカメラの位置と前記のボールの位置との間の距離が、上記少なくとも一つのカメラの位置と前記関心領域の中心位置との間の距離よりも小さくなるように、上記関心領域の中心位置を動的に決定する請求項2に記載のボールの画像撮影のための関心領域を決定するための方法。
  4. 上記決定ステップにおいて、
    上記のボールの予想移動方向を基準にして前記のボールの位置が、上記関心領域の中心位置よりも先行するように、上記関心領域の中心位置を動的に決定する請求項2に記載のボールの画像撮影のための関心領域を決定するための方法。
  5. 上記関心領域の大きさを参照にして、上記画像の撮影品質を動的に決定するステップをさらに含む請求項1に記載のボールの画像撮影のための関心領域を決定するための方法。
  6. 請求項1に記載された方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体。
  7. ボールの画像撮影のための関心領域を決定するためのシステムであって、
    物理量測定の対象となるボールを撮影する少なくとも一つのカメラ、及びショットの準備が完了した状態で、上記のボールの位置を認識し、上記のボールの予想移動方向及び前記少なくとも一つのカメラの位置のうちの少なくとも一つと前記のボールの位置を参照にして、上記のボールの様子を含む画像を獲得するために実行される撮影の対象となる関心領域(Region Of Interest)を動的に決定する制御部を含み、
    前記関心領域は、前記ボールの全体の様子を含む最大数の画像が得られるように決定される、ボールの画像撮影のための関心領域を決定するためのシステム。
  8. 前記制御部は、上記のボールの予想移動方向及び前記カメラの位置のうちの少なくとも一つと前記のボールの位置を参照にして、上記関心領域の中心位置を動的に決定する請求項7に記載のボールの画像撮影のための関心領域を決定するためのシステム。
  9. 前記制御部は、前記少なくとも一つのカメラの位置と前記のボールの位置との間の距離が、上記の少なくとも一つのカメラの位置と前記関心領域の中心位置との間の距離よりも小さくなるよう上記関心領域の中心位置を動的に決定する請求項8に記載のボールの画像撮影のための関心領域を決定するためのシステム。
  10. 前記制御部は、上記のボールの予想移動方向を基準にして前記のボールの位置が、上記関心領域の中心位置よりも先行するように、上記関心領域の中心位置を動的に決定する請求項8に記載のボールの画像撮影のための関心領域を決定するためのシステム。
  11. 前記制御部は、上記関心領域の大きさを参照にして、上記画像の撮影品質を動的に決定する請求項7に記載のボールの画像撮影のための関心領域を決定するためのシステム。
JP2017126197A 2016-06-29 2017-06-28 ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体 Active JP6869826B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160081881A KR101906847B1 (ko) 2016-06-29 2016-06-29 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR10-2016-0081881 2016-06-29

Publications (2)

Publication Number Publication Date
JP2018000959A JP2018000959A (ja) 2018-01-11
JP6869826B2 true JP6869826B2 (ja) 2021-05-12

Family

ID=60807070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126197A Active JP6869826B2 (ja) 2016-06-29 2017-06-28 ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US10776929B2 (ja)
JP (1) JP6869826B2 (ja)
KR (1) KR101906847B1 (ja)
CN (1) CN107537149B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN109001484B (zh) * 2018-04-18 2021-04-02 广州视源电子科技股份有限公司 旋转速度的检测方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208872A (en) * 1990-03-30 1993-05-04 The United States Of America As Represented By The United States National Aeronautics And Space Administration Programmable remapper with single flow architecture
US5392088A (en) * 1992-09-04 1995-02-21 Nikon Corporation Target follow-up device and camera comprising the same
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
JP4121974B2 (ja) * 2004-03-26 2008-07-23 富士フイルム株式会社 画像撮影システムおよび画像撮影方法
JP5108323B2 (ja) * 2007-02-14 2012-12-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US8328653B2 (en) * 2007-09-21 2012-12-11 Playdata, Llc Object location and movement detection system and method
US8107700B2 (en) * 2007-11-21 2012-01-31 Merge Cad Inc. System and method for efficient workflow in reading medical image data
KR20090112538A (ko) 2008-04-23 2009-10-28 김성규 조명 제어를 이용한 골프 영상 획득 장치, 및 그를 이용한 영상처리 기반의 골프 연습 시스템
JP5054063B2 (ja) * 2009-05-07 2012-10-24 パナソニック株式会社 電子カメラ、画像処理装置及び画像処理方法
JP2013521077A (ja) * 2010-03-05 2013-06-10 インタラクティヴ スポーツ テクノロジーズ インコーポレイテッド ゴルフクラブのシャフトのしなりを測定する装置及び方法、並びに該装置を組み込んだゴルフシュミレーションシステム
TW201206244A (en) * 2010-07-21 2012-02-01 Hon Hai Prec Ind Co Ltd System and method for controlling searchlight
US8774467B2 (en) * 2010-08-05 2014-07-08 Michael C. Ryan Predictive flight path and non-destructive marking system and method
KR101078975B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법
KR101048090B1 (ko) * 2011-03-22 2011-07-08 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
TWI580273B (zh) * 2011-05-16 2017-04-21 愛克斯崔里斯科技有限公司 監視系統
KR101868894B1 (ko) * 2011-12-19 2018-06-20 한국전자통신연구원 로봇을 이용한 객체추적 시스템 및 그 추적방법
US8540583B2 (en) * 2011-12-30 2013-09-24 Nike, Inc. System for tracking a golf ball and displaying an enhanced image of the golf ball
KR101320922B1 (ko) * 2012-06-15 2013-10-21 한국항공대학교산학협력단 가중 탐색 영역을 이용한 움직임 추적 및 아바타 제어 방법
US8929603B1 (en) * 2013-03-15 2015-01-06 Puretech Systems, Inc. Autonomous lock-on target tracking with geospatial-aware PTZ cameras
JP6248412B2 (ja) * 2013-05-13 2017-12-20 ソニー株式会社 撮像装置、撮像方法、プログラム
KR101523740B1 (ko) * 2014-01-03 2015-05-28 (주)유디피 공간 매핑을 이용한 객체 추적 장치 및 방법
US9684056B2 (en) * 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
WO2016151925A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR101906847B1 (ko) 2018-10-12
CN107537149B (zh) 2021-10-08
KR20180002409A (ko) 2018-01-08
CN107537149A (zh) 2018-01-05
JP2018000959A (ja) 2018-01-11
US10776929B2 (en) 2020-09-15
US20180005383A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
KR101385326B1 (ko) 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적을 획득하기 위한 방법 및 시스템
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
JP7076955B2 (ja) ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
JP6869826B2 (ja) ボールの画像撮影のために関心領域を決定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR102129129B1 (ko) 공의 회전을 측정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP2022520507A (ja) ゴルフクラブと関連する物理量を測定するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR102541061B1 (ko) 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102443281B1 (ko) 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102483484B1 (ko) 골프 클럽과 연관되는 물리량을 측정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210414

R150 Certificate of patent or registration of utility model

Ref document number: 6869826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250