JP6079089B2 - 画像特定システム、画像特定方法、画像特定装置及びプログラム - Google Patents
画像特定システム、画像特定方法、画像特定装置及びプログラム Download PDFInfo
- Publication number
- JP6079089B2 JP6079089B2 JP2012207761A JP2012207761A JP6079089B2 JP 6079089 B2 JP6079089 B2 JP 6079089B2 JP 2012207761 A JP2012207761 A JP 2012207761A JP 2012207761 A JP2012207761 A JP 2012207761A JP 6079089 B2 JP6079089 B2 JP 6079089B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- specifying
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
別体として構成される送信側端末と受信側端末とを備える画像特定システムであって、
前記送信側端末は、
計時処理を行う第一の計時手段と、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する状態判定手段と、
前記状態判定手段により所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情報を前記第一の計時手段より取得して前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
計時処理を行う第二の計時手段と、
前記送信手段から送信された前記第1の情報を受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴としている。
撮像部、第一の計時手段を備える送信側端末、及び第二の計時手段を備える受信側端末を用いた画像特定方法であって、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する判定ステップと、
前記所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情
報を前記第一の計時手段から取得し、前記受信側端末に送信する送信ステップと、
前記送信側端末から送信された前記第1の情報を受信する受信ステップと、
前記撮像部により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得ステップと、
取得された複数の画像の中で、受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する特定ステップと、を含むことを特徴としている。
第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴としている。
コンピュータを、
第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段、
として機能させることを特徴としている。
図1に示すように、本実施形態の画像特定システム100は、テニスラケット300に取付け固定される用具側端末(送信側端末)1と、この用具側端末1と無線通信回線を介して情報通信可能に接続され、ユーザがテニスラケット300を用いてテニスボールBを打つ動作を撮像する複数の撮像装置(受信側端末)2、…とを備えている。
図2は、用具側端末1の概略構成を示すブロック図である。また、図3は、用具側端末1がテニスラケット300に取り付けられた状態を模式的に示す図である。
なお、以下の説明では、テニスラケット300のフェイス面に略直交する一方向をX軸方向とし、X軸方向に略直交するとともにグリップ部301の延在方向に沿う方向をY軸方向とし、X軸方向及びY軸方向に略直交する一方向をZ軸方向とする。
また、中央制御部101、メモリ102、角速度検出部103、接触検出部104、計時部105、表示部106及び無線処理部107は、バスライン109を介して接続されている。
ここで、端末本体は、例えば、シャフト部303の内側にて、グリップ部301の延在方向に沿うY軸方向に延在する軸上に当該端末本体の中心が位置するように取り付けられている。なお、端末本体は、例えば、シャフト部303に対して直接取り付けられても良いし、所定の取付用治具(図示略)を用いて取り付けられても良い。
RAMは、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、用具側端末1で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
即ち、角速度検出部(角速度検出手段)103は、ユーザがテニスラケット(用具)300を用いてテニスボールBを打つ動作を行う際に、当該端末本体の所定の軸(例えば、Z軸等)を中心とする回動の角速度を検出する。具体的には、角速度検出部103は、テニスラケット300のテニスボールBを打つ部分を含むフェイス面(一面)に対して略平行に延在し、且つ、グリップ部301の延在方向に略直交するZ軸を中心とする当該端末本体の回動のZ軸角速度Gzを検出する(図4参照)。そして、角速度検出部103は、検出されたZ軸角速度Gzの値を接触検出部104に出力する。
なお、図4には、ユーザがテニスラケット300を用いて右利きのフォアハンドでテニスボールBを打つ状態を、当該ユーザの上方からZ軸方向に視て模式的に表している。
即ち、接触検出部(接触検出手段)104は、テニスラケット(用具;第1の物体)300とテニスボール(第2の物体)Bとの接触を検出する。具体的には、接触検出部104は、角速度検出部103により検出されたZ軸角速度Gzに基づいて、テニスラケット300とテニスボールBとの接触を検出する。
即ち、当該端末本体が取付け固定されたテニスラケット300でテニスボールBを打つ場合、フェイス面にテニスボールBが接触する直前にZ軸角速度Gzの値が所定の閾値を下回り、当該接触の直後にZ軸角速度Gzの値が所定の閾値を上回ることとなる(図5参照)。そこで、接触検出部104は、所定の閾値を基準としてZ軸角速度Gzの値から接触のタイミングを特定することで、テニスラケット300とテニスボールBとが接触したタイミングを検出する。そして、接触検出部104は、検出されたタイミングを指示するタイミング情報を計時部105に出力する。
なお、計時部105は、時刻情報(接触時情報)に基づいて、例えば、日付や曜日等の暦を特定しても良い。
例えば、表示部106は、テニスラケット300によりテニスボールBが打たれる際に、所定の特定手法を用いて特定された当該テニスボールBの速度や回転量等の各種の情報を表示するようにしても良い。
具体的には、無線処理部107は、例えば、ブルートゥース(Bluetooth:登録商標)モジュール(BTモジュール)107aを具備し、このBTモジュール107aは、撮像装置2の無線処理部203のBTモジュール203a(後述)との間でブルートゥース規格に従った無線通信を行う。即ち、BTモジュール107aは、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータが無線信号により通信相手(撮像装置2等)と交換され、その後、当該通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に接続されたり接続が解除されるようになっている。
具体的には、BTモジュール(送信手段)107aは、接触検出部104によるテニスボールBとテニスラケット(用具)300との接触の検出に基づいて、当該テニスボールBとテニスラケット300とが接触した時点に係る接触時情報を所定の無線通信回線を介して撮像装置(画像特定装置)2に送信する。例えば、BTモジュール107aは、計時部105から出力されたテニスボールBとテニスラケット300とが接触した時点に係る接触時情報が入力されると、当該接触時情報を所定の無線通信回線を介して撮像装置2に送信する。
なお、操作入力部108としてタッチパネル(図示略)を表示部106の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
画像特定システム100は、テニスラケット300でテニスボールBを打つ状態を互いに異なる方向から撮像するように配置された複数の撮像装置2、…(図1には、2つ図示)を備えている。例えば、複数の撮像装置2、…のうち、何れか一の撮像装置2Aはテニスラケット300でテニスボールBを打つユーザの後方に位置するように配置され、一方、他の撮像装置2Bはユーザの側方に位置するように配置されている。
また、これらの撮像装置2、…は、所定の無線通信回線を介して互いに情報通信可能に接続され、何れか一の撮像装置2Aが連携撮像のマスタとなり、残りの他の撮像装置2Bがスレーブとなる。また、各撮像装置2は、マスタとなるかスレーブとなるかによって動作の内容が異なるものの、構成自体は略同様となっている。
なお、連携撮像とは、複数の撮像装置2、…による撮像動作を連動させた撮像等のことである。
図6に示すように、撮像装置2は、中央制御部201と、メモリ202と、無線処理部203と、撮像部204と、画像データ処理部205と、記録媒体制御部206と、計時部207と、画像処理部208と、表示部209と、操作入力部210とを備えている。
また、中央制御部201、メモリ202、無線処理部203、撮像部204、画像データ処理部205、記録媒体制御部206、画像処理部208及び表示部209は、バスライン211を介して接続されている。
RAMは、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、撮像装置2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、無線処理部203は、例えば、ブルートゥースモジュール(BTモジュール)203aと無線LANモジュール203bを具備している。
具体的には、BTモジュール(受信手段)203aは、用具側端末1の無線処理部107のBTモジュール107aから送信された接触時情報を受信する。そして、BTモジュール203aは、受信した接触時情報をメモリ202に出力する。
具体的には、連携撮像のマスタの撮像装置2Aにあっては、無線LANモジュール203bは、スレーブとなる他の各撮像装置2Bにより撮像され、接触時情報に対応する撮像時情報と関連付けられている画像データ(図10(b)等参照)の取得指示を所定の無線通信回線を介して当該各撮像装置2Bに送信する。
一方、スレーブの各撮像装置2Bにあっては、無線LANモジュール203bは、マスタの撮像装置2Aの無線LANモジュール203bから所定の無線通信回線を介して送信された画像データの取得指示を受信する。そして、無線LANモジュール203bは、受信された取得指示に基づいて、接触時情報に対応する撮像時情報と関連付けられている画像データをメモリ202から取得して、当該画像データをマスタの撮像装置2Aに対して所定の無線通信回線を介して送信する。
電子撮像部204bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部204aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部204は、レンズ部204aを通過する光の量を調整する絞りを備えていても良い。
即ち、画像データ処理部205は、撮像部204により撮像されるフレーム画像Fを逐次処理する。具体的には、画像データ処理部205は、電子撮像部204bから撮像フレームレートに応じた所定の周期(例えば、1/400秒等)毎に転送された各フレーム画像Fのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
なお、撮像フレームレートとして例示する400fpsは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、記録媒体制御部206は、画像データ処理部205の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式、モーションJPEG形式、MPEG形式等)で符号化された記録用の各フレーム画像Fの画像データを記録媒体Mの所定の記録領域に記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
具体的には、計時部207は、撮像部204により各フレーム画像Fが撮像された時刻を計時して当該撮像された時点に係る撮像時情報を生成する。そして、計時部207は、生成された撮像時情報をメモリ202に出力する。
ここで、計時部207は、用具側端末1の計時部105と同期した状態で現在の時刻を計時する。即ち、計時部207は、用具側端末1から送信されBTモジュール203aにより受信された同期制御信号に基づいて、用具側端末1の計時部105による計時と同期させ、当該用具側端末1の計時部105により計時される時刻と同期した現在の時刻を計時する。
なお、計時部207は、時刻情報(撮像時情報)に基づいて、例えば、日付や曜日等の暦を特定しても良い。また、計時部207による同期の手法は、例えば、GPS処理部(図示略)により受信された所定の地域毎の標準時刻を基準として行うようにしても良い。
なお、画像処理部208の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像取得部(取得手段)208aは、撮像部204により逐次撮像され、テニスラケット(用具)300がテニスボールBを打つ際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する。具体的には、画像取得部208aは、例えば、画像データ処理部205により生成された、複数のフレーム画像F、…の撮像時点に係る撮像時情報が当該各フレーム画像Fに関連付けられた画像データを複数取得する。
即ち、画像特定部(画像特定手段)208bは、画像取得部208aにより取得された複数のフレーム画像F、…の中で、無線処理部203のBTモジュール203aにより受信された接触時情報に対応する撮像時情報と関連付けられているフレーム画像Fを特定する。具体的には、画像特定部208bは、メモリ202から接触時情報を取得し、テニスラケット300がテニスボールBを打つ動作を表す複数のフレーム画像F、…の画像データの中で、取得された接触時情報に係るテニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられている画像データを特定する(図8(a)等参照)。
なお、図8(a)〜図8(d)には、ユーザがテニスラケット300を用いてテニスボールBを打つ動作が複数回行われ、各々の動作にて撮像されたフレーム画像Fの一例を表す。また、図8(a)及び図8(c)は、各々の動作にて連携撮像のマスタとなる撮像装置2Aにより撮像されたフレーム画像F1の一例を表し、図8(b)及び図8(d)は、各々の動作にてスレーブとなる撮像装置2Bにより撮像されたフレーム画像F2の一例を表す。
即ち、領域特定部(領域特定手段)208cは、画像特定部208bにより特定されたテニスラケット300とテニスボールBが接触した時点のフレーム画像F内でテニスボール(第2の物体)Bに対応する物体領域(第2の物体領域)A1及びテニスラケット(第1の物体)300に対応する用具領域(第1の物体領域)A2をそれぞれ特定する。具体的には、領域特定部208cは、例えば、テニスラケット300でテニスボールBを打つユーザの後方に位置するように配置された撮像装置2Aにより撮像された複数のフレーム画像F1、…を処理対象として、テニスボールBの形状をテンプレートとする特徴抽出処理を施して、当該フレーム画像F1内からテニスボールBに対応する物体領域A1を抽出して特定する。また、領域特定部208cは、例えば、物体領域A1の画素数のフレーム画像F1の総画素数に占める比率、実際のテニスボールBの寸法に対するテニスラケット300のフレーム部302の寸法の比率、フレーム部302の形状のテンプレート等を用いて、当該フレーム画像F1内からテニスラケット300のフレーム部302(フェイス面)に対応する物体領域A1を抽出して特定する。
なお、物体領域A1や用具領域A2の抽出、特定の手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、状態特定部(状態特定手段)208dは、領域特定部208cにより特定された物体領域A1と用具領域A2との相対的な位置関係に基づいて、テニスラケット(用具)300とテニスボールBとの接触の状態を特定する。具体的には、状態特定部208dは、テニスラケット300のフレーム部302に対応する用具領域A2の中心位置からのテニスボールBに対応する物体領域A1の中心位置のずれ量に応じて、テニスラケット300とテニスボールBとの接触の状態を特定する(スイートスポット判定;図10(a)等参照)。
例えば、状態特定部208dは、用具領域A2の中心位置からの物体領域A1の中心位置のずれ量(画素数)が所定の閾値以下であるか否かを判定する。そして、状態特定部208dは、当該判定にてずれ量が所定の閾値以下であると判定されると、テニスラケット300のフェイス面の略中心(スイートスポット)でテニスボールBを打った状態であり、テニスボールBの打ち方(捉え方)が良いと特定する。これに対して、状態特定部208dは、当該判定にてずれ量が所定の閾値よりも大きいと判定されると、テニスラケット300のフェイス面の略中心でテニスボールBを打っていない状態であり、テニスボールBの打ち方が悪いと特定する。
表示パネル209aは、表示画面内に画像を表示する。なお、表示パネル209aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
即ち、表示制御部209bは、例えば、状態特定部208dによりテニスラケット300によるテニスボールBの打ち方が良いと特定された場合に、テニスラケット300のフェイス面の略中心でテニスボールBを打った状態を模式的に表した画像やテニスボールBの打ち方が良いことを示す表示「OK」等を含む状態特定画面G1を表示パネル209aに表示させる(図10(a)参照)。また、表示制御部209bは、例えば、状態特定部208dによりテニスラケット300によるテニスボールBの打ち方が悪いと特定された場合に、用具領域A2の中心からの物体領域A1の中心位置のずれの大きさ及び方向に応じてテニスラケット300のフレーム部302の略中心に対してテニスボールBの位置がずれた状態を模式的に表した画像やテニスボールBの打ち方が悪いことを示す表示「ラケットの上です。」等を含む状態特定画面G2を表示パネル209aに表示させる(図10(b)参照)。
このように、表示パネル209a及び表示制御部209bは、状態特定部208dによるテニスラケット(用具)300とテニスボールBとの接触の状態の特定結果を報知する報知手段を構成している。
図7は、画像特定処理に係る動作の一例を示すフローチャートである。
なお、用具側端末1の端末本体は、テニスラケット300のシャフト部303に取付け固定されているものとする。また、以下に説明する撮像装置2による各処理は、複数の撮像装置2、…の各々にて行われるものとする。
その後、ユーザによる操作入力部210の所定操作に基づいて撮像指示が中央制御部201のCPUに入力されると、撮像装置2は、被写体の撮像を開始し(ステップS3)、撮像制御部204cは、レンズ部204aにより結像された光学像から電子撮像部204bにより変換された二次元の画像信号を、当該電子撮像部204bの撮像領域から所定の撮像フレームレートで1画面分ずつフレーム画像Fを読み出して画像データ処理部205に出力させる。続けて、画像データ処理部205は、計時部207により計時され、各フレーム画像Fを撮像した時点に係る撮像時情報を当該フレーム画像Fに関連付けた画像データを生成する(ステップS4)。そして、画像データ処理部205は、生成されたフレーム画像Fの画像データをメモリ202に出力する。
次に、画像処理部208の画像取得部208aは、メモリ202から撮像時情報が関連付けられた各フレーム画像Fの画像データを逐次取得する(ステップS5)。
接触検出部104は、角速度検出部103から出力されたZ軸角速度Gzの値からテニスラケット300とテニスボールBとの接触(インパクト)が検出されたか否かを判定する(ステップS7)。ステップS7における接触が検出されたか否かの判定は、当該接触が検出されたと判定(ステップS7;YES)されるまで、Z軸角速度Gzが入力される毎に繰り返し実行される。
次に、無線処理部107のBTモジュール107aは、計時部105から出力された接触時情報が入力されると、当該接触時情報を撮像装置2に送信する(ステップS9)。
その後、記録媒体制御部206は、特定されたフレーム画像Fの画像データを記録媒体Mに記録させる。
ここで、撮像の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部201のCPUは、処理をステップS5に戻し、画像取得部208aは、撮像時情報が関連付けられた各フレーム画像Fの画像データを逐次取得する(ステップS5)。
一方、撮像の終了指示が入力されたと判定されると(ステップS11;YES)中央制御部201のCPUは、当該画像特定処理を終了する。
図9は、状態特定処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する状態特定処理は、テニスラケット300でテニスボールBを打つユーザの後方に位置するように配置された一の撮像装置2Aにより行われるものとして説明するが、複数の撮像装置2、…の各々により行われても良い。
次に、領域特定部208cは、取得されたフレーム画像F1内からテニスボールBに対応する物体領域A1を抽出する(ステップS22)。具体的には、領域特定部208cは、テニスボールBの形状をテンプレートとする特徴抽出処理を施して、当該フレーム画像F1内からテニスボールBに対応する物体領域A1を抽出する。
続けて、領域特定部208cは、取得されたフレーム画像F1内からテニスラケット300のフレーム部302に対応する物体領域A1を抽出する(ステップS23)。具体的には、領域特定部208cは、物体領域A1の画素数のフレーム画像F1の総画素数に占める比率、実際のテニスボールBの寸法に対するテニスラケット300のフレーム部302の寸法の比率、フレーム部302の形状のテンプレート等を用いて、当該フレーム画像F1内からテニスラケット300のフレーム部302に対応する物体領域A1を抽出する。
一方、ステップS25にて、ずれ量が所定の閾値よりも大きいと判定されると(ステップS25;NO)、状態特定部208dは、テニスボールBの打ち方が悪いと特定し、表示制御部209bは、例えば、テニスボールBの打ち方が悪いことを表す状態特定画面G2を表示パネル209aに表示させる(ステップS27;図10(b)参照)。
上記実施形態にあっては、テニスラケット(用具)300とテニスボール(第2の物体)Bとの接触の検出に、角速度検出部103により検出される角速度を用いるようにしたが、一例であってこれに限られるものではなく、例えば、当該用具側端末1の加速度を用いるようにしても良い。即ち、当該テニスラケット300の動きを検出可能なセンサであれば如何なるセンサを用いても良い。
さらに、上記実施形態にあっては、テニスラケット300に対するテニスボールBの接触を検出するようにしたが、一例であってこれに限られるものではなく、テニスラケット300とテニスボールBとの接触を検出可能であれば如何なる構成であっても良い。
また、上記実施形態にあっては、テニスラケット(用具;第1の物体)300とテニスボール(第2の物体)Bとの接触の状態を特定するようにしたが、一例であってこれに限られるものではなく、必ずしも当該特定を行う必要はない。即ち、撮像装置2が領域特定部208c及び状態特定部208dを具備するか否かは適宜任意に変更可能である。
また、上記実施形態にあっては、テニス等のスポーツを例示したがこれに限らず、事故などの衝突を検出してその瞬間の画像を特定するとか、また連続撮影動画の中から接触(衝突)を検出してその前後の動画(テニスならスイングフォームの動画、事故なら衝突前後の動画)を特定するといったことに適用が可能である。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、接触検出処理ルーチン及び特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部のCPUを、撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する手段として機能させるようにしても良い。また、接触検出処理ルーチンにより中央制御部のCPUを、第1の物体と第2の物体との接触を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部のCPUを、取得された複数の画像の中で、接触が検出された時点に対応する撮像時情報と関連付けられている画像を特定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
送信側端末と受信側端末とを備える画像特定システムであって、
前記送信側端末は、
当該送信側端末が備えられた第1の物体と、第2の物体との接触を検出する接触検出手段と、
前記接触検出手段による第1の物体と第2の物体との接触の検出に基づいて、当該接触した時点に係る接触時情報を前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
前記送信手段から送信された前記接触時情報を受信する受信手段と、
撮像手段により逐次撮像され、前記第1の物体と前記第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記接触時情報に対応する前記撮像時情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴とする画像特定システム。
<請求項2>
前記受信側端末は、
前記画像特定手段により特定された画像内で前記第1の物体に対応する第1の物体領域及び前記第2の物体に対応する第2の物体領域をそれぞれ特定する領域特定手段と、
前記領域特定手段により特定された前記第1の物体領域と前記第2の物体領域との相対的な位置関係に基づいて、前記第1の物体と前記第2の物体との接触の状態を特定する状態特定手段とを更に備えることを特徴とする請求項1に記載の画像特定システム。
<請求項3>
前記受信側端末は、
前記状態特定手段による特定結果を報知する報知手段を更に備えることを特徴とする請求項2に記載の画像特定システム。
<請求項4>
前記画像特定手段は、複数の撮像手段により互いに異なる方向から撮像された複数の画像のうち、前記接触時情報に対応する前記撮像時情報と関連付けられている画像を複数特定することを特徴とする請求項1〜3の何れか一項に記載の画像特定システム。
<請求項5>
前記送信側端末は、前記第1の物体である所定の用具に取り付けられ、
前記接触検出手段は、前記第1の物体と前記第2の物体との接触として、前記用具と前記第2の物体との接触を検出し、
前記送信手段は、前記接触検出手段による前記接触の検出に基づいて、前記用具と前記2の物体とが接触した時点に係る接触時情報を前記受信側端末に送信し、
前記取得手段は、前記用具が前記第2の物体を打つ際の複数の画像を前記物体同士が接触する際の複数の画像として各画像が撮像された時点に係る撮像時情報と関連付けて取得することを特徴とする請求項1〜4の何れか一項に記載の画像特定システム。
<請求項6>
前記送信側端末は、更に、
当該端末本体の所定の軸を中心とする回動の角速度又は加速度を検出する検出手段を備え、
前記接触検出手段は、前記検出手段により検出された角速度又は加速度に基づいて、前記用具と前記第2の物体との接触を検出することを特徴とする請求項5に記載の画像特定システム。
<請求項7>
前記検出手段は、前記用具の前記第2の物体を打つ部分を含む一面に対して略平行に延在し、且つ、用具のユーザにより把持される把持部の延在方向に略直交する軸を中心とする当該端末本体の回動の角速度を検出することを特徴とする請求項6に記載の画像特定システム。
<請求項8>
送信側端末と受信側端末とを用いた画像特定方法であって、
前記送信側端末は、
当該送信側端末が備えられた第1の物体と、第2の物体との接触を検出する処理と、
前記第1の物体と前記第2の物体との接触の検出に基づいて、当該接触した時点に係る接触時情報を前記受信側端末に送信する処理と、を行い、
前記受信側端末は、
前記送信側端末から送信された前記接触時情報を受信する処理と、
撮像手段により逐次撮像され、前記第1の物体と前記第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する処理と、
取得された複数の画像の中で、受信された前記接触時情報に対応する前記撮像時情報と関連付けられている画像を特定する処理と、を行うことを特徴とする画像特定方法。
<請求項9>
撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段と、
前記第1の物体と前記第2の物体との接触を検出する接触検出手段と、
前記取得手段により取得された複数の画像の中で、前記接触検出手段により接触が検出された時点に対応する前記撮像時情報と関連付けられている画像を特定する特定手段と、
を備えたことを特徴とする画像特定装置。
<請求項11>
コンピュータを、
撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段、
前記第1の物体と前記第2との物体の接触を検出する接触検出手段、
前記取得手段により取得された複数の画像の中で、前記接触検出手段により接触が検出された時点に対応する前記撮像時情報と関連付けられている画像を特定する特定手段、
として機能させることを特徴とするプログラム。
1 用具側端末
103 角速度検出部
104 接触検出部
107 無線処理部
107a BTモジュール
2 撮像装置
203 無線処理部
203a BTモジュール
203b 無線LANモジュール
204 撮像部
208 画像処理部
208a 画像取得部
208b 画像特定部
208c 領域特定部
208d 状態特定部
209 表示部
300 テニスラケット
301 グリップ部
B テニスボール
Claims (14)
- 別体として構成される送信側端末と受信側端末とを備える画像特定システムであって、
前記送信側端末は、
計時処理を行う第一の計時手段と、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する状態判定手段と、
前記状態判定手段により所定の状態となったと判定されると、当該所定の状態となった
時点に係る第1の情報を前記第一の計時手段より取得して前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
計時処理を行う第二の計時手段と、
前記送信手段から送信された前記第1の情報を受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴とする画像特定システム。 - 前記受信側端末は、
前記画像特定手段により特定された画像内で前記第1の物体に対応する第1の物体領域及び前記第2の物体に対応する第2の物体領域をそれぞれ特定する領域特定手段と、
前記領域特定手段により特定された前記第1の物体領域と前記第2の物体領域との相対的な位置関係を特定する状態特定手段と
を更に備えることを特徴とする請求項1に記載の画像特定システム。 - 前記受信側端末は、
前記状態特定手段による特定結果を報知する報知手段を更に備えることを特徴とする請求項2に記載の画像特定システム。 - 前記画像特定手段は、複数の撮像手段により互いに異なる方向から撮像された複数の画像のうち、前記第1の情報に対応する前記第2の情報と関連付けられている画像を複数特定することを特徴とする請求項1〜3の何れか一項に記載の画像特定システム。
- 前記送信側端末は、前記第1の物体である所定の用具に取り付けられ、
前記状態判定手段は、前記所定の状態として、前記用具と前記第2の物体とが接触した状態となったか否かを判定し、
前記送信手段は、前記状態判定手段により前記接触した状態となったと判定されると、前記用具と前記第2の物体とが接触した時点に係る前記第1の情報を前記受信側端末に送信し、
前記取得手段は、前記用具と前記第2の物体とが接触する際の複数の画像と、各画像が撮像された時点に係る第2の情報とを関連付けて取得することを特徴とする請求項1〜4の何れか一項に記載の画像特定システム。 - 前記送信側端末は、更に、
当該端末本体の所定の軸を中心とする回動の角速度又は加速度を検出する検出手段を備え、
前記状態判定手段は、前記検出手段により検出された角速度又は加速度に基づいて、前記用具と前記第2の物体とが接触した状態となったか否かを判定することを特徴とする請求項5に記載の画像特定システム。 - 前記検出手段は、前記用具の前記第2の物体と接触する部分を含む一面に対して略平行に延在し、且つ、用具のユーザにより把持される把持部の延在方向に略直交する軸を中心とする当該端末本体の回動の角速度を検出することを特徴とする請求項6に記載の画像特定システム。
- 前記状態判定手段は、前記所定の状態として、前記第1の物体と前記第2の物体とが接
触した状態となったか否かを判定する
ことを特徴とする請求項1〜7の何れか一項に記載の画像特定システム。 - 前記第1の情報、及び前記第2の情報は、時間の情報を含む、
ことを特徴とする請求項1〜8の何れか一項に記載の画像特定システム。 - 前記送信手段及び前記受信手段は、無線通信によって接続される、
ことを特徴とする請求項1〜9の何れか一項に記載の画像特定システム。 - 前記送信側端末は、前記状態判定手段による状態判定処理が行われる以前に、前記受信側端末に対して前記第一の計時手段と前記第二の計時手段との時刻を同期させる旨の時刻同期指示を前記送信手段を介して送信し、
前記受信側端末は、前記時刻同期指示を受信した場合、前記第二の計時手段を前記送信側端末の前記第一の計時手段の時刻と同期させるよう制御する時刻同期手段を備える、
ことを特徴とする請求項1〜10の何れか一項に記載の画像特定システム。 - 撮像部、第一の計時手段を備える送信側端末、及び第二の計時手段を備える受信側端末を用いた画像特定方法であって、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する判定ステップと、
前記所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情報を前記第一の計時手段から取得し、前記受信側端末に送信する送信ステップと、
前記送信側端末から送信された前記第1の情報を受信する受信ステップと、
前記撮像部により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得ステップと、
取得された複数の画像の中で、受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する特定ステップと、を含むことを特徴とする画像特定方法。 - 第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴とする画像特定装置。 - コンピュータを、
第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207761A JP6079089B2 (ja) | 2012-09-21 | 2012-09-21 | 画像特定システム、画像特定方法、画像特定装置及びプログラム |
US14/030,955 US20140085461A1 (en) | 2012-09-21 | 2013-09-18 | Image specification system, image specification apparatus, image specification method and storage medium to specify image of predetermined time from a plurality of images |
CN201310434809.0A CN103657030B (zh) | 2012-09-21 | 2013-09-22 | 图像确定系统、图像确定装置及图像确定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207761A JP6079089B2 (ja) | 2012-09-21 | 2012-09-21 | 画像特定システム、画像特定方法、画像特定装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014061119A JP2014061119A (ja) | 2014-04-10 |
JP2014061119A5 JP2014061119A5 (ja) | 2015-11-12 |
JP6079089B2 true JP6079089B2 (ja) | 2017-02-15 |
Family
ID=50296555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012207761A Active JP6079089B2 (ja) | 2012-09-21 | 2012-09-21 | 画像特定システム、画像特定方法、画像特定装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140085461A1 (ja) |
JP (1) | JP6079089B2 (ja) |
CN (1) | CN103657030B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5826890B1 (ja) * | 2014-05-23 | 2015-12-02 | 日本電信電話株式会社 | 運動可視化装置およびプログラム |
JP5999523B2 (ja) * | 2014-06-30 | 2016-09-28 | カシオ計算機株式会社 | カメラ制御装置、カメラ制御方法及びプログラム |
CN105641899B (zh) * | 2014-12-31 | 2017-11-24 | 深圳泰山体育科技股份有限公司 | 一种台阶体能测试的方法及系统 |
JP7133546B2 (ja) * | 2017-03-17 | 2022-09-08 | リッキー,ブレット | ゲーミングイベントをシミュレーションするための方法および装置 |
WO2019130755A1 (ja) * | 2017-12-27 | 2019-07-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR102091827B1 (ko) * | 2018-12-19 | 2020-03-20 | 주식회사 고고탁 | 탁구 라켓의 스윙 정확도 및 교체 판별 장치 |
CN109966719B (zh) * | 2019-03-12 | 2024-04-16 | 佛山职业技术学院 | 一种网球挥拍训练器 |
CN114225361A (zh) * | 2021-12-09 | 2022-03-25 | 栾金源 | 一种网球测速方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4659080A (en) * | 1983-06-20 | 1987-04-21 | Stoller Leo D | Racquet handle |
US4915384A (en) * | 1988-07-21 | 1990-04-10 | Bear Robert A | Player adaptive sports training system |
US5768151A (en) * | 1995-02-14 | 1998-06-16 | Sports Simulation, Inc. | System for determining the trajectory of an object in a sports simulator |
US20020069299A1 (en) * | 2000-12-01 | 2002-06-06 | Rosener Douglas K. | Method for synchronizing clocks |
JP2002177431A (ja) * | 2000-12-19 | 2002-06-25 | Nec Corp | スポーツ教室システム |
US20020115047A1 (en) * | 2001-02-16 | 2002-08-22 | Golftec, Inc. | Method and system for marking content for physical motion analysis |
JP2002248187A (ja) * | 2001-02-26 | 2002-09-03 | Moriaki Katsumata | ゴルフ等運動練習目標達成システム及びゴルフ練習装置 |
ES2189685B1 (es) * | 2001-12-19 | 2004-10-16 | Industrias El Gamo, S.A. | Cazabalines con deteccion electronica de impacto en el blanco y metodo de deteccion empleado. |
US20050223799A1 (en) * | 2004-03-31 | 2005-10-13 | Brian Murphy | System and method for motion capture and analysis |
US20070143130A1 (en) * | 2005-12-20 | 2007-06-21 | Xstream Instructions, Ltd. | Network of instruction stations |
JP4784538B2 (ja) * | 2007-03-19 | 2011-10-05 | カシオ計算機株式会社 | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム |
JP2009034360A (ja) * | 2007-08-02 | 2009-02-19 | Ntt Gp Eco Communication Inc | トレーニングシステムおよびトレーニングシステム用装置 |
JP5515490B2 (ja) * | 2009-07-30 | 2014-06-11 | 株式会社セガ | ゴルフ練習装置 |
US8465376B2 (en) * | 2010-08-26 | 2013-06-18 | Blast Motion, Inc. | Wireless golf club shot count system |
CN104524755B (zh) * | 2010-12-20 | 2017-07-18 | 精工爱普生株式会社 | 摆动分析装置 |
JP2012147387A (ja) * | 2011-01-14 | 2012-08-02 | Konica Minolta Business Technologies Inc | 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム |
EP2592612B1 (en) * | 2011-10-14 | 2018-07-25 | Sumitomo Rubber Industries, Ltd. | Tennis swing analyzing apparatus, analyzing method, and analyzing program |
-
2012
- 2012-09-21 JP JP2012207761A patent/JP6079089B2/ja active Active
-
2013
- 2013-09-18 US US14/030,955 patent/US20140085461A1/en not_active Abandoned
- 2013-09-22 CN CN201310434809.0A patent/CN103657030B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20140085461A1 (en) | 2014-03-27 |
JP2014061119A (ja) | 2014-04-10 |
CN103657030B (zh) | 2016-01-06 |
CN103657030A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6079089B2 (ja) | 画像特定システム、画像特定方法、画像特定装置及びプログラム | |
JP5920264B2 (ja) | 画像特定装置、画像特定システム、画像特定方法及びプログラム | |
JP5743221B2 (ja) | 無線同期システム、無線装置、センサ装置、無線同期方法、及びプログラム | |
US10070046B2 (en) | Information processing device, recording medium, and information processing method | |
CN105027556A (zh) | 自动图片对准校正 | |
KR102553278B1 (ko) | 화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램 | |
US20150002648A1 (en) | Measuring Apparatus Capable Of Measuring A Continuous Motional State | |
JP5892060B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP2017173252A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20160088219A1 (en) | Image capture apparatus which controls frame rate based on motion of object, information transmission apparatus, image capture control method, information transmission method, and recording medium | |
JP5993164B2 (ja) | 通信機器、通信方法およびプログラム | |
US20140186005A1 (en) | Display control apparatus that displays image corresponding to predetermined motion | |
JP6249754B2 (ja) | 撮像装置、撮像システム、通信機器、撮像方法、及び撮像プログラム | |
JPWO2017098586A1 (ja) | 動画撮影指示端末、動画撮影システム、動画撮影指示方法、およびプログラム | |
JP5533241B2 (ja) | 動画再生装置、動画再生方法及びプログラム | |
JP6701677B2 (ja) | 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム | |
KR20140115974A (ko) | 촬영 장치, 촬영 방법 및 프로그램 기록 매체 | |
JP6787072B2 (ja) | 画像処理装置、解析システム、画像処理方法及びプログラム | |
JP6237201B2 (ja) | 撮像装置、撮像システム、撮像方法及びプログラム | |
JP6354443B2 (ja) | 制御装置、制御システム、制御方法及びプログラム | |
JP2017199972A (ja) | 端末装置、情報取得システム、情報取得方法およびプログラム | |
KR20160057971A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP7188422B2 (ja) | 画像処理装置、解析システム、画像処理方法及びプログラム | |
JP5942844B2 (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP6246296B2 (ja) | 通信機器、通信方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6079089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |