JP6079089B2 - 画像特定システム、画像特定方法、画像特定装置及びプログラム - Google Patents

画像特定システム、画像特定方法、画像特定装置及びプログラム Download PDF

Info

Publication number
JP6079089B2
JP6079089B2 JP2012207761A JP2012207761A JP6079089B2 JP 6079089 B2 JP6079089 B2 JP 6079089B2 JP 2012207761 A JP2012207761 A JP 2012207761A JP 2012207761 A JP2012207761 A JP 2012207761A JP 6079089 B2 JP6079089 B2 JP 6079089B2
Authority
JP
Japan
Prior art keywords
image
unit
specifying
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012207761A
Other languages
English (en)
Other versions
JP2014061119A (ja
JP2014061119A5 (ja
Inventor
阿部 和明
和明 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012207761A priority Critical patent/JP6079089B2/ja
Priority to US14/030,955 priority patent/US20140085461A1/en
Priority to CN201310434809.0A priority patent/CN103657030B/zh
Publication of JP2014061119A publication Critical patent/JP2014061119A/ja
Publication of JP2014061119A5 publication Critical patent/JP2014061119A5/ja
Application granted granted Critical
Publication of JP6079089B2 publication Critical patent/JP6079089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、画像を特定する画像特定システム、画像特定方法、画像特定装置及びプログラムに関する。
従来、ゴルフクラブでボールを打った際に発生するインパクト音をマイクで検出して、デジタルカメラにより撮影された動画のダイジェスト画像を表示させる技術が知られている(例えば、特許文献1参照)。
特開2008−236124号公報
しかしながら、上記特許文献1では、周囲の雑音がある環境下では、マイクでインパクト音を検出し難くなってしまう。また、被写体から離れた位置で集音するとインパクト音の伝達時間による遅延が生じ、インパクトの瞬間を基準とする画像の特定を正確に行うことができなくなってしまうといった問題もある。
そこで、本発明の課題は、所望の画像を適正に特定することである。
上記課題を解決するため、本発明に係る画像特定システムは、
別体として構成される送信側端末と受信側端末とを備える画像特定システムであって、
前記送信側端末は、
計時処理を行う第一の計時手段と、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する状態判定手段と、
前記状態判定手段により所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情報を前記第一の計時手段より取得して前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
計時処理を行う第二の計時手段と、
前記送信手段から送信された前記第1の情報を受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴としている。
また、本発明に係る画像特定方法は、
撮像部、第一の計時手段を備える送信側端末、及び第二の計時手段を備える受信側端末を用いた画像特定方法であって、
当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する判定ステップと、
前記所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情
報を前記第一の計時手段から取得し、前記受信側端末に送信する送信ステップと、
前記送信側端末から送信された前記第1の情報を受信する受信ステップと、
前記撮像部により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得ステップと、
取得された複数の画像の中で、受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する特定ステップと、を含むことを特徴としている。
また、本発明に係る画像特定装置は、
第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段と、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴としている。
また、本発明に係るプログラムは、
コンピュータを、
第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段、
撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段、
として機能させることを特徴としている。
本発明によれば、所望の画像を適正に特定することができる。
本発明を適用した一実施形態の画像特定システムの概略構成を模式的に示す図である。 図1の画像特定システムを構成する用具側端末の概略構成を示すブロック図である。 図2の用具側端末がテニスラケットに取り付けられた状態を模式的に示す図である。 図2の用具側端末が取り付けられたテニスラケットを用いてテニスボールを打つ状態を模式的に示す図である。 図2の用具側端末の角速度検出部の出力を模式的に示す図である。 図1の画像特定システムを構成する撮像装置の概略構成を示すブロック図である。 図1の画像特定システムによる画像特定処理に係る動作の一例を示すフローチャートである。 図7の画像特定処理に係る画像の一例を示す図である。 図6の撮像装置による状態特定処理に係る動作の一例を示すフローチャートである。 図9の状態特定処理に係る状態特定画面を模式的に示す図である。 図9の状態特定処理に係る画像の一例を示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の画像特定システム100の概略構成を模式的に示す図である。
図1に示すように、本実施形態の画像特定システム100は、テニスラケット300に取付け固定される用具側端末(送信側端末)1と、この用具側端末1と無線通信回線を介して情報通信可能に接続され、ユーザがテニスラケット300を用いてテニスボールBを打つ動作を撮像する複数の撮像装置(受信側端末)2、…とを備えている。
先ず、用具側端末1について、図2〜図5を参照して説明する。
図2は、用具側端末1の概略構成を示すブロック図である。また、図3は、用具側端末1がテニスラケット300に取り付けられた状態を模式的に示す図である。
なお、以下の説明では、テニスラケット300のフェイス面に略直交する一方向をX軸方向とし、X軸方向に略直交するとともにグリップ部301の延在方向に沿う方向をY軸方向とし、X軸方向及びY軸方向に略直交する一方向をZ軸方向とする。
図2に示すように、本実施形態の用具側端末1は、中央制御部101と、メモリ102と、角速度検出部103と、接触検出部104と、計時部105と、表示部106と、無線処理部107と、操作入力部108とを備えている。
また、中央制御部101、メモリ102、角速度検出部103、接触検出部104、計時部105、表示部106及び無線処理部107は、バスライン109を介して接続されている。
また、図3に示すように、用具側端末1の端末本体は、例えば、テニスボールBを打つためのテニスラケット(用具)300に着脱自在に設けられている。具体的には、端末本体は、テニスラケット300のユーザにより把持されるグリップ部(把持部)301とフェイス面を構成するフレーム部302との間のシャフト部303の内側に取り付けられている。
ここで、端末本体は、例えば、シャフト部303の内側にて、グリップ部301の延在方向に沿うY軸方向に延在する軸上に当該端末本体の中心が位置するように取り付けられている。なお、端末本体は、例えば、シャフト部303に対して直接取り付けられても良いし、所定の取付用治具(図示略)を用いて取り付けられても良い。
中央制御部101は、用具側端末1の各部を制御するものである。具体的には、中央制御部101は、例えば、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、ROMに記憶された用具側端末1用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部106に表示させる。
RAMは、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、用具側端末1で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
メモリ102は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101等によって処理されるデータ等を一時記憶する。
角速度検出部103は、当該端末本体の所定の軸を中心とする回動の角速度を検出する。
即ち、角速度検出部(角速度検出手段)103は、ユーザがテニスラケット(用具)300を用いてテニスボールBを打つ動作を行う際に、当該端末本体の所定の軸(例えば、Z軸等)を中心とする回動の角速度を検出する。具体的には、角速度検出部103は、テニスラケット300のテニスボールBを打つ部分を含むフェイス面(一面)に対して略平行に延在し、且つ、グリップ部301の延在方向に略直交するZ軸を中心とする当該端末本体の回動のZ軸角速度Gzを検出する(図4参照)。そして、角速度検出部103は、検出されたZ軸角速度Gzの値を接触検出部104に出力する。
なお、図4には、ユーザがテニスラケット300を用いて右利きのフォアハンドでテニスボールBを打つ状態を、当該ユーザの上方からZ軸方向に視て模式的に表している。
接触検出部104は、テニスラケット300に対するテニスボールBの接触(インパクト)を検出する。
即ち、接触検出部(接触検出手段)104は、テニスラケット(用具;第1の物体)300とテニスボール(第2の物体)Bとの接触を検出する。具体的には、接触検出部104は、角速度検出部103により検出されたZ軸角速度Gzに基づいて、テニスラケット300とテニスボールBとの接触を検出する。
即ち、当該端末本体が取付け固定されたテニスラケット300でテニスボールBを打つ場合、フェイス面にテニスボールBが接触する直前にZ軸角速度Gzの値が所定の閾値を下回り、当該接触の直後にZ軸角速度Gzの値が所定の閾値を上回ることとなる(図5参照)。そこで、接触検出部104は、所定の閾値を基準としてZ軸角速度Gzの値から接触のタイミングを特定することで、テニスラケット300とテニスボールBとが接触したタイミングを検出する。そして、接触検出部104は、検出されたタイミングを指示するタイミング情報を計時部105に出力する。
計時部105は、図示は省略するが、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を生成する。具体的には、計時部105は、接触検出部104から出力されたタイミング情報の入力に基づいて、テニスボールBとテニスラケット(用具)300とが接触した時刻を計時して当該接触した時点に係る接触時情報を生成する。そして、計時部105は、生成された接触時情報を無線処理部107に出力する。
なお、計時部105は、時刻情報(接触時情報)に基づいて、例えば、日付や曜日等の暦を特定しても良い。
表示部106は、例えば、端末本体の表面の所定位置に設けられている(図3参照)。また、表示部106は、例えば、所謂7セグ型の液晶表示パネルや発光ダイオードなどを有して構成され、各セグメントや発光ダイオードの点灯及び消灯を制御することで、各種の情報を表示する。
例えば、表示部106は、テニスラケット300によりテニスボールBが打たれる際に、所定の特定手法を用いて特定された当該テニスボールBの速度や回転量等の各種の情報を表示するようにしても良い。
無線処理部107は、所定の無線通信回線を介して接続された撮像装置2との間で無線通信を行う。
具体的には、無線処理部107は、例えば、ブルートゥース(Bluetooth:登録商標)モジュール(BTモジュール)107aを具備し、このBTモジュール107aは、撮像装置2の無線処理部203のBTモジュール203a(後述)との間でブルートゥース規格に従った無線通信を行う。即ち、BTモジュール107aは、予めペアリングと呼ばれる通信設定処理を行うことで、互いのデバイス情報や認証鍵のデータが無線信号により通信相手(撮像装置2等)と交換され、その後、当該通信設定処理を毎回行うことなく、この通信相手と自動的に或いは半自動的に接続されたり接続が解除されるようになっている。
具体的には、BTモジュール(送信手段)107aは、接触検出部104によるテニスボールBとテニスラケット(用具)300との接触の検出に基づいて、当該テニスボールBとテニスラケット300とが接触した時点に係る接触時情報を所定の無線通信回線を介して撮像装置(画像特定装置)2に送信する。例えば、BTモジュール107aは、計時部105から出力されたテニスボールBとテニスラケット300とが接触した時点に係る接触時情報が入力されると、当該接触時情報を所定の無線通信回線を介して撮像装置2に送信する。
なお、無線処理部107は、例えば、無線LAN(Local Area Network)モジュール等を具備し、撮像装置2の無線処理部203との間で無線通信を行うようにしても良い。
操作入力部108は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されている。また、操作入力部108は、ユーザにより押下されたキーの押下信号を中央制御部101のCPUに出力する。
なお、操作入力部108としてタッチパネル(図示略)を表示部106の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
次に、撮像装置2について、図6を参照して説明する。
画像特定システム100は、テニスラケット300でテニスボールBを打つ状態を互いに異なる方向から撮像するように配置された複数の撮像装置2、…(図1には、2つ図示)を備えている。例えば、複数の撮像装置2、…のうち、何れか一の撮像装置2Aはテニスラケット300でテニスボールBを打つユーザの後方に位置するように配置され、一方、他の撮像装置2Bはユーザの側方に位置するように配置されている。
また、これらの撮像装置2、…は、所定の無線通信回線を介して互いに情報通信可能に接続され、何れか一の撮像装置2Aが連携撮像のマスタとなり、残りの他の撮像装置2Bがスレーブとなる。また、各撮像装置2は、マスタとなるかスレーブとなるかによって動作の内容が異なるものの、構成自体は略同様となっている。
なお、連携撮像とは、複数の撮像装置2、…による撮像動作を連動させた撮像等のことである。
図6は、撮像装置2の概略構成を示すブロック図である。
図6に示すように、撮像装置2は、中央制御部201と、メモリ202と、無線処理部203と、撮像部204と、画像データ処理部205と、記録媒体制御部206と、計時部207と、画像処理部208と、表示部209と、操作入力部210とを備えている。
また、中央制御部201、メモリ202、無線処理部203、撮像部204、画像データ処理部205、記録媒体制御部206、画像処理部208及び表示部209は、バスライン211を介して接続されている。
中央制御部201は、撮像装置2の各部を制御するものである。具体的には、中央制御部201は、例えば、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、ROMに記憶された撮像装置2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部209に表示させる。
RAMは、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、撮像装置2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
メモリ202は、例えば、DRAM等により構成され、中央制御部201等によって処理されるデータ等を一時記憶する。
無線処理部203は、所定の無線通信回線を介して接続された用具側端末1や撮像装置2等の外部機器Oとの間で無線通信を行う。
具体的には、無線処理部203は、例えば、ブルートゥースモジュール(BTモジュール)203aと無線LANモジュール203bを具備している。
BTモジュール203aは、例えば、用具側端末1のBTモジュール107aと略同様に、用具側端末1のBTモジュール107aとの間でブルートゥース規格に従った無線通信を行う。
具体的には、BTモジュール(受信手段)203aは、用具側端末1の無線処理部107のBTモジュール107aから送信された接触時情報を受信する。そして、BTモジュール203aは、受信した接触時情報をメモリ202に出力する。
無線LANモジュール203bは、例えば、外部のアクセスポイント(固定基地局)を経由せずに直接他の撮像装置2の無線処理部203の無線LANモジュール203bとの間で無線通信回線を構築するPeer to Peer(アドホックモード)で動作する。このアドホックモードでは、例えば、予め当該無線通信回線の通信方式、暗号化情報、チャンネル、IPアドレス等の各種の通信制御情報を設定しておく。そして、無線LANモジュール203bは、無線通信可能範囲内に存し、共通の通信制御情報が設定されている他の撮像装置2の無線処理部203の無線LANモジュール203bとの間で無線通信を行う。
具体的には、連携撮像のマスタの撮像装置2Aにあっては、無線LANモジュール203bは、スレーブとなる他の各撮像装置2Bにより撮像され、接触時情報に対応する撮像時情報と関連付けられている画像データ(図10(b)等参照)の取得指示を所定の無線通信回線を介して当該各撮像装置2Bに送信する。
一方、スレーブの各撮像装置2Bにあっては、無線LANモジュール203bは、マスタの撮像装置2Aの無線LANモジュール203bから所定の無線通信回線を介して送信された画像データの取得指示を受信する。そして、無線LANモジュール203bは、受信された取得指示に基づいて、接触時情報に対応する撮像時情報と関連付けられている画像データをメモリ202から取得して、当該画像データをマスタの撮像装置2Aに対して所定の無線通信回線を介して送信する。
撮像部204は、被写体を撮像する撮像手段を構成している。具体的には、撮像部204は、レンズ部204aと、電子撮像部204bと、撮像制御部204cとを備えている。
レンズ部204aは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部204bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部204aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部204は、レンズ部204aを通過する光の量を調整する絞りを備えていても良い。
撮像制御部204cは、電子撮像部204bによる被写体の撮像を制御する。即ち、撮像制御部204cは、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部204cは、タイミング発生器、ドライバにより電子撮像部204bを走査駆動し、所定周期毎にレンズ部204aにより結像された光学像を電子撮像部204bにより二次元の画像信号に変換させる。そして、撮像制御部204cは、当該電子撮像部204bの撮像領域から1画面分ずつフレーム画像F(図8(a)等参照)を読み出して画像データ処理部205に出力させる。
画像データ処理部205は、被写体の画像データを生成する。
即ち、画像データ処理部205は、撮像部204により撮像されるフレーム画像Fを逐次処理する。具体的には、画像データ処理部205は、電子撮像部204bから撮像フレームレートに応じた所定の周期(例えば、1/400秒等)毎に転送された各フレーム画像Fのアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
なお、撮像フレームレートとして例示する400fpsは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、画像データ処理部205は、各フレーム画像FのYUVデータを所定の符号化方式(例えば、JPEG形式等)に従って圧縮して、記録媒体制御部206に出力する。このとき、画像データ処理部205は、例えば、計時部207により計時された各フレーム画像Fの撮像時点に係る撮像時情報を当該フレーム画像Fに関連付けた画像データを生成する。
記録媒体制御部206は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部206は、画像データ処理部205の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式、モーションJPEG形式、MPEG形式等)で符号化された記録用の各フレーム画像Fの画像データを記録媒体Mの所定の記録領域に記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。
計時部207は、図示は省略するが、例えば、タイマや計時回路等を備えて構成され、現在の時刻を計時して時刻情報を生成する。
具体的には、計時部207は、撮像部204により各フレーム画像Fが撮像された時刻を計時して当該撮像された時点に係る撮像時情報を生成する。そして、計時部207は、生成された撮像時情報をメモリ202に出力する。
ここで、計時部207は、用具側端末1の計時部105と同期した状態で現在の時刻を計時する。即ち、計時部207は、用具側端末1から送信されBTモジュール203aにより受信された同期制御信号に基づいて、用具側端末1の計時部105による計時と同期させ、当該用具側端末1の計時部105により計時される時刻と同期した現在の時刻を計時する。
なお、計時部207は、時刻情報(撮像時情報)に基づいて、例えば、日付や曜日等の暦を特定しても良い。また、計時部207による同期の手法は、例えば、GPS処理部(図示略)により受信された所定の地域毎の標準時刻を基準として行うようにしても良い。
画像処理部208は、画像取得部208aと、画像特定部208bと、領域特定部208cと、状態特定部208dとを具備している。
なお、画像処理部208の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
画像取得部208aは、テニスラケット300がテニスボールBを打つ際の複数の画像を撮像時情報と関連付けて取得する。
即ち、画像取得部(取得手段)208aは、撮像部204により逐次撮像され、テニスラケット(用具)300がテニスボールBを打つ際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する。具体的には、画像取得部208aは、例えば、画像データ処理部205により生成された、複数のフレーム画像F、…の撮像時点に係る撮像時情報が当該各フレーム画像Fに関連付けられた画像データを複数取得する。
画像特定部208bは、接触時情報に対応する撮像時情報と関連付けられている画像を特定する。
即ち、画像特定部(画像特定手段)208bは、画像取得部208aにより取得された複数のフレーム画像F、…の中で、無線処理部203のBTモジュール203aにより受信された接触時情報に対応する撮像時情報と関連付けられているフレーム画像Fを特定する。具体的には、画像特定部208bは、メモリ202から接触時情報を取得し、テニスラケット300がテニスボールBを打つ動作を表す複数のフレーム画像F、…の画像データの中で、取得された接触時情報に係るテニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられている画像データを特定する(図8(a)等参照)。
また、連携撮像のマスタとなる撮像装置2Aの画像特定部208bは、スレーブの各撮像装置2Bから送信され、無線処理部203の無線LANモジュール203bにより受信された画像データ、即ち、スレーブの各撮像装置2Bにより撮像され、テニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられているフレーム画像F2の画像データを無線LANモジュール203bから取得して特定する(図8(b)及び図8(d)参照)。
なお、図8(a)〜図8(d)には、ユーザがテニスラケット300を用いてテニスボールBを打つ動作が複数回行われ、各々の動作にて撮像されたフレーム画像Fの一例を表す。また、図8(a)及び図8(c)は、各々の動作にて連携撮像のマスタとなる撮像装置2Aにより撮像されたフレーム画像F1の一例を表し、図8(b)及び図8(d)は、各々の動作にてスレーブとなる撮像装置2Bにより撮像されたフレーム画像F2の一例を表す。
領域特定部208cは、画像内で物体領域A1及び用具領域A2をそれぞれ特定する。
即ち、領域特定部(領域特定手段)208cは、画像特定部208bにより特定されたテニスラケット300とテニスボールBが接触した時点のフレーム画像F内でテニスボール(第2の物体)Bに対応する物体領域(第2の物体領域)A1及びテニスラケット(第1の物体)300に対応する用具領域(第1の物体領域)A2をそれぞれ特定する。具体的には、領域特定部208cは、例えば、テニスラケット300でテニスボールBを打つユーザの後方に位置するように配置された撮像装置2Aにより撮像された複数のフレーム画像F1、…を処理対象として、テニスボールBの形状をテンプレートとする特徴抽出処理を施して、当該フレーム画像F1内からテニスボールBに対応する物体領域A1を抽出して特定する。また、領域特定部208cは、例えば、物体領域A1の画素数のフレーム画像F1の総画素数に占める比率、実際のテニスボールBの寸法に対するテニスラケット300のフレーム部302の寸法の比率、フレーム部302の形状のテンプレート等を用いて、当該フレーム画像F1内からテニスラケット300のフレーム部302(フェイス面)に対応する物体領域A1を抽出して特定する。
なお、物体領域A1や用具領域A2の抽出、特定の手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
状態特定部208dは、テニスラケット300とテニスボールBとの接触の状態を特定する。
即ち、状態特定部(状態特定手段)208dは、領域特定部208cにより特定された物体領域A1と用具領域A2との相対的な位置関係に基づいて、テニスラケット(用具)300とテニスボールBとの接触の状態を特定する。具体的には、状態特定部208dは、テニスラケット300のフレーム部302に対応する用具領域A2の中心位置からのテニスボールBに対応する物体領域A1の中心位置のずれ量に応じて、テニスラケット300とテニスボールBとの接触の状態を特定する(スイートスポット判定;図10(a)等参照)。
例えば、状態特定部208dは、用具領域A2の中心位置からの物体領域A1の中心位置のずれ量(画素数)が所定の閾値以下であるか否かを判定する。そして、状態特定部208dは、当該判定にてずれ量が所定の閾値以下であると判定されると、テニスラケット300のフェイス面の略中心(スイートスポット)でテニスボールBを打った状態であり、テニスボールBの打ち方(捉え方)が良いと特定する。これに対して、状態特定部208dは、当該判定にてずれ量が所定の閾値よりも大きいと判定されると、テニスラケット300のフェイス面の略中心でテニスボールBを打っていない状態であり、テニスボールBの打ち方が悪いと特定する。
表示部209は、表示パネル209aと、表示制御部209bとを具備している。
表示パネル209aは、表示画面内に画像を表示する。なお、表示パネル209aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部209bは、メモリ202に一時的に格納されている表示用の画像データを読み出して、画像データ処理部205により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル209aの表示画面に表示させる制御を行う。具体的には、表示制御部209bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなど(何れも図示略)を備えている。そして、デジタルビデオエンコーダは、画像データ処理部205により復号されてVRAMに記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示パネル209aに出力する。
また、表示制御部209bは、状態特定部208dによるテニスラケット300とテニスボールBとの接触の状態の特定結果を表す状態特定画面(例えば、状態特定画像G1等)を表示パネル209aに表示させる(図10(a)等参照)。
即ち、表示制御部209bは、例えば、状態特定部208dによりテニスラケット300によるテニスボールBの打ち方が良いと特定された場合に、テニスラケット300のフェイス面の略中心でテニスボールBを打った状態を模式的に表した画像やテニスボールBの打ち方が良いことを示す表示「OK」等を含む状態特定画面G1を表示パネル209aに表示させる(図10(a)参照)。また、表示制御部209bは、例えば、状態特定部208dによりテニスラケット300によるテニスボールBの打ち方が悪いと特定された場合に、用具領域A2の中心からの物体領域A1の中心位置のずれの大きさ及び方向に応じてテニスラケット300のフレーム部302の略中心に対してテニスボールBの位置がずれた状態を模式的に表した画像やテニスボールBの打ち方が悪いことを示す表示「ラケットの上です。」等を含む状態特定画面G2を表示パネル209aに表示させる(図10(b)参照)。
このように、表示パネル209a及び表示制御部209bは、状態特定部208dによるテニスラケット(用具)300とテニスボールBとの接触の状態の特定結果を報知する報知手段を構成している。
また、ユーザがテニスラケット300を用いてテニスボールBを打つ動作が複数回撮像された際には、表示制御部209bは、各々の動作にて画像特定部208bにより特定された画像データ、即ち、テニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられているフレーム画像F(例えば、フレーム画像F2等)を複数並べて表示パネル209aに表示させるようにしても良い(図11参照)。このとき、表示制御部209bは、テニスボールBに対応する物体領域A1の位置を中心として略直角に交わる縦線及び横線等の補助線Lを表示させるようにしても良い。
操作入力部210は、当該撮像装置2の所定操作を行うためのものであり、例えば、装置本体の電源のON/OFFに係る電源ボタン、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン(何れも図示略)等を備えている。そして、操作入力部210は、各ボタンの操作に応じて所定の操作信号を中央制御部201に出力する。
次に、画像特定システム100による画像特定処理について、図7及び図8を参照して説明する。
図7は、画像特定処理に係る動作の一例を示すフローチャートである。
なお、用具側端末1の端末本体は、テニスラケット300のシャフト部303に取付け固定されているものとする。また、以下に説明する撮像装置2による各処理は、複数の撮像装置2、…の各々にて行われるものとする。
図7に示すように、先ず、用具側端末1にあっては、無線処理部107のBTモジュール107aは、当該用具側端末1の計時部105による計時と各撮像装置2の計時部207による計時を同期させるための同期制御信号を送信する(ステップS1)。
撮像装置2にあっては、無線処理部203のBTモジュール203aにより同期制御信号が受信されると、計時部207は、当該同期制御信号に基づいて、用具側端末1の計時部105による計時と同期させる(ステップS2)。
その後、ユーザによる操作入力部210の所定操作に基づいて撮像指示が中央制御部201のCPUに入力されると、撮像装置2は、被写体の撮像を開始し(ステップS3)、撮像制御部204cは、レンズ部204aにより結像された光学像から電子撮像部204bにより変換された二次元の画像信号を、当該電子撮像部204bの撮像領域から所定の撮像フレームレートで1画面分ずつフレーム画像Fを読み出して画像データ処理部205に出力させる。続けて、画像データ処理部205は、計時部207により計時され、各フレーム画像Fを撮像した時点に係る撮像時情報を当該フレーム画像Fに関連付けた画像データを生成する(ステップS4)。そして、画像データ処理部205は、生成されたフレーム画像Fの画像データをメモリ202に出力する。
次に、画像処理部208の画像取得部208aは、メモリ202から撮像時情報が関連付けられた各フレーム画像Fの画像データを逐次取得する(ステップS5)。
一方、用具側端末1にあっては、ユーザがテニスラケット300を用いてテニスボールBを打つ動作を行う際に、角速度検出部103は、Z軸を中心とする当該端末本体の回動のZ軸角速度Gzを検出して、検出されたZ軸角速度Gzの値を接触検出部104に出力する(ステップS6)。
接触検出部104は、角速度検出部103から出力されたZ軸角速度Gzの値からテニスラケット300とテニスボールBとの接触(インパクト)が検出されたか否かを判定する(ステップS7)。ステップS7における接触が検出されたか否かの判定は、当該接触が検出されたと判定(ステップS7;YES)されるまで、Z軸角速度Gzが入力される毎に繰り返し実行される。
ステップS7にて、テニスラケット300とテニスボールBとの接触が検出されたと判定されると(ステップS7;YES)、接触検出部104は、テニスラケット300とテニスボールBとが接触したタイミングを指示するタイミング情報を計時部105に出力し、計時部105は、当該タイミング情報の入力に基づいて、テニスボールBとテニスラケット300とが接触した時点に係る接触時情報を生成する(ステップS8)。そして、計時部105は、生成された接触時情報を無線処理部107に出力する。
次に、無線処理部107のBTモジュール107aは、計時部105から出力された接触時情報が入力されると、当該接触時情報を撮像装置2に送信する(ステップS9)。
撮像装置2にあっては、無線処理部203のBTモジュール203aにより撮像時情報が受信されると、画像特定部208bは、画像取得部208aにより取得された複数のフレーム画像F、…の中で、当該接触時情報に対応する撮像時情報と関連付けられているフレーム画像Fを特定する(ステップS10;図8(a)等参照)。即ち、画像特定部208bは、テニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられているフレーム画像Fの画像データを特定する。
その後、記録媒体制御部206は、特定されたフレーム画像Fの画像データを記録媒体Mに記録させる。
その後、中央制御部201のCPUは、ユーザによる操作入力部210の所定操作に基づいて撮像の終了指示が入力されたか否かを判定する(ステップS11)。
ここで、撮像の終了指示が入力されていないと判定されると(ステップS11;NO)、中央制御部201のCPUは、処理をステップS5に戻し、画像取得部208aは、撮像時情報が関連付けられた各フレーム画像Fの画像データを逐次取得する(ステップS5)。
一方、撮像の終了指示が入力されたと判定されると(ステップS11;YES)中央制御部201のCPUは、当該画像特定処理を終了する。
次に、撮像装置2による状態特定処理について、図9及び図10を参照して説明する。
図9は、状態特定処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する状態特定処理は、テニスラケット300でテニスボールBを打つユーザの後方に位置するように配置された一の撮像装置2Aにより行われるものとして説明するが、複数の撮像装置2、…の各々により行われても良い。
図9に示すように、先ず、画像処理部208の領域特定部208cは、テニスラケット300とテニスボールBが接触した時点に対応する撮像時点に係る撮像時情報が関連付けられているフレーム画像F1の画像データを取得する(ステップS21)。
次に、領域特定部208cは、取得されたフレーム画像F1内からテニスボールBに対応する物体領域A1を抽出する(ステップS22)。具体的には、領域特定部208cは、テニスボールBの形状をテンプレートとする特徴抽出処理を施して、当該フレーム画像F1内からテニスボールBに対応する物体領域A1を抽出する。
続けて、領域特定部208cは、取得されたフレーム画像F1内からテニスラケット300のフレーム部302に対応する物体領域A1を抽出する(ステップS23)。具体的には、領域特定部208cは、物体領域A1の画素数のフレーム画像F1の総画素数に占める比率、実際のテニスボールBの寸法に対するテニスラケット300のフレーム部302の寸法の比率、フレーム部302の形状のテンプレート等を用いて、当該フレーム画像F1内からテニスラケット300のフレーム部302に対応する物体領域A1を抽出する。
次に、画像処理部208の状態特定部208dは、領域特定部208cにより特定された物体領域A1と用具領域A2との相対的な位置関係を特定して(ステップS24)、テニスラケット300のフレーム部302に対応する用具領域A2の中心からのテニスボールBに対応する物体領域A1の中心位置のずれ量が所定の閾値以下であるか否かを判定する(ステップS25)。
ステップS25にて、ずれ量が所定の閾値以下であると判定されると(ステップS25;YES)、状態特定部208dは、テニスボールBの打ち方が良いと特定し、表示制御部209bは、テニスボールBの打ち方が良いことを表す状態特定画面G1を表示パネル209aに表示させる(ステップS26;図10(a)参照)。
一方、ステップS25にて、ずれ量が所定の閾値よりも大きいと判定されると(ステップS25;NO)、状態特定部208dは、テニスボールBの打ち方が悪いと特定し、表示制御部209bは、例えば、テニスボールBの打ち方が悪いことを表す状態特定画面G2を表示パネル209aに表示させる(ステップS27;図10(b)参照)。
なお、状態特定処理が、テニスラケット300でテニスボールBを打つユーザの側方に位置するように配置された撮像装置2Bにより行われる場合、表示制御部209bは、領域特定部208cにより特定されたテニスボールBに対応する物体領域A1のフレーム画像F2の所定領域に対する相対的な位置関係を表すための縦線及び横線等の補助線Lを表示させる(図11参照)。これにより、テニスラケット(用具)300とテニスボールBとの接触の状態、即ち、ユーザがテニスラケット300を用いてテニスボールBを打った状態が、当該ユーザに対して分かり易く表示されることとなる。
以上のように、本実施形態の画像特定システム100によれば、撮像部204により逐次撮像され、第1の物体(例えば、テニスラケット300等)と第2の物体(例えば、テニスボールB等)とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得し、第1の物体と第2の物体との接触を検出し、取得された複数の画像の中で、検出された第1の物体と第2の物体とが接触した時点に係る接触時情報に対応する撮像時情報と関連付けられている画像を特定するので、第1の物体と第2の物体とが接触した瞬間を適正に特定することができ、複数の画像の中から第1の物体と第2の物体とが接触する際の画像の特定を簡便に行うことができるだけでなく、従来の音を利用する場合に比べて第1の物体と第2の物体とが接触した際の画像をより適正に特定することができる。
また、特定された画像内で第2の物体に対応する物体領域A1及び第1の物体に対応する用具領域A2をそれぞれ特定し、物体領域A1と用具領域A2との相対的な位置関係に基づいて、第1の物体と第2の物体との接触の状態を特定するので、第1の物体としての用具を用いて第2の物体を打った状態、即ち、当該打ち方の善し悪しを特定することができる。そして、第1の物体と第2の物体との接触の状態を報知することで、用具を用いて第2の物体を打った身体の動作や状態をユーザに認識させることができる。
また、複数の撮像装置2、…の撮像部204により互いに異なる方向から撮像された第1の物体と第2の物体とが接触する際の複数の画像のうち、接触時情報に対応する撮像時情報と関連付けられている画像を複数特定するので、第1の物体と第2の物体とが接触した状態(用具を用いて第2の物体を打った状態)を互いに異なる方向から撮像された複数の画像を用いた比較を行うことができることとなって、用具を用いて第2の物体を打った身体の動作や状態をユーザに分かり易く認識させることができる。
また、用具側端末1の端末本体の所定の軸を中心とする回動の角速度に基づいて、第1の物体と第2の物体との接触を検出することができる。具体的には、第1の物体としての用具の第2の物体を打つ部分を含む一面(例えば、フェイス面等)に対して略平行に延在し、且つ、用具のユーザにより把持される把持部(例えば、グリップ部301等)の延在方向に略直交する軸(Z軸)を中心とする当該端末本体の回動の角速度(Z軸角速度Gz)に基づいて、用具と第2の物体との接触を検出することができ、用具と第2の物体との接触の検出を簡単な構成で適正に行うことができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
上記実施形態にあっては、テニスラケット(用具)300とテニスボール(第2の物体)Bとの接触の検出に、角速度検出部103により検出される角速度を用いるようにしたが、一例であってこれに限られるものではなく、例えば、当該用具側端末1の加速度を用いるようにしても良い。即ち、当該テニスラケット300の動きを検出可能なセンサであれば如何なるセンサを用いても良い。
さらに、上記実施形態にあっては、テニスラケット300に対するテニスボールBの接触を検出するようにしたが、一例であってこれに限られるものではなく、テニスラケット300とテニスボールBとの接触を検出可能であれば如何なる構成であっても良い。
上記実施形態にあっては、図7のS7〜S8の処理を用具側端末が行うこととしたが、当該処理を撮像装置が行っても良い。つまり、S6で検出された角速度Gzの値に計時部105が計時した時刻情報を対応付けて用具側端末が撮像装置に送信し、当該撮像装置が、角速度Gzの値と時刻情報に基づいてテニスラケット300に対するテニスボールBの接触(インパクト)の検出と接触時情報の生成を行うことで、当該接触時情報に対応する撮像時情報が関連付けられたフレーム画像を特定するよう構成しても良い。
また、上記実施形態にあっては、テニスラケット(用具;第1の物体)300とテニスボール(第2の物体)Bとの接触の状態を特定するようにしたが、一例であってこれに限られるものではなく、必ずしも当該特定を行う必要はない。即ち、撮像装置2が領域特定部208c及び状態特定部208dを具備するか否かは適宜任意に変更可能である。
さらに、上記実施形態にあっては、用具としてテニスラケット300を例示したが、一例であってこれに限られるものではなく、例えば、卓球のラケット、野球のバット、ゴルフのクラブ等の物体を打つものであれば適宜任意に変更可能である。このとき、用具側端末1の端末本体は、ユーザにより把持される把持部の延在方向に沿う方向に延在する軸上に取付け固定されているのが好ましい。
また、画像特定システム100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、所定の通信回線として、無線通信回線を例示して説明したが、用具側端末1と撮像装置2とを有線ケーブル等により接続して通信を行う有線通信回線であっても良い。
また、上記実施形態にあっては、テニス等のスポーツを例示したがこれに限らず、事故などの衝突を検出してその瞬間の画像を特定するとか、また連続撮影動画の中から接触(衝突)を検出してその前後の動画(テニスならスイングフォームの動画、事故なら衝突前後の動画)を特定するといったことに適用が可能である。
さらに、上記実施形態にあっては、用具側端末1と撮像装置2とを備える画像特定システム100を例示したが、一例であってこれに限られるものではなく、一の画像特定装置から構成されていても良い。即ち、撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段と、第1の物体と第2の物体との接触を検出する接触検出手段と、取得手段により取得された複数の画像の中で、接触検出手段により検出された時点に対応する撮像時情報と関連付けられている画像を特定する特定手段と、を備える構成であれば如何なる構成であっても良い。
加えて、上記実施形態にあっては、取得手段、接触検出手段及び特定手段としての機能を、画像取得部208a、接触検出部104及び画像特定部208bが駆動することにより実現される構成としたが、これに限られることものではなく、中央制御部のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、接触検出処理ルーチン及び特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部のCPUを、撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する手段として機能させるようにしても良い。また、接触検出処理ルーチンにより中央制御部のCPUを、第1の物体と第2の物体との接触を検出する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部のCPUを、取得された複数の画像の中で、接触が検出された時点に対応する撮像時情報と関連付けられている画像を特定する手段として機能させるようにしても良い。
同様に、領域特定手段、状態特定手段、角速度検出手段についても、中央制御部のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
送信側端末と受信側端末とを備える画像特定システムであって、
前記送信側端末は、
当該送信側端末が備えられた第1の物体と、第2の物体との接触を検出する接触検出手段と、
前記接触検出手段による第1の物体と第2の物体との接触の検出に基づいて、当該接触した時点に係る接触時情報を前記受信側端末に送信する送信手段と、を備え、
前記受信側端末は、
前記送信手段から送信された前記接触時情報を受信する受信手段と、
撮像手段により逐次撮像され、前記第1の物体と前記第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段と、
前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記接触時情報に対応する前記撮像時情報と関連付けられている画像を特定する画像特定手段と、
を備えたことを特徴とする画像特定システム。
<請求項2>
前記受信側端末は、
前記画像特定手段により特定された画像内で前記第1の物体に対応する第1の物体領域及び前記第2の物体に対応する第2の物体領域をそれぞれ特定する領域特定手段と、
前記領域特定手段により特定された前記第1の物体領域と前記第2の物体領域との相対的な位置関係に基づいて、前記第1の物体と前記第2の物体との接触の状態を特定する状態特定手段とを更に備えることを特徴とする請求項1に記載の画像特定システム。
<請求項3>
前記受信側端末は、
前記状態特定手段による特定結果を報知する報知手段を更に備えることを特徴とする請求項2に記載の画像特定システム。
<請求項4>
前記画像特定手段は、複数の撮像手段により互いに異なる方向から撮像された複数の画像のうち、前記接触時情報に対応する前記撮像時情報と関連付けられている画像を複数特定することを特徴とする請求項1〜3の何れか一項に記載の画像特定システム。
<請求項5>
前記送信側端末は、前記第1の物体である所定の用具に取り付けられ、
前記接触検出手段は、前記第1の物体と前記第2の物体との接触として、前記用具と前記第2の物体との接触を検出し、
前記送信手段は、前記接触検出手段による前記接触の検出に基づいて、前記用具と前記2の物体とが接触した時点に係る接触時情報を前記受信側端末に送信し、
前記取得手段は、前記用具が前記第2の物体を打つ際の複数の画像を前記物体同士が接触する際の複数の画像として各画像が撮像された時点に係る撮像時情報と関連付けて取得することを特徴とする請求項1〜4の何れか一項に記載の画像特定システム。
<請求項6>
前記送信側端末は、更に、
当該端末本体の所定の軸を中心とする回動の角速度又は加速度を検出する検出手段を備え、
前記接触検出手段は、前記検出手段により検出された角速度又は加速度に基づいて、前記用具と前記第2の物体との接触を検出することを特徴とする請求項5に記載の画像特定システム。
<請求項7>
前記検出手段は、前記用具の前記第2の物体を打つ部分を含む一面に対して略平行に延在し、且つ、用具のユーザにより把持される把持部の延在方向に略直交する軸を中心とする当該端末本体の回動の角速度を検出することを特徴とする請求項6に記載の画像特定システム。
<請求項8>
送信側端末と受信側端末とを用いた画像特定方法であって、
前記送信側端末は、
当該送信側端末が備えられた第1の物体と、第2の物体との接触を検出する処理と、
前記第1の物体と前記第2の物体との接触の検出に基づいて、当該接触した時点に係る接触時情報を前記受信側端末に送信する処理と、を行い、
前記受信側端末は、
前記送信側端末から送信された前記接触時情報を受信する処理と、
撮像手段により逐次撮像され、前記第1の物体と前記第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する処理と、
取得された複数の画像の中で、受信された前記接触時情報に対応する前記撮像時情報と関連付けられている画像を特定する処理と、を行うことを特徴とする画像特定方法。
<請求項9>
撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段と、
前記第1の物体と前記第2の物体との接触を検出する接触検出手段と、
前記取得手段により取得された複数の画像の中で、前記接触検出手段により接触が検出された時点に対応する前記撮像時情報と関連付けられている画像を特定する特定手段と、
を備えたことを特徴とする画像特定装置。
<請求項11>
コンピュータを、
撮像手段により逐次撮像され、第1の物体と第2の物体とが接触する際の複数の画像を各画像が撮像された時点に係る撮像時情報と関連付けて取得する取得手段、
前記第1の物体と前記第2との物体の接触を検出する接触検出手段、
前記取得手段により取得された複数の画像の中で、前記接触検出手段により接触が検出された時点に対応する前記撮像時情報と関連付けられている画像を特定する特定手段、
として機能させることを特徴とするプログラム。
100 画像特定システム
1 用具側端末
103 角速度検出部
104 接触検出部
107 無線処理部
107a BTモジュール
2 撮像装置
203 無線処理部
203a BTモジュール
203b 無線LANモジュール
204 撮像部
208 画像処理部
208a 画像取得部
208b 画像特定部
208c 領域特定部
208d 状態特定部
209 表示部
300 テニスラケット
301 グリップ部
B テニスボール

Claims (14)

  1. 別体として構成される送信側端末と受信側端末とを備える画像特定システムであって、
    前記送信側端末は、
    計時処理を行う第一の計時手段と、
    当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する状態判定手段と、
    前記状態判定手段により所定の状態となったと判定されると、当該所定の状態となった
    時点に係る第1の情報を前記第一の計時手段より取得して前記受信側端末に送信する送信手段と、を備え、
    前記受信側端末は、
    計時処理を行う第二の計時手段と、
    前記送信手段から送信された前記第1の情報を受信する受信手段と、
    撮像手段により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
    前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
    を備えたことを特徴とする画像特定システム。
  2. 前記受信側端末は、
    前記画像特定手段により特定された画像内で前記第1の物体に対応する第1の物体領域及び前記第2の物体に対応する第2の物体領域をそれぞれ特定する領域特定手段と、
    前記領域特定手段により特定された前記第1の物体領域と前記第2の物体領域との相対的な位置関係を特定する状態特定手段と
    を更に備えることを特徴とする請求項1に記載の画像特定システム。
  3. 前記受信側端末は、
    前記状態特定手段による特定結果を報知する報知手段を更に備えることを特徴とする請求項2に記載の画像特定システム。
  4. 前記画像特定手段は、複数の撮像手段により互いに異なる方向から撮像された複数の画像のうち、前記第1の情報に対応する前記第2の情報と関連付けられている画像を複数特定することを特徴とする請求項1〜3の何れか一項に記載の画像特定システム。
  5. 前記送信側端末は、前記第1の物体である所定の用具に取り付けられ、
    前記状態判定手段は、前記所定の状態として、前記用具と前記第2の物体とが接触した状態となったか否かを判定し、
    前記送信手段は、前記状態判定手段により前記接触した状態となったと判定されると、前記用具と前記第2の物体とが接触した時点に係る前記第1の情報を前記受信側端末に送信し、
    前記取得手段は、前記用具と前記第2の物体とが接触する際の複数の画像と、各画像が撮像された時点に係る第2の情報とを関連付けて取得することを特徴とする請求項1〜4の何れか一項に記載の画像特定システム。
  6. 前記送信側端末は、更に、
    当該端末本体の所定の軸を中心とする回動の角速度又は加速度を検出する検出手段を備え、
    前記状態判定手段は、前記検出手段により検出された角速度又は加速度に基づいて、前記用具と前記第2の物体とが接触した状態となったか否かを判定することを特徴とする請求項5に記載の画像特定システム。
  7. 前記検出手段は、前記用具の前記第2の物体と接触する部分を含む一面に対して略平行に延在し、且つ、用具のユーザにより把持される把持部の延在方向に略直交する軸を中心とする当該端末本体の回動の角速度を検出することを特徴とする請求項6に記載の画像特定システム。
  8. 前記状態判定手段は、前記所定の状態として、前記第1の物体と前記第2の物体とが接
    触した状態となったか否かを判定する
    ことを特徴とする請求項1〜7の何れか一項に記載の画像特定システム。
  9. 前記第1の情報、及び前記第2の情報は、時間の情報を含む、
    ことを特徴とする請求項1〜8の何れか一項に記載の画像特定システム。
  10. 前記送信手段及び前記受信手段は、無線通信によって接続される、
    ことを特徴とする請求項1〜9の何れか一項に記載の画像特定システム。
  11. 前記送信側端末は、前記状態判定手段による状態判定処理が行われる以前に、前記受信側端末に対して前記第一の計時手段と前記第二の計時手段との時刻を同期させる旨の時刻同期指示を前記送信手段を介して送信し、
    前記受信側端末は、前記時刻同期指示を受信した場合、前記第二の計時手段を前記送信側端末の前記第一の計時手段の時刻と同期させるよう制御する時刻同期手段を備える、
    ことを特徴とする請求項1〜10の何れか一項に記載の画像特定システム。
  12. 撮像部、第一の計時手段を備える送信側端末、及び第二の計時手段を備える受信側端末を用いた画像特定方法であって、
    当該送信側端末が備えられた第1の物体と、第2の物体との位置関係が所定の状態となったか否かを判定する判定ステップと、
    前記所定の状態となったと判定されると、当該所定の状態となった時点に係る第1の情報を前記第一の計時手段から取得し、前記受信側端末に送信する送信ステップと、
    前記送信側端末から送信された前記第1の情報を受信する受信ステップと、
    前記撮像部により逐次撮像された複数の画像と、前記第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得ステップと、
    取得された複数の画像の中で、受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する特定ステップと、を含むことを特徴とする画像特定方法。
  13. 第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段と、
    撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段と、
    前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段と、
    を備えたことを特徴とする画像特定装置。
  14. コンピュータを、
    第1の物体と第2の物体との間の位置関係が所定の状態となった時点に係る第1の情報を、第一の計時手段を備える外部の装置から受信する受信手段、
    撮像手段により逐次撮像された複数の画像と、第二の計時手段により計時される各画像が撮像された時点に係る第2の情報とを関連付けて取得する取得手段、
    前記取得手段により取得された複数の画像の中で、前記受信手段により受信された前記第1の情報に対応する前記第2の情報と関連付けられている画像を特定する画像特定手段、
    として機能させることを特徴とするプログラム。
JP2012207761A 2012-09-21 2012-09-21 画像特定システム、画像特定方法、画像特定装置及びプログラム Active JP6079089B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012207761A JP6079089B2 (ja) 2012-09-21 2012-09-21 画像特定システム、画像特定方法、画像特定装置及びプログラム
US14/030,955 US20140085461A1 (en) 2012-09-21 2013-09-18 Image specification system, image specification apparatus, image specification method and storage medium to specify image of predetermined time from a plurality of images
CN201310434809.0A CN103657030B (zh) 2012-09-21 2013-09-22 图像确定系统、图像确定装置及图像确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012207761A JP6079089B2 (ja) 2012-09-21 2012-09-21 画像特定システム、画像特定方法、画像特定装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2014061119A JP2014061119A (ja) 2014-04-10
JP2014061119A5 JP2014061119A5 (ja) 2015-11-12
JP6079089B2 true JP6079089B2 (ja) 2017-02-15

Family

ID=50296555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012207761A Active JP6079089B2 (ja) 2012-09-21 2012-09-21 画像特定システム、画像特定方法、画像特定装置及びプログラム

Country Status (3)

Country Link
US (1) US20140085461A1 (ja)
JP (1) JP6079089B2 (ja)
CN (1) CN103657030B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5826890B1 (ja) * 2014-05-23 2015-12-02 日本電信電話株式会社 運動可視化装置およびプログラム
JP5999523B2 (ja) * 2014-06-30 2016-09-28 カシオ計算機株式会社 カメラ制御装置、カメラ制御方法及びプログラム
CN105641899B (zh) * 2014-12-31 2017-11-24 深圳泰山体育科技股份有限公司 一种台阶体能测试的方法及系统
JP7133546B2 (ja) * 2017-03-17 2022-09-08 リッキー,ブレット ゲーミングイベントをシミュレーションするための方法および装置
WO2019130755A1 (ja) * 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102091827B1 (ko) * 2018-12-19 2020-03-20 주식회사 고고탁 탁구 라켓의 스윙 정확도 및 교체 판별 장치
CN109966719B (zh) * 2019-03-12 2024-04-16 佛山职业技术学院 一种网球挥拍训练器
CN114225361A (zh) * 2021-12-09 2022-03-25 栾金源 一种网球测速方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4659080A (en) * 1983-06-20 1987-04-21 Stoller Leo D Racquet handle
US4915384A (en) * 1988-07-21 1990-04-10 Bear Robert A Player adaptive sports training system
US5768151A (en) * 1995-02-14 1998-06-16 Sports Simulation, Inc. System for determining the trajectory of an object in a sports simulator
US20020069299A1 (en) * 2000-12-01 2002-06-06 Rosener Douglas K. Method for synchronizing clocks
JP2002177431A (ja) * 2000-12-19 2002-06-25 Nec Corp スポーツ教室システム
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
JP2002248187A (ja) * 2001-02-26 2002-09-03 Moriaki Katsumata ゴルフ等運動練習目標達成システム及びゴルフ練習装置
ES2189685B1 (es) * 2001-12-19 2004-10-16 Industrias El Gamo, S.A. Cazabalines con deteccion electronica de impacto en el blanco y metodo de deteccion empleado.
US20050223799A1 (en) * 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
US20070143130A1 (en) * 2005-12-20 2007-06-21 Xstream Instructions, Ltd. Network of instruction stations
JP4784538B2 (ja) * 2007-03-19 2011-10-05 カシオ計算機株式会社 ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム
JP2009034360A (ja) * 2007-08-02 2009-02-19 Ntt Gp Eco Communication Inc トレーニングシステムおよびトレーニングシステム用装置
JP5515490B2 (ja) * 2009-07-30 2014-06-11 株式会社セガ ゴルフ練習装置
US8465376B2 (en) * 2010-08-26 2013-06-18 Blast Motion, Inc. Wireless golf club shot count system
CN104524755B (zh) * 2010-12-20 2017-07-18 精工爱普生株式会社 摆动分析装置
JP2012147387A (ja) * 2011-01-14 2012-08-02 Konica Minolta Business Technologies Inc 画像処理システム、画像処理装置およびその制御方法、情報処理装置およびその制御方法、ならびに、携帯端末の制御プログラム
EP2592612B1 (en) * 2011-10-14 2018-07-25 Sumitomo Rubber Industries, Ltd. Tennis swing analyzing apparatus, analyzing method, and analyzing program

Also Published As

Publication number Publication date
US20140085461A1 (en) 2014-03-27
JP2014061119A (ja) 2014-04-10
CN103657030B (zh) 2016-01-06
CN103657030A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
JP6079089B2 (ja) 画像特定システム、画像特定方法、画像特定装置及びプログラム
JP5920264B2 (ja) 画像特定装置、画像特定システム、画像特定方法及びプログラム
JP5743221B2 (ja) 無線同期システム、無線装置、センサ装置、無線同期方法、及びプログラム
US10070046B2 (en) Information processing device, recording medium, and information processing method
CN105027556A (zh) 自动图片对准校正
KR102553278B1 (ko) 화상 처리 장치, 해석 시스템, 화상 처리 방법 및 프로그램
US20150002648A1 (en) Measuring Apparatus Capable Of Measuring A Continuous Motional State
JP5892060B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP2017173252A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160088219A1 (en) Image capture apparatus which controls frame rate based on motion of object, information transmission apparatus, image capture control method, information transmission method, and recording medium
JP5993164B2 (ja) 通信機器、通信方法およびプログラム
US20140186005A1 (en) Display control apparatus that displays image corresponding to predetermined motion
JP6249754B2 (ja) 撮像装置、撮像システム、通信機器、撮像方法、及び撮像プログラム
JPWO2017098586A1 (ja) 動画撮影指示端末、動画撮影システム、動画撮影指示方法、およびプログラム
JP5533241B2 (ja) 動画再生装置、動画再生方法及びプログラム
JP6701677B2 (ja) 撮像装置、撮像装置の画像評価方法及び撮像装置の画像評価プログラム
KR20140115974A (ko) 촬영 장치, 촬영 방법 및 프로그램 기록 매체
JP6787072B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
JP6237201B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
JP6354443B2 (ja) 制御装置、制御システム、制御方法及びプログラム
JP2017199972A (ja) 端末装置、情報取得システム、情報取得方法およびプログラム
KR20160057971A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP7188422B2 (ja) 画像処理装置、解析システム、画像処理方法及びプログラム
JP5942844B2 (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
JP6246296B2 (ja) 通信機器、通信方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170102

R150 Certificate of patent or registration of utility model

Ref document number: 6079089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150