JP7284905B2

JP7284905B2 - Terminal device, imaging system and computer program

Info

Publication number: JP7284905B2
Application number: JP2018241242A
Authority: JP
Inventors: 純也堤; 剛志伊藤
Original assignee: Why How Do Co
Current assignee: Why How Do Co
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2023-06-01
Anticipated expiration: 2038-12-25
Also published as: JP2020099592A

Description

本開示は、端末装置、撮像システムおよびコンピュータプログラムに関する。 The present disclosure relates to terminal devices, imaging systems, and computer programs.

特許文献１には、センサー部を内蔵したボールが記載されている。このボール内のセンサー部は、ボールの動きの算出に供するデータを取得し、端末装置に送る。 Patent Literature 1 describes a ball with a built-in sensor section. A sensor unit in the ball obtains data for use in calculating the movement of the ball and sends the data to the terminal device.

国際公開２０１７／１３１１３３号公報International Publication 2017/131133

特許文献１の技術では、ボールの動きを確認することはできるものの、ボールを投げるプレイヤーの動作を確認することは困難である。 With the technique disclosed in Patent Document 1, it is possible to check the movement of the ball, but it is difficult to check the movement of the player throwing the ball.

本開示の一態様にかかる端末装置（本端末装置）は、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信するセンサーデータ受信部と、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領する撮像データ受領部と、１つの射出動作に関する前記撮像データおよび前記センサーデータを取得して、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成するとともに、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成し、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶する制御部と、を備える。 A terminal device (this terminal device) according to an aspect of the present disclosure includes a sensor unit for acquiring sensor data, which is data relating to movement of a ball, from a ball ejected by a player. a receiving unit, an imaging data receiving unit that receives imaging data from a camera that captures the shooting motion of the ball by the player, and obtains the imaging data and the sensor data related to one shooting motion, and obtains the imaging data based on the imaging data. generating a player image for displaying the shooting motion of the player using the sensor data, generating ball information for displaying the movement of the ball based on the sensor data, and associating the player image and the ball information with each other; and a control unit for storing in the storage unit.

本端末装置は、プレイヤーによって射出（投げる、蹴る、あるいは打つなど）されるボールとともに用いられる。このボールは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えている。ボールの動きとは、たとえば、ボールの速度、回転数、回転軸の傾きおよび回転の向きである。
本端末装置では、センサーデータ受信部が、プレイヤーによって射出されたボールからセンサーデータを受信するとともに、プレイヤーの射出動作を撮像しているカメラから、撮像データを受領する。 The terminal is used with a ball that is shot (thrown, kicked, hit, etc.) by a player. This ball has a sensor section for acquiring sensor data, which is data relating to the movement of the ball. The movement of the ball is, for example, the speed of the ball, the number of revolutions, the inclination of the axis of rotation, and the direction of rotation.
In this terminal device, the sensor data receiving unit receives sensor data from the ball shot by the player, and also receives imaging data from the camera that captures the shooting motion of the player.

そして、本端末装置では、制御部が、プレイヤーによる１つの射出動作に関する撮像データとセンサーデータとを取得する。そして、制御部は、撮像データに基づいて、プレイヤーの射出動作を表示するためのプレイヤー画像を生成する。さらに、制御部は、センサーデータに基づいて、この射出動作において射出されたボールの動きを表示するためのボール情報を生成する。さらに、制御部は、生成したプレイヤー画像とボール情報とを、互いに関連づけて記憶部に記憶する。 Then, in the terminal device, the control unit acquires imaging data and sensor data regarding one shooting action by the player. Then, the control unit generates a player image for displaying the player's shooting motion based on the imaging data. Furthermore, the control unit generates ball information for displaying the movement of the ball ejected in this ejection operation, based on the sensor data. Furthermore, the control unit associates the generated player image and the ball information with each other and stores them in the storage unit.

このように、本端末装置では、１つの射出動作を表示するためのプレイヤー画像と、この射出動作によって射出されたボールの動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、本端末装置では、複数の射出動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを射出動作ごとに生成し、互いに同期させて記憶することができる。 In this manner, the terminal device generates a player image for displaying one shooting motion and ball information for displaying the movement of the ball shot by this shooting motion, and stores them in association with each other. can be done. That is, in this terminal device, even when a plurality of shooting motions are successively performed, the player image and the ball information can be generated for each shooting motion, synchronized with each other, and stored.

したがって、たとえば、制御部が、プレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、本端末装置のユーザ（プレイヤーあるいはコーチなど）は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。 Therefore, for example, the control unit displays the player image and the ball information alternately or simultaneously on the display screen, so that the user of the terminal device (player, coach, etc.) can understand the player's shooting action and the ball movement. It is possible to check the correspondence between This makes it easier for the user, for example, to try to study the shooting motion to produce the ideal ball motion.

なお、プレイヤー画像およびボール情報を関連づけて記憶するための記憶部は、本端末装置に備えられていてもよいし、本端末装置と通信可能な外部の記憶部、たとえばクラウドサーバーに備えられていてもよい。プレイヤー画像およびボール情報をクラウドサーバーに記憶する場合、本端末装置から離れた場所にいる人も、画像を見ることができる。このため、たとえば、ユーザは、外部の専門家に画像を見てもらい、アドバイスを受けることが容易となる。 The storage unit for storing the player image and the ball information in association with each other may be provided in the terminal device, or may be provided in an external storage unit capable of communicating with the terminal device, such as a cloud server. good too. When the player image and ball information are stored in the cloud server, even a person at a distance from the terminal device can view the image. Therefore, for example, the user can easily have an external expert look at the image and receive advice.

なお、カメラは、本端末装置に備えられていてもよいし、本端末装置とは別の装置であってもよい。 Note that the camera may be provided in the terminal device, or may be a device separate from the terminal device.

また、ボール情報およびプレイヤー画像を表示するための表示画面は、本端末装置に備えられていてもよい。本端末装置が小型の携帯端末である場合には、制御部は、ボールの動きの再現画像および再生画像のいずれかを表示画面に表示してもよい。 Also, the display screen for displaying the ball information and the player image may be provided in the terminal device. If the terminal device is a small portable terminal, the control unit may display either the reproduced image or the reproduced image of the movement of the ball on the display screen.

また、互いに異なる位置からプレイヤーを撮像する複数のカメラが備えられていてもよい。この場合、撮像データ受領部は、複数のカメラから、１つの射出動作に関する複数の撮像データを受領する。そして、制御部は、複数の撮像データに応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけて記憶部に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボールの動きに対応するプレイヤーの射出動作を、より詳細に観察することができる。 Also, a plurality of cameras that capture images of the player from mutually different positions may be provided. In this case, the imaging data receiving unit receives a plurality of imaging data regarding one ejection operation from a plurality of cameras. Then, the control unit generates a plurality of player images corresponding to the plurality of image data, associates each player image with the ball information, and stores the player images in the storage unit.
With this configuration, it is possible to acquire a plurality of player images corresponding to the ball information, so that the player's shooting motion corresponding to the movement of the ball can be observed in more detail.

また、制御部は、カメラによる撮像の開始および停止を制御するように構成されていてもよい。
これに関し、本端末装置は、ユーザからの撮像開始の指示を受け付ける受付部をさらに備えていてもよい。この場合、制御部は、ユーザからの撮像開始の指示に応じて、カメラによる撮像を開始することができる。この構成では、プレイヤーの動きを把握しているユーザが撮像の開始タイミングを決めることができるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。 Also, the control unit may be configured to control start and stop of imaging by the camera.
In this regard, the terminal device may further include a reception unit that receives an instruction to start imaging from the user. In this case, the control unit can start imaging by the camera in response to an instruction to start imaging from the user. With this configuration, the user who knows the movement of the player can determine the start timing of imaging, so that it becomes easy to start imaging with the camera in time with the start of the ejection action.

また、制御部は、ボールと本端末装置とをペアリングするためのペアリング部をさらに備えてもよい。そして、ペアリング部によって本端末装置とボールとがペアリングしたことに応じて、カメラによる撮像を開始してもよい。これに関し、たとえば、ボールは、プレイヤーによってボールが投げ上げられたことに応じてペアリング可能となるように構成されていてもよい。そして、ペアリング部は、ボールがペアリング可能となったときに、ボールと本端末装置とのペアリングを試みるように構成されていてもよい。
この場合、ボールを扱うプレイヤーが、撮像の開始タイミングを決められるので、射出動作の開始に合わせてカメラによる撮像を開始することが容易となる。 Also, the control section may further include a pairing section for pairing the ball and the terminal device. Then, when the terminal device and the ball are paired by the pairing unit, the camera may start capturing an image. In this regard, for example, the ball may be configured to be pairable in response to the ball being tossed by a player. The pairing unit may be configured to attempt pairing between the ball and the terminal device when the ball becomes pairable.
In this case, the player who handles the ball can decide when to start shooting, so it becomes easy for the camera to start shooting in time with the start of the shooting action.

また、本端末装置は、ボールから送られるセンサーデータに基づいて、射出されたボールが停止したことを検知する停止検出部をさらに備えてもよい。この場合、制御部は、ボールの停止の検出に応じて、前記カメラによる撮像を停止するように構成されていてもよい。 The terminal device may further include a stop detection unit that detects that the shot ball has stopped based on sensor data sent from the ball. In this case, the control unit may be configured to stop imaging by the camera in response to detection of stoppage of the ball.

ボールの停止後であれば、プレイヤーによる射出動作は完了していると考えられる。したがって、ボールの停止に応じてカメラによる撮像を停止することにより、無駄な撮像を抑制することが容易となる。 After the ball has stopped, the player's shooting motion is considered complete. Therefore, by stopping the imaging by the camera when the ball stops, it becomes easy to suppress unnecessary imaging.

また、この場合、制御部は、取得した撮像データにおけるボールの停止よりも所定時間前からボールの停止までの部分を用いて、プレイヤー画像を生成してもよい。 Further, in this case, the control unit may generate the player image using a portion of the captured image data from a predetermined time before the ball stops until the ball stops.

たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、ユーザによる撮像開始の指示あるいはペアリング等によって、カメラによる撮像が開始された後、プレイヤーが、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、プレイヤーが、ボールの握りを調整したり、マウンドをならしたり、投球のための集中力を高めたりすることなどにより、一般的に発生する現象である。 For example, if the ball is a baseball and the player is a pitcher, after the user instructs to start imaging or pairing, the player waits for several seconds after imaging by the camera is started, and the player starts pitching. Sometimes I don't. This is a phenomenon that generally occurs, for example, when a player adjusts the grip of the ball, smoothes the mound, increases concentration for pitching, and the like.

このため、撮像の開始からボールの停止の所定時間前までの部分を撮像データから除去することにより、待機状態にあるプレイヤーの画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。 Therefore, it is possible to prevent the image of the player in the waiting state from being included in the player image by removing the portion from the start of imaging to the predetermined time before the ball stops from the imaged data. As a result, it is possible to prevent the size of the player image from becoming unnecessarily large.

この所定時間は、ボールの種類（ボールを用いる競技の種類）、および、プレイヤーの種類によって、適切に設定されることが好ましい。たとえば、ボールが野球ボールであり、プレイヤーが投手である場合、所定時間は、およそ２～３秒間（たとえば２．５秒）とされる。 This predetermined time is preferably set appropriately according to the type of ball (type of game using a ball) and the type of player. For example, if the ball is a baseball and the player is a pitcher, the predetermined time is approximately 2-3 seconds (eg, 2.5 seconds).

また、本端末装置と、プレイヤーにおけるボールの射出動作を撮像する上記のカメラとを組み合わせることにより、１つの投球動作に関するプレイヤー画像とボール情報とを生成し、これらを互いに関連づけて記憶することの可能な撮像システムを構築することができる。 Also, by combining this terminal device with the above-mentioned camera that captures the ball shooting motion of the player, it is possible to generate a player image and ball information related to one pitching motion, and store them in association with each other. It is possible to construct an imaging system that

さらに、本開示の一実施形態にかかるコンピュータプログラムは、ボールの動きに関するデータであるセンサーデータを取得するためのセンサー部を備えプレイヤーによって射出されたボールから、前記センサーデータを受信すること、前記プレイヤーにおける前記ボールの射出動作を撮像するカメラから撮像データを受領すること、１つの射出動作に関する前記撮像データおよび前記センサーデータを取得すること、前記撮像データに基づいて前記プレイヤーの射出動作を表示するためのプレイヤー画像を生成すること、前記センサーデータに基づいて前記ボールの動きを表示するためのボール情報を生成すること、および、前記プレイヤー画像と前記ボール情報とを互いに関連づけて記憶部に記憶すること、を、前記センサー部および前記カメラと通信可能なコンピュータに実施させる。 Further, a computer program according to an embodiment of the present disclosure is provided with a sensor unit for acquiring sensor data that is data relating to movement of a ball, and receives the sensor data from a ball ejected by a player. receiving imaging data from a camera that captures the ball shooting motion in the game; obtaining the imaging data and the sensor data for one shooting motion; and displaying the player's shooting motion based on the imaging data. generating a player image of the player; generating ball information for displaying the movement of the ball based on the sensor data; and storing the player image and the ball information in a storage unit in association with each other. are performed by a computer communicable with the sensor unit and the camera.

本開示の一態様によれば、１つの射出動作に関するプレイヤー画像とボール情報とを、交互にあるいは同時に表示画面に表示することによって、ユーザ（プレイヤーあるいはコーチなど）は、プレイヤーの射出動作とボールの動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボールの動きを生み出すための射出動作の研究を試みることが容易となる。 According to one aspect of the present disclosure, by alternately or simultaneously displaying the player image and the ball information regarding one shooting motion on the display screen, the user (player, coach, etc.) can see the shooting motion of the player and the ball information. It is possible to confirm the correspondence with the movement. This makes it easier for the user, for example, to try to study the shooting motion to produce the ideal ball motion.

図１は、一実施形態にかかる撮像システムの構成例を示す説明図である。FIG. 1 is an explanatory diagram of a configuration example of an imaging system according to an embodiment. 図２は、ボールの構成例を示すブロック図である。FIG. 2 is a block diagram showing a configuration example of a ball. 図３は、カメラの構成例を示すブロック図である。FIG. 3 is a block diagram showing a configuration example of a camera. 図４は、携帯端末の構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of a mobile terminal. 図５は、携帯端末の制御部の動作例を示すフローチャートである。FIG. 5 is a flow chart showing an operation example of the control unit of the mobile terminal. 図６は、ボール情報の一例を示す説明図である。FIG. 6 is an explanatory diagram showing an example of ball information. 図７は、プレイヤー画像の一例を示す説明図である。FIG. 7 is an explanatory diagram showing an example of a player image. 図８は、撮像システムの他の例を示す説明図である。FIG. 8 is an explanatory diagram showing another example of the imaging system.

（システム全体の構成例）
本開示における第１の実施形態を、図面に基づいて説明する。図１に示すように、本実施形態にかかる撮像システム１は、硬式の野球ボールであるボール１０を用いた投球練習に関するシステムであり、主に、ピッチャー２の投げる野球ボールの動きと、ピッチャー２の投球動作とを表示するために用いられる。 (Example of overall system configuration)
A first embodiment of the present disclosure will be described based on the drawings. As shown in FIG. 1, an imaging system 1 according to the present embodiment is a system related to pitching practice using a ball 10 which is a hard baseball, and mainly focuses on the movement of the baseball thrown by the pitcher 2 and the motion of the pitcher 2. It is used to display the pitching motion of

図１に示すように、撮像システム１は、ボール１０、ピッチャー２を撮像するためのカメラ１５、および、携帯端末（端末装置）２０含んでいる。 As shown in FIG. 1 , the imaging system 1 includes a ball 10 , a camera 15 for imaging the pitcher 2 , and a mobile terminal (terminal device) 20 .

野球における投球練習では、ピッチャー２は、マウンド３から、キャッチャー４に向けてボール１０を投げる（投球５）。キャッチャー４は、ボール１０をピッチャー２に返す（返球６）。そして、撮像システム１では、ピッチャー２の投球５におけるボール１０の動きに関するデータであるセンサーデータ７が、ボール１０に内蔵されたセンサー部（後述）により取得される。なお、ボール１０の動きとは、たとえば、ボール１０の速度（球速）、回転数、回転軸の傾き（回転の傾き）、回転方向および球種である。 In baseball pitching practice, pitcher 2 throws ball 10 from mound 3 toward catcher 4 (pitch 5). The catcher 4 returns the ball 10 to the pitcher 2 (returned ball 6). In the imaging system 1 , sensor data 7 , which is data relating to the movement of the ball 10 in the pitch 5 of the pitcher 2 , is acquired by a sensor unit (described later) built into the ball 10 . The movement of the ball 10 is, for example, the velocity (ball speed), the number of revolutions, the inclination of the axis of rotation (inclination of rotation), the direction of rotation, and the type of pitch of the ball 10 .

また、撮像システム１では、ピッチャー２の投球動作が、カメラ１５により撮像されて、撮像データ８が生成される。これらのデータが、携帯端末２０によって処理される。 Further, in the imaging system 1, the pitching motion of the pitcher 2 is imaged by the camera 15, and imaging data 8 is generated. These data are processed by the mobile terminal 20 .

以下に、撮像システム１の各構成要素について説明する。
（ボールの構成例）
図２に示すように、ボール１０は、コア１１および外皮１２を含む。コア１１は、ゴム製、コルク製および／またはエストラマー樹脂製の中心部であり、その内部にハードウェア５０が搭載されている。コア１１の周囲には、通常の野球ボールと同様に、たとえば糸巻部が設けられている。糸巻部は、たとえば、コア１１の周囲に巻回された毛糸および綿糸を含む。外皮１２は、たとえば、縫い糸で縫い合わされた複数の牛革部分を含んでおり、糸巻部を覆っている。 Each component of the imaging system 1 will be described below.
(Ball configuration example)
As shown in FIG. 2, ball 10 includes core 11 and skin 12 . Core 11 is a central part made of rubber, cork and/or elastomer, in which hardware 50 is mounted. Around the core 11, for example, a bobbin is provided like a normal baseball. The wound portion includes, for example, wool yarn and cotton yarn wound around core 11 . The outer skin 12 includes, for example, a plurality of cowhide sections sewn together with sewing thread to cover the bobbin.

なお、ボール１０では、通常の野球ボールとほぼ同様の全体重量およびバランスをボール１０が有するように、コア１１の内部にハードウェア５０が配置されている。また、上述のように、ボール１０は、通常の野球ボールと同様の糸巻部、外皮１２および縫い糸を備えている。このため、ピッチャー２は、ボール１０を、通常の野球ボールと同様の感覚で取り扱う（投げる、および捕る）ことが可能である。 It should be noted that the hardware 50 is arranged inside the core 11 so that the ball 10 has an overall weight and balance substantially similar to those of a regular baseball. Also, as described above, the ball 10 has a spool portion, an outer skin 12 and sewing threads similar to those of a normal baseball. Therefore, the pitcher 2 can handle (throw and catch) the ball 10 with the same feeling as a normal baseball.

さらに、ボール１０では、ハードウェア５０が、中心部のコア１１に収納されている。これにより、ボール１０では、ハードウェア５０を含んでいることによる芯ずれを抑制することができる。ハードウェア５０は、たとえば、樹脂製のカプセルに内蔵された状態で、コア１１内に配置されていてもよい。あるいは、ハードウェア５０は、モールド樹脂により、コア１１と一体化されていてもよい。 Further, in ball 10, hardware 50 is housed in core 11 at the center. As a result, in the ball 10, misalignment caused by including the hardware 50 can be suppressed. The hardware 50 may be arranged inside the core 11 in a state of being contained in a capsule made of resin, for example. Alternatively, the hardware 50 may be integrated with the core 11 with molding resin.

ハードウェア５０は、センサー群５１、バッテリー５２、電源スイッチ（ＳＷ）５３、マイコン５００、およびメモリ５６を含む。センサー群５１は、ボール１０の動きに関するデータを取得するために用いられる。センサー群５１は、起動用加速度センサー５１ａ、三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃ、および三軸地磁気センサー５１ｄを含む。 Hardware 50 includes sensor group 51 , battery 52 , power switch (SW) 53 , microcomputer 500 , and memory 56 . The sensor group 51 is used to acquire data regarding the motion of the ball 10 . The sensor group 51 includes a starting acceleration sensor 51a, a triaxial acceleration sensor 51b, a triaxial gyro sensor 51c, and a triaxial geomagnetic sensor 51d.

センサー群５１の起動用加速度センサー５１ａと電源スイッチ５３とは、起動回路５７を構成している。また、三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃ、三軸地磁気センサー５１ｄ、マイコン５００およびメモリ５６は、メインシステム５８を構成している。 The starting acceleration sensor 51 a of the sensor group 51 and the power switch 53 constitute a starting circuit 57 . The three-axis acceleration sensor 51b, the three-axis gyro sensor 51c, the three-axis geomagnetic sensor 51d, the microcomputer 500, and the memory 56 constitute a main system 58. FIG.

バッテリー５２は、ハードウェア５０の電源である。バッテリー５２は、使い捨てタイプの一次電池（たとえばコイン電池）であってもよいし、無線充電されることの可能な二次電池であってもよい。 A battery 52 is a power source for the hardware 50 . The battery 52 may be a disposable primary battery (for example, a coin battery) or a secondary battery that can be wirelessly charged.

起動用加速度センサー５１ａは、たとえば、常時、バッテリー５２から電力供給を受けて、稼動した状態に維持されていてもよい。起動用加速度センサー５１ａは、ボール１０の起動用の動きを検出するように構成されている。ボール１０の起動用の動きは、たとえば自由落下である。この場合、ピッチャー２は、ボール１０を起動するために、たとえば、ボール１０を、２メートル程度投げ上げて自由落下させる。起動用加速度センサー５１ａは、この動きを検出すると、電源スイッチ５３をオンとする。これにより、メインシステム５８に、バッテリー５２から電力が供給される。 The startup acceleration sensor 51a may, for example, always receive power from the battery 52 and be maintained in an operating state. The activation acceleration sensor 51a is configured to detect the motion of the ball 10 for activation. The activating motion of ball 10 is, for example, free fall. In this case, in order to activate the ball 10, the pitcher 2 throws the ball 10 up about 2 meters and allows it to fall freely. The activation acceleration sensor 51a turns on the power switch 53 when detecting this movement. Thereby, power is supplied from the battery 52 to the main system 58 .

センサー群５１の三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃおよび三軸地磁気センサー５１ｄは、それぞれ、ボール１０に関する加速度、角速度および地磁気を測定する。 A three-axis acceleration sensor 51b, a three-axis gyro sensor 51c, and a three-axis geomagnetic sensor 51d of the sensor group 51 measure acceleration, angular velocity, and geomagnetism of the ball 10, respectively.

マイコン５００は、短距離無線通信ユニット（ＢＬＥ）５４および測定ユニット５２０を含む。短距離無線通信ユニット５４は、たとえば、本実施形態では、ＢＬＥ（Bluetooth（登録商標） Low Energy）を用いた通信ユニットである。短距離無線通信ユニット５４は、携帯端末２０の短距離無線通信ユニット（後述）とペアリングし、ボール１０と携帯端末２０との間の通信を確立するために用いられる。 Microcomputer 500 includes short range wireless communication unit (BLE) 54 and measurement unit 520 . The short-range wireless communication unit 54 is, for example, a communication unit using BLE (Bluetooth (registered trademark) Low Energy) in this embodiment. The short-range wireless communication unit 54 is used to pair with a short-range wireless communication unit (described below) of the mobile terminal 20 to establish communication between the ball 10 and the mobile terminal 20 .

測定ユニット５２０は、センサー群５１の三軸加速度センサー５１ｂ、三軸ジャイロセンサー５１ｃおよび三軸地磁気センサー５１ｄによる測定によって得られる加速度値、角速度値および地磁気値を、たとえば、数十～数百Ｈｚの高周波数でサンプリングする。これにより、測定ユニット５２０は、測定データ５９としての加速度データ、角速度データ（ジャイロデータ）および地磁気データを取得する。このように、センサー５１ｂ～５１ｄおよび測定ユニット５２０は、ボール１０の動きに関するデータであるセンサーデータ７を取得するためのセンサー部として機能する。
測定データ５９は、ボール１０の動きを算出する元となるデータ（生データ）である。測定ユニット５２０は、取得された測定データ５９を、メモリ５６に格納する。さらに、測定ユニット５２０は、測定データ５９を、ボール１０の動きに関する情報であるセンサーデータ７として、短距離無線通信ユニット５４を介して携帯端末２０に送信（転送）する。本実施形態では、測定ユニット５２０は、センサー５１ｂ～５１ｄから測定データ５９取得しながら、これをセンサーデータ７として携帯端末２０に逐次的に転送する。 The measurement unit 520 measures acceleration values, angular velocity values, and geomagnetic values obtained by measurements by the triaxial acceleration sensor 51b, the triaxial gyro sensor 51c, and the triaxial geomagnetic sensor 51d of the sensor group 51, for example, at several tens to several hundred Hz. Sample at high frequencies. Thereby, the measurement unit 520 acquires acceleration data, angular velocity data (gyro data), and geomagnetism data as the measurement data 59 . In this way, the sensors 51b to 51d and the measurement unit 520 function as a sensor section for acquiring the sensor data 7, which are data regarding the movement of the ball 10. FIG.
The measurement data 59 is data (raw data) from which the movement of the ball 10 is calculated. Measurement unit 520 stores acquired measurement data 59 in memory 56 . Furthermore, the measurement unit 520 transmits (transfers) the measurement data 59 to the mobile terminal 20 via the short-range wireless communication unit 54 as sensor data 7 that is information about the movement of the ball 10 . In this embodiment, the measurement unit 520 sequentially transfers the measurement data 59 to the mobile terminal 20 as the sensor data 7 while acquiring the measurement data 59 from the sensors 51b to 51d.

（カメラの構成例）
図１に示すように、カメラ１５は、ピッチャー２の投球動作を正面から撮像するために、三脚１５ａによって、キャッチャー４の背後に据えつけられている。図３に示すように、カメラ１５は、撮像部１５１、短距離無線通信ユニット（ＢＬＥ）１５３およびメモリ１５５を備えている。 (Camera configuration example)
As shown in FIG. 1, the camera 15 is mounted behind the catcher 4 by means of a tripod 15a in order to image the pitching motion of the pitcher 2 from the front. As shown in FIG. 3 , the camera 15 includes an imaging section 151 , a short-range wireless communication unit (BLE) 153 and a memory 155 .

短距離無線通信ユニット１５３は、携帯端末２０の短距離無線通信ユニット（後述）とペアリングし、カメラ１５と携帯端末２０との間の通信を確立するために用いられる。 The short-range wireless communication unit 153 is used for pairing with a short-range wireless communication unit (described later) of the mobile terminal 20 to establish communication between the camera 15 and the mobile terminal 20 .

撮像部１５１は、レンズを含む光学系および画像処理装置などを備えたデジタルカメラであり、動画を撮像することが可能である。撮像部１５１は、ピッチャー２の投球動作を撮像することによって、ピッチャー２の投球動作の動画に応じた撮像データ８（図１参照）を生成する。撮像部１５１は、生成した撮像データ８を、メモリ１５５に記憶する。また、撮像部１５１は、撮像データ８を、短距離無線通信ユニット１５３を介して携帯端末２０に送信（転送）する。本実施形態では、撮像部１５１は、撮像データ８を生成しながら、携帯端末２０に逐次的に転送する。 The imaging unit 151 is a digital camera that includes an optical system including a lens, an image processing device, and the like, and is capable of capturing moving images. The imaging unit 151 generates imaging data 8 (see FIG. 1) corresponding to the moving image of the pitching motion of the pitcher 2 by imaging the pitching motion of the pitcher 2 . The imaging unit 151 stores the generated imaging data 8 in the memory 155 . The imaging unit 151 also transmits (transfers) the imaging data 8 to the mobile terminal 20 via the short-range wireless communication unit 153 . In this embodiment, the imaging unit 151 sequentially transfers the imaging data 8 to the mobile terminal 20 while generating the imaging data 8 .

（携帯端末２０の構成例）
図４に示すように、携帯端末２０は、たとえばスマートホンあるいはタブレット型コンピュータであり、通常、ピッチャー２あるいはキャッチャー４の近傍に備えられる。携帯端末２０は、短距離無線通信ユニット（ＢＬＥ）２１、データ通信ユニット２２、ＧＰＳ２３、電子コンパス２４、加速度センサー２５、プロセッサ２６、メモリ２７、および、入出力ユニット（ディスプレイ２８ａ、タッチセンサー２８ｂ、端末カメラ２８ｃおよび音声入出力ユニット２９）を含む。 (Configuration example of mobile terminal 20)
As shown in FIG. 4, the mobile terminal 20 is, for example, a smart phone or a tablet computer, and is usually provided near the pitcher 2 or catcher 4 . The mobile terminal 20 includes a short-range wireless communication unit (BLE) 21, a data communication unit 22, a GPS 23, an electronic compass 24, an acceleration sensor 25, a processor 26, a memory 27, and an input/output unit (display 28a, touch sensor 28b, terminal It includes a camera 28c and an audio input/output unit 29).

ディスプレイ２８ａは、携帯端末２０のユーザ（ピッチャー２、キャッチャー４あるいはコーチ（図示せず）など）に、画像等を表示するために用いられる。タッチセンサー２８ｂは、ユーザからの指示を受け付ける受付部として機能する。 The display 28a is used to display images and the like to the user of the mobile terminal 20 (the pitcher 2, catcher 4, coach (not shown), etc.). The touch sensor 28b functions as a reception unit that receives instructions from the user.

短距離無線通信ユニット２１は、たとえば、本実施形態では、ＢＬＥ（Bluetooth（登録商標） Low Energy）を用いた通信ユニットである。短距離無線通信ユニット２１は、ボール１０の短距離無線通信ユニット５４とペアリングし、ボール１０と携帯端末２０との通信を確立するために用いられる。 The short-range wireless communication unit 21 is, for example, a communication unit using BLE (Bluetooth (registered trademark) Low Energy) in this embodiment. The short-range wireless communication unit 21 is used to pair with the short-range wireless communication unit 54 of the ball 10 and establish communication between the ball 10 and the mobile terminal 20 .

データ通信ユニット２２は、無線ＬＡＮおよび／または携帯電話通信網を介して、外部機器（携帯端末２０に接続されているサーバーなど）との間で、データ（たとえば、ボール１０から送信されたセンサーデータ７）を送受信する。ＧＰＳ２３は、携帯端末２０の位置（緯度および経度）を測位する。電子コンパス２４は、携帯端末２０の向き（方位）を判別するために用いられる。メモリ２７は、携帯端末２０の記憶部である。メモリ２７は、たとえば、プロセッサ２６によって取得された各種のデータを記憶する。また、メモリ２７は、たとえばコンピュータネットワークを介してダウンロードされた、アプリケーションプログラム（アプリ、プログラムおよび／またはプログラム製品）６０を格納している。 The data communication unit 22 exchanges data (for example, sensor data transmitted from the ball 10) with an external device (such as a server connected to the mobile terminal 20) via a wireless LAN and/or mobile phone communication network. 7) is sent and received. GPS 23 measures the position (latitude and longitude) of mobile terminal 20 . The electronic compass 24 is used to determine the orientation (orientation) of the mobile terminal 20 . A memory 27 is a storage unit of the mobile terminal 20 . The memory 27 stores various data acquired by the processor 26, for example. Memory 27 also stores application programs (apps, programs and/or program products) 60, for example downloaded via a computer network.

プロセッサ２６は、コンピュータプログラムとしてのアプリケーションプログラム６０（アプリケーションプログラム６０に含まれる命令）にしたがって、ペアリングユニット６１、データ取得ユニット６２、および、制御部６３として機能する。アプリケーションプログラム６０は、メモリ２７のような、プロセッサ２６（コンピュータ）によって読み取り可能な非一過性の記録媒体に記録されることができる。 The processor 26 functions as a pairing unit 61, a data acquisition unit 62, and a control section 63 according to an application program 60 (instructions included in the application program 60) as a computer program. The application program 60 can be recorded in a non-transitory recording medium, such as the memory 27, readable by the processor 26 (computer).

ペアリングユニット６１は、ボール１０（短距離無線通信ユニット５４）およびカメラ１５（短距離無線通信ユニット１５３）と、携帯端末２０（短距離無線通信ユニット２１）とをペアリングする。 The pairing unit 61 pairs the ball 10 (short-range wireless communication unit 54) and camera 15 (short-range wireless communication unit 153) with the mobile terminal 20 (short-range wireless communication unit 21).

データ取得ユニット６２は、携帯端末２０とペアリングされたボール１０から転送されるセンサーデータ７を取得する。さらに、データ取得ユニット６２は、携帯端末２０とペアリングされたカメラ１５から転送される撮像データ８を取得する。すなわち、本実施形態では、データ取得ユニット６２は、センサーデータ受信部および撮像データ８受領部として機能する。 The data acquisition unit 62 acquires sensor data 7 transferred from the ball 10 paired with the mobile terminal 20 . Furthermore, the data acquisition unit 62 acquires the imaging data 8 transferred from the camera 15 paired with the mobile terminal 20 . That is, in the present embodiment, the data acquisition unit 62 functions as a sensor data receiver and an imaging data 8 receiver.

制御部６３は、データ取得ユニット６２を介して、１つの投球動作に関するセンサーデータ７および撮像データ８を取得する。
そして、制御部６３は、センサー５１ｂ～５１ｄによって得られた測定データ５９であるセンサーデータ７を解析することによって、ボール１０の動きを示す解析データを取得する。上述したように、ボール１０の動きは、たとえば、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種である。したがって、解析データは、たとえば、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種を示すデータである。 The control section 63 acquires the sensor data 7 and the imaging data 8 regarding one pitching motion via the data acquisition unit 62 .
Then, the control unit 63 obtains analysis data indicating the movement of the ball 10 by analyzing the sensor data 7, which is the measurement data 59 obtained by the sensors 51b to 51d. As described above, the movement of the ball 10 is, for example, the speed of the ball 10, the number of revolutions, the inclination of the axis of rotation, the direction of rotation, and the type of pitch. Therefore, the analysis data is data indicating, for example, the speed of the ball 10, the number of revolutions, the inclination of the axis of rotation, the direction of rotation, and the type of pitch.

より詳細には、制御部６３は、たとえば、ボール１０の移動距離を移動時間で割ることによって、ボール１０の球速を得る。ボール１０の移動距離（たとえば１８．４４メートル）は、たとえば、あらかじめメモリ２７に記憶されている。ボール１０の移動時間は、ボール１０がリリースされてからキャッチされるまでの時間（サンプリング数）に対応する。ボール１０がリリースされた時刻（タイミング）は、たとえば、ボール１０に加えられる正の加速度が消失した時刻である。ボール１０がキャッチされた時刻は、たとえば、ボール１０に大きな負の加速度（減速度）が加えられた時刻である。制御部６３は、これらの時刻を、測定データ５９の一部である加速度データから取得することができる。 More specifically, control unit 63 obtains the velocity of ball 10 by, for example, dividing the movement distance of ball 10 by the movement time. The movement distance of ball 10 (for example, 18.44 meters) is stored in advance in memory 27, for example. The travel time of the ball 10 corresponds to the time (sampling number) from when the ball 10 is released to when it is caught. The time (timing) at which ball 10 is released is, for example, the time at which the positive acceleration applied to ball 10 disappears. The time when the ball 10 is caught is, for example, the time when a large negative acceleration (deceleration) is applied to the ball 10 . The control unit 63 can acquire these times from acceleration data that is part of the measurement data 59 .

また、制御部６３は、単位時間当たりの回転数を、移動時間におけるボール１０の回転の総数から求めることができる。具体的には、制御部６３は、地磁気データの振幅数に基づいて、ボール１０の回転の総数を算出することができる。また、制御部６３は、地磁気データに基づいてボール１０の地磁気伏角を求め、地磁気伏角に基づいてボール１０の回転軸の傾きおよび回転方向を取得することもできる。
なお、測定データ５９からボール１０の動きを求めるためには、特許文献１に記載の技術等の公知の技術を用いることができる。 Also, the control unit 63 can obtain the number of rotations per unit time from the total number of rotations of the ball 10 during the movement time. Specifically, the control unit 63 can calculate the total number of rotations of the ball 10 based on the amplitude number of the geomagnetic data. The control unit 63 can also obtain the geomagnetic depression of the ball 10 based on the geomagnetic data, and acquire the inclination and the rotation direction of the rotation axis of the ball 10 based on the geomagnetic depression.
In order to obtain the motion of the ball 10 from the measurement data 59, a known technique such as the technique described in Patent Document 1 can be used.

さらに、制御部６３は、解析データに基づいて、ボール１０の動き、すなわち、ボール１０の球速、回転数、回転軸の傾き、回転方向および球種等を表示するためのボール情報を生成する。ボール情報は、たとえば、ボール１０の動きを表現する画像であり、ディスプレイ２８ａに表示されることが可能である。ボール情報は、たとえば、動きに関する数値、動きの名称を示す文字またはイラスト、ボール１０の動きを視覚的に示すアニメーション等のうち、任意の一以上の情報を含む。 Furthermore, based on the analysis data, the control unit 63 generates ball information for displaying the movement of the ball 10, that is, the speed of the ball 10, the number of revolutions, the inclination of the axis of rotation, the direction of rotation, the type of pitch, and the like. The ball information is, for example, an image representing the movement of the ball 10 and can be displayed on the display 28a. The ball information includes, for example, any one or more of numerical values relating to movement, characters or illustrations indicating names of movements, animations visually showing movement of the ball 10, and the like.

また、制御部６３は、撮像データ８に基づいて、プレイヤー画像を生成する。プレイヤー画像は、ピッチャー２の投球動作を表示する画像（動画）であり、ディスプレイ２８ａに表示されることが可能である。 Also, the control unit 63 generates a player image based on the imaging data 8 . The player image is an image (moving image) showing the pitching action of the pitcher 2, and can be displayed on the display 28a.

そして、制御部６３は、１つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、メモリ２７に記憶する。 Then, the control unit 63 associates the player image and the ball information regarding one pitching motion with each other and stores them in the memory 27 .

また、制御部６３は、カメラ１５による撮像の開始および停止を制御するように構成されている。本実施形態では、制御部６３は、タッチセンサー２８ｂを介して受け付けられたユーザの指示に応じて、カメラ１５の撮像を開始するように構成されている。 Also, the control unit 63 is configured to control the start and stop of imaging by the camera 15 . In this embodiment, the control unit 63 is configured to start imaging with the camera 15 in accordance with a user's instruction received via the touch sensor 28b.

さらに、制御部６３は、ボール１０から逐次的に転送されてくるセンサーデータ７（測定データ５９）に基づいて、ボール１０が投球されたこと（リリースされたこと）、および、投球されたボール１０が停止したこと（キャッチャー４によってキャッチされたこと）を検出する。すなわち、制御部６３は、停止検出部として機能する。そして、制御部６３は、ボール１０の停止の検出に応じて、カメラ１５による撮像を停止する。 Furthermore, based on the sensor data 7 (measurement data 59) sequentially transferred from the ball 10, the control unit 63 determines whether the ball 10 has been pitched (released) and whether the ball 10 has been pitched. has stopped (caught by catcher 4). That is, the control section 63 functions as a stop detection section. Then, the control unit 63 stops the imaging by the camera 15 in response to the detection that the ball 10 has stopped.

次に、撮像システム１の携帯端末２０における制御部６３の動作について説明する。図５に示すフローチャートは、ピッチャー２による１つの投球動作ごとに制御部６３によって実施される動作を示している。 Next, operation of the control unit 63 in the mobile terminal 20 of the imaging system 1 will be described. The flowchart shown in FIG. 5 shows operations performed by the control unit 63 for each pitching operation by the pitcher 2 .

撮像システム１では、まず、携帯端末２０のペアリングユニット６１が、カメラ１５と携帯端末２０とをペアリングする。さらに、ペアリングユニット６１は、ピッチャー２によってボール１０が投げ上げられて、ボール１０の電源スイッチ５３がオンとなった後、ボール１０と携帯端末２０とをペアリングする（Ｓ１１）。 In the imaging system 1 , first, the pairing unit 61 of the mobile terminal 20 pairs the camera 15 and the mobile terminal 20 . Further, the pairing unit 61 pairs the ball 10 and the mobile terminal 20 after the ball 10 is thrown up by the pitcher 2 and the power switch 53 of the ball 10 is turned on (S11).

これに応じて、ボール１０の測定ユニット５２０およびセンサー５１ｂ～５１ｄが、ボール１０の動きに関する測定データ５９を取得して、センサーデータ７として携帯端末２０に逐次的に転送する。 In response, the measurement unit 520 of the ball 10 and the sensors 51b to 51d obtain measurement data 59 regarding the movement of the ball 10 and transfer them to the mobile terminal 20 as sensor data 7 sequentially.

ペアリングの完了後、制御部６３は、ユーザによる撮像開始の指示を待機する（Ｓ１２）。たとえば、ユーザは、ピッチャー２の投球動作の直前に、タッチセンサー２８ｂを介して、撮像開始の指示を携帯端末２０に入力する。撮像開始の指示を受けた後、制御部６３は、カメラ１５の撮像部１５１を制御して、カメラ１５によるピッチャー２の撮像を開始する（Ｓ１３）。これに応じて、カメラ１５の撮像部１５１は、ピッチャー２を撮像し、撮像データ８を生成して携帯端末２０に逐次的に転送する。そして、制御部６３は、データ取得ユニット６２を制御して、ボール１０から転送されるセンサーデータ７およびカメラ１５から転送される撮像データ８の受信を開始する（Ｓ１４）。その後、ピッチャー２が、キャッチャー４に向けてボール１０を投げ込む。 After pairing is completed, the control unit 63 waits for an instruction to start imaging from the user (S12). For example, the user inputs an instruction to start imaging to the mobile terminal 20 via the touch sensor 28b immediately before the pitcher 2 pitches. After receiving the instruction to start imaging, the control unit 63 controls the imaging unit 151 of the camera 15 to start imaging the pitcher 2 with the camera 15 (S13). In response to this, the imaging unit 151 of the camera 15 images the pitcher 2 , generates imaging data 8 , and sequentially transfers the imaging data 8 to the mobile terminal 20 . Then, the control section 63 controls the data acquisition unit 62 to start receiving the sensor data 7 transferred from the ball 10 and the imaging data 8 transferred from the camera 15 (S14). After that, the pitcher 2 throws the ball 10 toward the catcher 4.

制御部６３は、ピッチャー２によってボール１０が投球されたこと（リリースされたこと）を検知した後、ボール１０が停止したか否か（キャッチャー４にキャッチされたか否か）を判断する（Ｓ１５）。そして、ボール１０が停止したと判断したときに、制御部６３は、カメラ１５による撮像を停止する（Ｓ１６）。さらに、制御部６３は、センサーデータ７および撮像データ８の受信を停止する（Ｓ１７）。 After detecting that the ball 10 has been pitched (released) by the pitcher 2, the control unit 63 determines whether or not the ball 10 has stopped (whether or not it has been caught by the catcher 4) (S15). . Then, when it is determined that the ball 10 has stopped, the control section 63 stops the imaging by the camera 15 (S16). Furthermore, the control unit 63 stops receiving the sensor data 7 and the imaging data 8 (S17).

その後、制御部６３が、この投球動作に関する撮像データ８に基づいて、ピッチャー２の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部６３は、センサーデータ７に基づいて、この投球動作によって投球されたボール１０の動きを表示するためのボール情報を生成する。さらに、制御部６３は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ２７に記憶する（Ｓ１８）。 After that, the control unit 63 generates a player image for displaying the pitching motion of the pitcher 2 based on the imaging data 8 regarding this pitching motion. Furthermore, based on the sensor data 7, the control unit 63 generates ball information for displaying the movement of the ball 10 pitched by this pitching motion. Further, the control unit 63 associates the generated player image and ball information with each other and stores them in the memory 27 (S18).

この際、制御部６３は、撮像データ８におけるボール１０の停止よりも所定時間前からボール１０の停止までの部分を用いて、プレイヤー画像を生成する。すなわち、カメラ１５から送信される撮像データ８は、投球の開始前の撮像開始時（Ｓ１３）から、ボール１０の停止時までのピッチャー２の動画を含んでいる。
制御部６３は、ボール１０の停止時よりも所定時間前の、第１の時刻を算出する。そして、制御部６３は、受信した撮像データ８から、撮像の開始から第１の時刻までの部分を除去（トリミング）し、残存している撮像データ８を用いてプレイヤー画像を生成する。したがって、プレイヤー画像は、撮像データ８における第１の時刻からボール１０の停止時（第２の時刻）までの部分に基づいて生成される。
なお、撮像データ８における撮像の開始から第１の時刻までの部分を除去する理由は、の投球動作の開始前のピッチャー２の画像をプレイヤー画像に含めることを抑制することにある。第１の時刻から第２の時刻までの時間（所定時間）の長さは、たとえは２．５秒程度である。この点については後に詳述する。 At this time, the control unit 63 generates a player image using a portion of the imaging data 8 from a predetermined time before the ball 10 stops until the ball 10 stops. That is, the imaging data 8 transmitted from the camera 15 includes a moving image of the pitcher 2 from the start of imaging (S13) before the start of pitching to the stop of the ball 10. FIG.
The control unit 63 calculates a first time that is a predetermined time before the ball 10 stops. Then, the control unit 63 removes (trimming) a portion from the start of imaging to the first time from the received imaging data 8, and uses the remaining imaging data 8 to generate a player image. Therefore, the player image is generated based on the portion of the imaging data 8 from the first time until the ball 10 stops (second time).
The reason for removing the portion from the start of imaging to the first time in the imaging data 8 is to suppress inclusion of the image of the pitcher 2 before the start of the pitching motion in the player image. The length of time (predetermined time) from the first time to the second time is, for example, about 2.5 seconds. This point will be described in detail later.

さらに、制御部６３は、プレイヤー画像と同様に、センサーデータ７における第１の時刻（ボール１０の停止時よりも所定時間前）から第２の時刻（ボール１０の停止時）までの部分を用いて、ボール情報を生成する。 Further, the control unit 63 uses a portion of the sensor data 7 from the first time (predetermined time before the ball 10 stops) to the second time (when the ball 10 stops) in the same way as the player image. to generate ball information.

その後、ユーザは、タッチセンサー２８ｂを介して、プレイヤー画像およびボール情報のいずれかを表示する旨の指示を、携帯端末２０に入力することができる。制御部６３は、ユーザの指示に応じて、互いに関連づけられてメモリ２７に記憶されたプレイヤー画像あるいはボール情報のいずれかを、ディスプレイ２８ａに表示する。 After that, the user can input an instruction to display either the player image or the ball information to the mobile terminal 20 via the touch sensor 28b. The control unit 63 displays either the player image or the ball information associated with each other and stored in the memory 27 on the display 28a in accordance with the user's instruction.

図６に、ディスプレイ２８ａに表示されるボール情報の一例を示す。この図に示すように、ディスプレイ２８ａには、「投球履歴－詳細」として、１つの投球動作に関するボール情報ＢＪが表示される。この例では、上方に、ボール情報ＢＪのサマリーＰＳが示されている。サマリーＰＳには、上段に、この投球の日時および球数が示されている。さらに、その下方に、ボール１０の動きの一部が、文字および数値を用いて示されている。すなわち、左から、球種（ストレート）、球速（１４６ｋｍ／ｈ）および回転数（２０５３ｒｐｍ）が表示されている。 FIG. 6 shows an example of ball information displayed on the display 28a. As shown in this figure, the display 28a displays ball information BJ relating to one pitching motion as "Pitching History - Details". In this example, a summary PS of the ball information BJ is shown above. The summary PS shows the date and time of this pitch and the number of pitches in the upper row. Further below, part of the movement of the ball 10 is shown using letters and numbers. That is, from the left, the pitch type (straight), pitch speed (146 km/h), and rotation speed (2053 rpm) are displayed.

また、サマリーＰＳの下方に、ピッチングタイムＰＴが示されている。ピッチングタイムＰＴにおける「Release」は、たとえば、上記した第１の時刻（ボール１０の停止時よりも所定時間前）からボール１０がリリースされるまでの時間を意味する。「Ball」は、たとえば、ボール１０がリリースされてからキャッチされるまでの時間を意味する。さらに、「Total」は、これらの時間の和を示している。 Also, the pitching time PT is shown below the summary PS. "Release" in the pitching time PT means, for example, the time from the above-described first time (predetermined time before the ball 10 stops) until the ball 10 is released. "Ball" means, for example, the time from when the ball 10 is released until it is caught. Furthermore, "Total" indicates the sum of these times.

さらに、ピッチングタイムＰＴの下方の画面中央には、ボール１０の回転を再現する画像を表示するための再現領域ＰＡが示されている。この例では、ボール１０の回転が、ピッチャー２の視点（投手視点）で示されている。再現領域ＰＡの中央には、ボール１０を表現する球体のアニメーションが示される。この球体には、ボール１０の回転方向を示す三角形が付されている。また、球体の周囲（上下左右）には、ボール１０の変化量を示す数値が表示されている。そして、左下の再生ボタンＰがタッチされることにより、リリースされてからキャッチされるまでのボール１０の回転が、たとえば、中央の球体の回転およびその周囲の数値の変化により再現表示される。また、再現領域ＰＡの右上には、ボール１０の回転軸の傾き（－１０°）が示されている。 Furthermore, a reproduction area PA for displaying an image reproducing the rotation of the ball 10 is shown in the center of the screen below the pitching time PT. In this example, the rotation of the ball 10 is shown from the viewpoint of the pitcher 2 (pitcher's viewpoint). An animation of a sphere representing the ball 10 is shown in the center of the reproduction area PA. A triangle indicating the direction of rotation of the ball 10 is attached to the sphere. Numerical values indicating the amount of change of the ball 10 are displayed around the sphere (up, down, left, and right). When the play button P at the lower left is touched, the rotation of the ball 10 from release to catch is reproduced and displayed, for example, by the rotation of the central sphere and changes in the numerical values around it. Also, the inclination (-10°) of the rotation axis of the ball 10 is shown in the upper right of the reproduction area PA.

そして、ボール情報ＢＪの最下段には、ボール１０のリリース画面ＰＲが示されている。この画面では、第１の時刻（ボール１０の停止時よりも所定時間前）からリリースまでの、時間とともに変動するピッチャー２の腕の振りの強さが示されている。したがって、この画面からは、たとえば、ボール１０をリリースする際の腕振りの強さ、および、構えてからリリースするまでの時間を取得することができる。 A release screen PR of the ball 10 is displayed at the bottom of the ball information BJ. This screen shows the strength of the swing of the arm of the pitcher 2 that fluctuates over time from the first time (predetermined time before the ball 10 stops) until the ball is released. Therefore, from this screen, for example, it is possible to acquire the strength of the arm swing when releasing the ball 10 and the time from ready to release.

図７に、ディスプレイ２８ａに表示されるプレイヤー画像の一例を示す。この図に示すように、ディスプレイ２８ａには、「投球履歴－動画」として、１つの投球動作に関するプレイヤー画像ＰＧが表示される。この例では、その中央に、キャッチャー４の頭越しに、ピッチャー２が表示される。そして、左下の再生ボタンＰがタッチされることにより、第１の時刻（ボール１０の停止時よりも所定時間前）から、ボール１０が投球されてキャッチャー４にキャッチされる第２の時刻までの、ピッチャー２の投球動作を示す動画が再生される。
また、プレイヤー画像ＰＧには、ボール情報ＢＪにも表示されているサマリーＰＳ、ピッチングタイムＰＴ、および、ボール１０の回転軸の傾き（－１０°）が、ピッチャー２の投球動作を示す動画に重畳表示されている。 FIG. 7 shows an example of a player image displayed on the display 28a. As shown in this figure, the display 28a displays a player image PG related to one pitching motion as "Pitching History-Video". In this example, pitcher 2 is displayed in the center, over the head of catcher 4. When the play button P on the lower left is touched, the time from the first time (predetermined time before the stop of the ball 10) to the second time when the ball 10 is pitched and caught by the catcher 4 is displayed. , a video showing the pitching motion of the pitcher 2 is reproduced.
In the player image PG, the summary PS, the pitching time PT, and the inclination (-10°) of the rotation axis of the ball 10, which are also displayed in the ball information BJ, are superimposed on the moving image showing the pitching motion of the pitcher 2. is displayed.

以上のように、本実施形態にかかる携帯端末２０では、データ取得ユニット６２が、ピッチャー２によって投球されるボール１０からセンサーデータ７を受信するとともに、ピッチャー２の投球動作を撮像しているカメラ１５から、撮像データ８を受領する。 As described above, in the mobile terminal 20 according to the present embodiment, the data acquisition unit 62 receives the sensor data 7 from the ball 10 pitched by the pitcher 2, and the camera 15 that captures the pitching motion of the pitcher 2. receives imaging data 8 from.

そして、携帯端末２０では、制御部６３が、ピッチャー２による１つの投球動作に関する撮像データ８とセンサーデータ７とを取得する。そして、制御部６３は、撮像データ８に基づいて、ピッチャー２の投球動作を表示するためのプレイヤー画像を生成する。さらに、制御部６３は、センサーデータ７に基づいて、この投球動作において投げられたボール１０の動きを表示するためのボール情報を生成する。さらに、制御部６３は、生成したプレイヤー画像とボール情報とを、互いに関連づけてメモリ２７に記憶する。 Then, in the mobile terminal 20 , the control unit 63 acquires the imaging data 8 and the sensor data 7 regarding one pitching motion by the pitcher 2 . Then, the control unit 63 generates a player image for displaying the pitching motion of the pitcher 2 based on the imaging data 8 . Furthermore, based on the sensor data 7, the control unit 63 generates ball information for displaying the movement of the ball 10 thrown in this pitching motion. Furthermore, the control unit 63 associates the generated player image and ball information with each other and stores them in the memory 27 .

このように、携帯端末２０では、１つの投球動作を表示するためのプレイヤー画像と、この投球動作によって投げられたボール１０の動きを表示するためのボール情報とを生成し、互いに関連づけて記憶することができる。すなわち、携帯端末２０では、複数の投球動作が連続的に実施された場合でも、プレイヤー画像とボール情報とを投球動作ごとに生成し、互いに同期させて記憶することができる。 In this way, the portable terminal 20 generates a player image for displaying one pitching motion and ball information for displaying the motion of the ball 10 thrown by this pitching motion, and stores them in association with each other. be able to. That is, even when a plurality of pitching motions are continuously performed, the portable terminal 20 can generate a player image and ball information for each pitching motion, synchronize them with each other, and store them.

したがって、制御部６３が、プレイヤー画像とボール情報とを、たとえば交互にディスプレイ２８ａに表示することによって、携帯端末２０のユーザ（ピッチャー２あるいはコーチなど）は、ピッチャー２の投球動作（投球フォーム）とボール１０の動きとの対応関係を確認することが可能である。これにより、たとえば、ユーザは、理想的なボール１０の動きを生み出すための投球動作の研究を試みることが容易となる。
また、本実施形態のように、カメラ１５がピッチャー２の背後からピッチャー２の正面画像を撮像する場合、プレイヤー画像によって、投球されるボール１０の軌道（球筋）を確認することもできる。また、ピッチャー２の投球動作の異常を検知して、ピッチャー２に生じている故障を早期に発見することも可能である。 Therefore, by having the control unit 63 alternately display the player image and the ball information on the display 28a, for example, the user of the mobile terminal 20 (the pitcher 2 or the coach) can understand the pitching motion (the pitching form) of the pitcher 2 and the ball information. It is possible to confirm the correspondence with the movement of the ball 10 . This makes it easier for the user, for example, to attempt to study a pitching motion to create an ideal ball 10 motion.
In addition, when the camera 15 captures a front image of the pitcher 2 from behind the pitcher 2 as in the present embodiment, the trajectory of the pitched ball 10 can also be confirmed from the player image. Also, it is possible to detect an abnormality in the pitching motion of the pitcher 2 and discover a failure occurring in the pitcher 2 at an early stage.

また、本実施形態では、制御部６３は、カメラ１５による撮像の開始および停止を制御するように構成されている。さらに、携帯端末２０は、ユーザからの撮像開始の指示を受け付けるタッチセンサー２８ｂを備えている。そして、制御部６３は、タッチセンサー２８ｂを介して入力されるユーザからの撮像開始の指示に応じて、カメラ１５による撮像を開始している。したがって、ピッチャー２の動きを把握しているユーザが撮像の開始タイミングを決めることができるので、ピッチャー２による投球動作の開始に合わせてカメラ１５による撮像を開始することが容易となる。 Further, in this embodiment, the control unit 63 is configured to control the start and stop of imaging by the camera 15 . Further, the mobile terminal 20 includes a touch sensor 28b that receives an instruction to start imaging from the user. Then, the control unit 63 starts imaging with the camera 15 in response to an instruction to start imaging from the user input via the touch sensor 28b. Therefore, since the user who knows the movement of the pitcher 2 can determine the start timing of imaging, it becomes easy for the camera 15 to start imaging when the pitcher 2 starts the pitching motion.

また、携帯端末２０では、制御部６３が、センサーデータ７に基づいて投げられたボール１０が停止したことを検出し、ボール１０の停止の検出に応じて、カメラ１５による撮像を停止している。これに関し、ボール１０の停止後であれば、ピッチャー２による投球動作は完了していると考えられる。したがって、ボール１０の停止に応じてカメラ１５による撮像を停止することにより、無駄な撮像を抑制することが容易となる。 Also, in the mobile terminal 20, the control unit 63 detects that the thrown ball 10 has stopped based on the sensor data 7, and in response to the detection of the stop of the ball 10, stops the imaging by the camera 15. . In this regard, after the ball 10 has stopped, the pitching action by the pitcher 2 is considered complete. Therefore, by stopping the imaging by the camera 15 when the ball 10 stops, it becomes easy to suppress unnecessary imaging.

また、制御部６３は、取得した撮像データ８における第１の時刻（ボール１０の停止時よりも所定時間前）から第２の時刻（ボール１０の停止時）までの部分を用いて、プレイヤー画像を生成している。 In addition, the control unit 63 uses a portion from the first time (predetermined time before the ball 10 is stopped) to the second time (when the ball 10 is stopped) in the acquired imaging data 8 to obtain the player image. is generating

これに関し、ピッチャー２は、カメラ１５による撮像が開始された後でも、数秒間にわたって待機状態となり、投球動作をしないことがある。これは、たとえば、ピッチャー２が、ボール１０の握りを調整したり、マウンド３をならしたり、投球のための集中力を高めるたりすることなどにより、一般的に発生する現象である。 In this regard, the pitcher 2 may be in a standby state for several seconds even after the camera 15 starts taking pictures, and may not perform a pitching motion. This is a phenomenon that generally occurs when, for example, the pitcher 2 adjusts the grip of the ball 10, smoothes the mound 3, increases concentration for pitching, and the like.

このため、撮像の開始からボール１０の停止の所定時間前までの部分を、撮像データ８から除去することにより、待機状態にあるピッチャー２の画像がプレイヤー画像に含まれることを抑制することができる。これにより、プレイヤー画像のサイズが無用に大きくなることを抑制することができる。なお、上記の所定時間は、およそ２～３秒間（たとえば２．５秒）とされる。 Therefore, by removing the part from the start of imaging to a predetermined time before the ball 10 stops from the imaging data 8, it is possible to prevent the image of the pitcher 2 in the standby state from being included in the player image. . As a result, it is possible to prevent the size of the player image from becoming unnecessarily large. Note that the predetermined time is about 2 to 3 seconds (eg, 2.5 seconds).

また、本実施形態では、ボール１０の測定ユニット５２０が、センサーデータ７として測定データ５９を携帯端末２０に送信し、携帯端末２０の制御部６３がセンサーデータ７を解析することによって、解析データを生成している。したがって、本実施形態では、ボール１０が測定データ５９の解析機能を持たなくてよいため、ボール１０の構成を簡略化することができる。このため、ボール１０の感触を、通常の野球ボールに近づけることが容易となる。 Further, in the present embodiment, the measurement unit 520 of the ball 10 transmits the measurement data 59 as the sensor data 7 to the mobile terminal 20, and the controller 63 of the mobile terminal 20 analyzes the sensor data 7 to obtain the analysis data. are generating. Therefore, in this embodiment, the ball 10 does not need to have the function of analyzing the measurement data 59, so the configuration of the ball 10 can be simplified. Therefore, it becomes easy to bring the feel of the ball 10 closer to that of a normal baseball.

なお、本実施形態では、カメラ１５は、ピッチャー２の投球動作を正面から撮像するために、キャッチャー４の背後に据えつけられている正面カメラである。これに代えて、撮像システム１は、ピッチャー２の側部に備えられ、ピッチャー２の投球動作を側面から撮像する側面カメラを備えていてもよい。 In this embodiment, the camera 15 is a front camera installed behind the catcher 4 in order to image the pitching motion of the pitcher 2 from the front. Alternatively, the imaging system 1 may include a side camera that is provided on the side of the pitcher 2 and captures the pitching motion of the pitcher 2 from the side.

また、撮像システム１は、互いに異なる位置からピッチャー２を撮像する複数のカメラを備えてもよい。たとえば、撮像システム１は、正面カメラであるカメラ１５と側面カメラとの双方を備えていてもよい。
この場合、携帯端末２０のデータ取得ユニット６２は、複数のカメラから、１つの投球動作に関する複数の撮像データ８を受領する。そして、制御部６３は、複数の撮像データ８に応じた複数のプレイヤー画像を生成し、各プレイヤー画像をボール情報に関連づけてメモリ２７に記憶する。
この構成では、ボール情報に応じた複数のプレイヤー画像を取得できるので、ボール１０の動きに対応するピッチャー２の投球動作を、より詳細に観察することができる。 Also, the imaging system 1 may include a plurality of cameras that capture images of the pitcher 2 from different positions. For example, imaging system 1 may include both camera 15, which is a front camera, and a side camera.
In this case, the data acquisition unit 62 of the mobile terminal 20 receives a plurality of imaging data 8 regarding one pitching motion from a plurality of cameras. Then, the control unit 63 generates a plurality of player images corresponding to the plurality of image data 8, and stores each player image in the memory 27 in association with the ball information.
With this configuration, it is possible to acquire a plurality of player images corresponding to the ball information, so that the pitching motion of the pitcher 2 corresponding to the movement of the ball 10 can be observed in more detail.

また、本実施形態では、ピッチャー２の投球動作を撮像するカメラ１５が、携帯端末２０とは別の機器として、キャッチャー４の背後に据えつけられ、撮像データ８を生成している。これに代えて、ピッチャー２の投球動作を撮像するカメラとして、携帯端末２０の端末カメラ２８ｃ（図４参照）が用いられてもよい。この場合、カメラと携帯端末２０とのペアリングが不要となるため、制御部６３によるカメラの制御、および、データ取得ユニット６２による撮像データ８の受領が容易となる。 Further, in this embodiment, the camera 15 that captures the pitching motion of the pitcher 2 is installed behind the catcher 4 as a separate device from the mobile terminal 20 and generates the captured data 8 . Alternatively, the terminal camera 28c (see FIG. 4) of the mobile terminal 20 may be used as the camera that captures the pitching motion of the pitcher 2. FIG. In this case, since pairing between the camera and the mobile terminal 20 is not required, control of the camera by the control section 63 and reception of the imaging data 8 by the data acquisition unit 62 are facilitated.

また、本実施形態では、制御部６３は、タッチセンサー２８ｂを介して入力されるユーザからの撮像開始の指示に応じて、カメラ１５による撮像を開始している。これに代えて、制御部６３は、ペアリングユニット６１によって携帯端末２０とボール１０とがペアリングしたことに応じて、カメラ１５による撮像を開始してもよい。 Further, in the present embodiment, the control unit 63 starts imaging with the camera 15 in response to an imaging start instruction from the user input via the touch sensor 28b. Alternatively, the control unit 63 may start imaging with the camera 15 in response to pairing between the mobile terminal 20 and the ball 10 by the pairing unit 61 .

本実施形態では、ペアリングユニット６１は、ピッチャー２によってボール１０が投げ上げられて、ボール１０の電源スイッチ５３がオンとなった後、ボール１０と携帯端末２０とをペアリングする。したがって、この構成では、ピッチャー２が撮像の開始タイミングを決められるので、投球動作の開始に合わせてカメラ１５による撮像を開始することが容易となる。 In this embodiment, the pairing unit 61 pairs the ball 10 and the mobile terminal 20 after the ball 10 is thrown up by the pitcher 2 and the power switch 53 of the ball 10 is turned on. Therefore, in this configuration, since the pitcher 2 can determine the start timing of imaging, it becomes easy for the camera 15 to start imaging in accordance with the start of the pitching motion.

本実施形態では、ボール１０の測定ユニット５２０は、センサー５１ｂ～５１ｄによって得られた測定データ５９を、センサーデータ７として、携帯端末２０に送信している。そして、携帯端末２０では、制御部６３が、センサーデータ７を解析することによって、解析データを生成している。 In this embodiment, the measurement unit 520 of the ball 10 transmits the measurement data 59 obtained by the sensors 51b to 51d to the portable terminal 20 as the sensor data 7. FIG. In the mobile terminal 20 , the control unit 63 analyzes the sensor data 7 to generate analysis data.

しかしながら、これに限らず、解析データは、ボール１０において生成されてもよい。この場合、測定ユニット５２０が、上述したような公知の技術を用いて測定データ５９を解析することによって、ボール１０の動きを示す解析データを取得する。そして、測定ユニット５２０は、解析データを、ボール１０の動きに関するデータであるセンサーデータ７として携帯端末２０に送信する。 However, the analysis data is not limited to this and may be generated in the ball 10 . In this case, measurement unit 520 obtains analytical data indicative of movement of ball 10 by analyzing measurement data 59 using known techniques such as those described above. The measurement unit 520 then transmits the analysis data to the mobile terminal 20 as sensor data 7 that is data relating to the movement of the ball 10 .

携帯端末２０では、データ取得ユニット６２がセンサーデータ７を受信し、制御部６３が、解析データであるセンサーデータ７からボール情報を生成する。この構成では、制御部６３による解析を省くことができる。 In the mobile terminal 20, the data acquisition unit 62 receives the sensor data 7, and the control section 63 generates ball information from the sensor data 7, which is analysis data. With this configuration, analysis by the control unit 63 can be omitted.

また、本実施形態では、ボール１０の測定ユニット５２０が、センサー５１ｂ～５１ｄから測定データ５９を取得しながら、これをセンサーデータ７として、携帯端末２０に逐次的に転送している。同様に、カメラ１５の撮像部１５１は、撮像データ８を生成しながら、携帯端末２０に逐次的に転送している。 Further, in this embodiment, the measurement unit 520 of the ball 10 acquires the measurement data 59 from the sensors 51b to 51d and sequentially transfers the data as the sensor data 7 to the mobile terminal 20. FIG. Similarly, the imaging unit 151 of the camera 15 sequentially transfers the imaging data 8 to the mobile terminal 20 while generating the imaging data 8 .

しかしながら、これに限らず、測定ユニット５２０は、１つの投球動作に関する全ての測定データ５９を取得してから、これをセンサーデータ７として携帯端末２０に送信するように構成されていてもよい。同様に、撮像部１５１も、１つの投球動作に関する全ての撮像データ８を取得してから（撮像を停止してから）、撮像データ８を携帯端末２０に送信するように構成されていてもよい。 However, without being limited to this, the measurement unit 520 may be configured to acquire all the measurement data 59 related to one pitching motion and then transmit this as the sensor data 7 to the mobile terminal 20 . Similarly, the imaging unit 151 may be configured to transmit the imaging data 8 to the mobile terminal 20 after acquiring all the imaging data 8 related to one pitching motion (after stopping imaging). .

この構成では、ボール１０の測定ユニット５２０は、ボール１０のリリースおよび停止を検知できるように構成されていることが好ましい。測定ユニット５２０は、ボール１０のリリースから停止までの測定データ５９を、１つの投球動作に関するセンサーデータ７として携帯端末２０に送信することができる。あるいは、測定ユニット５２０は、携帯端末２０を介したユーザの指示に応じて、測定データ５９の取得を開始および停止し、取得した測定データ５９をセンサーデータ７として携帯端末２０に送信してもよい。
また、携帯端末２０の制御部６３は、センサーデータ７の受領を確認したことを検出したときに、カメラ１５による撮像を停止するように構成されていてもよい。 In this configuration, the measurement unit 520 of the ball 10 is preferably configured to detect release and stoppage of the ball 10 . The measurement unit 520 can transmit the measurement data 59 from release to stop of the ball 10 to the mobile terminal 20 as the sensor data 7 regarding one pitching motion. Alternatively, the measurement unit 520 may start and stop acquisition of the measurement data 59 in response to instructions from the user via the mobile terminal 20, and transmit the acquired measurement data 59 to the mobile terminal 20 as the sensor data 7. .
Further, the control unit 63 of the mobile terminal 20 may be configured to stop the imaging by the camera 15 when it is detected that the reception of the sensor data 7 has been confirmed.

また、本実施形態では、制御部６３が、プレイヤー画像とボール情報とのいずれかを、ディスプレイ２８ａに表示している。これに代えて、制御部６３は、他の表示機器の表示画面に、プレイヤー画像およびボール情報を表示してもよい。たとえば、制御部６３は、表示画面に、プレイヤー画像とボール情報とを同時に表示してもよい。これにより、ユーザは、投球動作とボール１０の動きとの対応関係を、より容易に確認することができる。 Further, in this embodiment, the control unit 63 displays either the player image or the ball information on the display 28a. Alternatively, the control section 63 may display the player image and the ball information on the display screen of another display device. For example, the control unit 63 may simultaneously display the player image and the ball information on the display screen. This allows the user to more easily confirm the correspondence between the pitching motion and the motion of the ball 10 .

また、データ取得ユニット６２は、外部環境データを取得するように構成されていてもよい。外部環境データは、携帯端末２０とペアリングされたボール１０が移動（飛翔）する環境に関するデータである。外部環境データは、たとえば、ボール１０の移動方向（飛翔方向）、移動開始位置または移動終了位置を含む。この場合、制御部６３は、センサーデータ７および外部環境データに基づいて、ボール情報を生成してもよい。 The data acquisition unit 62 may also be configured to acquire external environment data. The external environment data is data relating to the environment in which the ball 10 paired with the mobile terminal 20 moves (fly). The external environment data includes, for example, the movement direction (flying direction) of the ball 10, the movement start position, or the movement end position. In this case, the control unit 63 may generate ball information based on the sensor data 7 and the external environment data.

また、図２に示したセンサー群５１の構成は一例である。センサー群５１として、センサー機能をまとめて１チップ化した９軸センサーが採用されてもよい。あるいは、センサー群５１は、適当に組み合わせられた加速度センサー、ジャイロセンサーおよび磁気センサーを備えてもよい。 Also, the configuration of the sensor group 51 shown in FIG. 2 is an example. As the sensor group 51, a 9-axis sensor in which sensor functions are integrated into one chip may be employed. Alternatively, sensor group 51 may comprise an appropriate combination of acceleration, gyro, and magnetic sensors.

また、撮像システム１は、図１に示した構成に加えて、図８に示すように、クラウド３０を含んでいてもよい。クラウド３０は、たとえば、インターネットなどのコンピュータネットワーク３１、サーバー３５、および、オンラインコーチシステム４０を含む。サーバー３５およびオンラインコーチシステム４０は、コンピュータネットワーク３１に接続されている。 In addition to the configuration shown in FIG. 1, the imaging system 1 may include a cloud 30 as shown in FIG. Cloud 30 includes a computer network 31, such as the Internet, servers 35, and an online coach system 40, for example. Server 35 and online coach system 40 are connected to computer network 31 .

この場合、ボール１０の測定ユニット５２０およびカメラ１５の撮像部１５１は、センサーデータ７および撮像データ８を、コンピュータネットワーク３１を介してサーバー３５に送信してもよい。 In this case, the measurement unit 520 of the ball 10 and the imaging section 151 of the camera 15 may transmit the sensor data 7 and the imaging data 8 to the server 35 via the computer network 31 .

サーバー（クラウドサーバー）３５は、プレイヤー管理機能３６、投球動作毎にセンサーデータ７および撮像データ８を蓄積するストレージ３７、データ管理ユニット３８、および、ランキング集計などを行うデータ分析ユニット３９を含む。 The server (cloud server) 35 includes a player management function 36, a storage 37 for accumulating sensor data 7 and imaging data 8 for each pitching motion, a data management unit 38, and a data analysis unit 39 for ranking tallying.

オンラインコーチシステム４０は、コーチ４２によって用いられるシミュレータ４１および通信ユニット４３を含む。シミュレータ４１は、サーバー３５に投球動作毎に蓄積されたセンサーデータ７および撮像データ８を用いて、ボール情報およびプレイヤー画像を生成し、１つの投球動作に関するプレイヤー画像とボール情報とを、互いに関連づけて、自身の記憶装置あるいはストレージ３７に記憶する。すなわち、この構成では、オンラインコーチシステム４０が端末装置であり、そのシミュレータ４１が制御部として機能する。 Online coach system 40 includes simulator 41 and communication unit 43 used by coach 42 . The simulator 41 generates ball information and a player image using the sensor data 7 and image data 8 accumulated in the server 35 for each pitching motion, and associates the player image and the ball information regarding one pitching motion with each other. , in its own storage device or storage 37 . That is, in this configuration, the online coach system 40 is a terminal device, and its simulator 41 functions as a control unit.

この構成では、コーチ４２は、シミュレータ４１の表示画面（図示せず）に表示されたプレイヤー画像およびボール情報を確認し、通信ユニット４３およびコンピュータネットワーク３１を介して、ユーザ（携帯端末２０）に向けてアドバイスを送ることができる。 In this configuration, the coach 42 checks the player image and ball information displayed on the display screen (not shown) of the simulator 41, and transmits the information to the user (portable terminal 20) via the communication unit 43 and computer network 31. can send advice.

また、携帯端末２０の制御部６３がプレイヤー画像およびボール情報を生成して、コンピュータネットワーク３１を介してサーバー３５に送信し、記憶部としてのストレージ３７に、プレイヤー画像とボール情報とを関連づけて記憶してもよい。この場合、シミュレータ４１は、サーバー３５のストレージ３７に蓄積された投球動作毎のボール情報およびプレイヤー画像を取得して、表示画面に表示する。コーチ４２は、同様にプレイヤー画像とボール情報とを確認して、アドバイスを送ることができる。 Also, the control unit 63 of the mobile terminal 20 generates the player image and the ball information, transmits them to the server 35 via the computer network 31, and stores the player image and the ball information in the storage 37 as a storage unit in association with each other. You may In this case, the simulator 41 acquires the ball information and the player image for each pitching motion accumulated in the storage 37 of the server 35 and displays them on the display screen. The coach 42 can similarly check player images and ball information and send advice.

このように、図８に示した構成では、携帯端末２０から離れた場所にいる人も、プレイヤー画像およびボール情報を見ることができる。このため、たとえば、ユーザは、外部の専門家にプレイヤー画像およびボール情報を見てもらい、アドバイスを受けることが容易となる。 In this way, with the configuration shown in FIG. 8, even a person at a distance from the mobile terminal 20 can see the player image and the ball information. Therefore, for example, the user can easily receive advice from an external expert by viewing the player image and the ball information.

また、本実施形態では、ボール１０の一例として、硬式の野球ボールを示している。しかしながら、ボール１０は、これに限られず、内部にハードウェア５０を配置できるものであれば、他のスポーツに用いられるボールでもよい。ボール１０の他の例としては、軟式の野球ボール、ゴルフボール、ソフトボール、テニスボール、サッカーボール、ラグビーボール、アメリカンフットボール用のボール、陸上競技に用いられる円盤、砲丸およびハンマー、およびクリケット用のボールを挙げられる。 Further, in this embodiment, a hard baseball is shown as an example of the ball 10 . However, the ball 10 is not limited to this, and may be a ball used for other sports as long as the hardware 50 can be arranged inside. Other examples of the ball 10 include soft baseballs, golf balls, softballs, tennis balls, soccer balls, rugby balls, American football balls, discus, shot puts and hammers used in track and field, and cricket balls. A ball is mentioned.

ボール１０がどのような種類のものであっても、射出（投げる、蹴る、あるいは打つなど）されるボール１０のセンサー部（測定ユニット５２０等）が、センサーデータ７を取得して携帯端末２０に送信する。また、カメラ１５の撮像部１５１が、プレイヤーにおけるボール１０の射出動作を撮像し、撮像データ８を携帯端末２０に送信する。 Regardless of the type of the ball 10, the sensor section (measurement unit 520, etc.) of the ball 10 that is shot (thrown, kicked, hit, etc.) acquires the sensor data 7 and sends it to the mobile terminal 20. Send. Also, the imaging unit 151 of the camera 15 captures an image of the player's shooting motion of the ball 10 and transmits the imaging data 8 to the mobile terminal 20 .

１：撮像システム、２：ピッチャー、４：キャッチャー、
１０：ボール、５１ａ：起動用加速度センサー、５１ｂ：三軸加速度センサー、
５１ｃ：三軸ジャイロセンサー、５１ｄ：三軸地磁気センサー、５２：バッテリー、
５３：電源スイッチ、７：センサーデータ、５２０：測定ユニット、
１５：カメラ、１５１：撮像部、１５５：メモリ、８：撮像データ、
２０：携帯端末、２７：メモリ、２８ａ：ディスプレイ、２８ｂ：タッチセンサー、
２８ｃ：端末カメラ、２９：音声入出力ユニット、６０：アプリケーションプログラム、
６１：ペアリングユニット、６２：データ取得ユニット、６３：制御部、
３０：クラウド、３１：コンピュータネットワーク、３５：サーバー、
３６：プレイヤー管理機能、３７：ストレージ、３８：データ管理ユニット、
３９：データ分析ユニット、４０：オンラインコーチシステム、４１：シミュレータ、
４２：コーチ、４３：通信ユニット、 1: imaging system, 2: pitcher, 4: catcher,
10: ball, 51a: activation acceleration sensor, 51b: triaxial acceleration sensor,
51c: triaxial gyro sensor, 51d: triaxial geomagnetic sensor, 52: battery,
53: power switch, 7: sensor data, 520: measurement unit,
15: camera, 151: imaging unit, 155: memory, 8: imaging data,
20: mobile terminal, 27: memory, 28a: display, 28b: touch sensor,
28c: terminal camera, 29: audio input/output unit, 60: application program,
61: pairing unit, 62: data acquisition unit, 63: control unit,
30: cloud, 31: computer network, 35: server,
36: Player management function, 37: Storage, 38: Data management unit,
39: data analysis unit, 40: online coach system, 41: simulator,
42: coach, 43: communication unit,

Claims

a sensor data receiving unit for receiving sensor data from a ball ejected by a player, the sensor data receiving unit having a sensor unit for acquiring sensor data, which is data relating to the movement of the ball;
an imaging data receiving unit that receives imaging data from a camera that captures an image of the player's shooting motion of the ball;
The imaging data and the sensor data relating to one shooting motion are acquired, a player image for displaying the shooting motion of the player is generated based on the imaging data, and the movement of the ball is based on the sensor data. a control unit that generates ball information for displaying the player image and the ball information in association with each other and stores the information in a storage unit;
with
The control unit is configured to control start and stop of imaging by the camera,
further comprising a stop detection unit that detects a stop of the ball based on the sensor data;
The control unit stops imaging by the camera in response to detection of the stoppage of the ball.
Terminal equipment.

Equipped with a display screen,
The control unit displays either the player image and the ball information associated with each other on the display screen.
The terminal device according to claim 1.

The captured data receiving unit is configured to receive a plurality of captured data from a plurality of cameras that capture images of the player from mutually different positions,
The control unit is configured to generate a plurality of player images corresponding to a plurality of the imaging data related to one ejection motion.
The terminal device according to claim 1 or 2.

further comprising a reception unit that receives an instruction to start imaging from the user,
The control unit starts imaging by the camera in response to the instruction to start imaging.
The terminal device according to claim 1 .

Further comprising a pairing unit for pairing the ball and the terminal device,
The control unit starts imaging by the camera in response to pairing between the terminal device and the ball.
The terminal device according to claim 1 .

The control unit generates the player image using a portion of the imaging data from a predetermined time before the ball stops to when the ball stops.
The terminal device according to claim 1 .

a terminal device according to any one of claims 1 to 6 ;
the camera;
imaging system including;

Receiving sensor data from a ball ejected by a player having a sensor unit for acquiring sensor data, which is data relating to movement of the ball;
Receiving imaging data from a camera that images the player's shooting motion of the ball;
Acquiring the imaging data and the sensor data for one ejection motion;
generating a player image for displaying the player's shooting motion based on the imaging data;
generating ball information for displaying movement of the ball based on the sensor data ;
storing the player image and the ball information in a storage unit in association with each other;
controlling the start and stop of imaging by the camera; and
stopping imaging by the camera in response to detecting that the ball has stopped;
a computer capable of communicating with the sensor unit and the camera.