JP6888250B2 - Image processing equipment, measuring equipment, image processing system, image processing method and program - Google Patents

Image processing equipment, measuring equipment, image processing system, image processing method and program Download PDF

Info

Publication number
JP6888250B2
JP6888250B2 JP2016136253A JP2016136253A JP6888250B2 JP 6888250 B2 JP6888250 B2 JP 6888250B2 JP 2016136253 A JP2016136253 A JP 2016136253A JP 2016136253 A JP2016136253 A JP 2016136253A JP 6888250 B2 JP6888250 B2 JP 6888250B2
Authority
JP
Japan
Prior art keywords
measurement
information
visible light
image processing
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016136253A
Other languages
Japanese (ja)
Other versions
JP2017120615A5 (en
JP2017120615A (en
Inventor
知明 長坂
知明 長坂
量平 山本
量平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to US15/269,908 priority Critical patent/US10389444B2/en
Priority to CN201610951654.1A priority patent/CN107007997B/en
Publication of JP2017120615A publication Critical patent/JP2017120615A/en
Publication of JP2017120615A5 publication Critical patent/JP2017120615A5/ja
Application granted granted Critical
Publication of JP6888250B2 publication Critical patent/JP6888250B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user

Description

本発明は、画像処理装置、測定装置、画像処理システム、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, a measuring device, an image processing system, an image processing method and a program.

スポーツ、ダンス等の運動を解析し、指導を行うために、撮影装置を用いて測定対象の動画を撮影することが行われている。動画を使用することには、専門知識が不足していても動きを容易に把握することができる、測定対象の周囲の状況がわかりやすいといったメリットがある。一方で、目に見える大まかな動きの把握しかできず、定量的な評価が難しいといったデメリットもある。 In order to analyze and instruct exercises such as sports and dance, a moving image to be measured is taken using a photographing device. Using video has the advantages of being able to easily grasp the movement even if there is a lack of specialized knowledge, and being able to easily understand the surrounding conditions of the measurement target. On the other hand, it has the disadvantage that it is difficult to make a quantitative evaluation because it can only grasp the rough movements that can be seen.

また、撮影装置と同様に、ウェアラブルセンサを用いることも行われている。ウェアラブルセンサを使用することには、目に見えない情報の取得や運動の定量的な評価が容易であるというメリットがある。一方で、データの分析には専門知識が必要である、測定対象の周囲の状況が把握しにくいといったデメリットもある。 In addition, a wearable sensor is also used as in the imaging device. The use of wearable sensors has the advantage of facilitating the acquisition of invisible information and the quantitative evaluation of exercise. On the other hand, there are disadvantages such as the need for specialized knowledge to analyze the data and the difficulty in grasping the surrounding conditions of the measurement target.

このように、撮影装置とウェアラブルセンサとは互いの短所を補完し合うことができ、組み合わせて使用することで効果的な運動の解析及び指導が可能になる。特許文献１には、被験者に加速度センサを装着させるとともにビデオカメラで被験者のスイングの様子を示す動画像を撮影し、動画像を加速度センサが検出した加速度の時間波形の最大ピークにマークを付した画像とともにディスプレイに表示する装置が記載されている。 In this way, the imaging device and the wearable sensor can complement each other's weaknesses, and when used in combination, effective motion analysis and guidance become possible. In Patent Document 1, the subject is equipped with an acceleration sensor, a moving image showing the state of the subject's swing is taken with a video camera, and the moving image is marked with the maximum peak of the time waveform of the acceleration detected by the acceleration sensor. A device to be displayed on the display together with the image is described.

特開２００９−１０６３２３号公報JP-A-2009-106323

特許文献１の装置では、撮影装置とウェアラブルセンサとを組み合わせ、画像処理して表示する。特許文献１の装置では、ウェアラブルセンサで取得したデータを、無線受信機を用いて画像処理装置が受信しなければならないという課題があった。 In the apparatus of Patent Document 1, an imaging apparatus and a wearable sensor are combined, and image processing is performed and displayed. The device of Patent Document 1 has a problem that the image processing device must receive the data acquired by the wearable sensor by using a wireless receiver.

本発明はかかる課題に鑑みてなされたものであって、データの受信又は送信を無線送受信機を用いずに実施することができる画像処理装置、測定装置、画像処理システム、画像処理方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides an image processing device, a measuring device, an image processing system, an image processing method, and a program capable of receiving or transmitting data without using a wireless transmitter / receiver. The purpose is to provide.

前記目的を達成するため、本発明に係る画像処理装置の一様態は、
測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手する入手手段と、
前記入手手段により入手された前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、前記入手手段により入手された前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御手段と、
を備える、
ことを特徴とする。 In order to achieve the above object, the uniform state of the image processing apparatus according to the present invention is
A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time from the start of measurement and acquisition means for obtaining and a video information and a target image,
Said acquiring means by acquired between the elapsed time included in the visible light signal included in the video information obtained identifies a time retroactive by acquired the elapsed time, further, the photographing to the specified time A control means for controlling the measurement information included in the radio signal obtained by the acquisition means and the moving image information to be time-synchronized by specifying the frame of the moving image information.
To prepare
It is characterized by that.

また、前記目的を達成するため、本発明に係る測定装置の一様態は、
測定対象に取り付けられ、地磁気を測定して前記測定対象の角度変位を取得する取得手段と、
前記取得手段が地磁気の測定を開始してからの経過時間を有する可視光信号を発信する発光手段と、
を備え、
前記発光手段は、前記角度変位が閾値を超えない場合に前記可視光信号を発信し、前記角度変位が前記閾値を超える場合に前記可視光信号を発信しない、
ことを特徴とする。 Further, in order to achieve the above object, the uniform state of the measuring device according to the present invention is
An acquisition means that is attached to the measurement target and measures the geomagnetism to acquire the angular displacement of the measurement target.
A light emitting means for transmitting a visible light signal having an elapsed time since the acquisition means started the measurement of the geomagnetism, and a light emitting means.
Equipped with a,
Before SL emitting means, wherein transmits visible light signal when the angular displacement does not exceed the threshold value, does not transmit the said visible light signal when the angular displacement exceeds the threshold value,
It is characterized by that.

また、前記目的を達成するため、本発明に係る画像処理システムの一様態は、
測定対象に取り付けられて前記測定対象の測定情報を測定し、測定した前記測定情報を含む無線信号と、測定を開始してからの経過時間を有する可視光信号と、を発信する測定装置と、
前記無線信号、及び、前記可視光信号と前記測定対象の映像とを含む動画情報を入手する入手手段と、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、前記入手手段により入手された前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御手段と、を有する画像処理装置と、
を備える、
ことを特徴とする。 Further, in order to achieve the above object, the uniform state of the image processing system according to the present invention is
Attached to the measurement target by measuring the measurement information of the measurement object, the radio signal including the measurement the measured information, a measuring device that transmits a visible optical signal having the elapsed time from the start of measurement ,
The radio signal, and a acquisition means for obtaining the moving image information including the visible light signal and the measurement object image, the visible light signal or found before Symbol course included in the video information obtained by the acquiring means get the inter time, to identify the time retroactive by acquired the elapsed time, further, by specifying a frame of the video information captured in the specified time, the wireless that is obtained by said you are acquiring means An image processing device having a control means for controlling the measurement information included in the signal and the moving image information to be synchronized in time.
To prepare
It is characterized by that.

また、前記目的を達成するため、本発明に係る画像処理方法の一様態は、
測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手し、
入手した前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、入手した前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する、
ことを含む、
ことを特徴とする。 Further, in order to achieve the above object, the uniform state of the image processing method according to the present invention is
A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time from the start of measurement obtain, and video information including the target image,
Get between time the course included in the visible light signal included in the video information obtained, acquired identified only going back time the elapsed time, further, the moving image information captured in the specified time By specifying the frame of, the measurement information included in the obtained radio signal and the moving image information are controlled to be synchronized in time.
Including that
It is characterized by that.

また、前記目的を達成するため、本発明に係るプログラムの一様態は、
コンピュータに、
測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手する入手処理、
入手した前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、入手した前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御処理、
を実行させる、
ことを特徴とする。 In addition, in order to achieve the above object, the uniform state of the program according to the present invention is
On the computer
A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time from the start of measurement Obtaining process of obtaining and video information, the including the target image,
Get between time the course included in the visible light signal included in the video information obtained, acquired identified only going back time the elapsed time, further, the moving image information captured in the specified time A control process that controls the measurement information included in the obtained radio signal and the moving image information to be time-synchronized by specifying the frame of.
To execute,
It is characterized by that.

本発明によれば、データの受信又は送信を無線送受信機を用いずに実施することができる。 According to the present invention, data can be received or transmitted without using a wireless transceiver.

実施形態１に係る画像処理システムの構成を示す概略図である。It is the schematic which shows the structure of the image processing system which concerns on Embodiment 1. FIG. 実施形態１に係る画像処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the image processing system which concerns on Embodiment 1. FIG. 実施形態１に係る取得部が（ａ）信号を探索する方法及び（ｂ）信号を特定する方法について説明する図である。It is a figure explaining the method (a) the method of searching for a signal, and (b) the method of specifying a signal by the acquisition part which concerns on Embodiment 1. FIG. 実施形態１に係る可視光信号の構成を示す図である。It is a figure which shows the structure of the visible light signal which concerns on Embodiment 1. FIG. 実施形態１に係る取得部が行う時間同期を説明する図である。It is a figure explaining the time synchronization performed by the acquisition part which concerns on Embodiment 1. FIG. 実施形態１に係る同期処理を示すフローチャートである。It is a flowchart which shows the synchronization process which concerns on Embodiment 1. 実施形態１に係る表示部が表示する画面を示す図である。It is a figure which shows the screen which the display part which concerns on Embodiment 1 displays. 実施形態１に係る表示部が表示する画面において、（ａ）測定対象を選択する例及び（ｂ）評価値を表示する例を示す図である。It is a figure which shows the example of (a) selecting the measurement target and (b) displaying the evaluation value on the screen displayed by the display unit according to the first embodiment. 実施形態１に係る表示部が表示する画面において、（ａ）測定対象を選択する例及び（ｂ）データを表示する例を示す図である。It is a figure which shows the example of (a) selecting the measurement target, and (b) displaying the data on the screen displayed by the display unit according to the first embodiment. 実施形態２に係る画像処理システムにおいて（ａ）測定開始時の例及び（ｂ）角度変位が閾値を超えた例を説明する図である。It is a figure explaining the example of (a) at the start of measurement, and (b) the example in which the angular displacement exceeds the threshold value in the image processing system according to the second embodiment. 変形例の画像処理システムの構成を示す概略図である。It is the schematic which shows the structure of the image processing system of the modification.

（実施形態１）
以下、本発明の実施形態１に係る画像処理システム１について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。 (Embodiment 1)
Hereinafter, the image processing system 1 according to the first embodiment of the present invention will be described with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals.

図１は、本発明の実施形態１に係る画像処理システム１の構成を示す概略図であり、図２は、画像処理システム１の構成を示すブロック図である。図１及び図２に示すように、画像処理システム１は、測定装置１００と、撮影装置２００と、画像処理装置３００と、を備える。 FIG. 1 is a schematic view showing the configuration of the image processing system 1 according to the first embodiment of the present invention, and FIG. 2 is a block diagram showing the configuration of the image processing system 1. As shown in FIGS. 1 and 2, the image processing system 1 includes a measuring device 100, a photographing device 200, and an image processing device 300.

測定装置１００は、測定対象に取り付けられるウェアラブルセンサである。測定装置１００は、制御部１０１と、センサ部１０２と、解析部１０３と、符号化部１０４と、記憶部１０５と、発光部１０６と、通信部１０７と、を備える。 The measuring device 100 is a wearable sensor attached to the measurement target. The measuring device 100 includes a control unit 101, a sensor unit 102, an analysis unit 103, a coding unit 104, a storage unit 105, a light emitting unit 106, and a communication unit 107.

制御部１０１は、プログラムを実行することにより測定装置１００を制御する処理装置である。制御部１０１は、ＣＰＵ（Central Processing Unit）を含み得る。 The control unit 101 is a processing device that controls the measuring device 100 by executing a program. The control unit 101 may include a CPU (Central Processing Unit).

センサ部１０２は、測定対象の運動情報又は生体情報、若しくは測定対象の周囲の環境情報を測定し、データ（測定情報）を取得するセンサである。センサ部１０２は、速度センサ、加速度センサ、角速度センサ、心拍センサ、血圧センサ、気圧センサを含み得る。センサ部１０２は、測定手段として機能する。 The sensor unit 102 is a sensor that measures motion information or biological information of the measurement target, or environmental information around the measurement target, and acquires data (measurement information). The sensor unit 102 may include a speed sensor, an acceleration sensor, an angular velocity sensor, a heart rate sensor, a blood pressure sensor, and a pressure sensor. The sensor unit 102 functions as a measuring means.

解析部１０３は、センサ部１０２が取得したデータを解析し、測定対象の運動情報又は生体情報、若しくは測定対象の周囲の環境情報を評価する評価値（運動情報の評価値、生体情報の評価値、環境情報の評価値）を算出する。解析部１０３は、ＣＰＵを含み得る。解析部１０３が算出する運動情報の評価値には、測定対象の速度、測定対象の重量及び速度から算出される活動量（エネルギー）、活動量から算出される消費カロリー、速度や加速度の小ささを表す安定度が含まれ得る。解析部１０３は、解析手段として機能する。 The analysis unit 103 analyzes the data acquired by the sensor unit 102 and evaluates the motion information or biological information of the measurement target, or the environmental information around the measurement target (evaluation value of motion information, evaluation value of biological information). , Evaluation value of environmental information) is calculated. The analysis unit 103 may include a CPU. The evaluation values of the exercise information calculated by the analysis unit 103 include the speed of the measurement target, the amount of activity (energy) calculated from the weight and speed of the measurement target, the calories burned calculated from the amount of activity, and the small speed and acceleration. Stability representing may be included. The analysis unit 103 functions as an analysis means.

符号化部１０４は、情報を符号化して信号を生成する。符号化部１０４は、ＣＰＵを含み得る。符号化部１０４が符号化して生成する可視光信号４００は、測定装置１００、センサ部１０２が測定を行った時間、解析部１０３が算出した評価値を含むものであるが、詳細は後述する。 The coding unit 104 encodes the information to generate a signal. The coding unit 104 may include a CPU. The visible light signal 400 encoded and generated by the coding unit 104 includes the time when the measuring device 100 and the sensor unit 102 perform the measurement, and the evaluation value calculated by the analysis unit 103, which will be described in detail later.

記憶部１０５は、センサ部１０２が取得したデータ、解析部１０３が算出した評価値、及び符号化部１０４が生成した信号を記憶する記憶装置である。また、記憶部１０５は、制御部１０１が処理を実行する際の記憶領域としても機能する。記憶部１０５は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、磁気ディスクを含み得る。 The storage unit 105 is a storage device that stores the data acquired by the sensor unit 102, the evaluation value calculated by the analysis unit 103, and the signal generated by the coding unit 104. The storage unit 105 also functions as a storage area when the control unit 101 executes processing. The storage unit 105 may include a RAM (Random Access Memory), a flash memory, and a magnetic disk.

発光部１０６は、可視光通信の発信器となる可視光発光装置である。発光部１０６は、例えば可視光での点灯、消灯を繰り返す点滅パターンを用いて、符号化部１０４が符号化した可視光信号４００を発信する。発光部１０６は、ＬＥＤ（Light Emitting Diode）を含み得る。発光部１０６は、発光手段として機能する。発光部１０６は、異なる波長で発光する複数のＬＥＤを用いて、符号化部１０４が符号化した可視光信号４００を発信してもよい。異なる波長で発光する複数のＬＥＤを用いることで、送信する情報量を増やすことが可能になる。 The light emitting unit 106 is a visible light light emitting device that serves as a transmitter of visible light communication. The light emitting unit 106 transmits a visible light signal 400 encoded by the coding unit 104, for example, by using a blinking pattern in which lighting and extinguishing with visible light are repeated. The light emitting unit 106 may include an LED (Light Emitting Diode). The light emitting unit 106 functions as a light emitting means. The light emitting unit 106 may transmit the visible light signal 400 encoded by the coding unit 104 using a plurality of LEDs that emit light at different wavelengths. By using a plurality of LEDs that emit light at different wavelengths, it is possible to increase the amount of information to be transmitted.

通信部１０７は、画像処理装置３００との無線通信を行う通信装置である。通信部１０７は、センサ部１０２が測定したデータを含む、容量が大きく発光部１０６を介した可視光通信では送信が難しい信号の送信を行う。通信部１０７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮ（Local Area Network）モジュール及びそれらを制御するための制御回路を含み得る。 The communication unit 107 is a communication device that performs wireless communication with the image processing device 300. The communication unit 107 transmits a signal including the data measured by the sensor unit 102, which has a large capacity and is difficult to transmit by visible light communication via the light emitting unit 106. The communication unit 107 may include a Bluetooth® module, a wireless LAN (Local Area Network) module, and a control circuit for controlling them.

撮影装置２００は、測定対象を撮影して動画情報を記憶する撮影装置である。動画情報は、測定装置１００により測定された測定対象の測定情報を有し測定装置１００によって発信された可視光信号４００と、測定対象の映像と、を含む。撮影装置２００は、制御部２０１と、撮影部２０２と、記憶部２０３と、通信部２０４と、を備える。撮影装置２００は、ビデオカメラ、カメラ付き携帯電話を含み得る。 The photographing device 200 is a photographing device that photographs a measurement target and stores moving image information. The moving image information includes a visible light signal 400 having measurement information of a measurement target measured by the measurement device 100 and transmitted by the measurement device 100, and an image of the measurement target. The photographing device 200 includes a control unit 201, a photographing unit 202, a storage unit 203, and a communication unit 204. The photographing device 200 may include a video camera and a camera-equipped mobile phone.

制御部２０１は、プログラムを実行することにより撮影装置２００を制御する処理手段である。制御部２０１は、ＣＰＵを含み得る。 The control unit 201 is a processing means for controlling the photographing apparatus 200 by executing a program. The control unit 201 may include a CPU.

撮影部２０２は、測定対象を撮影して動画情報を取得する撮影装置である。撮影部２０２は、レンズ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge-Coupled Device）イメージセンサ、Ａ／Ｄ（Analog/Digital）変換器を含み得る。本明細書では、一例として、撮影部２０２が撮影する動画情報の１秒あたりのフレーム数（ｆｐｓ）を３０ｆｐｓであるとして説明する。撮影部２０２は入手手段又は撮影手段として機能する。 The photographing unit 202 is an photographing device that photographs an object to be measured and acquires moving image information. The photographing unit 202 may include a lens, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge-Coupled Device) image sensor, and an A / D (Analog / Digital) converter. In the present specification, as an example, the number of frames (fps) per second of the moving image information captured by the photographing unit 202 will be described as 30 fps. The photographing unit 202 functions as an acquisition means or a photographing means.

記憶部２０３は、撮影部２０２が取得した動画情報を含むデータを記憶する記憶装置である。また、記憶部２０３は、制御部２０１が処理を実行する際の記憶領域としても機能する。記憶部２０３は、ＲＡＭ、フラッシュメモリ、磁気ディスクを含み得る。 The storage unit 203 is a storage device that stores data including moving image information acquired by the photographing unit 202. The storage unit 203 also functions as a storage area when the control unit 201 executes processing. The storage unit 203 may include a RAM, a flash memory, and a magnetic disk.

通信部２０４は、画像処理装置３００との無線通信を行う通信装置である。通信部２０４は、撮影部２０２が取得し、記憶部２０３が記憶した動画情報を含むデータの送信を行う。通信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮモジュール及びそれらを制御するための制御回路を含み得る。 The communication unit 204 is a communication device that performs wireless communication with the image processing device 300. The communication unit 204 transmits data including moving image information acquired by the photographing unit 202 and stored by the storage unit 203. The communication unit 204 may include a Bluetooth® module, a wireless LAN module, and a control circuit for controlling them.

画像処理装置３００は、測定対象を撮影した動画情報及び測定したデータを時間同期させて表示する装置である。画像処理装置３００は、制御部３０１と、通信部３０２と、取得部３０３と、記憶部３０４と、表示部３０５と、受付部３０６と、を備える。画像処理装置３００は、サーバ、パーソナルコンピュータ、スマートフォンを含み得る。 The image processing device 300 is a device that displays the moving image information of the measurement target and the measured data in time synchronization. The image processing device 300 includes a control unit 301, a communication unit 302, an acquisition unit 303, a storage unit 304, a display unit 305, and a reception unit 306. The image processing device 300 may include a server, a personal computer, and a smartphone.

制御部３０１は、プログラムを実行することにより画像処理装置３００を制御する処理装置である。制御部３０１は、ＣＰＵを含み得る。 The control unit 301 is a processing device that controls the image processing device 300 by executing a program. The control unit 301 may include a CPU.

通信部３０２は、測定装置１００及び撮影装置２００との無線通信を行う通信装置である。通信部３０２は、測定装置１００の通信部１０７又は撮影装置２００の通信部２０４が送信した信号を受信する。通信部３０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮモジュール及びそれらを制御するための制御回路を含み得る。通信部３０２は入手手段又は受信手段として機能する。 The communication unit 302 is a communication device that performs wireless communication with the measuring device 100 and the photographing device 200. The communication unit 302 receives the signal transmitted by the communication unit 107 of the measuring device 100 or the communication unit 204 of the photographing device 200. The communication unit 302 may include a Bluetooth® module, a wireless LAN module, and a control circuit for controlling them. The communication unit 302 functions as an acquisition means or a reception means.

取得部３０３は、動画情報に記録された可視光通信の信号を復号（デコード）し、情報を取得する。また、取得部３０３は時間同期を行う。取得部３０３は、ＣＰＵを含み得る。取得部３０３は、撮影装置２００で撮影され画像処理装置３００に送信された動画情報から、測定装置１００の発光部１０６の発光パターンを特定し、その発光パターンを復号してデータを取得する。さらに、取得部３０３は、後述する方法で時間同期を行う。取得部３０３は、取得手段として機能する。 The acquisition unit 303 decodes the visible light communication signal recorded in the moving image information and acquires the information. Further, the acquisition unit 303 performs time synchronization. The acquisition unit 303 may include a CPU. The acquisition unit 303 identifies the light emission pattern of the light emitting unit 106 of the measuring device 100 from the moving image information captured by the photographing device 200 and transmitted to the image processing device 300, decodes the light emitting pattern, and acquires data. Further, the acquisition unit 303 performs time synchronization by a method described later. The acquisition unit 303 functions as an acquisition means.

取得部３０３が動画情報から、発光部１０６が発信する信号を特定する方法について説明する。図３（ａ）及び図３（ｂ）は、取得部３０３が信号を特定する方法について説明する図である。図３（ａ）に示すように、取得部３０３は、動画情報のある１フレームの画像全体から、発光部１０６の発光に相当する色を探索（走査）する。発光部１０６の発光波長、撮影装置２００のホワイトバランス及び感度は既知であり、発光部１０６の発光に相当する色はこれらの情報から一意に決まる。 A method for the acquisition unit 303 to identify the signal transmitted by the light emitting unit 106 from the moving image information will be described. 3A and 3B are diagrams illustrating a method in which the acquisition unit 303 identifies a signal. As shown in FIG. 3A, the acquisition unit 303 searches (scans) a color corresponding to the light emission of the light emitting unit 106 from the entire image of one frame containing moving image information. The emission wavelength of the light emitting unit 106, the white balance and sensitivity of the photographing apparatus 200 are known, and the color corresponding to the emission of the light emitting unit 106 is uniquely determined from this information.

発光部１０６の発光に相当する色を発見すると、図３（ｂ）に示すように、取得部３０３はその色が発見された位置が測定装置１００の位置であると特定し、特定された全ての測定装置１００の位置を追跡する。その後、動画情報の１フレームごとに、それぞれの測定装置１００の位置の発光の有無を取得し、取得した発光のパターンを測定装置１００の発光部１０６が発信した信号として特定する。 When a color corresponding to the light emission of the light emitting unit 106 is found, as shown in FIG. 3B, the acquisition unit 303 identifies the position where the color is found as the position of the measuring device 100, and all the specified positions. The position of the measuring device 100 of the above is tracked. After that, the presence or absence of light emission at the position of each measuring device 100 is acquired for each frame of the moving image information, and the acquired light emission pattern is specified as a signal transmitted by the light emitting unit 106 of the measuring device 100.

上記のように、動画情報の１フレームごとに発光部１０６の発光の有無を取得するため、理想的には、動画情報の１フレームが信号の１ｂｉｔに対応する。したがって、画像処理システム１が行う可視光通信の通信速度（ｂｐｓ）は、理想的には、撮影装置２００が撮影する動画情報の１秒あたりのフレーム数（ｆｐｓ）に一致する。本明細書の例では動画情報は３０ｆｐｓであるから、可視光通信の通信速度は３０ｂｐｓである。 As described above, since the presence / absence of light emission of the light emitting unit 106 is acquired for each frame of the moving image information, ideally, one frame of the moving image information corresponds to one bit of the signal. Therefore, the communication speed (bps) of the visible light communication performed by the image processing system 1 ideally matches the number of frames (fps) per second of the moving image information captured by the photographing device 200. In the example of the present specification, since the moving image information is 30 fps, the communication speed of visible light communication is 30 bps.

記憶部３０４は、通信部３０２が受信した動画情報及びデータ、並びに取得部３０３が復号したデータを記憶する記憶装置である。また、記憶部３０４は、制御部３０１が処理を実行する際の記憶領域としても機能する。記憶部３０４は、ＲＡＭ、フラッシュメモリ、メモリカードを含み得る。 The storage unit 304 is a storage device that stores the moving image information and data received by the communication unit 302 and the data decoded by the acquisition unit 303. The storage unit 304 also functions as a storage area when the control unit 301 executes processing. The storage unit 304 may include a RAM, a flash memory, and a memory card.

表示部３０５は、動画情報及びデータをユーザに対して表示する表示装置である。表示部３０５は、通信部３０２が受信した、測定対象の運動を記録した動画情報を表示する。また、表示部３０５は、通信部３０２が受信した又は取得部３０３が復号したデータを表示する。さらに、表示部３０５は、画面上において特定の測定装置１００が位置する部分の強調表示を行うことができる。表示部３０５は、液晶ディスプレイ、ブラウン管ディスプレイを含み得る。表示部３０５が行う画面表示については後述する。表示部３０５は、表示手段として機能する。 The display unit 305 is a display device that displays moving image information and data to the user. The display unit 305 displays moving image information that records the movement of the measurement target received by the communication unit 302. Further, the display unit 305 displays the data received by the communication unit 302 or decoded by the acquisition unit 303. Further, the display unit 305 can highlight a portion of the screen on which the specific measuring device 100 is located. The display unit 305 may include a liquid crystal display and a cathode ray tube display. The screen display performed by the display unit 305 will be described later. The display unit 305 functions as a display means.

受付部３０６は、ユーザインターフェースとして機能し、ユーザの指示を受け付ける受付装置である。受付部３０６を介して、ユーザは、画面上において特定の測定装置１００を選択する指示を入力する。受付部３０６は、マウス、タッチパッド、タッチパネルを含み得る。受付部３０６は、受付手段として機能する。 The reception unit 306 is a reception device that functions as a user interface and receives instructions from the user. Through the reception unit 306, the user inputs an instruction to select a specific measuring device 100 on the screen. The reception unit 306 may include a mouse, a touch pad, and a touch panel. The reception unit 306 functions as a reception means.

符号化部１０４が符号化し発光部１０６が発信する可視光信号４００について、図を参照して説明する。 The visible light signal 400 encoded by the coding unit 104 and transmitted by the light emitting unit 106 will be described with reference to the drawings.

図４は、可視光信号４００の構成を示す図である。図４に示すように、可視光信号４００は、先頭フラグ４０１と、測定時間４０２と、センサＩＤ４０３と、解析データ４０４と、アラートフラグ４０５と、を含む。 FIG. 4 is a diagram showing the configuration of the visible light signal 400. As shown in FIG. 4, the visible light signal 400 includes a head flag 401, a measurement time 402, a sensor ID 403, analysis data 404, and an alert flag 405.

先頭フラグ４０１は、可視光信号４００の開始を示す３２ｂｉｔの信号である。先頭フラグ４０１は可視光信号４００の先頭に含まれ、取得部３０３は、先頭フラグ４０１が存在することによって可視光信号４００が開始されたことを認識する。 The head flag 401 is a 32-bit signal indicating the start of the visible light signal 400. The head flag 401 is included at the head of the visible light signal 400, and the acquisition unit 303 recognizes that the visible light signal 400 is started by the presence of the head flag 401.

測定時間４０２は、可視光信号４００を送信した測定装置１００が測定を開始してからの経過時間を示す３２ｂｉｔの信号（測定信号）である。より具体的には、測定時間４０２は、測定装置１００が測定を開始してから、先頭フラグ４０１の最初の発光までの経過時間を示す。 The measurement time 402 is a 32-bit signal (measurement signal) indicating the elapsed time since the measuring device 100 that transmitted the visible light signal 400 started the measurement. More specifically, the measurement time 402 indicates the elapsed time from the start of the measurement by the measuring device 100 to the first light emission of the head flag 401.

図５は、取得部３０３が行う同期を説明する図である。取得部３０３は、発光が記録された動画情報のフレームと、測定時間４０２が示す時間とから、測定装置１００によって測定されたデータと撮影装置２００によって撮影された動画情報との時間同期を行う。 FIG. 5 is a diagram illustrating synchronization performed by the acquisition unit 303. The acquisition unit 303 performs time synchronization between the data measured by the measuring device 100 and the moving image information captured by the photographing device 200 from the frame of the moving image information in which the light emission is recorded and the time indicated by the measuring time 402.

取得部３０３は測定時間４０２を取得する。図５の例では、測定時間４０２が示す経過時間はＴ秒である。測定時間４０２が含まれる可視光信号４００の先頭フラグ４０１の最初の発光が記録された動画情報のフレームの撮影時刻（Ｔ１）から、測定時間４０２が示す経過時間Ｔ秒だけさかのぼった時刻（Ｔ２）を特定する。その時刻が、測定装置１００が測定を開始した時刻であり、その時刻に撮影されたフレームを特定することで、時間同期が行われる。 The acquisition unit 303 acquires the measurement time 402. In the example of FIG. 5, the elapsed time indicated by the measurement time 402 is T seconds. The time (T2) that goes back by the elapsed time T seconds indicated by the measurement time 402 from the shooting time (T1) of the frame of the moving image information in which the first emission of the head flag 401 of the visible light signal 400 including the measurement time 402 is recorded. To identify. That time is the time when the measuring device 100 starts the measurement, and the time synchronization is performed by specifying the frame taken at that time.

図４に戻り、センサＩＤ４０３は、可視光信号４００を送信した測定装置１００に固有の１６ｂｉｔの信号であり、測定装置１００を特定する特定信号である。複数の測定装置１００がそれぞれ測定対象に装着されている場合であっても、取得部３０３は、センサＩＤ４０３から可視光信号４００を送信した測定装置１００を特定する。 Returning to FIG. 4, the sensor ID 403 is a 16-bit signal unique to the measuring device 100 that has transmitted the visible light signal 400, and is a specific signal that identifies the measuring device 100. Even when a plurality of measuring devices 100 are attached to the measurement targets, the acquisition unit 303 identifies the measuring device 100 that has transmitted the visible light signal 400 from the sensor ID 403.

解析データ４０４は、測定装置１００の解析部１０３がデータを解析して得られた評価値を示す１６ｂｉｔの信号（評価信号）である。解析データ４０４は可視光信号４００に複数含まれ、図４の例では解析データ４０４Ａ，４０４Ｂ，４０４Ｃの三つが含まれている。 The analysis data 404 is a 16-bit signal (evaluation signal) indicating an evaluation value obtained by analyzing the data by the analysis unit 103 of the measuring device 100. A plurality of analysis data 404s are included in the visible light signal 400, and in the example of FIG. 4, three analysis data 404A, 404B, and 404C are included.

アラートフラグ４０５は、測定装置１００の解析部１０３が解析して得られた評価値が閾値を超えた場合に出力されるフラグを示す３２ｂｉｔの信号（アラート信号）である。アラートフラグ４０５には、複数の評価値のうちのどれが閾値を超えたのかを示す情報も含まれる。 The alert flag 405 is a 32-bit signal (alert signal) indicating a flag output when the evaluation value obtained by analysis by the analysis unit 103 of the measuring device 100 exceeds the threshold value. The alert flag 405 also includes information indicating which of the plurality of evaluation values exceeds the threshold value.

可視光信号４００は全体として１６０ｂｉｔの信号であり、本実施形態の３０ｂｐｓの通信速度では、５．３秒で通信が完了する。 The visible light signal 400 is a 160-bit signal as a whole, and at the communication speed of 30 bps of the present embodiment, communication is completed in 5.3 seconds.

図６は、画像処理としての同期処理を示すフローチャートである。画像処理システム１が実行する同期処理について、図６のフローチャートを参照して説明する。 FIG. 6 is a flowchart showing a synchronization process as an image process. The synchronous processing executed by the image processing system 1 will be described with reference to the flowchart of FIG.

測定装置１００の動作について説明する。制御部１０１によって測定開始が指示されると、センサ部１０２が測定対象の測定を開始する（ステップＳ１０１）。測定されたデータは、記憶部１０５に保存される。 The operation of the measuring device 100 will be described. When the control unit 101 instructs to start the measurement, the sensor unit 102 starts the measurement of the measurement target (step S101). The measured data is stored in the storage unit 105.

データの測定が開始されると、解析部１０３がデータを解析して評価値を算出する（ステップＳ１０２）。算出された評価値は、記憶部１０５に保存される。 When the data measurement is started, the analysis unit 103 analyzes the data and calculates the evaluation value (step S102). The calculated evaluation value is stored in the storage unit 105.

評価値が算出されると、符号化部１０４が情報を符号化して可視光信号４００の生成を開始する（ステップＳ１０３）。生成された可視光信号４００は、記憶部１０５に保存される。 When the evaluation value is calculated, the coding unit 104 encodes the information and starts generating the visible light signal 400 (step S103). The generated visible light signal 400 is stored in the storage unit 105.

可視光信号４００が生成されると、発光部１０６が点滅することで可視光信号４００を発信する（ステップＳ１０４）。 When the visible light signal 400 is generated, the light emitting unit 106 blinks to transmit the visible light signal 400 (step S104).

可視光信号４００が発信されると、通信部１０７がセンサ部１０２の測定したデータを画像処理装置３００に送信する（ステップＳ１０５）。なお、ステップＳ１０５が実行される位置は任意であり、ステップＳ１０１よりも前に行われても良いし、ステップＳ１０１からステップＳ１０４と平行して行われても良い。 When the visible light signal 400 is transmitted, the communication unit 107 transmits the data measured by the sensor unit 102 to the image processing device 300 (step S105). The position where step S105 is executed is arbitrary and may be performed before step S101 or in parallel with steps S101 to S104.

ステップＳ１０１からステップＳ１０５が完了すると、測定装置１００は動作を終了する。 When the steps S101 to S105 are completed, the measuring device 100 ends the operation.

撮影装置２００の動作について説明する。制御部２０１によって撮影開始が指示されると、撮影部２０２が測定対象を撮影して動画情報を取得する（ステップＳ２０１）。測定装置１００の発光部１０６が発信した可視光信号４００も同時に撮影される。取得された動画情報は、記憶部２０３に保存される。なお、ステップＳ２０１は発光部１０６が可視光信号４００を発信するステップＳ１０４よりも後に行われる必要はなく、動画情報の撮影の途中（即ちステップＳ２０１の実行中）に可視光信号４００の発信（ステップＳ１０４）が開始されても良い。 The operation of the photographing device 200 will be described. When the control unit 201 instructs the start of shooting, the shooting unit 202 shoots the measurement target and acquires the moving image information (step S201). The visible light signal 400 transmitted by the light emitting unit 106 of the measuring device 100 is also photographed at the same time. The acquired moving image information is stored in the storage unit 203. Note that step S201 does not have to be performed after step S104 in which the light emitting unit 106 transmits the visible light signal 400, and the visible light signal 400 is transmitted (step) during the shooting of the moving image information (that is, during the execution of step S201). S104) may be started.

動画情報が取得されると、通信部２０４が、撮影部２０２が取得した動画情報を画像処理装置３００に送信する（ステップＳ２０２）。 When the moving image information is acquired, the communication unit 204 transmits the moving image information acquired by the photographing unit 202 to the image processing device 300 (step S202).

ステップＳ２０１からステップＳ２０２が完了すると、撮影装置２００は動作を終了する。 When the steps S201 to S202 are completed, the photographing device 200 ends the operation.

画像処理装置３００の動作について説明する。ステップＳ１０５でデータが送信されると、通信部３０２が送信されたデータを受信する（ステップＳ３０１）。受信されたデータは記憶部３０４に保存される。 The operation of the image processing device 300 will be described. When the data is transmitted in step S105, the communication unit 302 receives the transmitted data (step S301). The received data is stored in the storage unit 304.

ステップＳ２０２で動画が送信されると、通信部３０２が送信された動画情報を受信する（ステップＳ３０２）。受信された動画は記憶部３０４に保存される。 When the moving image is transmitted in step S202, the communication unit 302 receives the transmitted moving image information (step S302). The received moving image is stored in the storage unit 304.

動画が受信されると、取得部３０３が動画に記録された可視光信号４００を特定し、復号を行う（ステップＳ３０３）。復号することで得られた情報は記憶部３０４に保存される。なお、ステップＳ３０２及びステップＳ３０３はステップＳ３０１よりも先に行われても良いし、ステップＳ３０１と平行して行われても良い。 When the moving image is received, the acquisition unit 303 identifies the visible light signal 400 recorded in the moving image and decodes it (step S303). The information obtained by decoding is stored in the storage unit 304. In addition, step S302 and step S303 may be performed before step S301, or may be performed in parallel with step S301.

データ及び動画情報が受信され、可視光信号４００が復号され情報が得られると、取得部３０３は、動画情報と、データ又は評価値と、の時間同期を行う（ステップＳ３０４）。時間同期は、測定時間４０２と、この測定時間４０２を示す信号が記録されていた動画情報のフレームと、から行われる。同期された動画情報と、データ又は評価値と、は対応付けられて記憶部３０４に保存される。 When the data and the moving image information are received, the visible light signal 400 is decoded and the information is obtained, the acquisition unit 303 performs time synchronization between the moving image information and the data or the evaluation value (step S304). The time synchronization is performed from the measurement time 402 and the frame of the moving image information in which the signal indicating the measurement time 402 is recorded. The synchronized moving image information and the data or the evaluation value are associated with each other and stored in the storage unit 304.

ステップＳ３０１からステップＳ３０４が完了すると、画像処理装置３００は動作を終了する。 When the steps S301 to S304 are completed, the image processing apparatus 300 ends the operation.

測定装置１００、撮影装置２００及び画像処理装置３００が動作を終了すると、画像処理システム１は同期処理を終了する。 When the measuring device 100, the photographing device 200, and the image processing device 300 end their operations, the image processing system 1 ends the synchronization process.

表示部３０５が行う画面表示について詳細に説明する。 The screen display performed by the display unit 305 will be described in detail.

図７〜図９は、表示部３０５が表示する画面を示す図である。図７に示すように、表示部３０５は、測定装置１００が送信した可視光信号４００にアラートフラグ４０５が含まれている場合に、画面上においてこの測定装置１００が位置する部分の強調表示を行う。強調表示は、この測定装置１００が位置する部分を楕円で囲むことで行われる。楕円を用いる強調表示は一例であり、矢印で示す、明度を変更する等、様々な方法で行われ得る。 7 to 9 are views showing a screen displayed by the display unit 305. As shown in FIG. 7, when the visible light signal 400 transmitted by the measuring device 100 includes the alert flag 405, the display unit 305 highlights the portion of the screen where the measuring device 100 is located. .. The highlighting is performed by enclosing the portion where the measuring device 100 is located with an ellipse. Highlighting using an ellipse is an example, and can be performed by various methods such as indicating by an arrow and changing the brightness.

測定対象の運動情報が適切な範囲を超えた場合、測定対象の生体情報が適切な範囲を超えた場合、又は、測定対象の周囲の環境情報が適切な範囲を超えた場合に評価値が閾値を超えるように閾値を設定すれば、測定対象の運動情報が不適切であった場合、測定対象の生体情報が不適切であった場合、又は、測定対象の周囲の環境情報が不適切であった場合に、測定対象が装着する測定装置１００が強調表示されることになる。このように、ユーザに複数の測定対象の中から着目すべき測定対象を明示することができ、効率的な指導を行わせることができる。 The evaluation value is a threshold when the exercise information of the measurement target exceeds the appropriate range, the biological information of the measurement target exceeds the appropriate range, or the environmental information around the measurement target exceeds the appropriate range. If the threshold is set so as to exceed, the exercise information of the measurement target is inappropriate, the biological information of the measurement target is inappropriate, or the environmental information around the measurement target is inappropriate. In that case, the measuring device 100 worn by the measurement target will be highlighted. In this way, it is possible to clearly indicate the measurement target to be focused on from the plurality of measurement targets, and to have the user perform efficient guidance.

図８（ａ）及び図８（ｂ）に示すように、表示部３０５は、測定装置１００が送信した解析データ４０４に含まれる評価値と、撮影装置２００が送信した動画情報と、を画面に重畳して又は並べて同時に表示する。図８（ａ）に示すように、ユーザが、画面上の測定装置１００、又は、この測定装置１００を装着した測定対象を、受付部３０６を介して選択すると、取得部３０３は、この測定装置１００が送信した測定時間４０２から経過時間情報を取得し、解析データ４０４から評価値を取得する。制御部３０１は、同期処理を行った上で表示部３０５を制御して、図８（ｂ）に示すように画面上に評価値と動画情報とを重畳して又は並べて同時に表示する。 As shown in FIGS. 8A and 8B, the display unit 305 displays the evaluation value included in the analysis data 404 transmitted by the measuring device 100 and the moving image information transmitted by the photographing device 200 on the screen. Display in layers or side by side at the same time. As shown in FIG. 8A, when the user selects the measuring device 100 on the screen or the measurement target equipped with the measuring device 100 via the reception unit 306, the acquisition unit 303 receives the measuring device. The elapsed time information is acquired from the measurement time 402 transmitted by the 100, and the evaluation value is acquired from the analysis data 404. The control unit 301 controls the display unit 305 after performing synchronization processing, and displays the evaluation value and the moving image information on the screen in superposition or side by side at the same time as shown in FIG. 8 (b).

例えば、運動情報の評価値は、データそのものよりもユーザが運動の効果を理解しやすい指標であり、評価値を算出することで、ユーザに効率的な指導を行わせることができる。また、解析データ４０４は画面上の測定装置１００から取得できるため、測定装置１００と評価値との対応付けが容易である。また、評価値の表示は可視光通信のみによって行うことができ、通信部１０７と通信部３０２とを介した無線通信が必要ないため、データ管理が容易になる。 For example, the evaluation value of exercise information is an index that makes it easier for the user to understand the effect of exercise than the data itself, and by calculating the evaluation value, the user can be made to give efficient guidance. Further, since the analysis data 404 can be acquired from the measuring device 100 on the screen, it is easy to associate the measuring device 100 with the evaluation value. Further, the evaluation value can be displayed only by visible light communication, and since wireless communication via the communication unit 107 and the communication unit 302 is not required, data management becomes easy.

図９（ａ）及び図９（ｂ）に示すように、表示部３０５は、測定装置１００が通信部１０７を介して送信したデータと、撮影装置２００が通信部２０４を介して送信した動画と、を画面に重畳して又は並べて同時に表示する。図９（ａ）に示すように、ユーザが、画面上の測定装置１００、又は、この測定装置１００を装着した測定対象を、受付部３０６を介して選択すると、取得部３０３は、この測定装置１００が送信した測定時間４０２から経過時間情報を取得し、センサＩＤ４０３からこの測定装置１００を特定する情報を取得する。制御部３０１は、この測定装置１００が通信部１０７を介して送信したデータを記憶部３０４から取得し、同期処理を行った上で表示部３０５を制御して、図９（ｂ）に示すように画面上にデータと動画情報とを重畳して又は並べて同時に表示する。表示されている動画情報上の時刻に対応するデータ上の時刻は、線Ｌで明示される。 As shown in FIGS. 9A and 9B, the display unit 305 includes data transmitted by the measuring device 100 via the communication unit 107 and a moving image transmitted by the photographing device 200 via the communication unit 204. , Are superimposed on the screen or displayed side by side at the same time. As shown in FIG. 9A, when the user selects the measuring device 100 on the screen or the measurement target equipped with the measuring device 100 via the reception unit 306, the acquisition unit 303 receives the measuring device. The elapsed time information is acquired from the measurement time 402 transmitted by the 100, and the information for identifying the measuring device 100 is acquired from the sensor ID 403. The control unit 301 acquires the data transmitted by the measuring device 100 via the communication unit 107 from the storage unit 304, performs synchronous processing, and then controls the display unit 305, as shown in FIG. 9B. Data and moving image information are superimposed or arranged side by side on the screen and displayed at the same time. The time on the data corresponding to the time on the displayed moving image information is clearly indicated by the line L.

通信部１０７と通信部３０２とを介した無線通信を行うことで、可視光通信での受信又は送信が困難な大容量のデータを用いた、測定対象の運動のより詳細な評価を行うことができる。 By performing wireless communication via the communication unit 107 and the communication unit 302, it is possible to perform a more detailed evaluation of the motion to be measured using a large amount of data that is difficult to receive or transmit by visible light communication. it can.

以上のように、本実施形態に係る画像処理システム１によれば、画像処理装置３００は、撮影装置２００が撮影した動画情報を受信することで、測定装置１００が測定したデータに基づく測定情報（運動情報、生体情報又は環境情報）を取得することができる。動画情報を受信することで測定情報を取得することができるため、データの受信又は送信を無線送受信機を用いずに実施することができる。 As described above, according to the image processing system 1 according to the present embodiment, the image processing device 300 receives the moving image information taken by the photographing device 200, and the measurement information based on the data measured by the measuring device 100 ( Exercise information, biological information or environmental information) can be acquired. Since the measurement information can be acquired by receiving the moving image information, the data can be received or transmitted without using a wireless transceiver.

画像処理システム１によれば、測定装置１００が測定したデータと、撮影装置２００が撮影した動画情報と、を１フレーム単位で時間同期することができる。時間同期が１フレーム単位で行われることで、ユーザに測定対象の運動とデータ（測定情報）との関連を正確に把握させることができる。正確な時間同期を可能にするモジュールの例としてＧＰＳ（Global Positioning System）があるが、装置の大型化及びコストの増大という課題に加え、ＧＰＳは屋内においては現在時刻の取得ができず、時間同期を行うことができないという課題がある。画像処理システム１によれば、屋内でも正確な時間同期を行うことができる。 According to the image processing system 1, the data measured by the measuring device 100 and the moving image information captured by the photographing device 200 can be time-synchronized in units of one frame. By performing time synchronization in units of one frame, it is possible for the user to accurately grasp the relationship between the motion to be measured and the data (measurement information). GPS (Global Positioning System) is an example of a module that enables accurate time synchronization, but in addition to the problems of increasing the size of the device and increasing the cost, GPS cannot acquire the current time indoors, so time synchronization There is a problem that it cannot be done. According to the image processing system 1, accurate time synchronization can be performed indoors.

画像処理システム１によれば、動画とデータ又は評価値とを時間同期した上で画面上に同時に重畳して又は並べて同時に表示することができる。動画情報とデータ又は評価値とが同時に重畳して又は並べて同時に表示されることで、ユーザに動画情報による測定対象の身体の動きと測定対象から得た測定データとを同時に見せることができ、ユーザが測定対象の運動の評価及び指導を行うことを容易にすることができる。 According to the image processing system 1, the moving image and the data or the evaluation value can be time-synchronized and then simultaneously superimposed or displayed side by side on the screen. By simultaneously superimposing or displaying the video information and the data or the evaluation value side by side, the user can be shown the movement of the body of the measurement target by the video information and the measurement data obtained from the measurement target at the same time. Can facilitate the evaluation and guidance of the movement to be measured.

画像処理システム１によれば、複数の測定装置１００を用いた場合であっても、可視光信号４００に含まれるセンサＩＤ４０３によってそれぞれの測定装置１００を特定することができる。これによって、例えば、複数人が測定装置１００をそれぞれ装着して運動を行う場合であっても、データがどの測定対象から取得されたものであるかを容易に特定することができ、複数人での運動の指導を容易に行わせることができる。 According to the image processing system 1, even when a plurality of measuring devices 100 are used, each measuring device 100 can be specified by the sensor ID 403 included in the visible light signal 400. Thereby, for example, even when a plurality of people wear the measuring devices 100 and exercise, it is possible to easily identify from which measurement target the data is acquired, and the plurality of people can easily identify the data. You can easily teach the exercise of.

（実施形態２）
以下、本発明の実施形態２に係る画像処理システム１について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。 (Embodiment 2)
Hereinafter, the image processing system 1 according to the second embodiment of the present invention will be described with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals.

測定装置１００のセンサ部１０２は、地磁気センサを含む。センサ部１０２は地磁気を測定し、測定されたデータは記憶部１０５に記憶される。 The sensor unit 102 of the measuring device 100 includes a geomagnetic sensor. The sensor unit 102 measures the geomagnetism, and the measured data is stored in the storage unit 105.

図１０（ａ）及び図１０（ｂ）は、実施形態２に係る画像処理システム１の動作を説明する図である。図１０（ａ）に示すように、センサ部１０２が測定を開始すると、解析部１０３は、測定された地磁気と測定開始時の地磁気とを解析し、測定対象の角度変位を算出する。制御部１０１は、算出された角度変位が閾値を超えたか否かを判断する。本実施形態では、角度変位の閾値は±６０度である。 10 (a) and 10 (b) are diagrams for explaining the operation of the image processing system 1 according to the second embodiment. As shown in FIG. 10A, when the sensor unit 102 starts the measurement, the analysis unit 103 analyzes the measured geomagnetism and the geomagnetism at the start of the measurement, and calculates the angular displacement of the measurement target. The control unit 101 determines whether or not the calculated angular displacement exceeds the threshold value. In this embodiment, the threshold of angular displacement is ± 60 degrees.

測定対象の角度変位が閾値を超えていないと判断された場合には、発光部１０６による可視光信号４００の送信が継続される。図１０（ｂ）の測定対象Ｘのように、閾値を超えていると判断された場合には、制御部１０１は発光部１０６を制御して、可視光信号４００の送信を停止させる。また、閾値を超えていると判断された場合の後において、角度変位が閾値を越えていないと再度判断された場合には、制御部１０１は発光部１０６を制御して、停止されていた可視光信号４００の送信を再開させる。 When it is determined that the angular displacement of the measurement target does not exceed the threshold value, the light emitting unit 106 continues to transmit the visible light signal 400. When it is determined that the threshold value is exceeded as in the measurement target X of FIG. 10B, the control unit 101 controls the light emitting unit 106 to stop the transmission of the visible light signal 400. Further, after it is determined that the threshold value is exceeded, if it is determined again that the angular displacement does not exceed the threshold value, the control unit 101 controls the light emitting unit 106 and is stopped. The transmission of the optical signal 400 is restarted.

測定装置１００の角度変位が大きくなると、発光部１０６の発光が撮影装置２００によって撮影されにくくなってしまう。このような場合、発光部１０６の発光が無駄になり、エネルギーの浪費と寿命の短縮とに繋がってしまう。また、測定装置１００から発信された可視光信号４００が撮影装置２００によって撮影されず、データが失われてしまう。 If the angular displacement of the measuring device 100 becomes large, it becomes difficult for the photographing device 200 to capture the light emitted from the light emitting unit 106. In such a case, the light emission of the light emitting unit 106 is wasted, leading to waste of energy and shortening of the life. Further, the visible light signal 400 transmitted from the measuring device 100 is not photographed by the photographing device 200, and the data is lost.

本実施形態に係る画像処理システム１は、測定装置１００の角度変位が閾値を超えた場合に発信を停止させることで、無駄な発光を防ぎ、エネルギーの浪費と寿命の短縮とを防ぐことができる。また、可視光信号４００が撮影装置２００によって撮影されずにデータが失われることを防ぐことができる。 The image processing system 1 according to the present embodiment can prevent unnecessary light emission, waste energy and shorten the life by stopping the transmission when the angular displacement of the measuring device 100 exceeds the threshold value. .. In addition, it is possible to prevent data from being lost without the visible light signal 400 being photographed by the photographing device 200.

（変形例）
以上に本発明のいくつかの実施形態について説明したが、実施形態１及び実施形態２は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 (Modification example)
Although some embodiments of the present invention have been described above, the first and second embodiments are examples, and the scope of application of the present invention is not limited thereto. That is, the embodiments of the present invention can be applied in various ways, and all the embodiments are included in the scope of the present invention.

画像処理システム１は、測定装置１００と、撮影装置２００と、画像処理装置３００と、を備えるとしたが、これに限られるものではない。図１１は、変形例の画像処理システムの構成を示す概略図である。図１１に示すように、画像処理システム１が撮影装置２００を備えず、画像処理装置３００が撮影部２０２を備え、画像処理装置３００が撮影装置２００の機能を備えてもよい。また、画像処理システム１が画像処理装置３００を備えず、撮影装置２００が画像処理装置３００の機能を備えてもよい。 The image processing system 1 includes, but is not limited to, a measuring device 100, a photographing device 200, and an image processing device 300. FIG. 11 is a schematic view showing the configuration of an image processing system of a modified example. As shown in FIG. 11, the image processing system 1 may not include the photographing device 200, the image processing device 300 may include the photographing unit 202, and the image processing device 300 may have the function of the photographing device 200. Further, the image processing system 1 may not include the image processing device 300, and the photographing device 200 may have the function of the image processing device 300.

発光部１０６は、可視光発光装置であるとしたが、これに限られるものではない。発生した電磁波が撮影装置２００によって撮影され得るものであれば良く、例えば、赤外線発生装置であってもよい。同様に、本明細書で可視光通信又は可視光信号として説明したものは、可視光を用いたものに限られない。 The light emitting unit 106 is said to be a visible light light emitting device, but the present invention is not limited to this. Any electromagnetic wave that can be photographed by the photographing device 200 may be used, and may be, for example, an infrared generating device. Similarly, what is described here as visible light communication or visible light signal is not limited to those using visible light.

通信部１０７は、無線通信を行う通信装置であるとしたが、これに限られるものではない。例えば、ＵＳＢ（Universal Serial Bus）モジュールを備え、有線通信を行う通信装置であっても良い。また、データを取り外し可能な記憶装置に保存して、他の機器に読み込ませてデータをやりとりしても良い。通信部２０４、通信部３０２についても同様である。この場合、動画情報は、取り外し可能な記憶装置から入手される。 The communication unit 107 is a communication device that performs wireless communication, but the present invention is not limited to this. For example, it may be a communication device provided with a USB (Universal Serial Bus) module and performing wired communication. Alternatively, the data may be stored in a removable storage device and read by another device to exchange the data. The same applies to the communication unit 204 and the communication unit 302. In this case, the moving image information is obtained from a removable storage device.

また、測定装置１００は通信部１０７を備えていなくてもよい。通信部１０７を備えていなくても、発光部１０６を介して測定情報を送信し、撮影装置２００の撮影部２０２がそれを撮影することで、動画情報と測定情報とを表示することができる。 Further, the measuring device 100 does not have to include the communication unit 107. Even if the communication unit 107 is not provided, the measurement information is transmitted via the light emitting unit 106, and the photographing unit 202 of the photographing device 200 photographs the measurement information, so that the moving image information and the measurement information can be displayed.

可視光通信において、動画情報の１フレームが信号の１ｂｉｔに対応するとしたが、これに限られるものではない。例えば、動画情報の２フレームが信号の１ｂｉｔになるように点滅時間を設定しても良い。このように設定すれば、通信速度は半分になるが、点滅が動画情報のフレームに記録されずに失われてしまうことを防ぐことができる。 In visible light communication, one frame of moving image information corresponds to one bit of a signal, but the present invention is not limited to this. For example, the blinking time may be set so that two frames of the moving image information become one bit of the signal. With this setting, the communication speed is halved, but it is possible to prevent the blinking from being lost without being recorded in the frame of the moving image information.

可視光信号４００は、先頭フラグ４０１と、測定時間４０２と、センサＩＤ４０３と、解析データ４０４と、アラートフラグ４０５と、を含むとしたが、これに限られるものではない。例えば、可視光信号４００は、先頭フラグ４０１及び測定時間４０２のみを含んでいても良い。また、測定時間４０２を含まず、センサＩＤ４０３、解析データ４０４、アラートフラグ４０５のうちの少なくともいずれか一つを含んでいても良い。複数回送信される可視光信号４００のうちの少なくとも１回に測定時間４０２が含まれていれば、画像処理システム１は動画情報と測定データとの時間同期を行うことができる。 The visible light signal 400 includes, but is not limited to, the head flag 401, the measurement time 402, the sensor ID 403, the analysis data 404, and the alert flag 405. For example, the visible light signal 400 may include only the head flag 401 and the measurement time 402. Further, the measurement time 402 may not be included, and at least one of the sensor ID 403, the analysis data 404, and the alert flag 405 may be included. If the measurement time 402 is included in at least one of the visible light signals 400 transmitted a plurality of times, the image processing system 1 can perform time synchronization between the moving image information and the measurement data.

解析データ４０４は、測定装置１００の解析部１０３がデータを解析して得られた評価値を示すとしたが、これに限られるものではない。例えば、解析データ４０４は、測定装置１００のセンサ部１０２が測定したデータそのものを測定情報として含んでいても良い。 The analysis data 404 indicates an evaluation value obtained by analyzing the data by the analysis unit 103 of the measuring device 100, but the analysis data 404 is not limited to this. For example, the analysis data 404 may include the data itself measured by the sensor unit 102 of the measuring device 100 as the measurement information.

可視光信号４００は、信号の末尾に終了フラグを含んでいても良い。終了フラグは、可視光信号４００の終了を示す３２ｂｉｔの信号である。取得部３０３は、終了フラグが存在することによって可視光信号４００が終了したことを認識する。 The visible light signal 400 may include an end flag at the end of the signal. The end flag is a 32-bit signal indicating the end of the visible light signal 400. The acquisition unit 303 recognizes that the visible light signal 400 has ended due to the presence of the end flag.

画像処理システム１は、画像処理としての同期処理を行うとしたが、これに限られるものではない。例えば、可視光信号４００が測定時間４０２を含まず、時間同期を行わない画像処理を行っても良い。可視光信号４００に解析データ４０４が含まれていれば、可視光信号４００を撮影し、動画情報を受信することで測定情報と動画情報との表示を行うことができる。 The image processing system 1 is supposed to perform synchronous processing as image processing, but the present invention is not limited to this. For example, the visible light signal 400 may perform image processing that does not include the measurement time 402 and does not perform time synchronization. If the visible light signal 400 includes the analysis data 404, the measurement information and the moving image information can be displayed by photographing the visible light signal 400 and receiving the moving image information.

実施形態２に係る画像処理システム１において、可視光信号４００に終了フラグが含まれる場合、発光部１０６は、停止した可視光信号４００の送信を先頭フラグ４０１から再開する。先頭フラグ４０１から送信を再開することで、確実に可視光信号４００を取得部３０３に認識させることができる。取得部３０３は、終了フラグが受信されていないにもかかわらず所定時間（例えば１秒）以上可視光信号４００が受信されなかった場合、送信が中断されたと判断し、可視光信号４００の再送に備える。 In the image processing system 1 according to the second embodiment, when the visible light signal 400 includes the end flag, the light emitting unit 106 restarts the transmission of the stopped visible light signal 400 from the head flag 401. By restarting the transmission from the head flag 401, the visible light signal 400 can be surely recognized by the acquisition unit 303. If the visible light signal 400 is not received for a predetermined time (for example, 1 second) or longer even though the end flag has not been received, the acquisition unit 303 determines that the transmission has been interrupted and retransmits the visible light signal 400. Be prepared.

なお、本発明に係る機能を実現するための構成を予め備えた画像処理システムとして提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理システムとして機能させることもできる。すなわち、実施形態１及び実施形態２で例示した画像処理システム１による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る画像処理システムとして機能させることができる。また、本発明に係る画像処理方法は、画像処理システムを用いて実施できる。 It should be noted that not only can it be provided as an image processing system provided with a configuration for realizing the function according to the present invention in advance, but also an existing information processing apparatus or the like can be made to function as an image processing system according to the present invention by applying a program. You can also. That is, by applying the program for realizing each functional configuration by the image processing system 1 exemplified in the first embodiment and the second embodiment so that the CPU or the like that controls the existing information processing apparatus or the like can execute the program. It can function as an image processing system according to the present invention. Further, the image processing method according to the present invention can be carried out by using an image processing system.

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。 Moreover, the method of applying such a program is arbitrary. The program can be stored and applied in a computer-readable storage medium such as a flexible disc, a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc) -ROM, or a memory card. Further, the program can be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program may be posted and distributed on a bulletin board system (BBS: Bulletin Board System) on a communication network. Then, this program may be started and executed in the same manner as other application programs under the control of the OS (Operating System) so that the above processing can be executed.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the specific embodiment, and the present invention includes the invention described in the claims and the equivalent range thereof. included. The inventions described in the claims of the original application of the present application are described below.

（付記１）
測定対象に取り付けられた測定装置により測定された前記測定対象の測定情報を有し前記測定装置によって発信された可視光信号と、前記測定対象の映像と、を含む動画情報を入手する入手手段と、
前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記測定情報を取得する取得手段と、
を備える、
ことを特徴とする画像処理装置。 (Appendix 1)
An acquisition means for obtaining moving image information including a visible light signal having measurement information of the measurement target measured by the measurement device attached to the measurement target and transmitted by the measurement device, and an image of the measurement target. ,
An acquisition means for acquiring the measurement information from the visible light signal included in the moving image information acquired by the acquisition means, and an acquisition means.
To prepare
An image processing device characterized by this.

（付記２）
前記入手手段は、前記動画情報を撮影する撮影手段である、
ことを特徴とする付記１に記載の画像処理装置。 (Appendix 2)
The acquisition means is a shooting means for shooting the moving image information.
The image processing apparatus according to Appendix 1, wherein the image processing apparatus is characterized by the above.

（付記３）
前記入手手段は、前記動画情報を撮影した撮影装置から前記動画情報を受信する受信手段である、
ことを特徴とする付記１に記載の画像処理装置。 (Appendix 3)
The acquisition means is a receiving means for receiving the moving image information from a photographing device that has captured the moving image information.
The image processing apparatus according to Appendix 1, wherein the image processing apparatus is characterized by the above.

（付記４）
前記入手手段が入手した前記動画情報と前記取得手段が取得した前記測定情報とを同時に表示する表示手段を更に備える、
ことを特徴とする付記１から３のいずれか１つに記載の画像処理装置。 (Appendix 4)
A display means for simultaneously displaying the moving image information acquired by the acquisition means and the measurement information acquired by the acquisition means is further provided.
The image processing apparatus according to any one of Supplementary note 1 to 3, wherein the image processing apparatus is characterized by the above.

（付記５）
前記入手手段は、前記測定装置が前記測定情報の測定を行った測定時間を更に有する前記可視光信号を含む前記動画情報を入手し、
前記取得手段は、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記測定時間を取得し、取得した前記測定時間に基づいて、前記測定情報と前記動画情報とを時間的に同期する、
ことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。 (Appendix 5)
The acquisition means obtains the moving image information including the visible light signal having a measurement time for which the measuring device has measured the measurement information.
The acquisition means acquires the measurement time from the visible light signal included in the moving image information obtained by the obtaining means, and based on the acquired measurement time, the measurement information and the moving image information are temporally obtained. Synchronize with,
The image processing apparatus according to any one of Supplementary Provisions 1 to 4, wherein the image processing apparatus is characterized by the above.

（付記６）
前記入手手段は、前記測定装置を識別する識別情報を更に有する前記可視光信号を含む前記動画情報を入手し、
前記取得手段は、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記識別情報を取得する、
ことを特徴とする付記１から５のいずれか１つに記載の画像処理装置。 (Appendix 6)
The obtaining means obtains the moving image information including the visible light signal further having identification information for identifying the measuring device, and obtains the moving image information.
The acquisition means acquires the identification information from the visible light signal included in the moving image information obtained by the acquisition means.
The image processing apparatus according to any one of Supplementary note 1 to 5, wherein the image processing apparatus is characterized by the above.

（付記７）
前記入手手段は、前記測定装置が前記測定情報を解析して算出した評価値を更に有する前記可視光信号を含む前記動画情報を入手する、
ことを特徴とする付記１から６のいずれか１つに記載の画像処理装置。 (Appendix 7)
The acquisition means obtains the moving image information including the visible light signal having an evaluation value further calculated by the measuring device analyzing the measurement information.
The image processing apparatus according to any one of Supplementary note 1 to 6, wherein the image processing apparatus is characterized by the above.

（付記８）
前記入手手段は、前記測定装置が前記測定情報を解析して算出した評価値が閾値を超えたことを示すアラートフラグを更に有する前記可視光信号を含む前記動画情報を入手し、
前記取得手段は、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記アラートフラグを取得し、
前記表示手段は、前記取得手段が前記アラートフラグを取得した場合に、前記動画情報上の前記測定装置を含む部分を強調表示する、
ことを特徴とする付記４に記載の画像処理装置。 (Appendix 8)
The acquisition means obtains the moving image information including the visible light signal further having an alert flag indicating that the evaluation value calculated by analyzing the measurement information by the measuring device exceeds the threshold value.
The acquisition means acquires the alert flag from the visible light signal included in the moving image information obtained by the acquisition means.
When the acquisition means acquires the alert flag, the display means highlights a portion of the moving image information including the measuring device.
The image processing apparatus according to Appendix 4, wherein the image processing apparatus is characterized by the above.

（付記９）
複数の前記測定装置のうちの特定の前記測定装置を選択する指示を受け付ける受付手段を更に備え、
前記表示手段は、選択された前記測定装置が取り付けられた前記測定対象の前記測定情報と前記動画情報とを同時に表示する、
ことを特徴とする付記４に記載の画像処理装置。 (Appendix 9)
Further provided with a receiving means for receiving an instruction to select a specific measuring device among the plurality of measuring devices.
The display means simultaneously displays the measurement information and the moving image information of the measurement target to which the selected measuring device is attached.
The image processing apparatus according to Appendix 4, wherein the image processing apparatus is characterized by the above.

（付記１０）
前記測定情報は、前記測定装置が運動している前記測定対象から取得した運動情報を含む、
ことを特徴とする付記１から９のいずれか１つに記載の画像処理装置。 (Appendix 10)
The measurement information includes motion information acquired from the measurement target in which the measuring device is exercising.
The image processing apparatus according to any one of Supplementary Provisions 1 to 9, wherein the image processing apparatus is characterized by the above.

（付記１１）
前記測定情報は、前記測定装置が前記測定対象から取得した生体情報を含む、
ことを特徴とする付記１から１０のいずれか１つに記載の画像処理装置。 (Appendix 11)
The measurement information includes biological information acquired by the measuring device from the measurement target.
The image processing apparatus according to any one of Supplementary note 1 to 10.

（付記１２）
前記測定情報は、前記測定装置が前記測定対象の周囲の環境から取得した環境情報を含む、
ことを特徴とする付記１から１１のいずれか１つに記載の画像処理装置。 (Appendix 12)
The measurement information includes environmental information acquired by the measuring device from the surrounding environment of the measurement target.
The image processing apparatus according to any one of Supplementary note 1 to 11, wherein the image processing apparatus is characterized by the above.

（付記１３）
前記可視光信号は可視光の点滅パターンを含む、
ことを特徴とする付記１から１２のいずれか１つに記載の画像処理装置。 (Appendix 13)
The visible light signal includes a blinking pattern of visible light.
The image processing apparatus according to any one of Supplementary note 1 to 12, wherein the image processing apparatus is characterized in that.

（付記１４）
前記可視光信号は波長の異なる複数の可視光を含む、
ことを特徴とする付記１から１３のいずれか１つに記載の画像処理装置。 (Appendix 14)
The visible light signal includes a plurality of visible lights having different wavelengths.
The image processing apparatus according to any one of Supplementary note 1 to 13, wherein the image processing apparatus is characterized by the above.

（付記１５）
測定対象に取り付けられて前記測定対象の測定情報を測定する測定手段と、
前記測定手段が測定した前記測定情報を有する可視光信号を発信する発光手段と、
を備え、
前記測定手段は、地磁気を測定して前記測定対象の角度変位を取得し、
前記発光手段は、前記角度変位が閾値を超えない場合に前記可視光信号を発信し、前記角度変位が前記閾値を超える場合に前記可視光信号を発信しない、
ことを特徴とする測定装置。 (Appendix 15)
A measuring means attached to the measurement target to measure the measurement information of the measurement target,
A light emitting means for transmitting a visible light signal having the measurement information measured by the measuring means, and a light emitting means.
With
The measuring means measures the geomagnetism to obtain the angular displacement of the measurement target, and obtains the angular displacement.
The light emitting means emits the visible light signal when the angular displacement does not exceed the threshold value, and does not transmit the visible light signal when the angular displacement exceeds the threshold value.
A measuring device characterized in that.

（付記１６）
測定対象に取り付けられて前記測定対象の測定情報を測定し、測定した前記測定情報を有する可視光信号を発信する測定装置と、
前記可視光信号と前記測定対象の映像とを含む動画情報を入手する入手手段と、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記測定情報を取得する取得手段と、を有する画像処理装置と、
を備える、
ことを特徴とする画像処理システム。 (Appendix 16)
A measuring device attached to a measurement target, measuring the measurement information of the measurement target, and transmitting a visible light signal having the measured measurement information, and a measuring device.
An acquisition means for obtaining moving image information including the visible light signal and a video to be measured, an acquisition means for acquiring the measurement information from the visible light signal included in the moving image information obtained by the obtaining means, and an acquisition means. Image processing device with
To prepare
An image processing system characterized by this.

（付記１７）
測定対象に取り付けられた測定装置により測定された前記測定対象の測定情報を有し前記測定装置によって発信された可視光信号と、前記測定対象の映像と、を含む動画情報を入手し、
入手した前記動画情報に含まれる前記可視光信号から前記測定情報を取得する、
ことを含む、
ことを特徴とする画像処理方法。 (Appendix 17)
Obtaining moving image information including a visible light signal having measurement information of the measurement target measured by the measurement device attached to the measurement target and transmitted by the measurement device and an image of the measurement target,
The measurement information is acquired from the visible light signal included in the obtained moving image information.
Including that
An image processing method characterized by that.

（付記１８）
コンピュータに、
測定対象に取り付けられた測定装置により測定された前記測定対象の測定情報を有し前記測定装置によって発信された可視光信号と、前記測定対象の映像と、を含む動画情報を入手する入手処理、
入手した前記動画情報に含まれる前記可視光信号から前記測定情報を取得する取得処理、
を実行させる、
ことを特徴とするプログラム。 (Appendix 18)
On the computer
An acquisition process for obtaining moving image information including a visible light signal having measurement information of the measurement target measured by the measurement device attached to the measurement target and transmitted by the measurement device and an image of the measurement target.
An acquisition process for acquiring the measurement information from the visible light signal included in the acquired moving image information.
To execute,
A program characterized by that.

また、以下に、基礎出願の出願当初の特許請求の範囲に記載された発明を付記する。 In addition, the inventions described in the claims at the time of filing the basic application will be added below.

（付記１０１）
運動している測定対象に取り付けられて前記測定対象の測定情報を測定する測定手段と、前記測定手段が測定した前記測定情報に基づく運動情報を含む運動信号を可視光の点滅パターンによって発信する発光手段と、を有する測定装置が発信した、前記可視光の点滅パターンと前記測定対象とを撮影して動画を取得する撮影手段を有する撮影装置から前記動画を受信する通信手段と、
前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記運動情報を取得する取得手段と、
前記取得手段により取得された前記運動情報と前記通信手段により受信された前記動画とを重畳して表示する表示手段と、
を備える、
ことを特徴とする画像処理装置。 (Appendix 101)
Light emission that is attached to a moving measurement target to measure the measurement information of the measurement target and emits a motion signal including motion information based on the measurement information measured by the measurement means by a blinking pattern of visible light. A communication means for receiving the moving image from the photographing device having the photographing means for photographing the blinking pattern of the visible light and the measurement target and acquiring the moving image transmitted by the measuring device having the means.
An acquisition means for acquiring the motion information from the blinking pattern of the visible light of the moving image received by the communication means, and an acquisition means.
A display means for superimposing and displaying the motion information acquired by the acquisition means and the moving image received by the communication means.
To prepare
An image processing device characterized by this.

（付記１０２）
前記発光手段は、前記運動信号に加えて、前記測定手段が前記測定情報の測定を行った測定時間を示す情報を含む測定信号を前記可視光の点滅パターンによって発信し、
前記取得手段は、前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記測定時間を取得し、取得した前記測定時間に基づいて、前記運動情報と前記動画とを時間的に同期し、
前記表示手段は、前記取得手段が時間的に同期した前記運動情報と前記動画とを重畳して表示する、
ことを特徴とする付記１０１に記載の画像処理装置。 (Appendix 102)
In addition to the motion signal, the light emitting means transmits a measurement signal including information indicating the measurement time when the measuring means measured the measurement information by the blinking pattern of the visible light.
The acquisition means acquires the measurement time from the blinking pattern of the visible light of the moving image received by the communication means, and synchronizes the motion information with the moving image in time based on the acquired measurement time. And
The display means superimposes and displays the motion information and the moving image that are time-synchronized by the acquisition means.
The image processing apparatus according to Appendix 101.

（付記１０３）
前記発光手段は、前記運動信号に加えて、前記測定装置を識別する識別情報を含む識別信号を前記可視光の点滅パターンによって発信し、
前記取得手段は、前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記識別情報を取得する、
ことを特徴とする付記１０１又は１０２に記載の画像処理装置。 (Appendix 103)
In addition to the motion signal, the light emitting means transmits an identification signal including identification information for identifying the measuring device by the blinking pattern of the visible light.
The acquisition means acquires the identification information from the blinking pattern of the visible light of the moving image received by the communication means.
The image processing apparatus according to Appendix 101 or 102.

（付記１０４）
前記通信手段は前記測定装置から前記測定情報を受信し、
前記表示手段は前記測定情報と前記動画とを重畳して表示する、
ことを特徴とする付記１０１から１０３のいずれか１つに記載の画像処理装置。 (Appendix 104)
The communication means receives the measurement information from the measuring device and receives the measurement information.
The display means superimposes and displays the measurement information and the moving image.
The image processing apparatus according to any one of Appendix 101 to 103.

（付記１０５）
前記測定装置は、前記測定情報を解析して評価値を算出する解析手段を更に有し、
前記運動情報は、前記評価値を含む、
ことを特徴とする付記１０１から１０４のいずれか１つに記載の画像処理装置。 (Appendix 105)
The measuring device further includes an analysis means for analyzing the measurement information and calculating an evaluation value.
The exercise information includes the evaluation value.
The image processing apparatus according to any one of Appendix 101 to 104.

（付記１０６）
前記発光手段は、前記評価値が閾値を超える場合にアラートフラグを示す情報を含むアラート信号を前記可視光の点滅パターンによって発信し、
前記取得手段は、前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記アラートフラグを取得し、
前記表示手段は、前記取得手段が前記アラートフラグを取得した場合に、前記動画上の前記測定装置を含む部分を強調表示する、
ことを特徴とする付記１０５に記載の画像処理装置。 (Appendix 106)
The light emitting means transmits an alert signal including information indicating an alert flag when the evaluation value exceeds a threshold value by the blinking pattern of the visible light.
The acquisition means acquires the alert flag from the blinking pattern of the visible light of the moving image received by the communication means.
When the acquisition means acquires the alert flag, the display means highlights a portion of the moving image including the measuring device.
The image processing apparatus according to Appendix 105.

（付記１０７）
複数の前記測定装置が複数の前記測定対象にそれぞれ取り付けられ、
前記測定装置を選択する指示を受け付ける受付手段を更に備え、
前記表示手段は、選択された前記測定装置が取り付けられた前記測定対象の前記運動情報と前記動画とを重畳して表示する、
ことを特徴とする付記１０１から１０６のいずれか１つに記載の画像処理装置。 (Appendix 107)
A plurality of the measuring devices are attached to each of the plurality of measuring objects, respectively.
Further provided with a receiving means for receiving an instruction to select the measuring device,
The display means superimposes and displays the motion information of the measurement target to which the selected measuring device is attached and the moving image.
The image processing apparatus according to any one of Supplementary notes 101 to 106.

（付記１０８）
運動している測定対象に取り付けられて前記測定対象の測定情報を測定する測定手段と、
前記測定手段が測定した前記測定情報に基づく運動情報を含む運動信号を可視光の点滅パターンによって発信する発光手段と、
を備え、
前記測定手段は、地磁気を測定して前記測定対象の角度変位を取得し、
前記発光手段は、前記角度変位が閾値を超えない場合に前記可視光の点滅パターンによる発信を行い、前記角度変位が閾値を超える場合に前記可視光の点滅パターンによる発信を行わない、
ことを特徴とする測定装置。 (Appendix 108)
A measuring means attached to a moving measurement target and measuring the measurement information of the measurement target,
A light emitting means that transmits a motion signal including motion information based on the measurement information measured by the measuring means by a blinking pattern of visible light, and a light emitting means.
With
The measuring means measures the geomagnetism to obtain the angular displacement of the measurement target, and obtains the angular displacement.
The light emitting means transmits by the blinking pattern of visible light when the angular displacement does not exceed the threshold value, and does not transmit by the blinking pattern of visible light when the angular displacement exceeds the threshold value.
A measuring device characterized in that.

（付記１０９）
運動している測定対象に取り付けられて前記測定対象の測定情報を測定する測定手段と、前記測定手段が測定した前記測定情報に基づく運動情報を含む運動信号を可視光の点滅パターンによって発信する発光手段と、を有する測定装置と、
前記測定装置が発信した前記可視光の点滅パターンと前記測定対象とを撮影して動画を取得する撮影手段を有する撮影装置と、
前記撮影装置から前記動画を受信する通信手段と、前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記運動情報を取得する取得手段と、前記取得手段により取得された前記運動情報と前記通信手段により受信された前記動画とを重畳して表示する表示手段と、を有する画像処理装置と、
を備える、
ことを特徴とする画像処理システム。 (Appendix 109)
Light emission that is attached to a moving measurement target to measure the measurement information of the measurement target and emits a motion signal including motion information based on the measurement information measured by the measurement means by a blinking pattern of visible light. A measuring device having means and
An imaging device having a photographing means for photographing the blinking pattern of visible light transmitted by the measuring device and the measurement target to acquire a moving image, and
A communication means for receiving the moving image from the photographing device, an acquisition means for acquiring the motion information from the blinking pattern of the visible light of the moving image received by the communication means, and the motion information acquired by the acquisition means. An image processing device having a display means for superimposing and displaying the moving image received by the communication means and the image processing device.
To prepare
An image processing system characterized by this.

（付記１１０）
前記発光手段は、前記運動信号に加えて、前記測定手段が前記測定情報の測定を行った測定時間を示す情報を含む測定信号を前記可視光の点滅パターンによって発信し、
前記取得手段は、前記通信手段により受信された前記動画の前記可視光の点滅パターンから前記測定時間を取得し、取得した前記測定時間に基づいて、前記運動情報と前記動画とを時間的に同期し、
前記表示手段は、前記取得手段が時間的に同期した前記運動情報と前記動画とを重畳して表示する、
ことを特徴とする付記１０９に記載の画像処理システム。 (Appendix 110)
In addition to the motion signal, the light emitting means transmits a measurement signal including information indicating the measurement time when the measuring means measured the measurement information by the blinking pattern of the visible light.
The acquisition means acquires the measurement time from the blinking pattern of the visible light of the moving image received by the communication means, and synchronizes the motion information with the moving image in time based on the acquired measurement time. And
The display means superimposes and displays the motion information and the moving image that are time-synchronized by the acquisition means.
The image processing system according to Appendix 109.

（付記１１１）
運動している測定対象の測定情報を測定し、
前記測定情報に基づく運動情報を含む運動信号を可視光の点滅パターンによって発信し、
前記可視光の点滅パターンと前記測定対象とを撮影して動画を取得し、
前記動画の前記可視光の点滅パターンから前記運動情報を取得し、
測定された前記運動情報と取得された前記動画とを重畳して表示する、
ことを含む、
ことを特徴とする画像処理方法。 (Appendix 111)
Measure the measurement information of the object to be measured while exercising,
A motion signal including motion information based on the measurement information is transmitted by a blinking pattern of visible light.
The blinking pattern of the visible light and the measurement target are photographed to acquire a moving image, and the moving image is acquired.
The motion information is acquired from the blinking pattern of the visible light of the moving image, and the motion information is acquired.
The measured motion information and the acquired moving image are superimposed and displayed.
Including that
An image processing method characterized by that.

（付記１１２）
前記運動信号に加えて、前記測定情報の測定を行った測定時間を示す情報を含む測定信号を前記可視光の点滅パターンによって発信し、
撮影された前記動画の前記可視光の点滅パターンから前記測定時間を取得し、取得した前記測定時間に基づいて、前記運動情報と前記動画とを時間的に同期し、
時間的に同期された前記運動情報と前記動画とを重畳して表示する、
ことを更に含む、
ことを特徴とする付記１１１に記載の画像処理方法。 (Appendix 112)
In addition to the motion signal, a measurement signal including information indicating the measurement time at which the measurement information was measured is transmitted by the blinking pattern of the visible light.
The measurement time is acquired from the blinking pattern of the visible light of the captured moving image, and the motion information and the moving image are time-synchronized based on the acquired measurement time.
The time-synchronized movement information and the moving image are superimposed and displayed.
Including that
The image processing method according to Appendix 111.

（付記１１３）
コンピュータに、
運動している測定対象の測定情報を測定する測定処理、
前記測定情報に基づく運動情報を含む運動信号を可視光の点滅パターンによって発信する発光処理、
前記発光処理による前記可視光の点滅パターンと前記測定対象とを撮影して動画を取得する撮影処理、
前記動画の前記可視光の点滅パターンから前記運動情報を取得する取得処理、
測定された前記運動情報と取得された前記動画とを重畳して表示する表示処理、
を実行させる、
ことを特徴とするプログラム。 (Appendix 113)
On the computer
Measurement processing that measures the measurement information of a moving measurement target,
A light emitting process that transmits a motion signal including motion information based on the measurement information by a blinking pattern of visible light.
A photographing process for acquiring a moving image by photographing the blinking pattern of the visible light and the measurement target by the light emission processing.
Acquisition process for acquiring the motion information from the blinking pattern of the visible light of the moving image,
A display process that superimposes and displays the measured motion information and the acquired moving image.
To execute,
A program characterized by that.

（付記１１４）
前記発光処理では、前記運動信号に加えて、前記測定情報の測定を行った測定時間を示す情報を含む測定信号を前記可視光の点滅パターンによって発信させ、
前記撮影処理により撮影された前記動画の前記可視光の点滅パターンから前記測定時間を取得し、取得した前記測定時間に基づいて、前記運動情報と前記動画とを時間的に同期する同期処理を前記コンピュータに更に実行させ、
前記表示処理では、時間的に同期された前記運動情報と前記動画とを重畳して表示する、
ことを特徴とする付記１１３に記載のプログラム。 (Appendix 114)
In the light emission processing, in addition to the motion signal, a measurement signal including information indicating the measurement time at which the measurement information was measured is transmitted by the blinking pattern of the visible light.
The measurement time is acquired from the blinking pattern of the visible light of the moving image taken by the photographing process, and the synchronization process for temporally synchronizing the motion information and the moving image based on the acquired measurement time is performed. Let the computer do more
In the display process, the time-synchronized motion information and the moving image are superimposed and displayed.
The program according to Appendix 113, wherein the program is characterized by the above.

１…画像処理システム、１００…測定装置、１０１…制御部、１０２…センサ部、１０３…解析部、１０４…符号化部、１０５…記憶部、１０６…発光部、１０７…通信部、２００…撮影装置、２０１…制御部、２０２…撮影部、２０３…記憶部、２０４…通信部、３００…画像処理装置、３０１…制御部、３０２…通信部、３０３…取得部、３０４…記憶部、３０５…表示部、３０６…受付部、４００…可視光信号、４０１…先頭フラグ、４０２…測定時間、４０３…センサＩＤ、４０４，４０４Ａ，４０４Ｂ，４０４Ｃ…解析データ、４０５…アラートフラグ 1 ... Image processing system, 100 ... Measuring device, 101 ... Control unit, 102 ... Sensor unit, 103 ... Analysis unit, 104 ... Coding unit, 105 ... Storage unit, 106 ... Light emitting unit, 107 ... Communication unit, 200 ... Shooting Device, 201 ... control unit, 202 ... photographing unit, 203 ... storage unit, 204 ... communication unit, 300 ... image processing device, 301 ... control unit, 302 ... communication unit, 303 ... acquisition unit, 304 ... storage unit, 305 ... Display unit, 306 ... Reception unit, 400 ... Visible light signal, 401 ... Head flag, 402 ... Measurement time, 403 ... Sensor ID, 404, 404A, 404B, 404C ... Analysis data, 405 ... Alert flag

Claims (17)

測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手する入手手段と、
前記入手手段により入手された前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、前記入手手段により入手された前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御手段と、
を備える、
ことを特徴とする画像処理装置。 A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time from the start of measurement and acquisition means for obtaining and a video information and a target image,
Said acquiring means by acquired between the elapsed time included in the visible light signal included in the video information obtained identifies a time retroactive by acquired the elapsed time, further, the photographing to the specified time A control means for controlling the measurement information included in the radio signal obtained by the acquisition means and the moving image information to be time-synchronized by specifying the frame of the moving image information.
To prepare
An image processing device characterized by this. 前記入手手段は、前記動画情報を撮影する撮影手段である、
ことを特徴とする請求項１に記載の画像処理装置。 The acquisition means is a shooting means for shooting the moving image information.
The image processing apparatus according to claim 1. 前記入手手段は、前記動画情報を撮影した撮影装置から前記動画情報を受信する受信手段である、
ことを特徴とする請求項１に記載の画像処理装置。 The acquisition means is a receiving means for receiving the moving image information from a photographing device that has captured the moving image information.
The image processing apparatus according to claim 1. 前記入手手段が入手した前記動画情報と前記制御手段が取得した前記測定情報とを同時に表示する表示手段を更に備える、
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 A display means for simultaneously displaying the moving image information obtained by the obtaining means and the measurement information acquired by the controlling means is further provided.
The image processing apparatus according to any one of claims 1 to 3. 前記入手手段は、前記測定装置を識別する識別情報を更に有する前記可視光信号を含む前記動画情報を入手し、
前記制御手段は、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記識別情報を取得する、
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。 The obtaining means obtains the moving image information including the visible light signal further having identification information for identifying the measuring device, and obtains the moving image information.
The control means acquires the identification information from the visible light signal included in the moving image information obtained by the acquisition means.
The image processing apparatus according to any one of claims 1 to 4. 前記入手手段は、前記測定装置が前記測定情報を解析して算出した評価値を更に有する前記可視光信号を含む前記動画情報を入手する、
ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。 The acquisition means obtains the moving image information including the visible light signal having an evaluation value further calculated by the measuring device analyzing the measurement information.
The image processing apparatus according to any one of claims 1 to 5. 前記入手手段は、前記測定装置が前記測定情報を解析して算出した評価値が閾値を超えたことを示すアラートフラグを更に有する前記可視光信号を含む前記動画情報を入手し、
前記制御手段は、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記アラートフラグを取得し、
前記表示手段は、前記制御手段が前記アラートフラグを取得した場合に、前記動画情報上の前記測定装置を含む部分を強調表示する、
ことを特徴とする請求項４に記載の画像処理装置。 The acquisition means obtains the moving image information including the visible light signal further having an alert flag indicating that the evaluation value calculated by analyzing the measurement information by the measuring device exceeds the threshold value.
The control means acquires the alert flag from the visible light signal included in the moving image information obtained by the acquisition means.
When the control means acquires the alert flag, the display means highlights a portion of the moving image information including the measuring device.
The image processing apparatus according to claim 4. 複数の前記測定装置のうちの特定の前記測定装置を選択する指示を受け付ける受付手段を更に備え、
前記表示手段は、選択された前記測定装置が取り付けられた前記測定対象の前記測定情報と前記動画情報とを同時に表示する、
ことを特徴とする請求項４に記載の画像処理装置。 Further provided with a receiving means for receiving an instruction to select a specific measuring device among the plurality of measuring devices.
The display means simultaneously displays the measurement information and the moving image information of the measurement target to which the selected measuring device is attached.
The image processing apparatus according to claim 4. 前記測定情報は、前記測定装置が運動している前記測定対象から取得した運動情報を含む、
ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 The measurement information includes motion information acquired from the measurement target in which the measuring device is exercising.
The image processing apparatus according to any one of claims 1 to 8. 前記測定情報は、前記測定装置が前記測定対象から取得した生体情報を含む、
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。 The measurement information includes biological information acquired by the measuring device from the measurement target.
The image processing apparatus according to any one of claims 1 to 9. 前記測定情報は、前記測定装置が前記測定対象の周囲の環境から取得した環境情報を含む、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。 The measurement information includes environmental information acquired by the measuring device from the surrounding environment of the measurement target.
The image processing apparatus according to any one of claims 1 to 10. 前記可視光信号は可視光の点滅パターンを含む、
ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。 The visible light signal includes a blinking pattern of visible light.
The image processing apparatus according to any one of claims 1 to 11. 前記可視光信号は波長の異なる複数の可視光を含む、
ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。 The visible light signal includes a plurality of visible lights having different wavelengths.
The image processing apparatus according to any one of claims 1 to 12, wherein the image processing apparatus is characterized. 測定対象に取り付けられ、地磁気を測定して前記測定対象の角度変位を取得する取得手段と、
前記取得手段が地磁気の測定を開始してからの経過時間を有する可視光信号を発信する発光手段と、
を備え、
前記発光手段は、前記角度変位が閾値を超えない場合に前記可視光信号を発信し、前記角度変位が前記閾値を超える場合に前記可視光信号を発信しない、
ことを特徴とする測定装置。 An acquisition means that is attached to the measurement target and measures the geomagnetism to acquire the angular displacement of the measurement target.
A light emitting means for transmitting a visible light signal having an elapsed time since the acquisition means started the measurement of the geomagnetism, and a light emitting means.
Equipped with a,
Before SL emitting means, wherein transmits visible light signal when the angular displacement does not exceed the threshold value, does not transmit the said visible light signal when the angular displacement exceeds the threshold value,
A measuring device characterized in that. 測定対象に取り付けられて前記測定対象の測定情報を測定し、測定した前記測定情報を含む無線信号と、測定を開始してからの経過時間を有する可視光信号と、を発信する測定装置と、
前記無線信号、及び、前記可視光信号と前記測定対象の映像とを含む動画情報を入手する入手手段と、前記入手手段により入手された前記動画情報に含まれる前記可視光信号から前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、前記入手手段により入手された前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御手段と、を有する画像処理装置と、
を備える、
ことを特徴とする画像処理システム。 Attached to the measurement target by measuring the measurement information of the measurement object, the radio signal including the measurement the measured information, a measuring device that transmits a visible optical signal having the elapsed time from the start of measurement ,
The radio signal, and a acquisition means for obtaining the moving image information including the visible light signal and the measurement object image, the visible light signal or found before Symbol course included in the video information obtained by the acquiring means get the inter time, to identify the time retroactive by acquired the elapsed time, further, by specifying a frame of the video information captured in the specified time, the wireless that is obtained by said acquiring means An image processing device having a control means for controlling the measurement information included in the signal and the moving image information to be synchronized in time.
To prepare
An image processing system characterized by this. 測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手し、
入手した前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、入手した前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する、
ことを含む、
ことを特徴とする画像処理方法。 A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time after starting the measurement obtain, and video information including the target image,
Get between time the course included in the visible light signal included in the video information obtained, acquired identified only going back time the elapsed time, further, the moving image information captured in the specified time By specifying the frame of, the measurement information included in the obtained radio signal and the moving image information are controlled to be synchronized in time.
Including that
An image processing method characterized by that. コンピュータに、
測定対象に取り付けられた測定装置により測定され発信された前記測定対象の測定情報を含む無線信号と、前記測定装置が測定を開始してからの経過時間を有する可視光信号と前記測定対象の映像とを含む動画情報と、を入手する入手処理、
入手した前記動画情報に含まれる前記可視光信号に含まれる前記経過時間を取得し、取得した前記経過時間だけさかのぼった時刻を特定し、更に、この特定された時刻に撮影された前記動画情報のフレームを特定することで、入手した前記無線信号に含まれる前記測定情報と前記動画情報とを時間的に同期させるよう制御する制御処理、
を実行させる、
ことを特徴とするプログラム。 On the computer
A radio signal including the measurement information of the measurement object is measured originated by measuring device mounted on the measurement object, the measurement device is a visible light signal and before Symbol measurements have a the elapsed time from the start of measurement Obtaining process of obtaining and video information, the including the target image,
Get between time the course included in the visible light signal included in the video information obtained, acquired identified only going back time the elapsed time, further, the moving image information captured in the specified time A control process that controls the measurement information included in the obtained radio signal and the moving image information to be time-synchronized by specifying the frame of.
To execute,
A program characterized by that.
JP2016136253A 2015-12-28 2016-07-08 Image processing equipment, measuring equipment, image processing system, image processing method and program Active JP6888250B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/269,908 US10389444B2 (en) 2015-12-28 2016-09-19 Image processing apparatus, image processing system, image processing method, and recording medium
CN201610951654.1A CN107007997B (en) 2015-12-28 2016-11-02 Image processing apparatus, measurement device, image processing system, image processing method and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015256148 2015-12-28
JP2015256148 2015-12-28

Publications (3)

Publication Number Publication Date
JP2017120615A JP2017120615A (en) 2017-07-06
JP2017120615A5 JP2017120615A5 (en) 2019-07-25
JP6888250B2 true JP6888250B2 (en) 2021-06-16

Family

ID=59272495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136253A Active JP6888250B2 (en) 2015-12-28 2016-07-08 Image processing equipment, measuring equipment, image processing system, image processing method and program

Country Status (2)

Country Link
JP (1) JP6888250B2 (en)
CN (1) CN107007997B (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690622B2 (en) * 2017-09-26 2020-04-28 カシオ計算機株式会社 Information processing apparatus, information processing system, information processing method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3374175B2 (en) * 2000-01-27 2003-02-04 名古屋大学長 Data transmission device with data transmission function for position display
US7499828B2 (en) * 2005-11-29 2009-03-03 Mario Barton Position determining apparatus and related method
JP2007265032A (en) * 2006-03-28 2007-10-11 Fujifilm Corp Information display device, information display system and information display method
JP2009106323A (en) * 2007-10-26 2009-05-21 Yamaha Corp Motion form evaluation device and motion form evaluation program
JP2009050721A (en) * 2008-11-25 2009-03-12 Hitachi Metals Ltd Swing movement assessment method, swing movement assessment apparatus, swing movement assessment system, and swing movement assessment program
US20100273130A1 (en) * 2009-04-22 2010-10-28 Integrated Digital Technologies, Inc. Shooting training systems using an embedded photo sensing panel
JP5504818B2 (en) * 2009-10-23 2014-05-28 ソニー株式会社 Motion-related computing device, motion-related computing method, program, motion-related playback system
CN103099602B (en) * 2011-11-10 2016-04-06 深圳泰山在线科技有限公司 Based on the physical examinations method and system of optical identification
CN105813698B (en) * 2013-10-14 2018-02-09 耐克创新有限合伙公司 The fitness training system calculated for merging the energy expenditure from multiple devices
CN204582502U (en) * 2015-03-02 2015-08-26 欧文特斯（天津）科技发展有限公司 A kind of precisely standing long jump tester

Also Published As

Publication number Publication date
JP2017120615A (en) 2017-07-06
CN107007997A (en) 2017-08-04
CN107007997B (en) 2019-10-11

Similar Documents

Publication Publication Date Title
JP6360621B2 (en) Distance image acquisition device and distance image acquisition method
JP6332830B2 (en) Exercise support system, exercise support method, and exercise support program
US9195885B2 (en) Positional locating system and method
US9357119B2 (en) Imaging apparatus capable of wireless communication
US20180063421A1 (en) Wearable camera, wearable camera system, and recording control method
WO2014186619A1 (en) Correlating sensor data obtained from a wearable sensor device with sensor data obtained from a smart phone
KR20130088059A (en) Information processing apparatus, information processing method, and recording medium, for displaying information of object
JP6379424B2 (en) Image recording device
JP2015116288A (en) Exercise information display system, exercise information display method, and exercise information display program
US20200023237A1 (en) Moving body information providing system and program
US9380198B2 (en) Photographing system, photographing method, light emitting apparatus, photographing apparatus, and computer-readable storage medium
US20220021798A1 (en) Information processing apparatus, information processing system, device for position and posture acquisition, and device information acquisition method
US11460912B2 (en) System and method related to data fusing
US10881937B2 (en) Image processing apparatus, analysis system, and method for processing images
JP6094476B2 (en) Imaging system, control method therefor, and control program therefor
JP6888250B2 (en) Image processing equipment, measuring equipment, image processing system, image processing method and program
US10389444B2 (en) Image processing apparatus, image processing system, image processing method, and recording medium
JP2016213548A (en) Imaging system, imaging method, detector and imaging device
JP6435595B2 (en) Training support system, server, terminal, camera, method and program
JP2016149158A (en) Method of generating social time line, social net work service system, server, terminal, and program
JP6337980B2 (en) Exercise state detection apparatus, control method thereof, and control program thereof
CN109804408A (en) Consistent spherical surface photos and videos direction correction
JP6508730B2 (en) Light emission marker device, marker detection device, transmission system, marker light emission method, marker detection method, and program
JP2016062336A (en) Operation instruction system, operation instruction method, attached terminal, and operation instruction management server
WO2018211711A1 (en) Behavior analysis device, behavior analysis program, behavior analysis system, marker control device, and marker control program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R150 Certificate of patent or registration of utility model

Ref document number: 6888250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150