JP6705316B2 - MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM - Google Patents

MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM Download PDF

Info

Publication number
JP6705316B2
JP6705316B2 JP2016136946A JP2016136946A JP6705316B2 JP 6705316 B2 JP6705316 B2 JP 6705316B2 JP 2016136946 A JP2016136946 A JP 2016136946A JP 2016136946 A JP2016136946 A JP 2016136946A JP 6705316 B2 JP6705316 B2 JP 6705316B2
Authority
JP
Japan
Prior art keywords
moving body
moving
movement information
time sequence
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016136946A
Other languages
Japanese (ja)
Other versions
JP2018011125A (en
Inventor
将司 上田
将司 上田
量平 山本
量平 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016136946A priority Critical patent/JP6705316B2/en
Publication of JP2018011125A publication Critical patent/JP2018011125A/en
Application granted granted Critical
Publication of JP6705316B2 publication Critical patent/JP6705316B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、移動体識別装置、移動体識別システム、移動体識別方法及びプログラムに関する。 The present invention relates to a moving body identifying device, a moving body identifying system, a moving body identifying method, and a program.

スポーツ、ダンス等の運動を解析し、指導を行うために、撮影装置を用いて測定対象の動画を撮影することが行われている。動画を使用することには、専門知識が不足していても動きを容易に把握することができる測定対象の周囲の状況がわかりやすいといったメリットがある。一方で、目に見える大まかな動きの把握しかできず、定量的な評価が難しいといったデメリットもある。 2. Description of the Related Art In order to analyze exercises such as sports and dances and provide guidance, a moving image of a measurement target is taken using an image taking device. The use of moving images has the advantage that it is possible to easily grasp the movement even if the expert knowledge is insufficient, and it is easy to understand the surrounding conditions of the measurement target. On the other hand, there is a demerit that it is difficult to quantitatively evaluate because it is only possible to grasp the rough movements that can be seen.

また、撮影装置と同様に、ウェアラブルセンサを用いることも行われている。ウェアラブルセンサを使用することには、目に見えない情報の取得や運動の定量的な評価が容易であるというメリットがある。一方で、データの分析には専門知識が必要である、測定対象の周囲の状況が把握しにくいといったデメリットもある。 In addition, a wearable sensor is also used like the image capturing apparatus. The use of wearable sensors has the advantage that it is easy to obtain invisible information and quantitatively evaluate exercise. On the other hand, there are disadvantages that data analysis requires specialized knowledge and it is difficult to grasp the situation around the measurement target.

撮影装置とウェアラブルセンサとは互いの短所を補完し合うことができ、組み合わせて使用することで効果的な運動の解析及び指導が可能になる。複数の測定対象に対して撮影装置とウェアラブルセンサとを組み合わせて使用する場合は、撮影された測定対象とウェアラブルセンサを装着した測定対象とを特定する必要がある。 The imaging device and the wearable sensor can complement each other's shortcomings, and by using them in combination, effective exercise analysis and guidance are possible. When the photographing apparatus and the wearable sensor are used in combination for a plurality of measurement targets, it is necessary to specify the photographed measurement target and the measurement target to which the wearable sensor is attached.

特許文献１には、測定対象の各移動体に加速度センサを装着して各移動体の加速度に基づいて各移動体の位置情報の時間変化パターンを検出し、カメラで各移動体を撮影して各移動体領域の位置情報の時間変化パターンを検出し、各移動体と各移動体領域とを対応付ける移動体の位置検出システムが記載されている。 In Patent Document 1, an acceleration sensor is attached to each moving body to be measured, a time change pattern of position information of each moving body is detected based on the acceleration of each moving body, and each moving body is photographed by a camera. A position detection system for a moving body that detects a temporal change pattern of position information of each moving body region and associates each moving body with each moving body region is described.

特許文献２には、ステレオカメラや横方向からのカメラにより撮影された画像に基づいて、各移動体領域が移動することによって生じる上下方向の加速度情報の時間変化パターンを動画像処理によって検出し、各移動体に装着した加速度センサの上下方向の加速度情報の時間変化パターンを検出し、各移動体と各移動体領域とを対応付ける移動体の識別システムが記載されている。 In Patent Document 2, based on an image captured by a stereo camera or a camera from the lateral direction, a temporal change pattern of acceleration information in the vertical direction caused by movement of each moving body region is detected by moving image processing, There is described a mobile body identification system that detects a time change pattern of vertical acceleration information of an acceleration sensor attached to each mobile body and associates each mobile body with each mobile body region.

特開２００４−０９６５０１号公報JP 2004-096501 A 特開２００４−２７４１０１号公報JP, 2004-274101, A

特許文献１及び特許文献２に記載の装置は、カメラと加速度センサとから取得した加速度情報又は位置情報の時間変化パターンを比較して、移動体と移動体領域との対応付けを行っている。このため、移動体と移動体領域との対応付けの負荷が重くなるという課題があった。 The devices described in Patent Documents 1 and 2 compare the temporal change patterns of acceleration information or position information acquired from a camera and an acceleration sensor, and associate a moving body with a moving body region. Therefore, there is a problem that the load of associating the moving body with the moving body region becomes heavy.

本発明はかかる課題に鑑みてなされたものであって、移動体と移動体領域との対応付けの負荷を軽くすることができる移動体識別装置、移動体識別システム、移動体識別方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and provides a mobile body identification device, a mobile body identification system, a mobile body identification method, and a program that can reduce the load of associating a mobile body with a mobile body region. The purpose is to provide.

前記目的を達成するため、本発明に係る移動体識別装置の一態様は、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け手段、
を備え、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とする。
また、前記目的を達成するため、本発明に係る移動体識別装置の一態様は、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け手段、
を備え、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とする。 In order to achieve the above-mentioned object, one aspect of a moving body identifying apparatus according to the present invention is
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Associating means for associating
Bei to give a,
The part of the movement information obtained from the measurement device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The movement information is a time sequence exceeding the first threshold value among the maximum values of the speed of the at least one moving body region .
Further, in order to achieve the above-mentioned object, one aspect of the moving body identifying apparatus according to the present invention is:
From a part of movement information satisfying a predetermined condition out of movement information of the at least one moving body obtained from a measuring device mounted on at least one moving body, and a moving image photographed by a photographing device. Based on the obtained partial movement information of the movement information of at least one moving body area, which satisfies the predetermined condition, the at least one moving body and the at least one moving body area Associating means for associating
Equipped with
The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. The movement information is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body region.

また、前記目的を達成するため、本発明に係る移動体識別システムの一態様は、
前記に記載の移動体識別装置と、前記撮影装置と、前記測定装置と、を備える、
ことを特徴とする。 Further, in order to achieve the above object, one aspect of a mobile body identification system according to the present invention is
The mobile body identification device described above, the imaging device, and the measuring device,
It is characterized by

また、前記目的を達成するため、本発明に係る移動体識別方法の一態様は、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付け、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とする。
また、前記目的を達成するため、本発明に係る移動体識別方法の一態様は、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付け、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とする。 Further, in order to achieve the above object, one aspect of the moving object identification method according to the present invention is:
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, the attached correspondence,
The part of the movement information obtained from the measuring device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The movement information of is a time sequence that exceeds the first threshold value among the maximum values of the speed of the at least one moving body region .
Further, in order to achieve the above object, one aspect of the moving object identification method according to the present invention is:
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, And associate
The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. The movement information is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body region.

また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータに、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け処理、
を実行させ、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とする。
また、前記目的を達成するため、本発明に係るプログラムの一態様は、
コンピュータに、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け処理、
を実行させ、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とする。 Further, in order to achieve the above object, one aspect of a program according to the present invention is:
On the computer,
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspondence processing for associating
Was executed,
The part of the movement information obtained from the measuring device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The movement information of is a time sequence that exceeds the first threshold value among the maximum values of the speed of the at least one moving body region .
Further, in order to achieve the above object, one aspect of a program according to the present invention is:
On the computer,
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspondence processing for associating
Run
The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. The movement information is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body region.

本発明によれば、移動体と移動体領域との対応付けの負荷を軽くすることができる。 According to the present invention, it is possible to reduce the load of associating a moving body with a moving body region.

実施の形態１に係る移動体識別システムの構成を示す概略図である。1 is a schematic diagram showing a configuration of a mobile body identification system according to a first embodiment. 実施の形態１に係る移動体識別システムが使用される状況の例を示す図である。It is a figure which shows the example of the situation where the mobile body identification system which concerns on Embodiment 1 is used. 実施の形態１に係る移動体識別システムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a mobile body identification system according to a first embodiment. 実施の形態１の制御部の機能構成を示すブロック図である。3 is a block diagram showing a functional configuration of a control unit according to the first embodiment. FIG. 実施の形態１の移動体領域速さと移動体領域時間列とを示す図である。FIG. 4 is a diagram showing a moving body region speed and a moving body region time sequence according to the first embodiment. 実施の形態１の移動体速さと移動体時間列とを示す図である。FIG. 3 is a diagram showing a moving body speed and a moving body time sequence according to the first embodiment. 実施の形態１の移動体時間列と移動体領域時間列との比較を示す図である。FIG. 6 is a diagram showing a comparison between a mobile unit time series and a mobile unit time series according to the first embodiment. 実施の形態１の移動体時間列と移動体領域時間列とが一致した状態を示す図である。FIG. 4 is a diagram showing a state in which a moving body time series and a moving body area time series according to the first embodiment match. 実施の形態１の識別処理を示すフローチャートである。6 is a flowchart showing an identification process of the first embodiment. 実施の形態２の制御部の機能構成を示すブロック図である。7 is a block diagram showing a functional configuration of a control unit according to the second embodiment. FIG. 実施の形態２の移動体領域時間列と統合移動体領域時間列とを示す図である。FIG. 9 is a diagram showing a moving body region time sequence and an integrated moving body region time sequence according to the second embodiment. 実施の形態２の移動体時間列と統合移動体領域時間列との比較を示す図である。FIG. 8 is a diagram showing a comparison between a mobile body time series and an integrated mobile body area time series according to the second embodiment. 実施の形態２の補正移動体領域時間列と移動体時間列とを示す図である。FIG. 9 is a diagram showing a corrected moving body region time series and a moving body time series according to the second embodiment. 実施の形態２の識別処理を示すフローチャートである。9 is a flowchart showing an identification process according to the second embodiment.

（実施の形態１）
以下、本発明の実施形態１に係る移動体識別システム１について、図面を参照して説明する。図中同一又は相当する部分には同一符号を付す。 (Embodiment 1)
Hereinafter, the mobile body identification system 1 according to the first embodiment of the present invention will be described with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals.

図１は、本発明の実施形態１に係る移動体識別システム１の構成を示す概略図である。移動体識別システム１は、移動体の動画を撮影するとともに移動体の移動情報を測定し、動画上の移動体と移動情報との対応付けを行って移動体を識別するシステムである。図１に示すように、移動体識別システム１は、移動体識別装置１００と、撮影装置２００と、複数の測定装置３００と、を備える。 FIG. 1 is a schematic diagram showing the configuration of a mobile body identification system 1 according to the first embodiment of the present invention. The moving body identification system 1 is a system for identifying a moving body by capturing a moving image of the moving body, measuring movement information of the moving body, and associating the moving body on the moving image with the movement information. As shown in FIG. 1, the mobile body identification system 1 includes a mobile body identification device 100, an imaging device 200, and a plurality of measurement devices 300.

図２は、移動体識別システム１が使用される状況の例を示す図である。図２に示すように、移動体である６人の選手がコート内で運動競技をしている。運動競技は、例えばバスケットボール、ハンドボール、バレーボール、フットサル等の屋内でプレイされるスポーツであるが、これに限られるものではない。移動体にはそれぞれ測定装置３００が取り付けられている。移動体は、斜め上方に設置された撮影装置２００で撮影されている。移動体識別装置１００及び撮影装置２００は、例えば観客席に設置される。 FIG. 2 is a diagram showing an example of a situation in which the mobile body identification system 1 is used. As shown in FIG. 2, six athletes who are moving bodies are playing sports on the court. Athletics are, but are not limited to, sports played indoors, such as basketball, handball, volleyball, futsal, and the like. A measuring device 300 is attached to each moving body. The moving body is photographed by the photographing device 200 installed diagonally above. The moving body identifying apparatus 100 and the image capturing apparatus 200 are installed, for example, in an audience seat.

移動体識別システム１の構成について説明する。図３は、移動体識別システム１の構成を示すブロック図である。移動体識別装置１００は、撮影された動画上の移動体と移動体を測定して得た移動情報との対応付けを行い、移動体を識別する装置である。図３に示すように、移動体識別装置１００は、制御部１０１と、記憶部１０２と、通信部１０３と、インタフェース部１０４と、を備える。移動体識別装置１００は、サーバ、パーソナルコンピュータ、スマートフォンを含み得る。 The configuration of the mobile body identification system 1 will be described. FIG. 3 is a block diagram showing a configuration of the mobile body identification system 1. The moving body identifying apparatus 100 is an apparatus that identifies a moving body by associating a moving body on a captured moving image with movement information obtained by measuring the moving body. As shown in FIG. 3, the mobile identification device 100 includes a control unit 101, a storage unit 102, a communication unit 103, and an interface unit 104. The mobile body identification device 100 may include a server, a personal computer, and a smartphone.

制御部１０１は、プログラムを実行することにより移動体識別装置１００を制御する処理装置である。制御部１０１は、ＣＰＵ（Central Processing Unit）を含み得る。制御部１０１の機能構成については、詳細に後述する。 The control unit 101 is a processing device that controls the mobile body identification device 100 by executing a program. The control unit 101 may include a CPU (Central Processing Unit). The functional configuration of the control unit 101 will be described later in detail.

記憶部１０２は、制御部１０１が実行するプログラム及び後述する通信部１０３が受信した動画並びにデータを記憶する記憶装置である。記憶部１０２は、制御部１０１が処理を実行する際の記憶領域としても機能する。記憶部１０２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、メモリカードを含み得る。 The storage unit 102 is a storage device that stores a program executed by the control unit 101 and a moving image and data received by the communication unit 103 described below. The storage unit 102 also functions as a storage area when the control unit 101 executes processing. The storage unit 102 may include a RAM (Random Access Memory), a flash memory, and a memory card.

通信部１０３は、撮影装置２００及び測定装置３００との無線通信を行う通信装置である。通信部１０３は、後述する撮影装置２００の通信部２０４又は測定装置３００の通信部３０４が送信した信号を受信する。通信部１０３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮ（Local Area Network）モジュール及びそれらを制御するための制御回路を含み得る。 The communication unit 103 is a communication device that performs wireless communication with the image capturing device 200 and the measuring device 300. The communication unit 103 receives a signal transmitted by the communication unit 204 of the image capturing apparatus 200 or the communication unit 304 of the measuring apparatus 300 described below. The communication unit 103 may include a Bluetooth (registered trademark) module, a wireless LAN (Local Area Network) module, and a control circuit for controlling them.

インタフェース部１０４は、動画及びデータをユーザに対して提示し、ユーザの指示を受け付けるユーザインタフェースである。インタフェース部１０４は、通信部１０３が受信した移動体の運動を記録した動画及び移動体を測定して得たデータを表示する。インタフェース部１０４は、ユーザからの識別処理の開始を含む指示を受け付ける。インタフェース部１０４は、液晶ディスプレイ、ブラウン管ディスプレイ、マウス、タッチパッド、タッチパネルを含み得る。 The interface unit 104 is a user interface that presents a moving image and data to the user and receives an instruction from the user. The interface unit 104 displays a moving image in which the movement of the moving body is received by the communication unit 103 and data obtained by measuring the moving body. The interface unit 104 receives an instruction including the start of the identification process from the user. The interface unit 104 may include a liquid crystal display, a cathode ray tube display, a mouse, a touch pad, and a touch panel.

撮影装置２００は、運動している複数の移動体を撮影して動画を取得する。撮影装置２００は、制御部２０１と、撮影部２０２と、記憶部２０３と、通信部２０４と、を備える。撮影装置２００は、ビデオカメラ、カメラ付き携帯電話を含み得る。 The image capturing apparatus 200 captures a moving image by capturing images of a plurality of moving bodies that are in motion. The image capturing apparatus 200 includes a control unit 201, an image capturing unit 202, a storage unit 203, and a communication unit 204. The image capturing device 200 may include a video camera and a mobile phone with a camera.

制御部２０１は、プログラムを実行することにより撮影装置２００を制御する処理装置である。制御部２０１は、ＣＰＵを含み得る。 The control unit 201 is a processing device that controls the imaging device 200 by executing a program. The control unit 201 may include a CPU.

撮影部２０２は、測定対象を撮影して動画を取得する撮影装置である。撮影部２０２は、レンズ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge-Coupled Device）イメージセンサ、Ａ／Ｄ（Analog/Digital）変換器を含み得る。 The image capturing unit 202 is an image capturing device that captures a moving image by capturing a measurement target. The image capturing unit 202 may include a lens, a complementary metal oxide semiconductor (CMOS) image sensor, a charge-coupled device (CCD) image sensor, and an analog/digital (A/D) converter.

記憶部２０３は、制御部２０１が実行するプログラム及び撮影部２０２が取得した動画を含むデータを記憶する記憶装置である。記憶部２０３は、制御部２０１が処理を実行する際の記憶領域としても機能する。記憶部２０３は、ＲＡＭ、フラッシュメモリ、磁気ディスクを含み得る。 The storage unit 203 is a storage device that stores a program executed by the control unit 201 and data including a moving image acquired by the image capturing unit 202. The storage unit 203 also functions as a storage area when the control unit 201 executes processing. The storage unit 203 can include a RAM, a flash memory, and a magnetic disk.

通信部２０４は、移動体識別装置１００との無線通信を行う通信装置である。通信部２０４は、撮影部２０２が取得し、記憶部２０３が記憶した動画を含むデータの送信を行う。通信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮモジュール及びそれらを制御するための制御回路を含み得る。 The communication unit 204 is a communication device that performs wireless communication with the mobile body identification device 100. The communication unit 204 transmits the data including the moving image acquired by the photographing unit 202 and stored in the storage unit 203. The communication unit 204 may include a Bluetooth (registered trademark) module, a wireless LAN module, and a control circuit for controlling them.

測定装置３００は、移動体に取り付けられるウェアラブルセンサである。測定装置３００は、制御部３０１と、センサ部３０２と、記憶部３０３と、通信部３０４と、を備える。 The measuring device 300 is a wearable sensor attached to a moving body. The measuring device 300 includes a control unit 301, a sensor unit 302, a storage unit 303, and a communication unit 304.

制御部３０１は、プログラムを実行することにより測定装置３００を制御する処理装置である。制御部１０１はＣＰＵを含み得る。 The control unit 301 is a processing device that controls the measuring device 300 by executing a program. The control unit 101 may include a CPU.

センサ部３０２は、移動体の加速度を測定する加速度センサである。センサ部３０２は３軸のＭＥＭＳ（Micro Electro Mechanical Systems）加速度センサを含み、移動体の移動情報の一つであるの３軸の加速度のデータを取得する。 The sensor unit 302 is an acceleration sensor that measures the acceleration of the moving body. The sensor unit 302 includes a triaxial MEMS (Micro Electro Mechanical Systems) acceleration sensor, and acquires triaxial acceleration data, which is one piece of movement information of a moving body.

記憶部３０３は、制御部３０１が実行するプログラム及びセンサ部３０２が取得したデータを記憶する記憶装置である。記憶部３０３は、制御部３０１が処理を実行する際の記憶領域としても機能する。記憶部３０３は、ＲＡＭ、フラッシュメモリ、磁気ディスクを含み得る。 The storage unit 303 is a storage device that stores the program executed by the control unit 301 and the data acquired by the sensor unit 302. The storage unit 303 also functions as a storage area when the control unit 301 executes processing. The storage unit 303 may include a RAM, a flash memory, a magnetic disk.

通信部３０４は、移動体識別装置１００との無線通信を行う通信装置である。通信部３０４は、センサ部３０２が測定したデータを含む信号の送信を行う。通信部３０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線ＬＡＮモジュール及びそれらを制御するための制御回路を含み得る。 The communication unit 304 is a communication device that performs wireless communication with the mobile body identification device 100. The communication unit 304 transmits a signal including the data measured by the sensor unit 302. The communication unit 304 may include a Bluetooth (registered trademark) module, a wireless LAN module, and a control circuit for controlling them.

移動体識別装置１００の制御部１０１の機能構成について、図面を参照して詳細に説明する。図４は、制御部１０１の機能構成を示すブロック図である。図４に示すように、制御部１０１は、取得部１１１と、検出部１１２と、移動体領域速さ算出部１１３と、移動体速さ算出部１１４と、時間列抽出部１１５と、対応付け部１１６と、を備える。以下では、測定対象の移動体は移動体Ａ，移動体Ｂ及び移動体Ｃの３体（３人）であるとして説明する。 The functional configuration of the control unit 101 of the mobile body identification device 100 will be described in detail with reference to the drawings. FIG. 4 is a block diagram showing a functional configuration of the control unit 101. As shown in FIG. 4, the control unit 101 associates the acquisition unit 111, the detection unit 112, the moving body region speed calculation unit 113, the moving body speed calculation unit 114, the time sequence extraction unit 115, and the association. And a section 116. In the following description, it is assumed that the moving objects to be measured are the moving object A, the moving object B, and the moving object C (three persons).

取得部１１１は、撮影装置２００が撮影した移動体の動画を通信部１０３を介して取得するとともに、測定装置３００が測定した移動体の加速度のデータを通信部１０３を介して取得する。取得部１１１は、取得手段として機能する。 The acquisition unit 111 acquires, via the communication unit 103, a moving image of the moving body captured by the image capturing apparatus 200, and also acquires, via the communication unit 103, data on the acceleration of the moving body measured by the measuring apparatus 300. The acquisition unit 111 functions as an acquisition unit.

検出部１１２は、通信部１０３を介して撮影装置２００から取得した移動体を撮影した動画をフレーム毎に解析し、動画上の移動体が存在する領域を移動体領域として検出する。検出される移動体領域の数は撮影された移動体の数に等しい。移動体が存在する領域を検出する方法として、検出部１１２は、例えば背景差分、オプティカルフローを用いて領域抽出を行うが、領域抽出の方法はこれに限られるものではない。 The detection unit 112 analyzes, for each frame, a moving image captured of the moving body acquired from the image capturing apparatus 200 via the communication unit 103, and detects a region where the moving body exists on the moving image as a moving body region. The number of moving body regions detected is equal to the number of moving bodies photographed. As a method of detecting a region in which a moving body exists, the detection unit 112 performs region extraction using, for example, background difference and optical flow, but the region extraction method is not limited to this.

検出部１１２は、検出した移動体領域を符号付けして特定する。本実施の形態では三つの移動体領域が特定されるものとし、それぞれ領域Ｐ，領域Ｑ，領域Ｒと符号付けされる。検出部１１２は、動画の連続するフレームを比較し、フレーム間で領域が重複している移動体領域を同一の移動体領域であると判断する。検出部１１２は、検出手段として機能する。 The detection unit 112 codes and identifies the detected moving body area. In this embodiment, it is assumed that three moving body areas are specified, and are coded as area P, area Q, and area R, respectively. The detection unit 112 compares consecutive frames of the moving image and determines that the moving body regions having overlapping regions between the frames are the same moving body region. The detector 112 functions as a detector.

移動体領域速さ算出部１１３は、検出部１１２が特定した移動体領域が移動する速さをそれぞれの移動体領域について算出し、算出した値から構成されるデータを移動体領域ごとに移動体領域速さとして作成する。移動体領域速さ算出部１１３は動画の連続するフレームを比較して移動体領域のフレーム間の移動量を取得し、取得した移動体領域の移動量とフレーム間の時間間隔とから移動体領域の速さを算出する。移動体領域速さ算出部１１３は上記の動作を繰り返し、動画の全時間に対する移動体領域の速さを算出する。領域Ｐ，領域Ｑ，領域Ｒの速さはそれぞれ移動体領域速さＰ，移動体領域速さＱ，移動体領域速さＲである。移動体領域の速さは移動情報の一つである。移動体領域速さ算出部１１３は、移動体領域速さ算出手段として機能する。 The moving body region speed calculation unit 113 calculates the moving speed of the moving body region specified by the detection unit 112 for each moving body region, and the data composed of the calculated values is calculated for each moving body region. Create as area speed. The moving body region speed calculation unit 113 obtains a moving amount between frames of the moving body region by comparing successive frames of the moving image, and based on the obtained moving amount of the moving body region and the time interval between the frames, the moving body region is calculated. Calculate the speed of. The moving body region speed calculation unit 113 repeats the above operation to calculate the moving body region speed for the entire time of the moving image. The speeds of the area P, the area Q, and the area R are the moving body area speed P, the moving body area speed Q, and the moving body area speed R, respectively. The speed of the moving body area is one piece of moving information. The moving body region speed calculation unit 113 functions as a moving body region speed calculating unit.

移動体速さ算出部１１４は、通信部１０３を介して測定装置３００から取得した移動体の加速度のデータを積分してそれぞれの移動体の速さを算出し、算出した値から構成されるデータを移動体ごとに移動体速さとして作成する。移動体速さ算出部１１４は３体の移動体Ａ，Ｂ及びＣのそれぞれについて速さを算出する。移動体Ａ，移動体Ｂ，移動体Ｃの速さはそれぞれ移動体速さＡ，移動体速さＢ，移動体速さＣである。移動体の速さは移動情報の一つである。移動体速さ算出部１１４は、移動体速さ算出手段として機能する。 The moving body speed calculation unit 114 integrates the data of the moving body acceleration acquired from the measuring device 300 via the communication unit 103 to calculate the speed of each moving body, and is composed of the calculated values. Is created as the moving body speed for each moving body. The moving body speed calculation unit 114 calculates the speed of each of the three moving bodies A, B, and C. The speeds of the moving body A, the moving body B, and the moving body C are the moving body speed A, the moving body speed B, and the moving body speed C, respectively. The speed of the moving body is one piece of movement information. The moving body speed calculating unit 114 functions as a moving body speed calculating means.

時間列抽出部１１５は、移動体領域速さ算出部１１３が算出した移動体領域の速さと、移動体速さ算出部１１４が算出した移動体の速さとから、速さのデータを特徴付ける一部の時間情報をそれぞれ抽出する。 The time sequence extraction unit 115 characterizes the speed data based on the speed of the mobile body region calculated by the mobile body region speed calculation unit 113 and the speed of the mobile body calculated by the mobile body speed calculation unit 114. The time information of each is extracted.

時間列抽出部１１５は、移動体領域の速さの極大値のうちの第１の閾値を越える極大値の時間列をデータを特徴付ける時間情報であると判断して抽出し、抽出した値から構成されるデータを移動体領域時間列として生成する。移動体領域速さＰ，移動体領域速さＱ，移動体領域速さＲから生成されたデータはそれぞれ移動体領域時間列Ｐ，移動体領域時間列Ｑ，移動体領域時間列Ｒである。 The time sequence extraction unit 115 determines that the time sequence having the maximum value exceeding the first threshold value among the maximum values of the velocity of the moving body region is the time information that characterizes the data, extracts the time sequence, and includes the extracted value. The generated data is generated as a moving body region time sequence. Data generated from the moving body region speed P, the moving body region speed Q, and the moving body region speed R are a moving body region time sequence P, a moving body region time sequence Q, and a moving body region time sequence R, respectively.

図５は、移動体領域速さと移動体領域時間列との例を示す図である。図５に例示するように、時間列抽出部１１５は、移動体領域速さ算出部１１３が算出した移動体領域速さＰの極大値のうちの第１の閾値を越える極大値の時間列を抽出し、移動体領域時間列Ｐを生成する。このとき、極大値の時間列のみが抽出され、極大値の値即ち加速度の値は無視される。同様の処理を、移動体領域速さＱ，移動体領域速さＲに対しても行い、それぞれ移動体領域時間列Ｑ，移動体領域時間列Ｒを生成する。 FIG. 5 is a diagram showing an example of a moving body region speed and a moving body region time series. As illustrated in FIG. 5, the time sequence extraction unit 115 determines the time sequence of the maximum value that exceeds the first threshold value among the maximum values of the mobile body region speed P calculated by the mobile body region speed calculation unit 113. The moving body region time series P is extracted and generated. At this time, only the time series of the maximum value is extracted, and the value of the maximum value, that is, the acceleration value is ignored. The same process is performed for the moving body region speed Q and the moving body region speed R, and a moving body region time sequence Q and a moving body region time sequence R are generated, respectively.

時間列抽出部１１５は、移動体領域速さと同様に、移動体速さの極大値のうちの第１の閾値を越える極大値の時間列を抽出し、抽出した値から構成されるデータを移動体時間列として生成する。移動体速さＡ，移動体速さＢ，移動体速さＣから作成されたデータは移動体時間列Ａ，移動体時間列Ｂ，移動体時間列Ｃである。 The time series extraction unit 115 extracts the time series of the maximum value exceeding the first threshold value among the maximum values of the mobile body speed, similarly to the mobile body area speed, and moves the data composed of the extracted values. It is generated as a body time sequence. The data created from the moving body speed A, the moving body speed B, and the moving body speed C are a moving body time sequence A, a moving body time sequence B, and a moving body time sequence C.

図６は、移動体速さと移動体時間列との例を示す図である。図６に例示するように、時間列抽出部１１５は、移動体速さ算出部１１４が算出した移動体速さＡの極大値のうちの第１の閾値を越える極大値の時間列を抽出し、移動体時間列Ａを生成する。このとき、極大値の時間列のみが抽出され、極大値の値即ち加速度の値は無視される。同様の処理を、移動体速さＢ，移動体速さＣに対しても行い、それぞれ移動体時間列Ｂ，移動体時間列Ｃを生成する。時間列抽出部１１５は、時間列抽出手段として機能する。 FIG. 6 is a diagram showing an example of the moving body speed and the moving body time series. As illustrated in FIG. 6, the time series extraction unit 115 extracts the time series having the maximum value exceeding the first threshold value among the maximum values of the moving body speed A calculated by the moving body speed calculating unit 114. , And generates a moving body time sequence A. At this time, only the time series of the maximum value is extracted, and the value of the maximum value, that is, the acceleration value is ignored. The same process is performed for the moving body speed B and the moving body speed C to generate a moving body time series B and a moving body time series C, respectively. The time sequence extraction unit 115 functions as a time sequence extraction means.

図４に戻り、対応付け部１１６は、時間列抽出部１１５が作成した移動体時間列と移動体領域時間列とを比較し、時間間隔が一致する移動体時間列と移動体領域時間列とを対応付ける。対応付け部１１６は、複数の移動体のうちの一つの移動体の移動体時間列について、複数の移動体領域のうちのそれぞれの移動体領域時間列の時間間隔を比較し、時間間隔が一致する移動体領域にその移動体を対応付ける。この処理を全ての移動体時間列について行うことで、どの移動体（Ａ，Ｂ，Ｃ）がどの移動体領域（Ｐ，Ｑ，Ｒ）に相当するものであるかを識別する。対応付け部１１６は、対応付け手段として機能する。 Returning to FIG. 4, the associating unit 116 compares the moving body time sequence created by the time sequence extracting unit 115 with the moving body region time sequence, and determines that the moving body time sequence and the moving body region time sequence have the same time intervals. Correspond to. The associating unit 116 compares the time intervals of the mobile object time series of the plurality of mobile objects with respect to the mobile object time series of one of the plurality of mobile objects, and the time intervals match. The moving body is associated with the moving body area to be moved. By performing this processing for all moving body time sequences, it is possible to identify which moving body (A, B, C) corresponds to which moving body region (P, Q, R). The associating unit 116 functions as an associating unit.

図７は、移動体時間列と移動体領域時間列との比較の例を示す図であり、図８は、移動体時間列と移動体領域時間列とが一致した状態を示す図である。図７に例示するように、対応付け部１１６は、移動体領域時間列Ｐに対して移動体時間列Ａを時間軸方向にスライドさせながら時間間隔を比較する。図８に示すように、移動体領域時間列Ｐの時間間隔と移動体時間列Ａの時間間隔とが一致すると、対応付け部１１６は、移動体Ａを移動体領域Ｐに対応付ける。一致しなかった場合は、移動体領域時間列Ｑ，移動体領域時間列Ｒとの比較を行う。さらに、移動体時間列Ｂ，移動体時間列Ｃについても同様の比較を行う。 FIG. 7 is a diagram showing an example of comparison between a mobile body time sequence and a mobile body region time sequence, and FIG. 8 is a diagram showing a state where the mobile body time sequence and the mobile body region time sequence match. As illustrated in FIG. 7, the associating unit 116 compares the time intervals while sliding the moving body time series A in the time axis direction with respect to the moving body region time series P. As illustrated in FIG. 8, when the time interval of the moving body region time series P and the time interval of the moving body time sequence A match, the associating unit 116 associates the moving body A with the moving body region P. If they do not match, a comparison is made with the moving body region time series Q and the moving body region time series R. Further, the same comparison is performed for the moving body time series B and the moving body time series C.

図９は、識別処理を示すフローチャートである。移動体識別装置１００制御部１０１が実行する識別処理について、図９のフローチャートを参照して説明する。 FIG. 9 is a flowchart showing the identification process. The identification processing executed by the moving body identification apparatus 100 control unit 101 will be described with reference to the flowchart in FIG. 9.

識別処理が開始されると、取得部１１１が撮影装置２００が撮影した移動体の動画を通信部１０３を介して取得する（ステップＳ１０１）。 When the identification process is started, the acquisition unit 111 acquires the moving image of the moving object captured by the imaging device 200 via the communication unit 103 (step S101).

動画を取得すると、検出部１１２が動画をフレーム毎に解析し、動画上の移動体が存在する領域を移動体領域として検出する（ステップＳ１０２）。 When the moving image is acquired, the detection unit 112 analyzes the moving image on a frame-by-frame basis and detects an area where the moving body exists on the moving image as a moving body area (step S102).

移動体領域を検出すると、移動体領域速さ算出部１１３が、検出部１１２が特定した移動体領域が移動する速さをそれぞれの移動体について算出する（ステップＳ１０３）。 When the moving body region is detected, the moving body region speed calculation unit 113 calculates the moving speed of the moving body region specified by the detection unit 112 for each moving body (step S103).

移動体領域が移動する速さを算出すると、取得部１１１が測定装置３００が測定した移動体の加速度のデータを通信部１０３を介して取得する（ステップＳ１０４）。 When the moving speed of the moving body region is calculated, the acquiring unit 111 acquires the data of the moving body acceleration measured by the measuring apparatus 300 via the communication unit 103 (step S104).

加速度のデータを取得すると、移動体速さ算出部１１４が移動体の加速度のデータを積分し、移動体の速さを算出する（ステップＳ１０５）。 When the acceleration data is acquired, the moving body speed calculation unit 114 integrates the moving body acceleration data to calculate the moving body speed (step S105).

移動体の速さを算出すると、時間列抽出部１１５が移動体領域の速さの極大値のうちの第１の閾値を越える極大値の時間列を抽出し、移動体領域時間列を生成する（ステップＳ１０６）。 When the speed of the moving body is calculated, the time series extraction unit 115 extracts the time series having the maximum value exceeding the first threshold value among the maximum values of the speed of the moving body area, and generates the moving body area time series. (Step S106).

移動体領域時間列を作成すると、時間列抽出部１１５が移動体の速さの極大値のうちの第１の閾値を越える極大値の時間列を抽出し、移動体時間列を生成する（ステップＳ１０７）。 When the moving body region time series is created, the time series extraction unit 115 extracts a time series having a maximum value exceeding the first threshold value among the maximum values of the speed of the moving body, and generates a moving body time series (step). S107).

移動体時間列を作成すると、対応付け部１１６が移動体時間列とそれぞれの移動体領域時間列とを比較する（ステップＳ１０８）。 When the moving body time sequence is created, the associating unit 116 compares the moving body time sequence with each moving body region time sequence (step S108).

移動体時間列とそれぞれの移動体領域時間列とを比較すると、対応付け部１１６が比較に用いた移動体時間列を有する移動体を時間間隔が一致する移動体領域時間列を有する移動体領域に対応付ける（ステップＳ１０９）。 Comparing the mobile body time series and the respective mobile body area time series, the associating unit 116 has a mobile body area having a mobile body area time series whose time intervals match those of the mobile body having the mobile body time series used in the comparison. (Step S109).

移動体を移動体領域に対応付けると、対応付け部１１６は全ての移動体について移動体時間列を比較したか判断する（ステップＳ１１０）。比較していないと判断した場合（ステップＳ１１０：ＮＯ）、ステップＳ１０８に戻る。比較したと判断した場合（ステップＳ１１０：ＹＥＳ）、識別処理を終了する。 When the moving body is associated with the moving body region, the associating unit 116 determines whether the moving body time sequences have been compared for all the moving bodies (step S110). When it is determined that they are not compared (step S110: NO), the process returns to step S108. If it is determined that they have been compared (step S110: YES), the identification process ends.

以上の識別処理を行うことによって、本実施の形態に係る移動体識別システムは、移動体と移動体領域とからそれぞれ予め定められた条件を満たす一部の移動情報（移動体領域速さ及び移動体速さの極大値のうちの第１の閾値を越える極大値の時間列）を抽出し、予め定められた条件を満たす一部の移動情報を比較して移動体領域と移動体とを対応付けることで、処理に用いるデータを削減し、移動体と移動体領域との対応付けの負荷を軽くすることができる。 By performing the above-described identification processing, the mobile body identification system according to the present embodiment is provided with a part of movement information (movement body area speed and movement information) that satisfies a predetermined condition from each of the movement body and the movement body area. A time series of local maxima exceeding the first threshold value of local maxima of body speed) is extracted, and some moving information satisfying a predetermined condition is compared to associate the moving body region with the moving body. As a result, the data used for the processing can be reduced, and the load of associating the moving body with the moving body region can be reduced.

加速度のデータから速さのデータを生成する場合、積分によって誤差が生じる場合がある。本実施の形態に係る移動体識別システムは、第１の閾値を超えた極大値の時間列を予め定められた条件を満たす一部の移動情報として用いることで、積分によって速さに誤差が乗じた場合でも動画上の移動体の識別精度が劣化することを防ぐことができる。また、極大値の時間列を予め定められた条件を満たす一部の移動情報として用いることで、動きの変化の大きい移動体、例えば室内スポーツの選手の移動体領域を正確に識別することができる。 When generating speed data from acceleration data, an error may occur due to integration. The moving object identification system according to the present embodiment uses the time sequence of the maximum value exceeding the first threshold value as a part of the moving information satisfying a predetermined condition, so that the speed is multiplied by the error by the integration. Even in the case of being, it is possible to prevent the accuracy of identifying the moving object on the moving image from deteriorating. In addition, by using the time series of maximum values as a part of movement information that satisfies a predetermined condition, it is possible to accurately identify a moving body with a large change in movement, for example, a moving body region of an indoor sports player. ..

動画上の移動体を特定する手段として、ＧＰＳ（Global Positioning System）を用いて測定装置から移動体の位置情報を直接取得する手法が存在する。しかし、ＧＰＳは屋内では精度が低下し、動画上の移動体を識別できなくなる場合がある。本実施の形態に係る移動体識別システムは、屋内であっても精度が低下することなく動画上の移動体を識別することができる。 As a means for identifying a moving body on a moving image, there is a method of directly acquiring the position information of the moving body from a measuring device using GPS (Global Positioning System). However, GPS may be less accurate indoors and may not be able to identify a moving object on a moving image. The mobile body identification system according to the present embodiment can identify a mobile body on a moving image even if it is indoors without deteriorating the accuracy.

（実施の形態２）
以下、本発明の実施形態２に係る移動体識別システム１について、図面を参照して説明する。図中同一又は相当する部分には同一符号を付す。 (Embodiment 2)
Hereinafter, a mobile body identification system 1 according to a second embodiment of the present invention will be described with reference to the drawings. The same or corresponding parts in the drawings are designated by the same reference numerals.

図１０は、制御部１０１の機能構成を示すブロック図である。図１０に示すように、本実施の形態の制御部１０１は、実施の形態１の対応付け部１１６に代えて統合対応付け部１１７を備える。さらに、制御部１０１は、移動体領域補正部１１８を備える。 FIG. 10 is a block diagram showing a functional configuration of the control unit 101. As shown in FIG. 10, the control unit 101 according to the present embodiment includes an integrated associating unit 117 instead of the associating unit 116 according to the first embodiment. Further, the control unit 101 includes a moving body area correction unit 118.

統合対応付け部１１７は、時間列抽出部１１５が作成したそれぞれの移動体領域についての移動体領域時間列を統合し、統合移動体領域時間列を生成する。図１１は、移動体領域時間列と統合移動体領域時間列とを示す図である。図１１に示すように、統合対応付け部１１７は、移動体領域時間列Ｐと移動体領域時間列Ｑと移動体領域時間列Ｒとを統合して統合移動体領域時間列を生成する。図１１では移動体領域時間列Ｐと移動体領域時間列Ｑと移動体領域時間列Ｒとを縦軸によって区別しているが、これは単に図示のためであって、移動体領域時間列の生成にあたって極大値の値は無視されている。 The integration association unit 117 integrates the mobile body region time sequences for the respective mobile body regions created by the time sequence extraction unit 115 to generate an integrated mobile body region time sequence. FIG. 11 is a diagram showing a moving body region time sequence and an integrated moving body region time sequence. As shown in FIG. 11, the integrated association unit 117 integrates the moving body region time sequence P, the moving body region time sequence Q, and the moving body region time sequence R to generate an integrated moving body region time sequence. In FIG. 11, the moving body region time series P, the moving body region time series Q, and the moving body region time series R are distinguished by the vertical axis, but this is for illustration only, and the generation of the moving body region time series is performed. In this regard, the maximum value is ignored.

統合対応付け部１１７は、時間列抽出部が作成した移動体時間列と統合移動体領域時間列とを比較し、時間間隔が移動体時間列と一致する統合移動体領域時間列の一致部分を特定する。図１２は、移動体時間列と統合移動体領域時間列との比較の例を示す図である。図１２に例示するように、統合対応付け部１１７は、統合移動体領域時間列に対して移動体時間列Ａを時間軸方向にスライドさせながら時間間隔を比較する。統合移動体領域時間列の時間間隔と移動体時間列Ａの時間間隔とが一致する部分に到達すると、統合対応付け部１１７は、移動体Ａを統合移動体領域の一致部分に対応付ける。さらに、移動体時間列Ｂ，移動体時間列Ｃについても同様の比較を行う。 The integrated association unit 117 compares the moving body time sequence created by the time sequence extracting unit with the integrated moving body region time sequence, and finds a matching portion of the integrated moving body region time sequence whose time interval matches the moving body time sequence. Identify. FIG. 12 is a diagram showing an example of comparison between the mobile body time series and the integrated mobile body region time series. As illustrated in FIG. 12, the integrated association unit 117 compares the time intervals while sliding the moving body time series A in the time axis direction with respect to the integrated moving body region time series. When reaching the portion where the time interval of the integrated mobile body region time sequence and the time interval of the mobile body time sequence A match, the integrated association unit 117 associates the mobile unit A with the matching part of the integrated mobile body region. Further, the same comparison is performed for the moving body time series B and the moving body time series C.

移動体領域補正部１１８は、移動体領域が同一領域に重なる場合、仮の対応付けを行い、仮の対応付けを基に移動体領域の補正を行う。移動体領域補正部１１８は、統合対応付け部１１７が移動体と仮の対応付けを行った統合移動体領域時間列の一致部分から対応付けられた時間列を抽出して補正移動体領域時間列を生成する。図１３は、補正移動体領域時間列と移動体時間列との例を示す図である。図１３に例示すように、移動体領域補正部１１８は、移動体Ａと対応付けられた統合移動体領域時間列の一致部分から時間列を抽出して補正移動体領域時間列Ａを生成する。 When the moving body region overlaps the same region, the moving body region correction unit 118 makes a temporary correspondence and corrects the moving body region based on the temporary correspondence. The moving body region correction unit 118 extracts the correlated time series from the matching portion of the integrated moving body region time sequence in which the integrated association unit 117 tentatively associates the moving body, and the corrected moving body region time sequence. To generate. FIG. 13 is a diagram showing an example of the corrected moving body region time series and the moving body time series. As illustrated in FIG. 13, the moving body region correction unit 118 extracts a time sequence from the coincident portion of the integrated moving body region time sequence associated with the moving body A to generate the corrected moving body region time sequence A. ..

移動体領域補正部１１８は、補正移動体領域時間列とそれぞれの移動体領域速さとを比較して、極大値の時間列がどの移動体領域に由来するものかを判別し、補正移動体領域時間列に対応する補正移動体領域を特定する。抽出した時間列のうちの隣り合うものが別々の移動体領域に属している場合は、移動体の位置を参照し、移動体位置が同一となった時点、即ち動画上で移動体が重なり合った時点で、補正移動体領域を構成する移動体領域を切り換える。移動体領域補正部１１８は、移動体領域補正手段として機能する。 The moving body region correction unit 118 compares the corrected moving body region time series with the respective moving body region speeds to determine which moving body region the time series having the maximum value originates from, and to correct the moving body region. The corrected moving body area corresponding to the time series is specified. If adjacent ones of the extracted time series belong to different mobile body regions, the position of the mobile body is referenced, and when the mobile body positions are the same, that is, the mobile bodies overlap on the moving image. At the time point, the moving body regions forming the corrected moving body region are switched. The moving body area correction unit 118 functions as a moving body area correcting unit.

図１４は、識別処理を示すフローチャートである。移動体識別装置１００の制御部１０１が実行する識別処理について、図１４のフローチャートを参照して説明する。ステップＳ２０１からステップＳ２０７は、実施の形態１の図９のフローチャートのステップＳ１０１からステップＳ１０７とそれぞれ同一であり、説明を省略する。 FIG. 14 is a flowchart showing the identification processing. The identification process executed by the control unit 101 of the mobile identification device 100 will be described with reference to the flowchart of FIG. Steps S201 to S207 are the same as steps S101 to S107 in the flowchart of FIG. 9 according to the first embodiment, and description thereof will be omitted.

ステップＳ２０７において移動体時間列を作成すると、統合対応付け部１１７がそれぞれの移動体領域についての移動体領域時間列を統合し、統合移動体領域時間列を生成する（ステップＳ２０８）。 When the moving body time series is created in step S207, the integration association unit 117 integrates the moving body area time series of the respective moving body areas to generate an integrated moving body area time series (step S208).

統合移動体領域時間列を生成すると、統合対応付け部１１７が移動体時間列と統合移動体領域時間列とを比較する（ステップＳ２０９）。 When the integrated mobile body region time series is generated, the integrated association unit 117 compares the mobile body time series with the integrated mobile body area time series (step S209).

移動体時間列と統合移動体領域時間列とを比較すると、統合対応付け部１１７が比較に用いた移動体時間列を有する移動体を時間間隔が一致する統合移動体領域時間列の一致部分に対応付ける（ステップＳ２１０）。 When the moving body time sequence and the integrated moving body region time sequence are compared, the moving body having the moving body time sequence used by the integrated associating unit 117 for comparison becomes the matching portion of the integrated moving body region time sequence having the same time interval. Correspondence (step S210).

統合移動体領域時間列の一致部分に移動体を対応付けると、統合対応付け部１１７が統合移動体領域時間列の一致部分から対応付けられた時間列を抽出して補正移動体領域時間列を生成する（ステップＳ２１１）。 When the moving body is associated with the matching portion of the integrated moving body region time sequence, the integrated association unit 117 extracts the associated time sequence from the matching portion of the integrated moving body region time sequence to generate the corrected moving body region time sequence. Yes (step S211).

補正移動体領域時間列を生成すると、移動体領域補正部１１８が補正移動体領域時間列に対応する補正移動体領域を特定する（ステップＳ２１２）。 When the corrected moving body region time sequence is generated, the moving body region correction unit 118 identifies the corrected moving body region corresponding to the corrected moving body region time sequence (step S212).

補正移動体領域を特定すると、統合対応付け部１１７は全ての移動体について移動体時間列を比較したか判断する（ステップＳ２１３）。比較していないと判断した場合（ステップＳ２１３：ＮＯ）、ステップＳ２０９に戻る。比較したと判断した場合（ステップＳ２１３：ＹＥＳ）、識別処理を終了する。 When the corrected moving body region is specified, the integrated association unit 117 determines whether the moving body time series have been compared for all the moving bodies (step S213). When it is determined that they are not compared (step S213: NO), the process returns to step S209. If it is determined that they have been compared (step S213: YES), the identification process ends.

以上の識別処理を行うことによって、本実施の形態に係る移動体識別システムは、移動体と移動体領域とからそれぞれ予め定められた条件を満たす一部の移動情報（移動体領域速さ及び移動体速さの極大値のうちの第１の閾値を越える極大値の時間列）を抽出し、予め定められた条件を満たす一部の移動情報を比較して移動体領域と移動体とを対応付けることで、処理に用いるデータを削減し、移動体と移動体領域との対応付けの負荷を軽くすることができる。 By performing the above-described identification processing, the mobile body identification system according to the present embodiment is provided with a part of movement information (movement body area speed and movement information) that satisfies a predetermined condition from each of the movement body and the movement body area. A time series of local maxima exceeding the first threshold value of local maxima of body speed) is extracted, and some moving information satisfying a predetermined condition is compared to associate the moving body region with the moving body. As a result, the data used for the processing can be reduced, and the load of associating the moving body with the moving body region can be reduced.

移動体がすれ違う等して動画上で同一領域に重なってしまった場合、移動体領域が重複し、前後の移動体領域が混同されてしまうことがある。例えば、移動体Ａに移動体領域Ｐが対応し、移動体Ｂに移動体領域Ｑが対応していた場合に、動画上で移動体ＰとＱが重なった後に導体領域が混同され、移動体Ａに移動体領域Ｑが対応し、移動体Ｂに移動体領域Ｐが対応するようになってしまうことがある。本実施の形態に係る移動体識別システムは、統合移動体領域の予め定められた条件を満たす一部の移動情報を生成し、統合移動体領域の予め定められた条件を満たす一部の移動情報の一致部分から補正移動体領域を特定することで、混同が生じた場合でも移動体と移動体領域との対応付けの負荷を軽くして正しい対応関係を復元することができる。 When the moving objects overlap each other on the moving image due to the passing of the moving objects, the moving object areas may overlap and the preceding and following moving object areas may be confused. For example, when the moving body region P corresponds to the moving body A and the moving body region Q corresponds to the moving body B, the conductor regions are confused after the moving bodies P and Q overlap each other on the moving image, and the moving body moves. The mobile unit area Q may correspond to A and the mobile unit area P may correspond to the mobile unit B. The moving body identification system according to the present embodiment generates a part of movement information that satisfies a predetermined condition of the integrated moving body area, and a part of movement information that satisfies a predetermined condition of the integrated moving body area. By specifying the corrected moving body region from the coincident portion of, the load of associating the moving body and the moving body region can be lightened and a correct correspondence relationship can be restored even if confusion occurs.

移動体領域の混同を防ぐ手段として、複数の撮影装置を備え、異なる視点からの複数の動画を用いる手法が存在する。しかし、この場合は装置のコスト及び画像処理、識別処理に掛かる時間が増大する場合がある。本実施の形態に係る移動体識別システムは、仮に撮影装置が一つであって移動体領域の混同が起こったとしても、動画上の移動体の識別処理の負荷を軽くして移動体領域を識別することができる。 As a means for preventing confusion of moving body regions, there is a method that includes a plurality of photographing devices and uses a plurality of moving images from different viewpoints. However, in this case, the cost of the apparatus and the time required for image processing and identification processing may increase. The moving object identification system according to the present embodiment reduces the load of the moving object identification process on a moving image to reduce the moving object area even if there is one imaging device and the moving object area is confused. Can be identified.

（変形例）
以上に本発明のいくつかの実施形態について説明したが、実施形態１及び実施形態２は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 (Modification)
Although some embodiments of the present invention have been described above, the first and second embodiments are examples, and the scope of application of the present invention is not limited to this. That is, the embodiments of the present invention can be applied in various ways, and all the embodiments are included in the scope of the present invention.

例えば、前記実施形態では、動画における複数の移動体と複数の移動体にそれぞれ装着された複数の測定装置３００とを対応付ける例を示したが、動画における少なくとも１つの移動体と少なくとも１つの移動体に装着された少なくとも１つの測定装置３００とを対応付けてもよい。この場合、動画における１つのみの移動体と１つのみの移動体に装着された１つのみの測定装置３００との対応関係は自明であるため除外する。すなわち、本発明は、動画における複数の移動体と複数の移動体にそれぞれ装着された複数の測定装置３００とを対応付けることに限定されず、例えば、動画における１つの移動体と複数の移動体に装着された複数の測定装置３００とを対応付けることや、動画における複数の移動体と複数の移動体のうちの１つの移動体に装着された１つの測定装置３００とを対応付けることも含む。 For example, in the above-described embodiment, an example in which a plurality of moving bodies in a moving image and a plurality of measuring devices 300 respectively attached to the plurality of moving bodies are associated with each other has been shown. However, at least one moving body and at least one moving body in the moving image are shown. It may be associated with at least one measuring device 300 attached to the. In this case, the correspondence between only one moving body and only one measuring device 300 mounted on only one moving body in the moving image is obvious and therefore excluded. That is, the present invention is not limited to associating a plurality of moving bodies in a moving image with a plurality of measuring devices 300 respectively attached to the plurality of moving bodies. For example, in one moving body and a plurality of moving bodies in a moving image, It also includes associating a plurality of mounted measuring devices 300 with each other and associating a plurality of moving bodies in a moving image with one measuring device 300 mounted on one of the plurality of moving bodies.

通信部１０３は無線通信を行う通信装置であるとしたが、これに限られるものではない。例えば、ＵＳＢ（Universal Serial Bus）モジュールを備え、有線通信を行う通信装置であっても良い。また、データを取り外し可能な記憶装置に保存して、他の機器に読み込ませてデータをやりとりしても良い。通信部２０４、通信部３０４についても同様である。 Although the communication unit 103 is a communication device that performs wireless communication, the communication unit 103 is not limited to this. For example, a communication device that includes a USB (Universal Serial Bus) module and performs wired communication may be used. Alternatively, the data may be stored in a removable storage device and read by another device to exchange the data. The same applies to the communication unit 204 and the communication unit 304.

時間列抽出部１１５は、移動体領域の速さと、移動体の速さとから、速さのデータを特徴付ける一部の時間情報をそれぞれ抽出するとしたが、これに限られるものではない。例えば速度、位置、加速度を含む他の運動情報からデータを特徴付ける一部の時間情報を抽出しても良い。 The time series extraction unit 115 extracts the partial time information that characterizes the speed data from the speed of the moving body region and the speed of the moving body, but the present invention is not limited to this. For example, some time information that characterizes the data may be extracted from other motion information including velocity, position, and acceleration.

時間列抽出部１１５は、極大値のうちの第１の閾値を越える極大値の時間列を抽出するとしたが、これに限られるものではない。例えば、第１の閾値を越える極大値の時間を含んだ時間領域列を用いても良い。また、極大値でなく極小値を用いても良い。極小値を用いる場合には、時間列抽出部１１５は、極小値のうちの第２の閾値未満の極小値の時間列を抽出する。また、第１の閾値、第２の閾値を設けなくても良い。 Although the time series extraction unit 115 extracts the time series having the maximum value exceeding the first threshold value among the maximum values, the time series extraction section 115 is not limited to this. For example, a time domain sequence including a maximum value time exceeding the first threshold value may be used. Further, the minimum value may be used instead of the maximum value. When using the minimum value, the time series extraction unit 115 extracts the time series of the minimum values less than the second threshold value among the minimum values. Further, the first threshold and the second threshold may not be provided.

撮影装置２００は、移動体識別装置１００に含まれていても良い。例えば、移動体識別装置１００はカメラを備えたパーソナルコンピュータ、スマートフォン等であって、移動体識別装置１００が撮影部２０２を備えるよう構成されていても良い。 The image capturing apparatus 200 may be included in the moving body identifying apparatus 100. For example, the moving body identifying apparatus 100 may be a personal computer including a camera, a smartphone, or the like, and the moving body identifying apparatus 100 may include the image capturing unit 202.

撮影装置２００は移動体の斜め上方に設置されるとしたが、これに限られるものではない。撮影装置２００は移動体を真上、真横を含むあらゆる方向から撮影するものであって良い。また、撮影装置２００の数は一つに限られず、移動体を複数の方向から撮影しても良い。 Although the imaging device 200 is installed diagonally above the moving body, the present invention is not limited to this. The image capturing apparatus 200 may capture an image of the moving body from any direction including directly above and directly beside. Further, the number of the photographing devices 200 is not limited to one, and the moving body may be photographed from a plurality of directions.

センサ部３０２は移動体の加速度を測定する加速度センサであるとしたが、これに限られるものではない。例えば、移動体の位置又は速度を測定する測定装置であっても良い。 Although the sensor unit 302 is an acceleration sensor that measures the acceleration of the moving body, the sensor unit 302 is not limited to this. For example, a measuring device that measures the position or speed of the moving body may be used.

移動体識別装置１００は、表示部及び表示部を制御する表示制御部を備えてもよい。表示制御部は、移動体に対応する測定装置３００を識別する識別情報を、動画とともに表示手段に表示する。表示部は表示手段として機能し、表示制御部は、表示制御手段として機能する。 The mobile body identification device 100 may include a display unit and a display control unit that controls the display unit. The display control unit displays the identification information for identifying the measuring device 300 corresponding to the moving body on the display unit together with the moving image. The display unit functions as a display unit, and the display control unit functions as a display control unit.

図９のフローチャートにおいて、移動体の動画を取得して移動体領域の速さを算出した後に移動体の加速度を取得して移動体の速さを算出するとしたが、これに限られるものではない。例えば、移動体の速さを算出した後に移動体領域の速さを算出しても良いし、これらを並行して行っても良い。また、移動体の動画と移動体の加速度とを取得した後に移動体領域の速さと移動体の速さとを算出しても良い。図１４のフローチャートについても同様である。 In the flowchart of FIG. 9, it is assumed that the moving object moving image is acquired and the moving object region speed is calculated, and then the moving object acceleration is acquired and the moving object speed is calculated, but the invention is not limited to this. .. For example, the speed of the moving body region may be calculated after calculating the speed of the moving body, or these may be performed in parallel. Alternatively, the speed of the moving body region and the speed of the moving body may be calculated after acquiring the moving image of the moving body and the acceleration of the moving body. The same applies to the flowchart of FIG.

本発明に係る機能を実現するための構成を予め備えた移動体識別システムとして提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る移動体識別システムとして機能させることもできる。すなわち、実施形態１及び実施形態２で例示した移動体識別システム１による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る移動体識別システムとして機能させることができる。また、本発明に係る移動体識別方法は、移動体識別システムを用いて実施できる。 Not only can it be provided as a mobile body identification system having a configuration for realizing the functions according to the present invention in advance, but also an existing information processing device or the like can be made to function as the mobile body identification system according to the present invention by applying a program. You can also That is, by applying the program for realizing each functional configuration of the mobile body identification system 1 illustrated in the first and second embodiments so that the CPU or the like that controls the existing information processing device can execute the program, It can be made to function as the mobile body identification system according to the present invention. Further, the moving body identification method according to the present invention can be implemented using a moving body identification system.

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。 Moreover, the application method of such a program is arbitrary. The program can be applied by being stored in a computer-readable storage medium such as a flexible disk, a CD (Compact Disc)-ROM, a DVD (Digital Versatile Disc)-ROM, or a memory card. Furthermore, the program may be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program may be posted on a bulletin board (BBS: Bulletin Board System) on the communication network and distributed. Then, the above process may be executed by activating this program and executing it under the control of an OS (Operating System) in the same manner as other application programs.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the specific embodiments, and the present invention includes the inventions described in the claims and their equivalents. included. The inventions described in the initial claims of the present application will be additionally described below.

（付記１）
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け手段、
を備える、
ことを特徴とする移動体識別装置。 (Appendix 1)
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Associating means for associating
With
A moving object identification device characterized by the above.

（付記２）
前記測定装置は、加速度センサを含み、
前記少なくとも１つの移動体の移動情報は前記少なくとも１つの移動体の加速度である、
ことを特徴とする付記１に記載の移動体識別装置。 (Appendix 2)
The measuring device includes an acceleration sensor,
The movement information of the at least one moving body is an acceleration of the at least one moving body,
The moving object identification device according to appendix 1, characterized in that.

（付記３）
前記少なくとも１つの移動体の前記加速度から前記少なくとも１つの移動体の速さを算出する移動体速さ算出手段をさらに備える、
ことを特徴とする付記２に記載の移動体識別装置。 (Appendix 3)
A moving body speed calculating means for calculating a speed of the at least one moving body from the acceleration of the at least one moving body;
The moving body identification device according to appendix 2, characterized in that.

（付記４）
前記動画から前記少なくとも１つの移動体領域の速さを算出する移動体領域速さ算出手段をさらに備える、
ことを特徴とする付記１乃至３のいずれか１つに記載の移動体識別装置。 (Appendix 4)
A moving body region speed calculating means for calculating the speed of the at least one moving body region from the moving image,
4. The moving body identification device according to any one of appendices 1 to 3, characterized in that.

（付記５）
前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列を、前記少なくとも１つの移動体の前記予め定められた条件を満たす一部の移動情報としての移動体時間列として抽出し、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列を、前記少なくとも１つの移動体領域の前記予め定められた条件を満たす一部の移動情報としての移動体領域時間列として抽出する時間列抽出手段をさらに備える、
ことを特徴とする付記１乃至４のいずれか１つに記載の移動体識別装置。 (Appendix 5)
The time sequence that exceeds the first threshold value among the maximum values of the speed of the at least one mobile is the mobile time as a part of the travel information of the at least one mobile that satisfies the predetermined condition. A time sequence that is extracted as a sequence and exceeds the first threshold value among the maximum values of the speed of the at least one moving body region is a part that satisfies the predetermined condition of the at least one moving body region. Further comprising a time sequence extraction means for extracting as a mobile body region time sequence as the movement information of
The moving object identification device according to any one of appendices 1 to 4, characterized in that.

（付記６）
前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列を、前記少なくとも１つの移動体の前記予め定められた条件を満たす一部の移動情報としての移動体時間列として抽出し、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列を、前記少なくとも１つの移動体領域の前記予め定められた条件を満たす一部の移動情報としての移動体領域時間列として抽出する時間列抽出手段をさらに備える、
ことを特徴とする付記１乃至４のいずれか１つに記載の移動体識別装置。 (Appendix 6)
The time sequence of the minimum value of the speed of the at least one moving body, which is less than a second threshold value, is used as a moving body time as a part of moving information of the at least one moving body that satisfies the predetermined condition. A time sequence that is extracted as a sequence and that is less than the second threshold value among the minimum values of the speed of the at least one moving body region is a part that satisfies the predetermined condition of the at least one moving body region. Further comprising a time sequence extracting means for extracting as a mobile body region time sequence as the movement information of
The moving object identification device according to any one of appendices 1 to 4, characterized in that.

（付記７）
前記対応付け手段は、前記少なくとも１つの移動体のうちの１つの移動体の前記移動体時間列を、前記少なくとも１つの移動体領域の前記移動体領域時間列のそれぞれと比較し、最も一致した時間列を有する移動体領域と前記少なくとも１つの移動体のうちの前記１つの移動体とを対応付ける、
ことを特徴とする付記５又は６に記載の移動体識別装置。 (Appendix 7)
The associating means compares the moving body time series of one moving body of the at least one moving body with each of the moving body area time series of the at least one moving body area, and finds the best match. Associating a mobile body region having a time sequence with the one mobile body of the at least one mobile body,
7. The moving body identification device according to appendix 5 or 6, characterized in that.

（付記８）
前記対応付け手段は、前記少なくとも１つの移動体領域の移動体領域時間列を統合した統合移動体領域時間列と、前記少なくとも１つの移動体のうちの１つの移動体の移動体時間列と、を比較し、前記少なくとも１つの移動体と前記統合移動体領域時間列の一部とを対応付ける、
ことを特徴とする付記５又は６に記載の移動体識別装置。 (Appendix 8)
The associating means integrates a moving body area time sequence of the at least one moving body region, and a moving body time sequence of one moving body of the at least one moving body, And correlating the at least one mobile with a portion of the integrated mobile region time sequence,
7. The moving body identification device according to appendix 5 or 6, characterized in that.

（付記９）
前記対応付け手段が前記少なくとも１つの移動体と対応付けた前記統合移動体領域時間列の一部から補正移動体領域を作成する領域補正手段をさらに備える、
ことを特徴とする付記８に記載の移動体識別装置。 (Appendix 9)
Further, the associating means further comprises area correction means for creating a corrected moving body area from a part of the integrated moving body area time sequence associated with the at least one moving body.
9. The moving body identifying apparatus according to appendix 8, characterized in that.

（付記１０）
前記少なくとも１つの移動体領域が同一領域に重なる場合、前記対応付け手段は、仮の対応付けを行い、前記領域補正手段は、前記少なくとも１つの移動体領域の入れ替わりがある場合に、前記仮の対応付けを補正する、
ことを特徴とする付記９に記載の移動体識別装置。 (Appendix 10)
When the at least one moving body area overlaps the same area, the associating unit makes a temporary association, and the area correcting unit makes the temporary arrangement when the at least one moving body area is replaced. Correct the correspondence,
10. The moving body identifying apparatus according to appendix 9, characterized in that.

（付記１１）
前記少なくとも１つの移動体に対応する前記測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする付記１乃至１０のいずれか１つに記載の移動体識別装置。 (Appendix 11)
Display control means for displaying on the display means identification information for identifying the measuring device corresponding to the at least one moving body, together with the moving image,
Is further provided,
11. The mobile body identification device according to any one of appendices 1 to 10, characterized in that.

（付記１２）
前記撮影装置は、屋内において移動している前記少なくとも１つの移動体を撮影することによって、前記動画を生成する、
ことを特徴とする付記１乃至１１のいずれか１つに記載の移動体識別装置。 (Appendix 12)
The photographing device generates the moving image by photographing the at least one moving object that is moving indoors,
12. The moving body identification device according to any one of appendices 1 to 11, characterized in that.

（付記１３）
前記撮影装置は、前記少なくとも１つの移動体を斜め上方から撮影することによって、前記動画を生成する、
ことを特徴とする付記１乃至１２のいずれか１つに記載の移動体識別装置。 (Appendix 13)
The photographing device generates the moving image by photographing the at least one moving body from diagonally above.
13. The moving body identification device according to any one of appendices 1 to 12, characterized in that.

（付記１４）
前記対応付け手段は、前記動画における１つのみの移動体領域と１つのみの移動体に装着された１つのみの測定装置との対応付けを除いて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける、
ことを特徴とする付記１乃至１３のいずれか１つに記載の移動体識別装置。 (Appendix 14)
The associating means excludes the association between only one moving body region in the moving image and only one measuring device attached to only one moving body, and the at least one moving body and the at least one moving body. Correlate with one moving object area,
14. The moving body identifying apparatus according to any one of appendices 1 to 13, characterized in that.

（付記１５）
付記１乃至１４のいずれか１つに記載の移動体識別装置と、前記撮影装置と、前記測定装置と、を備える、
ことを特徴とする移動体識別システム。 (Appendix 15)
The mobile body identification device according to any one of appendices 1 to 14, the imaging device, and the measurement device,
A mobile body identification system characterized by the above.

（付記１６）
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける、
ことを特徴とする移動体識別方法。 (Appendix 16)
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspond to,
A method for identifying a moving object, which is characterized by the following.

（付記１７）
コンピュータに、
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け処理、
を実行させる、
ことを特徴とするプログラム。 (Appendix 17)
On the computer,
From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspondence processing for associating
To run,
A program characterized by that.

１…移動体識別システム、１００…移動体識別装置、１０１…制御部、１０２…記憶部、１０３…通信部、１０４…インタフェース部、１１１…取得部、１１２…検出部、１１３…移動体領域速さ算出部、１１４…移動体速さ算出部、１１５…時間列抽出部、１１６…対応付け部、１１７…統合対応付け部、１１８…移動体領域補正部、２００…撮影装置、２０１…制御部、２０２…撮影部、２０３…記憶部、２０４…通信部、３００…測定装置、３０１…制御部、３０２…センサ部、３０３…記憶部、３０４…通信部 DESCRIPTION OF SYMBOLS 1... Moving body identification system, 100... Moving body identification device, 101... Control part, 102... Storage part, 103... Communication part, 104... Interface part, 111... Acquisition part, 112... Detection part, 113... Moving object area speed Calculating unit, 114... moving body speed calculating unit, 115... time sequence extracting unit, 116... associating unit, 117... integrated associating unit, 118... moving body region correcting unit, 200... imaging device, 201... control unit , 202... Imaging unit, 203... Storage unit, 204... Communication unit, 300... Measuring device, 301... Control unit, 302... Sensor unit, 303... Storage unit, 304... Communication unit

Claims (16)

少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け手段、
を備え、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とする移動体識別装置。 From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Associating means for associating
Bei to give a,
The part of the movement information obtained from the measuring device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The moving information is a time sequence that exceeds the first threshold value among the maximum values of the speeds of the at least one moving body region . 少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け手段、
を備え、
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とする移動体識別装置。 From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Associating means for associating
Equipped with
The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. the movement information, the at least one be that moving body identifying device being a time sequence of less than the second threshold value of the speed minimum value of the moving object region. 前記測定装置は、加速度センサを含み、
前記少なくとも１つの移動体の前記加速度センサから前記少なくとも１つの移動体の速さを算出する移動体速さ算出手段をさらに備える、
ことを特徴とする請求項１又は２に記載の移動体識別装置。 The measuring device includes an acceleration sensor,
Further comprising moving body speed calculation means for calculating the speed of the at least one moving body from the acceleration sensor of the at least one moving body,
The mobile body identification device according to claim 1 , wherein the mobile body identification device is a mobile body identification device. 前記対応付け手段は、前記少なくとも１つの移動体のうちの１つの移動体の移動体時間列を、前記少なくとも１つの移動体領域の移動体領域時間列のそれぞれと比較し、最も一致した時間列を有する移動体領域と前記少なくとも１つの移動体のうちの前記１つの移動体とを対応付ける、
ことを特徴とする請求項１乃至３のいずれか１項に記載の移動体識別装置。 The associating means compares a moving body time sequence of one moving body of the at least one moving body with each of the moving body region time sequences of the at least one moving body region, and obtains the best matching time sequence. A moving body area having the above and one of the at least one moving body are associated with each other.
The mobile body identification device according to claim 1, wherein the mobile body identification device is a mobile body identification device. 前記対応付け手段は、前記少なくとも１つの移動体領域の移動体領域時間列を統合した統合移動体領域時間列と、前記少なくとも１つの移動体のうちの１つの移動体の移動体時間列と、を比較し、前記少なくとも１つの移動体と前記統合移動体領域時間列の一部とを対応付ける、
ことを特徴とする請求項１乃至３のいずれか１項に記載の移動体識別装置。 The associating means integrates a moving body area time sequence of the at least one moving body region, and a moving body time sequence of one moving body of the at least one moving body, And correlating the at least one mobile with a portion of the integrated mobile region time sequence,
Mobile identification device according to any one of claims 1 to 3, characterized in that. 前記対応付け手段が前記少なくとも１つの移動体と対応付けた前記統合移動体領域時間列の一部から補正移動体領域を作成する領域補正手段をさらに備える、
ことを特徴とする請求項５に記載の移動体識別装置。 Further, the associating means further comprises area correction means for creating a corrected moving body area from a part of the integrated moving body area time sequence associated with the at least one moving body.
The moving body identifying device according to claim 5 . 前記少なくとも１つの移動体領域が同一領域に重なる場合、前記対応付け手段は、仮の対応付けを行い、前記領域補正手段は、前記少なくとも１つの移動体領域の入れ替わりがある場合に、前記仮の対応付けを補正する、
ことを特徴とする請求項６に記載の移動体識別装置。 When the at least one moving body area overlaps the same area, the associating unit makes a temporary association, and the area correcting unit makes the temporary arrangement when the at least one moving body area is replaced. Correct the correspondence,
The moving body identification device according to claim 6 , wherein 前記少なくとも１つの移動体に対応する前記測定装置を識別する識別情報を、前記動画とともに表示手段に表示する表示制御手段、
を更に備える、
ことを特徴とする請求項１乃至７のいずれか１項に記載の移動体識別装置。 Display control means for displaying on the display means identification information for identifying the measuring device corresponding to the at least one moving body, together with the moving image,
Is further provided,
The mobile body identification device according to claim 1 , wherein the mobile body identification device is a mobile body identification device. 前記撮影装置は、屋内において移動している前記少なくとも１つの移動体を撮影することによって、前記動画を生成する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の移動体識別装置。 The photographing device generates the moving image by photographing the at least one moving object that is moving indoors,
The moving body identification apparatus according to claim 1 , wherein the moving body identification apparatus is a mobile body identification apparatus. 前記撮影装置は、前記少なくとも１つの移動体を斜め上方から撮影することによって、前記動画を生成する、
ことを特徴とする請求項１乃至９のいずれか１項に記載の移動体識別装置。 The photographing device generates the moving image by photographing the at least one moving body from diagonally above.
The moving body identification device according to claim 1 , wherein the moving body identification device is a mobile body identification device. 前記対応付け手段は、前記動画における１つのみの移動体領域と１つのみの移動体に装着された１つのみの測定装置との対応付けを除いて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける、
ことを特徴とする請求項１乃至１０のいずれか１項に記載の移動体識別装置。 The associating means excludes the association between only one moving body region in the moving image and only one measuring device attached to only one moving body, and the at least one moving body and the at least one moving body. Correlate with one moving object area,
The mobile body identification device according to claim 1, wherein the mobile body identification device is a mobile body identification device. 請求項１乃至１１のいずれか１項に記載の移動体識別装置と、前記撮影装置と、前記測定装置と、を備える、A mobile body identification device according to any one of claims 1 to 11, the imaging device, and the measurement device,
ことを特徴とする移動体識別システム。A mobile body identification system characterized by the above. 少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付け、From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, And associate
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とする移動体識別方法。The part of the movement information obtained from the measuring device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The moving information is a time sequence that exceeds the first threshold value among the maximum values of the speed of the at least one moving body region, and the moving body identification method. 少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付け、From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, And associate
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とする移動体識別方法。The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. The moving information is the time sequence of the minimum value of the speed of the at least one moving body region that is less than the second threshold value. コンピュータに、On the computer,
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け処理、From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspondence processing for associating
を実行させ、Run
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極大値のうちの第１の閾値を超える時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極大値のうちの前記第１の閾値を超える時間列であることを特徴とするプログラム。The part of the movement information obtained from the measuring device is a time sequence that exceeds a first threshold value among the maximum values of the speed of the at least one moving body, and a part obtained from the captured moving image. The movement information is a time sequence that exceeds the first threshold value among the maximum values of the speed of the at least one moving body region. コンピュータに、On the computer,
少なくとも１つの移動体に装着された測定装置から得られた、前記少なくとも１つの移動体の移動情報のうちの予め定められた条件を満たす一部の移動情報と、撮影装置によって撮影された動画から得られた、少なくとも１つの移動体領域の移動情報のうちの前記予め定められた条件を満たす一部の移動情報と、に基づいて、前記少なくとも１つの移動体と前記少なくとも１つの移動体領域とを対応付ける対応付け処理、From a part of the movement information satisfying a predetermined condition of the movement information of the at least one moving body obtained from the measuring device mounted on the at least one moving body, and a moving image photographed by the photographing device. Based on the obtained partial movement information satisfying the predetermined condition among the movement information of at least one moving body area, the at least one moving body and the at least one moving body area, Correspondence processing for associating
を実行させ、Run
前記測定装置から得られる一部の移動情報とは、前記少なくとも１つの移動体の速さの極小値のうちの第２の閾値未満の時間列であり、前記撮影された動画から得られる一部の移動情報とは、前記少なくとも１つの移動体領域の速さの極小値のうちの前記第２の閾値未満の時間列であることを特徴とするプログラム。The part of the movement information obtained from the measurement device is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body, and is obtained from the captured moving image. The movement information of is a time sequence that is less than the second threshold value among the minimum values of the speed of the at least one moving body region.
JP2016136946A 2016-07-11 2016-07-11 MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM Expired - Fee Related JP6705316B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016136946A JP6705316B2 (en) 2016-07-11 2016-07-11 MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016136946A JP6705316B2 (en) 2016-07-11 2016-07-11 MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2018011125A JP2018011125A (en) 2018-01-18
JP6705316B2 true JP6705316B2 (en) 2020-06-03

Family

ID=60994403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016136946A Expired - Fee Related JP6705316B2 (en) 2016-07-11 2016-07-11 MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM

Country Status (1)

Country Link
JP (1) JP6705316B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096501A (en) * 2002-08-30 2004-03-25 Ntt Advanced Technology Corp System and method for detecting position of mobile object and program
JP2004274101A (en) * 2003-03-05 2004-09-30 Shigeo Kaneda Mobile object identification system
WO2011068184A1 (en) * 2009-12-03 2011-06-09 独立行政法人産業技術総合研究所 Moving body positioning device

Also Published As

Publication number Publication date
JP2018011125A (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6525453B2 (en) Object position estimation system and program thereof
JP5976198B2 (en) Number counting device and number counting method
JP6495705B2 (en) Image processing apparatus, image processing method, image processing program, and image processing system
GB2557465A (en) Method for calibrating a camera and calibration system
CN107438173A (en) Video process apparatus, method for processing video frequency and storage medium
JP2009143722A (en) Person tracking apparatus, person tracking method and person tracking program
JP2010244089A (en) Person detection device, person detection method, and person detection program
KR20170092662A (en) Image processing method
JP2017103688A5 (en)
CN111670456B (en) Information processing apparatus, tracking method, and recording medium
Yang et al. Multiple marker tracking in a single-camera system for gait analysis
KR101469099B1 (en) Auto-Camera Calibration Method Based on Human Object Tracking
JP2018206246A (en) Walking pattern measurement system and method
JP2010262527A (en) Passing person counting device, passing person counting method and passing person counting program
JP2017147689A (en) Video editing device, video editing method, and computer program for editing video
JP6705316B2 (en) MOBILE BODY IDENTIFICATION DEVICE, MOBILE BODY IDENTIFICATION SYSTEM, MOBILE BODY IDENTIFICATION METHOD AND PROGRAM
JP2019096062A (en) Object tracking device, object tracking method, and object tracking program
JP2006146551A (en) Robot
KR101441285B1 (en) Multi-body Detection Method based on a NCCAH(Normalized Cross-Correlation of Average Histogram) And Electronic Device supporting the same
JP5539565B2 (en) Imaging apparatus and subject tracking method
JP5983033B2 (en) Position relationship determination program, position relationship determination method, and position relationship determination device
JP6772593B2 (en) Mobile identification device, mobile identification system, mobile identification method and program
Siaw et al. A Low-Cost Marker-Based Optical Motion Capture System to Validate Inertial Measurement Units
JP2011130384A5 (en)
EP3438601A1 (en) Measurement device, measurement method, and computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200427

R150 Certificate of patent or registration of utility model

Ref document number: 6705316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees