JP4914031B2 - MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD - Google Patents

MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD Download PDF

Info

Publication number
JP4914031B2
JP4914031B2 JP2005183650A JP2005183650A JP4914031B2 JP 4914031 B2 JP4914031 B2 JP 4914031B2 JP 2005183650 A JP2005183650 A JP 2005183650A JP 2005183650 A JP2005183650 A JP 2005183650A JP 4914031 B2 JP4914031 B2 JP 4914031B2
Authority
JP
Japan
Prior art keywords
measurement
image
measurement position
moving body
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005183650A
Other languages
Japanese (ja)
Other versions
JP2007003340A (en
Inventor
亮一 荒井
一博 富澤
悟 馬越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Frontech Ltd filed Critical Fujitsu Frontech Ltd
Priority to JP2005183650A priority Critical patent/JP4914031B2/en
Publication of JP2007003340A publication Critical patent/JP2007003340A/en
Application granted granted Critical
Publication of JP4914031B2 publication Critical patent/JP4914031B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、撮影された画像から移動体の速度、軌跡等を計測する計測装置及びその計測方法に関する。   The present invention relates to a measuring apparatus that measures the speed, trajectory, and the like of a moving body from a captured image and a measuring method thereof.

道路上の構造物を維持管理するためには、道路及び道路付近に設置される標識の形状など道路周辺の環境を把握しておく必要がある。そのためビデオカメラで道路の状況を撮影しておき、特定の地点が指定されたならその地点のビデオデータを再生することが行われている。しかしながら、この方法は、ビデオデータにどの地点を撮影したものかを示す情報を付与する必要がある。そのため撮影終了後にビデオデータを再生しながら地点を特定する情報を入力する必要がある。   In order to maintain and manage structures on the road, it is necessary to grasp the environment around the road, such as the shape of the road and signs installed near the road. Therefore, the situation of the road is photographed with a video camera, and if a specific point is designated, the video data at that point is reproduced. However, in this method, it is necessary to add information indicating which point is taken to the video data. Therefore, it is necessary to input information for specifying a point while reproducing the video data after the photographing is completed.

上記のビデオデータと撮影地点を示す情報を対応づけて記録する作業を簡略化するために、例えば、特許文献1には、撮影時に距離ポインタから距離情報を取得し、ビデオデータのフレーム番号と距離情報とを情報処理装置が対応づけて記憶することが記載されている。   In order to simplify the work of associating and recording the video data and information indicating the shooting location, for example, Patent Document 1 discloses that distance information is acquired from a distance pointer during shooting, and the frame number and distance of the video data are obtained. It is described that the information processing apparatus stores information in association with each other.

また、特許文献2には、地図上の複数の区分点と、2つの区分点で挟まれた区間を設定し、画像データと各区分点と区間とを対応づけて記憶することが記載されている。
ところで、道路を走行する車両をビデオカメラで撮影し、撮影した画像から車両の車種、速度を計測する計測装置が知られている。この計測装置は、撮影した画像をビデオデッキ等で再生しながら車種の判別、車両の速度の計算を計測者が行う必要がある。そのため1台の車両の計測が完了したなら、ビデオテープを計測開始地点まで巻き戻して別の車両について同じ計測作業を行う必要があり、計測作業に非常に時間がかかるという問題点があった。
Patent Document 2 describes that a plurality of segment points on a map and a section sandwiched between two segment points are set, and image data, each segment point, and a section are stored in association with each other. Yes.
By the way, there is known a measuring device that captures a vehicle traveling on a road with a video camera and measures the vehicle type and speed of the vehicle from the captured image. In this measuring apparatus, it is necessary for the measurer to discriminate the vehicle type and calculate the vehicle speed while reproducing the captured image on a video deck or the like. Therefore, when the measurement of one vehicle is completed, it is necessary to rewind the videotape to the measurement start point and perform the same measurement work for another vehicle, which causes a problem that the measurement work takes a very long time.

撮影した画像から車両の速度を計算する場合には、モニタ画面上にテープ等を貼り付け計測開始点と計測終了点を設定しておき、ビデオテープを早送りして計測対象の車両が計測開始点を通過してから計測終了点に達するまでの時間をビデオテープに記録されている時間データから計測者が計算していた。このようにビデオテープの再生位置を手動で設定しているために車両の速度の計測精度を高めることは難しかった。   When calculating the speed of the vehicle from the captured image, paste the tape on the monitor screen, set the measurement start point and the measurement end point, and fast-forward the videotape so that the vehicle to be measured starts the measurement start point. The time from passing through to the end of measurement was calculated by the measurer from the time data recorded on the videotape. As described above, since the playback position of the video tape is set manually, it is difficult to increase the measurement accuracy of the vehicle speed.

さらに、計測結果を検証する場合には、時間データを元に巻き戻しを行って検証対象の車両が撮影されている画像を検索する必要があるので計測データの検証にも非常に時間がかかっていた。
特開平9−190153号公報 特開2002−258740号公報
Furthermore, when verifying the measurement results, it is necessary to perform rewinding based on the time data and search for an image of the vehicle to be verified. It was.
JP-A-9-190153 JP 2002-258740 A

本発明の課題は、移動体の計測作業の効率を向上させることである。   The subject of this invention is improving the efficiency of the measurement operation | movement of a moving body.

本発明の移動体計測装置は、移動体の速度、軌跡、及び通過時間のうちの少なくとも一つを計測することを前提とし、複数の移動体の移動状態を撮影した画像を記憶する画像記憶手段と、前記画像記憶手段に記憶されている画像を再生する画像再生手段と、計測対象の移動体の計測位置を計測者が指定するための移動体指定手段と、前記移動体指定手段により計測位置が指定される毎に、該計測位置が指定された移動体を識別する移動体識別情報と対応づけて、前記移動体が指定されたときの画像のフレーム情報と、前記移動体の計測位置を示す位置情報を記憶する計測情報記憶手段と、前記移動体指定手段により計測位置が指定済みの移動体の各計測位置を、該移動体の他の位置と異なる表示形態で表示させる表示制御手段とを備える。 The moving body measuring apparatus of the present invention is based on the premise that at least one of the speed, trajectory, and passage time of a moving body is measured , and an image storage unit that stores images obtained by capturing moving states of a plurality of moving bodies. Image reproducing means for reproducing the image stored in the image storage means, moving object specifying means for the measurer to specify the measurement position of the moving object to be measured, and the measurement position by the moving object specifying means Is associated with moving body identification information for identifying the moving body for which the measurement position is designated, and frame information of the image when the moving body is designated, and the measurement position of the moving body. Measurement information storage means for storing position information to be displayed, and display control means for displaying each measurement position of the mobile object whose measurement position has been specified by the mobile object specifying means in a display form different from other positions of the mobile object; Is provided.

この発明によれば、表示形態の違いから計測済みの移動体の位置と、未計測の移動体の位置を容易に区別できる。これにより次に計測すべき移動体がどれかを容易に判断できるので移動体の計測作業の効率を高めることができる。   According to the present invention, it is possible to easily distinguish the position of a measured moving body from the position of an unmeasured moving body from the difference in display form. As a result, it is possible to easily determine which moving body is to be measured next, so that the efficiency of measurement work of the moving body can be improved.

本発明の他の移動体計測装置は、移動体の速度、軌跡、及び通過時間のうちの少なくとも一つを計測することを前提とし、複数の移動体の移動状態を撮影した画像を記憶する画像記憶手段と、前記画像記憶手段に記憶されている画像を再生する画像再生手段と、計測の基準となる複数の基準地点を計測者が画面上で指定するための基準地点指定手段と、前記基準地点指定手段により指定された基準地点を通る基準線を通過する測定対象の移動体の計測位置を計測者が指定するための移動体指定手段と、前記移動体指定手段により計測位置が指定される毎に、該計測位置が指定された移動体を識別する移動体識別情報と対応づけて、前記移動体が指定されたときの画像のフレーム情報と、前記移動体の計測位置を示す位置情報を記憶する計測情報記憶手段と、画面上に前記基準線を表示させると共に、前記移動体指定手段により計測位置が指定済みの移動体の各計測位置を、該移動体の他の位置と異なる表示形態で表示させる表示制御手段とを備える。 Another moving body measuring apparatus of the present invention is an image that stores images obtained by capturing the moving states of a plurality of moving bodies on the premise that at least one of the speed, trajectory, and passage time of the moving body is measured. A storage means; an image reproduction means for reproducing an image stored in the image storage means; a reference point designating means for a measurer to designate a plurality of reference points on the screen as a reference for measurement; and the reference The moving body designating means for the measurer to designate the measurement position of the moving body to be measured that passes the reference line passing through the reference point designated by the point designating means, and the measurement position is designated by the moving body designating means. Each time, the frame information of the image when the moving body is specified and the position information indicating the measurement position of the moving body are associated with the moving body identification information for identifying the moving body for which the measurement position is specified. Memorized measurement information Storage means and a display for displaying the reference line on the screen and displaying each measurement position of the movable body whose measurement position has been designated by the movable body designation means in a display form different from other positions of the movable body Control means.

この発明によれば、表示形態の違いから次に計測すべき移動体がどれかを容易に判断できるので移動体の計測作業を効率的に進めることができる。さらに、複数の基準線を表示させ、それらの基準線を通過するときに移動体の位置を指定することで移動体の速度を簡易にかつ正確に計算することができる。   According to the present invention, since it is possible to easily determine which moving body is to be measured next from the difference in display form, the measurement work of the moving body can be advanced efficiently. Further, by displaying a plurality of reference lines and specifying the position of the moving body when passing through these reference lines, the speed of the moving body can be calculated easily and accurately.

上記の発明の移動体計測装置において、前記表示制御手段は、前記指定済みの各計測位置から特定される区間、同じ移動体の前記位置が指定されていない区間と異なる表示形態で表示する。
このように構成することで、次に計測すべき移動体を表示形態から判別できるので計測作業の効率を高め、計測時間を短縮できる。
In the mobile measuring device of the invention, the display control means displays a section specified from the measurement position of the delegated, in a different display form the gauge measurement position is not specified section of the same moving object To do.
With this configuration, the moving body to be measured next can be determined from the display form, so that the efficiency of measurement work can be increased and the measurement time can be shortened.

上記の発明の移動体計測装置において、前記計測情報記憶手段に記憶されている任意の移動体識別情報が指定されると、前記表示制御手段は、前記移動体識別情報により指定される移動体を含む画像と、前記移動体識別情報と対応づけて記憶されている各計測位置と各計測位置を結ぶ線を画面上に表示させる。   In the mobile body measuring apparatus according to the above invention, when any mobile body identification information stored in the measurement information storage means is designated, the display control means displays the mobile body designated by the mobile body identification information. An image to be included and each measurement position stored in association with the moving body identification information and a line connecting each measurement position are displayed on the screen.

このように構成することで、移動体の計測を行った後に、計測対象の移動体と、計測済みの移動体の位置と各計測位置を結ぶ線を表示させて計測結果を簡単に確認することができる。   By configuring in this way, after measuring a mobile object, the measurement target mobile object and the line connecting the position of the measured mobile object and each measurement position can be displayed and the measurement result can be easily confirmed. Can do.

本発明によれば、表示形態の違いから計測済みの移動体の位置と、未計測の移動体の位置を容易に区別できる。これにより次に計測すべき移動体がどれかを容易に判断できるので移動体の計測作業の効率を高めることができる。   According to the present invention, the position of a measured moving body and the position of an unmeasured moving body can be easily distinguished from the difference in display form. As a result, it is possible to easily determine which moving body is to be measured next, so that the efficiency of measurement work of the moving body can be improved.

以下、本発明の実施の形態を図面を参照しながら説明する。図1は、本発明に係る移動体計測装置の基本構成を示す図である。
この移動体計測装置10は、例えば、道路を走行する車両等の移動体を撮影した画像を再生し、計測者がその画像から計測対象の車両の位置を指定して車両の速度、通過時間等を計測すると共に、その車両の車種、走行車線に関するデータを収集するための装置である。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing a basic configuration of a moving body measuring apparatus according to the present invention.
The moving body measuring apparatus 10 reproduces an image obtained by capturing a moving body such as a vehicle traveling on a road, for example, and the measurer specifies the position of the vehicle to be measured from the image, and the vehicle speed, transit time, etc. It is a device for collecting data on the vehicle type and travel lane of the vehicle.

図1において、画像記憶部11は、複数の移動体を撮影した画像を記憶する。この画像記憶部11は、例えば、ハードディスク等により構成される。画像再生部12は、画像記憶部11に記憶された画像を再生する。この画像再生部12は、例えば、MPEG形式で圧縮されている画像データをデコードするMPEGデコーダ等により構成される。   In FIG. 1, an image storage unit 11 stores images obtained by photographing a plurality of moving bodies. The image storage unit 11 is composed of, for example, a hard disk. The image reproduction unit 12 reproduces the image stored in the image storage unit 11. The image reproduction unit 12 is configured by, for example, an MPEG decoder that decodes image data compressed in the MPEG format.

移動体指定部13は、画面に表示されている移動体の位置を指定するものであり、マウス等により構成される。
計測情報記憶部14は、移動体指定部13により指定された移動体を識別する移動体識別情報と対応づけて、何回目の計測であるかを示す計測回数情報と、移動体の計測位置が指定されたときの表示画像のフレームを特定するフレーム情報と、移動体の計測位置を示す位置情報とを記憶する。計測情報記憶部14は、例えば、ハードディスクにより構成される。
The moving object designating unit 13 designates the position of the moving object displayed on the screen, and is configured by a mouse or the like.
The measurement information storage unit 14 is associated with the moving object identification information for identifying the moving object specified by the moving object specifying unit 13, and the measurement number information indicating the number of times of measurement and the measurement position of the moving object are Frame information for specifying the frame of the display image when specified and position information indicating the measurement position of the moving body are stored. The measurement information storage unit 14 is configured by, for example, a hard disk.

表示制御部15は、計測済みの移動体の複数の計測位置を、他の移動体または同一の移動体の未計測の位置と異なる表示形態で表示させる。
一例としては、指定済みの複数の計測位置とそれらの計測位置を結ぶ線を表示させて計測済みの移動体と未計測の移動体を区別できるように表示する。
The display control unit 15 displays a plurality of measurement positions of the measured moving body in a display form different from other measurement positions of the other moving body or the same moving body.
As an example, a plurality of designated measurement positions and a line connecting these measurement positions are displayed so that a measured moving body and an unmeasured moving body can be distinguished.

移動体計測装置10は、図示していないが、この他に計測対象の移動体の種類を指定するための種類指定部と速度計測のための基準地点を設定する基準地点設定部とを有する。
撮影画像を表示させた状態で、計測者が移動体の種類(大型、小型等の車種)を判定して、種類指定部の種類に対応するキーを操作することで移動体の種類を指定することができる。また、基準地点設定部により予め速度計測の基準地点を複数設定すると、画面上に設定した基準地点を通る水平な基準線が表示される。
Although not shown, the mobile body measuring apparatus 10 includes a type specifying unit for specifying the type of the mobile body to be measured and a reference point setting unit for setting a reference point for speed measurement.
With the captured image displayed, the measurer determines the type of the moving body (large, small, etc.), and specifies the type of moving body by operating the key corresponding to the type of the type specifying unit. be able to. Further, when a plurality of speed measurement reference points are set in advance by the reference point setting unit, a horizontal reference line passing through the set reference points is displayed on the screen.

上記の移動体計測装置10を用いて移動体の計測を行う場合には、画像を再生して、計測者が移動体の種類を指定し、その移動体の位置を指定する操作(例えば、マウスをクリックする操作)を行う。移動体の位置が指定されると、そのとき表示されている画像のフレーム情報(フレーム番号など)と計測対象の移動体の位置データが、移動体を識別する識別情報及び何回目の計測であるかを示す計測回数情報と対応づけて計測情報記憶部14に記憶される。さらに、移動体の種類を指定する種類情報が移動体識別情報と対応づけて計測情報記憶部14に記憶される。この計測情報記憶部14に記憶された移動体の位置情報とフレーム情報に基づいて任意の移動体の画像を表示させ、移動体の走行軌跡等を表示させることができる。   When performing measurement of a moving object using the moving object measuring apparatus 10 described above, an image is reproduced, an operation in which the measurer specifies the type of the moving object, and specifies the position of the moving object (for example, a mouse Click the button). When the position of the moving object is specified, the frame information (frame number, etc.) of the image displayed at that time and the position data of the moving object to be measured are identification information for identifying the moving object and the number of measurements. The measurement information is stored in the measurement information storage unit 14 in association with the measurement count information. Further, type information for designating the type of the moving body is stored in the measurement information storage unit 14 in association with the moving body identification information. An image of an arbitrary moving body can be displayed based on the position information and frame information of the moving body stored in the measurement information storage unit 14, and a traveling locus of the moving body can be displayed.

また、移動体の速度を計測する場合には、移動体が基準線を通過するタイミングで移動体の位置を指定する。移動体が各基準線を通過したときの時間は画像のフレーム情報に含まれる時間情報から求めることができ、基準線間の距離は地図等から求めることができるので、各基準線を通過した時間差と距離から移動体の速度を計算することができる。   When measuring the speed of the moving body, the position of the moving body is specified at the timing when the moving body passes the reference line. The time when the moving object passes each reference line can be obtained from the time information included in the frame information of the image, and the distance between the reference lines can be obtained from a map or the like. And the speed of the moving body can be calculated from the distance.

上記のような計測操作を各移動体に対して行うことで撮影画像から移動体の位置、種類、速度等を計測することができる。
次に、図2は、実施の形態の車両計測装置20のブロック図である。この車両計測装置20は、道路を走行する車両を撮影したデジタル画像をハードディスク等の記憶装置に格納し、その画像を再生しながら車両の速度、車種、走行車線等の情報を収集するための装置である。
By performing the measurement operation as described above on each moving body, the position, type, speed, and the like of the moving body can be measured from the captured image.
Next, FIG. 2 is a block diagram of the vehicle measurement device 20 of the embodiment. The vehicle measurement device 20 stores a digital image obtained by photographing a vehicle traveling on a road in a storage device such as a hard disk, and collects information such as the vehicle speed, vehicle type, and travel lane while reproducing the image. It is.

図2に示すように、車両計測装置20は、ハードディスク21を内蔵するパーソナルコンピュータ22とディスプレイ23とキーボード24とマウス25とで構成されている。このパーソナルコンピュータ22は、デジタル画像の記録・再生機能を有し、ハードディスク21の画像記憶部21aに記憶されている画像を再生すると共に、外部から入力するアナログ画像をデジタル画像に変換することができる。パーソナルコンピュータ22は、画像再生手段及び表示制御手段に対応する。   As shown in FIG. 2, the vehicle measurement device 20 includes a personal computer 22 having a built-in hard disk 21, a display 23, a keyboard 24, and a mouse 25. The personal computer 22 has a digital image recording / reproducing function, and can reproduce an image stored in the image storage unit 21a of the hard disk 21 and convert an analog image input from the outside into a digital image. . The personal computer 22 corresponds to image reproduction means and display control means.

また、ハードディスク21には、移動体の計測データ(画像のフレーム番号、移動体の位置情報など)が格納されるデータテーブル等が記憶される計測情報記憶部21bが設けられている。画像は外付けのハードディスク26に記憶させることもできる。なお、車両計測装置20は、上記のようにパーソナルコンピュータ22を用いるものに限らず、専用の計測装置として実現しても良い。   In addition, the hard disk 21 is provided with a measurement information storage unit 21b for storing a data table or the like for storing measurement data of the moving body (frame number of the image, position information of the moving body, etc.). Images can also be stored in an external hard disk 26. The vehicle measurement device 20 is not limited to the one using the personal computer 22 as described above, and may be realized as a dedicated measurement device.

ディスプレイ23は、パーソナルコンピュータ22により再生される移動体の画像を表示する。キーボード24は、基準地点の設定、画像の再生位置の指定、移動体の種類の指定、計測データの登録操作等を行う入力部である。   The display 23 displays an image of the moving body that is played back by the personal computer 22. The keyboard 24 is an input unit that performs setting of a reference point, designation of a reproduction position of an image, designation of a type of moving object, registration operation of measurement data, and the like.

マウス(移動体指定手段に対応する)25は、移動体の位置を指定するときに操作する入力部である。速度を計測する場合には、予め設定した基準地点を水平方向に通る基準線を通過するタイミングでマウス25をクリックして移動体の位置を指定する。   A mouse (corresponding to the moving object specifying means) 25 is an input unit operated when specifying the position of the moving object. When measuring the speed, the position of the moving body is specified by clicking the mouse 25 at the timing of passing through a reference line passing through a preset reference point in the horizontal direction.

図3(A)〜(C)は、画像番号、座標等の計測データが格納されるデータテーブル1,2とデータ登録用キーテーブル3の構成を示す図である。
データテーブル1は、計測者により指定された移動体の計測データを記憶するテーブルである。図3(A)に示すように、データテーブル1は、移動体を特定する通番(移動体識別情報)を記憶する領域31と、通番と対応づけて何回目の計測かを示すクリックカウント数(計測回数情報)が予め設定されている領域32と、計測時の画像の再生位置を示す画像番号(フレーム番号)を記憶する領域33と、指定された移動体の画像上のX座標を記憶する領域34と、Y座標を記憶する領域35とが設けられている。
3A to 3C are diagrams showing the configuration of the data tables 1 and 2 and the data registration key table 3 in which measurement data such as image numbers and coordinates are stored.
The data table 1 is a table that stores measurement data of a moving object designated by a measurer. As shown in FIG. 3A, the data table 1 includes an area 31 for storing a serial number (moving body identification information) for identifying a moving body, and a click count number indicating how many times the measurement is performed in association with the serial number. An area 32 in which (number of times of measurement) is set in advance, an area 33 in which an image number (frame number) indicating the reproduction position of the image at the time of measurement is stored, and an X coordinate on the image of the designated moving body is stored. An area 34 and an area 35 for storing the Y coordinate are provided.

通番は移動体に対して一意に割り当てられる番号であり、計測者が画面上で任意の移動体を指定すると、指定された移動体に対して順に番号が割り当てられ、その番号が通番としてデータテーブル1に記憶される。そして、データテーブル1にその通番と対応づけて、移動体の位置が指定されたときの移動体を含む画像の画像番号と移動体の座標データが記憶される。   A serial number is a number uniquely assigned to a mobile object. When the measurer specifies an arbitrary mobile object on the screen, a number is assigned to the specified mobile object in turn, and that number is a serial number. 1 is stored. Then, the image number of the image including the moving body and the coordinate data of the moving body when the position of the moving body is specified are stored in the data table 1 in association with the serial number.

データテーブル1に複数の移動体の計測データ(通番、画像番号、座標データ)を登録した後、特定の通番を指定することで、その通番が割り当てられている移動体が撮影されている画像を表示させることができる。また、通番に対応づけて記憶されている座標データから、指定された通番の移動体の位置を特定することができる。   After registering measurement data (serial numbers, image numbers, coordinate data) of a plurality of moving objects in the data table 1, by designating a specific serial number, an image of the moving object to which the serial numbers are assigned is captured. Can be displayed. Further, the position of the moving body with the specified serial number can be specified from the coordinate data stored in association with the serial number.

データテーブル2は、車種、車線等のデータを記憶するテーブルである。図3(B)に示すようにデータテーブル2には、移動体を特定する通番を記憶する領域41と、通番と対応づけて車種を記憶する領域42と、車線を記憶する領域43と、その他のデータを記憶する複数の領域が設けられている。特定の移動体を指定して車種と車線を指定すると、指定した移動体の通番と対応づけて車種と車線データがデータテーブル2に登録される。   The data table 2 is a table that stores data such as vehicle type and lane. As shown in FIG. 3B, the data table 2 includes an area 41 for storing a serial number for identifying a moving body, an area 42 for storing a vehicle type in association with the serial number, an area 43 for storing a lane, and the like. A plurality of areas for storing the data are provided. When a specific moving body is specified and the vehicle type and lane are specified, the vehicle type and lane data are registered in the data table 2 in association with the serial number of the specified moving body.

データ登録用キーテーブル3は、車種、車線等を入力するためのキーコードを登録するテーブルである。図3(C)に示すように、データ登録用キーテーブル3には、キーボード24のファンクションキーF1,F2・・のキーコードを記憶する領域51と対応づけて車種と車線データを記憶する領域52,53が設けられている。例えば、F1キーには車種データとして小型、F2キーには、車種データとして大型、F3キーには車線データとして走行車線、F4キーには車線データとして追い越し車線が登録されている。このF1〜F4キーを操作することで、移動体の車種とそのとき走向している車線を入力することができる。   The data registration key table 3 is a table for registering a key code for inputting a vehicle type, a lane, and the like. As shown in FIG. 3C, the data registration key table 3 has an area 52 for storing the vehicle type and lane data in association with the area 51 for storing the key codes of the function keys F1, F2,. , 53 are provided. For example, a small vehicle type data is registered in the F1 key, a large vehicle type data is registered in the F2 key, a traveling lane is registered as lane data in the F3 key, and an overtaking lane is registered as lane data in the F4 key. By operating these F1 to F4 keys, it is possible to input the vehicle type of the moving body and the lane that is running at that time.

次に、図4及び図5は、計測処理のフローチャートである。以下、複数の基準地点を設定した後の移動体の計測処理について説明する。
最初に、ハードディスク21に記憶されている画像の1フレーム目を表示させ、通番を記憶するレジスタとマウスのクリック数をカウントするレジスタの値を初期値の「1」にリセットする(図4,S11)。その後、イベントの発生を待つニュートラルの状態を保つ(S12)。
Next, FIGS. 4 and 5 are flowcharts of the measurement process. Hereinafter, the measurement process of the moving body after setting a plurality of reference points will be described.
First, the first frame of the image stored in the hard disk 21 is displayed, and the values of the register for storing the serial number and the register for counting the number of mouse clicks are reset to the initial value “1” (FIG. 4, S11). ). Thereafter, the neutral state waiting for the occurrence of the event is maintained (S12).

ステップS12のニュートラルの状態で画像制御のためのイベントが発生すると、ステップS13に進み、画像の再生位置を変更する操作、例えば、画像の再生位置を戻すための左矢印キーの操作か、再生位置を進めるための右矢印キーの操作か否かを検出する(S13)。そして、操作されたキーに応じて画像のフレーム番号を進めまたは戻して画像の再生位置を変更する(S14)。その後、ステップS12のニュートラルの状態に戻る。   When an event for image control occurs in the neutral state in step S12, the process proceeds to step S13, where an operation for changing the reproduction position of the image, for example, an operation of the left arrow key for returning the reproduction position of the image, or the reproduction position is performed. It is detected whether or not the operation of the right arrow key for proceeding is performed (S13). Then, the playback position of the image is changed by advancing or returning the frame number of the image in accordance with the operated key (S14). Then, it returns to the neutral state of step S12.

ステップS12のニュートラルの状態で画像クリックのイベントが発生すると、ステップS15に進みマウスのクリック操作の検出を行う。クリック操作を検出した場合には、クリックカウント数が「1」か否かを判定する(S16)。   If an image click event occurs in the neutral state in step S12, the process proceeds to step S15 to detect a mouse click operation. If a click operation is detected, it is determined whether or not the click count is “1” (S16).

ステップS16においてクリックカウント数が「1」であると判定された場合には(S16,YES)、つまり車両の最初の計測位置が指定された場合には、ステップS17に進み、現在表示している画像のフレーム番号を保存フレーム番号としてレジスタに格納する。   When it is determined in step S16 that the click count is “1” (S16, YES), that is, when the first measurement position of the vehicle is designated, the process proceeds to step S17 and is currently displayed. The frame number of the image is stored in the register as a saved frame number.

次に、そのとき表示している画像のフレーム番号をデータテーブル1の現在の通番と現在のクリックカウント数に対応する行及び列に登録する(S18)。
上記のステップS18の処理により、例えば、通番が「1」、クリックカウント数が「1」のときには、図3(A)のデータテーブル1の1行、1列目の画像番号を記憶する領域33に現在表示している画像のフレーム番号が登録される。
Next, the frame number of the image displayed at that time is registered in the row and column corresponding to the current serial number and the current click count in the data table 1 (S18).
By the processing in step S18 described above, for example, when the serial number is “1” and the click count number is “1”, the area 33 for storing the image number of the first row and first column of the data table 1 in FIG. The frame number of the currently displayed image is registered in.

次に、クリックされた位置の移動体の座標値(X座標、Y座標)を、データテーブル1の現在の通番と現在のクリックカウント数で指定される行及び列のX座標、Y座標の記憶領域34及び35に格納する(S19)。   Next, the coordinate values (X coordinate, Y coordinate) of the moving body at the clicked position are stored in the X and Y coordinates of the row and column specified by the current serial number and the current click count in the data table 1. Store in the areas 34 and 35 (S19).

上記のステップS19の処理により、例えば、通番が「1」、クリックカウント数が「1」のときには、図3(A)のデータテーブル1の1行、1列目のX座標とY座標を記憶する領域34及び35にクリックされた位置の移動体のX座標とY座標が登録される。   By the processing in step S19, for example, when the serial number is “1” and the click count is “1”, the X and Y coordinates of the first row and first column of the data table 1 in FIG. The X and Y coordinates of the moving body at the clicked position are registered in the areas 34 and 35 to be registered.

次に、データテーブル1に登録された座標値を全て取得して、取得した座標の点を画面上に表示する。X座標とY座標が複数登録されている場合には、各座標値の点を結ぶ線を表示する(S20)。   Next, all coordinate values registered in the data table 1 are acquired, and the points of the acquired coordinates are displayed on the screen. When a plurality of X coordinates and Y coordinates are registered, a line connecting the points of each coordinate value is displayed (S20).

次に、クリックカウント数をカウントアップし(S21)、その後、ステップS12のニュートラルの状態に戻る。
ステップS16において、クリックカウント数が「1」でないと判定された場合には(S16,NO)、ステップS18に進み、クリックカウント数で指定されるデータテーブルの列に計測データを登録する。
Next, the number of click counts is incremented (S21), and then the process returns to the neutral state in step S12.
If it is determined in step S16 that the click count is not "1" (S16, NO), the process proceeds to step S18, and measurement data is registered in the column of the data table specified by the click count.

ステップS18の処理により、例えば、通番が「1」でクリックカウント数が「2」で2番目の計測位置が指定された場合には、データテーブル1の1行、2列目(クリックカウント数2に対応する列)の画像番号を記憶する領域33にそのときの画像のフレーム番号が登録される。   By the processing in step S18, for example, when the serial number is “1”, the click count number is “2”, and the second measurement position is designated, the first row and the second column of the data table 1 (click count number 2) The frame number of the image at that time is registered in the area 33 for storing the image number of the column corresponding to.

また、ステップS19の処理により、例えば、連番が「1」でクリックカウント数が「2」で2番目の計測位置が指定されたときには、データテーブル1の1行、2列目のX座標、Y座標を記憶する領域34及び35に、指定された位置の移動体のX座標とY座標が登録される。   Further, by the processing in step S19, for example, when the serial number is “1”, the click count is “2”, and the second measurement position is designated, the X coordinate of the first row and the second column of the data table 1, The X and Y coordinates of the moving body at the designated position are registered in the areas 34 and 35 for storing the Y coordinates.

ステップS20の処理により、データテーブル1に登録された座標値が全て取得され、取得された座標値の点が画面上に表示され、さらにそれらの点を結ぶ線が表示される。例えば、同一の通番を有する移動体に対して2個の計測位置が指定された場合には、データテーブル1のその移動体の通番で指定される行の1列目のX、Y座標データと2列目のX、Y座標データが読み出され、各計測位置と、計測位置を結ぶ線が表示される。   Through the processing in step S20, all coordinate values registered in the data table 1 are acquired, points of the acquired coordinate values are displayed on the screen, and a line connecting these points is displayed. For example, when two measurement positions are specified for a mobile object having the same serial number, the X and Y coordinate data in the first column of the row specified by the serial number of the mobile object in the data table 1 and The X and Y coordinate data in the second column are read, and each measurement position and a line connecting the measurement positions are displayed.

ステップS12のニュートラルの状態でデータ登録のイベントが発生すると、ステップS22に進み、データ登録用キーテーブル3に登録されているキーの検出を行う。
操作されたキーのキーコードとデータ登録用キーテーブル3に登録されているキーコードを比較して、キーコードに対応するデータ名(車種または車線)と値(大型、小型など)を取得し、取得したデータをデータテーブル2のそのときの通番で指定される行の車種を記憶する領域42及び車線を記憶する領域43に登録する。そして、データテーブル2に登録した車種と車線データを画面に表示する。
When a data registration event occurs in the neutral state in step S12, the process proceeds to step S22, and the key registered in the data registration key table 3 is detected.
Compare the key code of the operated key with the key code registered in the data registration key table 3, and obtain the data name (vehicle type or lane) and value (large, small, etc.) corresponding to the key code, The acquired data is registered in the area 42 for storing the vehicle type of the row designated by the serial number at that time in the data table 2 and the area 43 for storing the lane. Then, the vehicle type and lane data registered in the data table 2 are displayed on the screen.

ステップS12のニュートラルの状態で計測終了のイベントが発生すると、図5のステップS31に進み、計測終了の操作の検出、例えばエンターキーの検出を行う。
エンターキーの操作を検出したときには、1つの移動体に対する計測が終了したものと判断し、画面上に表示されている内容をすべてクリアする(S32)。そして、保存フレーム番号を記憶しているレジスタのフレーム番号で指定される画像を読み出して表示する(S33)。
When the measurement end event occurs in the neutral state in step S12, the process proceeds to step S31 in FIG. 5 to detect the measurement end operation, for example, enter key.
When the operation of the enter key is detected, it is determined that the measurement for one moving body has been completed, and all the contents displayed on the screen are cleared (S32). Then, the image specified by the frame number of the register storing the storage frame number is read and displayed (S33).

上記のステップS33の処理により、1つの移動体の計測が終了した時点で、最初の計測位置の画像の表示位置まで再生位置が自動的に戻されるので、計測対象の移動体を変更する毎に画像の再生位置を戻す操作を計測者が行う必要が無くなる。   The reproduction position is automatically returned to the display position of the image at the first measurement position when the measurement of one mobile object is completed by the processing in step S33 described above, so every time the mobile object to be measured is changed. It is not necessary for the measurer to perform an operation for returning the reproduction position of the image.

その後、通番を「1」カウントアップし(S34)、クリックカウンタ数をクリアして値を「1」に初期化する(S35)。ステップS35の次には、ステップS12のニュートラルの状態に戻る。   Thereafter, the serial number is incremented by “1” (S34), the number of click counters is cleared, and the value is initialized to “1” (S35). After step S35, the process returns to the neutral state of step S12.

ステップS12のニュートラルの状態でデータテーブル1をアクセスするイベントが発生すると、ステップS36に進みデータテーブル1に対するクリックの有無を検出する。
データテーブル1がクリックされた場合には、クリックされたデータテーブル1の行の通番を現在の通番を記憶するレジスタにセットする。データテーブル1の特定の列がクリックされたときには、クリックされた列の値(カウント数)を現在のクリックカウント数として設定する(S37)。
If an event for accessing the data table 1 occurs in the neutral state in step S12, the process proceeds to step S36 to detect the presence or absence of a click on the data table 1.
When the data table 1 is clicked, the sequence number of the clicked data table 1 is set in a register that stores the current sequence number. When a specific column of the data table 1 is clicked, the value (count number) of the clicked column is set as the current click count number (S37).

次に、データテーブル1のクリックされた行(列が指定されている場合には、指定された列)の画像番号を取得し、取得した画像番号を保存フレーム番号としてレジスタに格納する。そして、レジスタに格納されている保存フレーム番号の画像を表示させ、データテーブル1の該当する行の各計測位置の座標データを全て読み出し、各計測位置を画面上に表示するとともに、各計測位置を結ぶ線を表示する(S38)。   Next, the image number of the clicked row (or the specified column when a column is specified) of the data table 1 is acquired, and the acquired image number is stored in the register as a storage frame number. Then, the image of the storage frame number stored in the register is displayed, all the coordinate data of each measurement position in the corresponding row of the data table 1 are read, each measurement position is displayed on the screen, and each measurement position is displayed. The connecting line is displayed (S38).

次に、データテーブル2の現在の通番で指定される行に登録されているデータ(車種と車線データ)を全て取得し、取得したデータを画面上に表示する(S39)。その後、ステップS12のニュートラルの状態に戻る。   Next, all the data (vehicle type and lane data) registered in the row designated by the current serial number of the data table 2 is acquired, and the acquired data is displayed on the screen (S39). Then, it returns to the neutral state of step S12.

上述した実施の形態によれば、複数の移動体を撮影した画像を再生して、任意の移動体の計測位置を指定すると、計測済みの移動体の計測位置と各計測位置を結ぶ線が、同一の移動体の未計測の位置または他の移動体とは異なる表示形態で表示されるので、計測者は表示された画像の中で次に計測すべき移動体がどれであるかを容易に判別することができる。また、1つの移動体の計測が完了すると、再生位置が移動体の計測開始位置まで自動的に戻されるので、計測者が再生位置を戻す操作をする必要が無くなる。   According to the above-described embodiment, when an image obtained by capturing a plurality of moving bodies is reproduced and a measurement position of an arbitrary moving body is designated, a line connecting the measurement position of the measured moving body and each measurement position is Since it is displayed in an unmeasured position of the same moving object or in a different display form from other moving objects, the measurer can easily determine which moving object should be measured next in the displayed image Can be determined. Further, when the measurement of one moving body is completed, the playback position is automatically returned to the measurement start position of the mobile body, so that it is not necessary for the measurer to perform an operation of returning the playback position.

さらに、計測したデータを検証する場合に、データテーブル1,2に記憶されている任意の移動体を指定すると、その移動体と対応づけて記憶されている画像のフレーム番号、移動体の計測位置の座標データが取得され、フレーム番号で指定される画像と、移動体の計測位置を示す点と各計測位置を結ぶ線が表示される。同時に、移動体の車種及び走行車線を示すデータが表示される。従って、計測対象の移動体の画像と計測者が入力したデータの両方を確認しながら検証を行うことができるので、検証作業の効率を高めることができる。   Furthermore, when verifying the measured data, if an arbitrary moving body stored in the data tables 1 and 2 is specified, the frame number of the image stored in association with the moving body, the measurement position of the moving body Coordinate data is acquired, an image specified by a frame number, a point indicating the measurement position of the moving object, and a line connecting each measurement position are displayed. At the same time, data indicating the vehicle type and travel lane of the moving object is displayed. Therefore, the verification can be performed while checking both the image of the moving object to be measured and the data input by the measurer, so that the efficiency of the verification work can be improved.

次に、撮影された画像を再生しながら移動体の計測を行うときの画面表示とそのときのデータテーブル1及び2の内容の一例を図6及び図7を参照して説明する。
図6及び図7において、左端の枠はイベント発生前の画面を示し、2列目の枠はそのときの画像のフレーム番号を示し、3列目の枠はマウスのクリック、ファンクションキーの操作等のイベントの内容を示し、4列目の枠は通番とクリックカウント数を示し、5列目の枠はデータテーブル1とデータテーブル2の内容を示し、6列目の枠はイベント発生後の表示画面を示し、7列目の枠はイベント発生後の画像のフレーム番号を示している。
Next, an example of screen display when measuring a moving object while reproducing a captured image and an example of the contents of the data tables 1 and 2 at that time will be described with reference to FIGS.
6 and 7, the leftmost frame indicates the screen before the event occurs, the second column indicates the frame number of the image at that time, the third column indicates the mouse click, the function key operation, etc. The fourth column shows the serial number and the click count, the fifth column shows the contents of the data table 1 and the data table 2, and the sixth column shows the display after the event occurs. The frame in the seventh column indicates the frame number of the image after the occurrence of the event.

今、図6(a)に示すように2個の移動体AとBがディスプレイ23に表示されたときの画像のフレーム番号が「10」、クリックカウンタ数が初期値の「1」であるとする。
予め設定した基準線n,mが画面に表示された状態で、最初の計測を行う場合について説明する。基準線nを移動体Aが通過するタイミングで移動体Aがクリックされると、移動体Aに対して通番「1」が割り当てられ、データテーブル1の通番が「1」の行のクリックカウンタ数が「1」の列に、画像番号としてそのとき表示されている画像のフレーム番号の「10」が登録される。さらに、座標データとして移動体Aがクリックされた位置の座標データが登録される。図6(a)のデータテーブル1の座標データを示す記号*は、座標データが登録されている状態であることを示している。
As shown in FIG. 6A, when the two moving bodies A and B are displayed on the display 23, the frame number of the image is “10”, and the number of click counters is “1” which is the initial value. To do.
A case where the first measurement is performed in a state where the preset reference lines n and m are displayed on the screen will be described. When the moving object A is clicked at the timing when the moving object A passes through the reference line n, the serial number “1” is assigned to the moving object A, and the number of click counters in the row where the serial number of the data table 1 is “1”. In the column “1”, the frame number “10” of the currently displayed image is registered as the image number. Further, coordinate data of a position where the moving object A is clicked is registered as coordinate data. A symbol * indicating coordinate data in the data table 1 in FIG. 6A indicates that coordinate data is registered.

移動体Aの1回目の計測データ(フレーム番号、X,Y座標)がデータテーブル1に登録されると、イベント発生後の表示画面には、図6(a)に示すように、マウスがクリックされたときの移動体Aの位置が、例えば、黒丸で表示される。   When the first measurement data (frame number, X, Y coordinate) of the moving object A is registered in the data table 1, the mouse clicks on the display screen after the event occurs, as shown in FIG. For example, the position of the moving object A is displayed as a black circle.

次に、2番目の基準線mを通過するタイミングで移動体Aがクリックされると、そのとき表示されている画像のフレーム番号「50」が、図6(b)に示すように、データテーブル1の通番が「1」の行のクリックカウンタ数が「2」の列の画像番号として登録される。また、X、Y座標として移動体Aが2回目にクリックされた位置のX座標とY座標が登録される。   Next, when the moving object A is clicked at the timing of passing the second reference line m, the frame number “50” of the image displayed at that time is displayed in the data table as shown in FIG. The number of click counters in the row where the serial number of 1 is “1” is registered as the image number of the column whose number is “2”. Further, the X and Y coordinates of the position where the moving body A is clicked for the second time are registered as the X and Y coordinates.

移動体Aの2回目の計測データがデータテーブル1に登録されると、イベント発生後の表示画面には、図6(b)に示すように、最初に指定された位置と2回目に指定された位置が黒丸で表示され、それらの位置を結ぶ線が表示される。   When the second measurement data of the moving object A is registered in the data table 1, as shown in FIG. 6 (b), the first designated position and the second designated data are displayed on the display screen after the occurrence of the event. The positions are displayed as black circles, and a line connecting these positions is displayed.

次に、F2キーの操作が検出されると、図6(c)に示すように、データテーブル2の通番1と対応づけて車種として「大型」が登録される。このとき表示画面には、登録された車種「大型」が表示される。   Next, when the operation of the F2 key is detected, as shown in FIG. 6C, “Large” is registered as the vehicle type in association with the serial number 1 in the data table 2. At this time, the registered vehicle type “large” is displayed on the display screen.

次に、3番目の基準線pを通過するタイミングで移動体Aがクリックされると、そのとき表示されている画像のフレーム番号「85」が、図6(d)に示すように、データテーブル1の通番が「1」の行のクリックカウンタ数が「3」の列の画像番号として登録される。また、X、Y座標として移動体Aが3回目にクリックされた位置のX座標とY座標が登録される。   Next, when the moving object A is clicked at the timing of passing through the third reference line p, the frame number “85” of the image displayed at that time is displayed in the data table as shown in FIG. The number of click counters in the row where the serial number of “1” is “1” is registered as the image number of the column whose number is “3”. Further, the X and Y coordinates of the position where the moving body A is clicked for the third time are registered as the X and Y coordinates.

移動体Aの3回目の計測データがデータテーブル1に登録されると、イベント発生後の表示画面には、図6(d)に示すように最初に指定された位置と2回目に指定された位置と3回目に指定された位置が黒丸で表示され、それらの位置を結ぶ線が表示される。   When the third measurement data of the moving object A is registered in the data table 1, the first designated position and the second designated data are displayed on the display screen after the event occurrence as shown in FIG. The position and the position designated for the third time are displayed as black circles, and a line connecting these positions is displayed.

このように、画像を再生して移動体の複数の計測位置を指定すると、それぞれの計測位置と各計測位置を結ぶ線が表示されるので、計測済みの移動体の位置と未計測の移動体を区別できるので、次にどの移動体の計測を行えば良いかを画面の表示から容易に判断できる。これにより、計測作業を効率良く進めることができる。   In this way, when the image is reproduced and a plurality of measurement positions of the moving object are specified, a line connecting each measurement position and each measurement position is displayed. Therefore, the position of the measured moving object and the unmeasured moving object are displayed. Therefore, it can be easily determined from the display on the screen which mobile body should be measured next. Thereby, measurement work can be advanced efficiently.

次に、F3キーの操作が検出されると、図6(e)に示すように、データテーブル2の通番1と対応づけて移動体Aが走行している車線として「走行」が登録される。このとき表示画面には、登録された車種「大型」と車線「走行」が表示される。   Next, when the operation of the F3 key is detected, as shown in FIG. 6E, “travel” is registered as a lane in which the moving body A is traveling in association with the serial number 1 of the data table 2. . At this time, the registered vehicle type “large” and the lane “travel” are displayed on the display screen.

また、3回目の計測位置が指定された状態でF1キーが操作されると、図7(f)に示すように、データテーブル2の通番1と対応づけて車種として「小型」が登録される。
移動体Aの計測が完了してエンターキーが操作されると、クリックカウント数が初期値の「1」にリセットされ、レジスタに保存されている保存フレーム番号(この場合、フレーム番号10)が読み出され、次に表示する画像のフレーム番号として設定される。これにより、エンターキーが操作されたときには、計測を開始したときの画像が表示される。また、エンターキーが操作された後の表示画面は、各計測位置とそれぞれの計測位置を結ぶ線の表示が消え、2個の移動体A、Bのみが表示される。
Further, when the F1 key is operated while the third measurement position is designated, “small” is registered as the vehicle type in association with the serial number 1 in the data table 2 as shown in FIG. .
When the measurement of the moving object A is completed and the enter key is operated, the click count is reset to the initial value “1”, and the stored frame number (in this case, frame number 10) stored in the register is read. And is set as the frame number of the next image to be displayed. Thereby, when the enter key is operated, an image when the measurement is started is displayed. Further, on the display screen after the enter key is operated, the display of the lines connecting the respective measurement positions and the respective measurement positions disappears, and only two moving bodies A and B are displayed.

次に、再生位置を変更してフレーム番号「25」の画像を表示させた状態で、移動体Bが基準線nを通過するタイミングでマウスがクリックされると、図7(h)に示すように、移動体Bに対して通番「2」が割り当てられ、データテーブル1の通番が「2」の行のクリックカウンタ数が「1」の列に、画像番号としてそのとき表示されている画像のフレーム番号の「25」が登録される。さらに、座標データとして移動体Bがクリックされた位置のX座標とY座標が登録される。図7(h)のデータテーブル1の座標データを示す記号*は、座標データが登録されている状態を示している。   Next, when the playback position is changed and the image of frame number “25” is displayed and the mouse is clicked at a timing when the moving object B passes the reference line n, as shown in FIG. In addition, the serial number “2” is assigned to the mobile object B, and the number of click counters in the row with the serial number “2” in the data table 1 is “1” in the column with the image number displayed at that time. The frame number “25” is registered. Further, the X coordinate and the Y coordinate of the position where the moving body B is clicked are registered as coordinate data. A symbol * indicating coordinate data in the data table 1 of FIG. 7H indicates a state in which coordinate data is registered.

移動体Bの1回目の計測データ(フレーム番号、X,Y座標)がデータテーブル1に登録されると、イベント発生後の表示画面には、図7(h)に示すように、マウスがクリックされたときの移動体Bの位置が黒丸で表示される。   When the first measurement data (frame number, X, Y coordinates) of the moving object B is registered in the data table 1, the mouse clicks on the display screen after the event occurs, as shown in FIG. The position of the moving body B when it is done is displayed as a black circle.

次に、2番目の基準線mを通過するタイミングで移動体Bがクリックされると、クリックカウント数が「2」となり、図7(i)に示すように、そのとき表示されている画像のフレーム番号「70」が、データテーブル1の通番「2」の行のクリックカウンタ数「2」の列の画像番号として登録され、X、Y座標として移動体Bが2回目にクリックされた位置のX座標とY座標が登録される。   Next, when the moving body B is clicked at the timing of passing through the second reference line m, the click count number becomes “2”, and as shown in FIG. The frame number “70” is registered as the image number of the column of the click counter number “2” in the row of the serial number “2” in the data table 1, and the position where the moving object B is clicked for the second time as the X and Y coordinates. X coordinate and Y coordinate are registered.

移動体Bの2回目の計測データがデータテーブル1に登録されると、イベント発生後の表示画面には、移動体Bが最初に指定された位置と、2回目に指定された位置が黒丸で表示され、それらの位置を点を結ぶ線が表示される(図7(i))。   When the second measurement data of the moving object B is registered in the data table 1, the position where the moving object B is first specified and the position specified the second time are indicated by black circles on the display screen after the event occurs. A line connecting the points is displayed (FIG. 7 (i)).

次に、F2キーの操作が検出されると、データテーブル2の通番2と対応づけて車種として「大型」が登録される。このとき画面上に登録された車種「大型」が表示される。
移動体Bの計測が完了してエンターキーが操作されると、クリックカウント数が初期値の「1」にリセットされ、レジスタに保存されている保存フレーム番号(1回目の計測時の画像のフレーム番号)が読み出され、そのフレーム番号が次に表示する画像のフレーム番号として設定される。エンターキーが操作されたときのイベント発生後の表示画面は、各測定位置とそれらを結ぶ線の表示が消え、2個の移動体A、Bのみが表示される。この場合、エンターキーが操作された後の画像のフレーム番号は、移動体Bの最初の計測時の画像のフレーム番号である「25」となる。
Next, when the operation of the F2 key is detected, “Large” is registered as the vehicle type in association with the serial number 2 in the data table 2. At this time, the registered vehicle type “large” is displayed on the screen.
When the measurement of the mobile object B is completed and the enter key is operated, the click count is reset to the initial value “1”, and the saved frame number (the frame of the image at the time of the first measurement) is saved in the register. Number) is read out, and the frame number is set as the frame number of the next image to be displayed. On the display screen after the occurrence of the event when the enter key is operated, the display of each measurement position and the line connecting them disappears, and only two mobile bodies A and B are displayed. In this case, the frame number of the image after the enter key is operated is “25” which is the frame number of the image at the time of the first measurement of the moving object B.

上述したように移動体の計測中は、計測済みの移動体の計測位置とそれぞれの計測位置を結ぶ線が画面上に表示されるので、それらの表示から次に計測すべき移動体がどれであるかを容易に判断できる。これにより、移動体の計測作業の効率を高め、計測時間を短縮できる。さらに、計測が完了してエンターキーが操作されると、計測を開始した位置まで自動的に再生位置が戻されるので、別の移動体の計測を行うために計測者が画像の再生位置を戻す操作が不要となり作業時間を短縮できる。   As described above, during measurement of a moving object, a line connecting the measurement position of the measured moving object and each measurement position is displayed on the screen. You can easily determine if it is. Thereby, the efficiency of the measurement work of a mobile body can be improved and measurement time can be shortened. Furthermore, when the measurement is completed and the enter key is operated, the playback position is automatically returned to the position where the measurement was started, so the measurer returns the image playback position to measure another moving object. No operation is required, and work time can be reduced.

ここで、データテーブル1、2の内容と表示画像の関係を図8を参照して説明する。図8は、移動体Aに対して3個の計測位置が指定され、移動体Bに対して2個の計測位置が指定されたときのデータテーブル1,2の内容と画像を示している。   Here, the relationship between the contents of the data tables 1 and 2 and the display image will be described with reference to FIG. FIG. 8 shows the contents and images of the data tables 1 and 2 when three measurement positions are designated for the moving object A and two measurement positions are designated for the moving object B.

データテーブル1の任意の行(通番)または列(クリックカウント数)を指定することで、各計測位置における画像と移動体の座標データを取得してそのときの移動体の画像を表示させることができる。   By designating an arbitrary row (serial number) or column (click count number) of the data table 1, it is possible to acquire an image at each measurement position and coordinate data of the moving body and display the image of the moving body at that time. it can.

図9(A)〜(C)は、データテーブル上のデータを指定したときの表示画像を示す図である。
計測データを検証したい場合には、データテーブル1,2を表示させ検証した移動体の通番を指定する。
9A to 9C are diagrams showing display images when data on the data table is designated.
When it is desired to verify the measurement data, the data tables 1 and 2 are displayed to specify the serial number of the verified moving body.

図9(A)に斜線で示すように、データテーブル1の通番「1」(移動体A)の行が指定されると、データテーブル1の通番「1」の行の1列目の画像番号と、各計測位置の座標データが読み出される。そして、図9(A)に示すように、移動体Aの1番目の計測位置の画像が表示され、1番目の計測位置の位置に移動体Aが表示され、3個の計測位置が黒丸で表示され、各計測位置を結ぶ線が表示される。同時に、データテーブル2の車種と車線のデータが読み出され、登録されている車種「小型」と車線「走行」が表示される。   9A, when the row of the serial number “1” (moving object A) in the data table 1 is designated, the image number in the first column of the row of the serial number “1” in the data table 1 is designated. Then, the coordinate data of each measurement position is read out. Then, as shown in FIG. 9A, the image of the first measurement position of the moving object A is displayed, the moving object A is displayed at the position of the first measurement position, and the three measurement positions are black circles. A line connecting each measurement position is displayed. At the same time, the vehicle type and lane data in the data table 2 are read, and the registered vehicle type “small” and lane “travel” are displayed.

次に、図9(B)に斜線で示すように、データテーブル1の通番1の3列目が指定されると、データテーブル1の指定された列のフレーム番号「85」と、移動体Aの3個の計測位置の座標データが読み出され、表示する画像のフレーム番号として「85」が設定される。そして、図9(B)に示すように、移動体Aの3番目の計測位置の画像が表示され、移動体Aの3個の計測位置と、3番目の計測位置の移動体Aと、各計測位置を結ぶ線とが表示される。同時に、データテーブル2の車種と車線のデータが読み出され、登録されている車種「小型」と車線「走行」が表示される。   Next, as indicated by hatching in FIG. 9B, when the third column of the serial number 1 of the data table 1 is designated, the frame number “85” of the designated column of the data table 1 is changed to the moving object A. The coordinate data of the three measurement positions are read out, and “85” is set as the frame number of the image to be displayed. Then, as shown in FIG. 9B, an image of the third measurement position of the mobile object A is displayed, and the three measurement positions of the mobile object A, the mobile object A at the third measurement position, A line connecting the measurement positions is displayed. At the same time, the vehicle type and lane data in the data table 2 are read, and the registered vehicle type “small” and lane “travel” are displayed.

従って、データテーブル1上の任意のデータを指定することで、その移動体Aが計測されたときの画像と、各計測位置と計測位置を結ぶ線と、車種と車線データを表示させることができるので、計測対象の移動体の画像を確認しながら計測者により入力されたデータが正しいか否かを検証することができる。また、各計測位置を結ぶ線を表示させることで、移動体がどのような軌跡で移動体したかを表示させることができる。   Therefore, by designating arbitrary data on the data table 1, it is possible to display an image when the moving body A is measured, a line connecting each measurement position and the measurement position, a vehicle type, and lane data. Therefore, it is possible to verify whether or not the data input by the measurer is correct while confirming the image of the moving object to be measured. In addition, by displaying a line connecting each measurement position, it is possible to display the trajectory of the moving body.

次に、図9(C)に斜線で示すように、データテーブル1の通番2の1列目のデータが指定されると、データテーブル1の指定された列のフレーム番号「25」と、移動体Bの各計測位置の座標データが読み出される。そして、図9(C)に示すように、移動体Bの1番目の計測位置の画像が表示され、移動体Bの2個の計測位置が黒丸で表示され、各計測位置を結ぶ線が表示される。   Next, as indicated by hatching in FIG. 9C, when the data in the first column of the serial number 2 in the data table 1 is designated, the frame number “25” in the designated column in the data table 1 is moved. The coordinate data of each measurement position of the body B is read out. Then, as shown in FIG. 9C, an image of the first measurement position of the mobile object B is displayed, two measurement positions of the mobile object B are displayed as black circles, and a line connecting the measurement positions is displayed. Is done.

上記のように、データテーブル1の行または列を指定することで、所望の移動体の画像のフレーム番号と位置データを読み出し、移動体の走行軌跡と計測データを表示させることができる。   As described above, by specifying the row or column of the data table 1, it is possible to read the frame number and position data of an image of a desired moving body and display the traveling locus and measurement data of the moving body.

なお、上述した実施の形態は移動体の速度を算出するために、予め基準地点を設定し、設定した基準地点を通る基準線を画面上に表示するようにしたが、必ずしも基準線を表示する必要はない。移動体の移動軌跡と時間だけが分かれば良い場合には、基準線を設定せずに、移動体の計測位置のみを指定すれば良い。   In the above-described embodiment, in order to calculate the speed of the moving body, a reference point is set in advance, and a reference line passing through the set reference point is displayed on the screen. However, the reference line is not necessarily displayed. There is no need. If only the movement trajectory and time of the moving object need to be known, only the measurement position of the moving object may be specified without setting the reference line.

本発明は、上述した実施の形態に限らず、例えば、以下のように構成しても良い。
(1)本発明は、道路を走行する車両の速度を計測する場合に限らず、車両以外の移動体の移動軌跡等を計測する場合にも適用できる。また、移動体は車両等の物体に限らず、画像から読み取れる事象でも良く、画像から読み取れる事象の発生時刻や発生箇所を計測する場合にも本発明を適用できる。
(2)計測データを記憶するデータテーブルの構成は、実施の形態に示したような構成に限らない。
(3)計測済みの移動体の位置の表示は、計測位置を結ぶ線で表示する表示方法に限らず、点線、点滅表示などどのような表示形態でも良い。
The present invention is not limited to the embodiment described above, and may be configured as follows, for example.
(1) The present invention is not limited to the case of measuring the speed of a vehicle traveling on a road, but can also be applied to the case of measuring the movement locus of a moving body other than a vehicle. Further, the moving body is not limited to an object such as a vehicle, and may be an event that can be read from an image, and the present invention can also be applied when measuring the occurrence time and occurrence location of an event that can be read from an image.
(2) The configuration of the data table for storing measurement data is not limited to the configuration shown in the embodiment.
(3) The display of the position of the measured moving body is not limited to the display method of displaying with a line connecting the measurement positions, and any display form such as a dotted line or a blinking display may be used.

移動体計測装置の基本構成を示すブロック図である。It is a block diagram which shows the basic composition of a moving body measuring device. 車両計測装置のブロック図である。It is a block diagram of a vehicle measuring device. テーブルの構成を示す図である。It is a figure which shows the structure of a table. 計測処理のフローチャート(その1)である。It is a flowchart (the 1) of a measurement process. 計測処理のフローチャート(その2)である。It is a flowchart (the 2) of a measurement process. データテーブルの内容と表示画面を示す図(その1)である。It is the figure (the 1) which shows the content and display screen of a data table. データテーブルの内容と表示画面を示す図(その2)である。It is the figure (the 2) which shows the content of a data table, and a display screen. データテーブルの内容と表示画像を示す図である。It is a figure which shows the content and display image of a data table. データテーブルのデータを指定したときの表示画像を示す図である。It is a figure which shows a display image when the data of a data table are designated.

符号の説明Explanation of symbols

10 移動体計測装置
11 画像記憶部
12 画像再生部
13 種類指定部
14 計測位置指定部
15 表示制御部
16 計測情報記憶部
20 車両計測装置
DESCRIPTION OF SYMBOLS 10 Mobile body measuring device 11 Image storage part 12 Image reproducing part 13 Type designation part 14 Measurement position designation part 15 Display control part 16 Measurement information storage part 20 Vehicle measurement apparatus

Claims (7)

移動体の速度、軌跡、及び通過時間のうちの少なくとも一つを計測する移動体計測装置において、
複数の移動体の移動状態を撮影した画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている画像を再生する画像再生手段と、
計測対象の移動体の計測位置を計測者が指定するための移動体指定手段と、
前記移動体指定手段により計測位置が指定される毎に、該計測位置が指定された移動体を識別する移動体識別情報と対応づけて、前記移動体が指定されたときの画像のフレーム情報と、前記移動体の計測位置を示す位置情報を記憶する計測情報記憶手段と、
前記移動体指定手段により計測位置が指定済みの移動体の各計測位置を、該移動体の他の位置と異なる表示形態で表示させる表示制御手段とを備える移動体計測装置。
In the moving body measuring apparatus that measures at least one of the speed, trajectory, and passage time of the moving body,
Image storage means for storing images obtained by photographing the moving states of a plurality of moving bodies;
Image reproduction means for reproducing an image stored in the image storage means;
A mobile object specifying means for the measurer to specify the measurement position of the mobile object to be measured;
Each time the measurement position is specified by the mobile object specifying means, the frame information of the image when the mobile object is specified is associated with the mobile object identification information for identifying the mobile object for which the measurement position is specified; Measurement information storage means for storing position information indicating the measurement position of the mobile body;
A mobile body measuring apparatus comprising: display control means for displaying each measurement position of a mobile body whose measurement position has been designated by the mobile body designating means in a display form different from other positions of the mobile body.
移動体の速度、軌跡、及び通過時間のうちの少なくとも一つを計測する移動体計測装置において、
複数の移動体の移動状態を撮影した画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている画像を再生する画像再生手段と、
計測の基準となる複数の基準地点を計測者が画面上で指定するための基準地点指定手段と、
前記基準地点指定手段により指定された基準地点を通る基準線を通過する測定対象の移動体の計測位置を計測者が指定するための移動体指定手段と、
前記移動体指定手段により計測位置が指定される毎に、該計測位置が指定された移動体を識別する移動体識別情報と対応づけて、前記移動体が指定されたときの画像のフレーム情報と、前記移動体の計測位置を示す位置情報を記憶する計測情報記憶手段と、
画面上に前記基準線を表示させると共に、前記移動体指定手段により計測位置が指定済みの移動体の各計測位置を、該移動体の他の位置と異なる表示形態で表示させる表示制御手段とを備える移動体計測装置。
In the moving body measuring apparatus that measures at least one of the speed, trajectory, and passage time of the moving body,
Image storage means for storing images obtained by photographing the moving states of a plurality of moving bodies;
Image reproduction means for reproducing an image stored in the image storage means;
A reference point specifying means for the measurer to specify a plurality of reference points on the screen as a reference of measurement;
A moving object specifying means for the measurer to specify the measurement position of the moving object to be measured that passes through the reference line passing through the reference point specified by the reference point specifying means;
Each time the measurement position is specified by the mobile object specifying means, the frame information of the image when the mobile object is specified is associated with the mobile object identification information for identifying the mobile object for which the measurement position is specified; Measurement information storage means for storing position information indicating the measurement position of the mobile body;
Display control means for displaying the reference line on a screen and displaying each measurement position of the mobile object whose measurement position has been specified by the mobile object specifying means in a display form different from other positions of the mobile object; A moving body measuring apparatus.
前記表示制御手段は、前記指定済みの各計測位置から特定される区間を、同じ移動体の前記計測位置が指定されていない区間と異なる表示形態で表示する請求項1または2記載の移動体計測装置。   3. The mobile object measurement according to claim 1, wherein the display control means displays a section specified from each designated measurement position in a display form different from a section in which the measurement position of the same mobile object is not specified. apparatus. 前記計測情報記憶手段に記憶されている任意の移動体識別情報が計測者により指定されると、前記表示制御手段は、前記移動体識別情報により指定される移動体を含む画像上に、前記移動体識別情報と対応づけて記憶されている各位置情報が示す各計測位置と各計測位置を結ぶ線を配置して表示させる請求項1または2記載の移動体計測装置。   When arbitrary moving body identification information stored in the measurement information storage means is designated by a measurer, the display control means moves the movement onto an image including the moving body designated by the moving body identification information. The mobile body measuring device according to claim 1 or 2, wherein a line connecting each measurement position and each measurement position indicated by each position information stored in association with the body identification information is arranged and displayed. 移動体の速度、軌跡、及び通過時間のうちの少なくとも一つを計測するための計測方法において、
複数の移動体の移動状態を撮影した画像を画像記憶手段に記憶し、
前記画像記憶手段に記憶されている画像を画像再生手段により再生し、
計測対象の移動体の計測位置を計測者に指定させ、
該計測位置が指定される毎に、該計測位置が指定された移動体を識別する移動体識別情報と対応づけて、前記移動体が指定されたときの画像のフレーム情報と、前記移動体の計測位置を示す位置情報を計測情報記憶手段に記憶し、
該計測位置が指定済みの移動体の各計測位置を同じ移動体の他の位置と異なる表示形態で表示させる移動体の計測方法。
In a measurement method for measuring at least one of the speed, trajectory, and transit time of a moving object,
Storing images of moving states of a plurality of moving bodies in an image storage means;
The image stored in the image storage means is played back by the image playback means,
Let the measurer specify the measurement position of the mobile object to be measured,
Each time the measurement position is designated, the frame information of the image when the moving body is designated is associated with the moving body identification information for identifying the moving body for which the measurement position is designated; Store the position information indicating the measurement position in the measurement information storage means,
A method for measuring a moving body, in which each measurement position of a moving body for which the measurement position has been specified is displayed in a display form different from other positions of the same moving body.
指定済みの各計測位置から特定される区間を、同じ移動体の前記計測位置が指定されていない区間と異なる表示形態で表示する請求項5記載の移動体の計測方法。   The mobile body measuring method according to claim 5, wherein a section specified from each designated measurement position is displayed in a different display form from a section in which the measurement position of the same mobile body is not specified. 前記計測情報記憶手段に記憶されている任意の移動体識別情報が指定されると、前記移動体識別情報で指定される移動体を含む画像上に、前記移動体識別情報と対応づけて記憶されている各位置情報が示す各計測位置と各計測位置を結ぶ線を配置して表示させる請求項5記載の移動体の計測方法。   When any mobile object identification information stored in the measurement information storage unit is specified, the mobile object identification information is stored in association with the mobile object identification information on an image including the mobile object specified by the mobile object identification information. The measuring method of the moving body of Claim 5 which arrange | positions and displays the line which connects each measurement position and each measurement position which each position information shown.
JP2005183650A 2005-06-23 2005-06-23 MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD Expired - Fee Related JP4914031B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005183650A JP4914031B2 (en) 2005-06-23 2005-06-23 MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005183650A JP4914031B2 (en) 2005-06-23 2005-06-23 MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD

Publications (2)

Publication Number Publication Date
JP2007003340A JP2007003340A (en) 2007-01-11
JP4914031B2 true JP4914031B2 (en) 2012-04-11

Family

ID=37689123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005183650A Expired - Fee Related JP4914031B2 (en) 2005-06-23 2005-06-23 MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD

Country Status (1)

Country Link
JP (1) JP4914031B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969864A (en) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 Vehicle speed detection method, vehicle driving event detection method and electronic equipment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2407261B1 (en) * 2010-07-16 2016-04-20 Primetals Technologies Austria GmbH Method for automatic positioning a spout of a metallurgical container
JP5879587B1 (en) * 2015-01-30 2016-03-08 株式会社道路計画 Computer program for making a personal computer function as a traffic survey support device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS612002A (en) * 1984-06-14 1986-01-08 Hamamatsu Photonics Kk Instrument for measuring movement of particle image or the like in television image
JPH05253324A (en) * 1992-03-11 1993-10-05 Zexel Corp Motion analyzer for sports
JP3122002B2 (en) * 1995-02-16 2001-01-09 松下電器産業株式会社 Interactive information provision device
JP3605667B2 (en) * 1996-01-30 2004-12-22 株式会社ナックイメージテクノロジー Aircraft takeoff and landing performance measurement device
JPH10314357A (en) * 1997-05-15 1998-12-02 Nippon Telegr & Teleph Corp <Ntt> Play display device
JP2002010181A (en) * 2000-06-22 2002-01-11 Toshiba Corp Method and apparatus for extracting moving route as well as storage medium
JP4355884B2 (en) * 2001-01-31 2009-11-04 日本電気株式会社 Offside judgment assist device
JP2003256843A (en) * 2002-02-26 2003-09-12 Oki Electric Ind Co Ltd Measurement system
JP2003333570A (en) * 2002-05-13 2003-11-21 Ricoh Co Ltd Contents distribution system, server therefor, electronic apparatus, contents distribution method, program therefor, and recording medium with the program recorded thereon

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969864A (en) * 2018-09-28 2020-04-07 杭州海康威视数字技术股份有限公司 Vehicle speed detection method, vehicle driving event detection method and electronic equipment

Also Published As

Publication number Publication date
JP2007003340A (en) 2007-01-11

Similar Documents

Publication Publication Date Title
US9357181B2 (en) Tracking assistance device, a tracking assistance system and a tracking assistance method
US9251599B2 (en) Tracking assistance device, a tracking assistance system and a tracking assistance method that enable a monitoring person to perform a task of correcting tracking information
JP2011009846A5 (en)
CN104766300B (en) Event recorder playback with integrated GPS mapping
CN102265597B (en) Image pickup equipment
JP6756338B2 (en) Image processing equipment, image processing systems, image processing methods and programs
EP2252044A2 (en) Electronic apparatus, display controlling method and program
US20120169769A1 (en) Information processing apparatus, information display method, and computer program
JP2008306604A5 (en)
US20030007668A1 (en) Image recording apparatus, image reproducing apparatus and methods therefor
JP6834353B2 (en) Image processing equipment, image processing systems, image processing methods and programs
JP6210234B2 (en) Image processing system, image processing method, and program
JP4914031B2 (en) MOBILE BODY MEASURING DEVICE AND MOBILE BODY MEASURING METHOD
JP6958872B2 (en) Crack width measuring device, crack width measuring program and crack width measuring method
CN114998819A (en) Passenger flow statistical method, device, equipment and medium for multi-dimensional detection and tracking
JP3747800B2 (en) Skill improvement support device
CN103678469A (en) Methods and systems for media file management
JP2009200601A (en) Video editing device and method
TW201835855A (en) Object counting method having route distribution property and related image processing device
JP2022099341A (en) Failure analysis assisting program, failure analysis assisting device, failure analysis assisting method and three-dimensional data displaying program
KR101362630B1 (en) Method for chasing object moving path in digital video recorder
TWI808350B (en) Method and system for composing a video material
JP2006067139A (en) Method, device, and program for searching videos of a plurality of cameras
JP6509546B2 (en) Image search system and image search method
JP5012644B2 (en) Presentation recording apparatus, presentation playback apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4914031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees