JP4570499B2 - Meter recognition system, meter recognition method, and meter recognition program - Google Patents

Meter recognition system, meter recognition method, and meter recognition program Download PDF

Info

Publication number
JP4570499B2
JP4570499B2 JP2005099275A JP2005099275A JP4570499B2 JP 4570499 B2 JP4570499 B2 JP 4570499B2 JP 2005099275 A JP2005099275 A JP 2005099275A JP 2005099275 A JP2005099275 A JP 2005099275A JP 4570499 B2 JP4570499 B2 JP 4570499B2
Authority
JP
Japan
Prior art keywords
scale
value
meter
minimum
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005099275A
Other languages
Japanese (ja)
Other versions
JP2006277608A (en
Inventor
秀雄 石丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chugoku Electric Power Co Inc
Original Assignee
Chugoku Electric Power Co Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chugoku Electric Power Co Inc filed Critical Chugoku Electric Power Co Inc
Priority to JP2005099275A priority Critical patent/JP4570499B2/en
Publication of JP2006277608A publication Critical patent/JP2006277608A/en
Application granted granted Critical
Publication of JP4570499B2 publication Critical patent/JP4570499B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は、メータ認識システム、メータ認識方法、およびメータ認識プログラムに関する。   The present invention relates to a meter recognition system, a meter recognition method, and a meter recognition program.

例えば、工場等のエネルギー使用実態調査を行う際に、一般的には指示値の発信機能が付いていない指示計(メータ)が設置されているため、自動計測は困難であった。
そこで例えば、アナログメータの指示値を画像処理によって自動的に読み取る、或いはコンピュータ管理に適したデジタル信号を得るといった課題の下、アナログメータの画像について、指示針の回転中心と、前記指示針の可動範囲であって目盛盤が無地であり且つ前記回転中心を中心にした円弧状の針可動領域と、前記目盛盤の目盛情報を設定し、計測を開始する前のアナログメータの基準画像と前記指示針が回転した状態のアナログメータの計測画像から前記針可動領域の画像をそれぞれ抽出し、抽出した2つの画像を前記回転中心を基準に極座標変換して前記指示針の回転角を直線的に示す画像にそれぞれ変換し、前記極座標変換後の2つの画像に基づいて前記指示針の回転角を求め、求めた回転角を前記目盛情報に対応させて前記計測画像の指示針の指示値を求めることを特徴とするアナログメータの自動読み取り方法(特許文献1参照)などが提案されている。
特開2004−133560号公報
For example, when conducting an energy usage survey in factories or the like, automatic measurement has been difficult because an indicator (meter) that does not have a function of transmitting an instruction value is generally installed.
Therefore, for example, under the problem of automatically reading the indicated value of the analog meter by image processing, or obtaining a digital signal suitable for computer management, the rotation center of the indicating needle and the movement of the indicating needle for the image of the analog meter are obtained. The range of the scale plate is plain and the arc-shaped needle movable area centered on the rotation center, the scale information of the scale plate is set, and the reference image of the analog meter before starting the measurement and the instructions The image of the needle movable area is extracted from the measurement image of the analog meter in a state where the needle is rotated, and the extracted two images are subjected to polar coordinate conversion based on the rotation center to linearly indicate the rotation angle of the pointing needle. Each of the images is converted into an image, the rotation angle of the indicator needle is determined based on the two images after the polar coordinate conversion, and the calculated rotation angle is associated with the scale information. An automatic reading method for an analog meter (see Patent Document 1) has been proposed and obtaining an indication of the indicator needle image.
JP 2004-133560 A

しかしながら従来手法においては、指示値認識の基準パターンが固定的で、メータ種別や種々の状況変化に対応して確実に指示値認識を行うことが困難な状況が生じた。したがって、メータ目盛や指示針の形態(例:半円弧状に配置される目盛とそれに対応して回転する指示針、目盛間隔が一定ではないものなど)に対応して、的確に指示値を認識するといった処理が効率的になされてこなかった。   However, in the conventional method, the reference value recognition reference pattern is fixed, and it is difficult to reliably perform the instruction value recognition corresponding to the meter type and various situation changes. Therefore, the indicator value is accurately recognized according to the form of the meter scale and indicator needle (eg, a scale arranged in a semicircular arc shape, an indicator needle that rotates in response to the scale, and a scale interval that is not constant). The process of doing was not done efficiently.

そこで本発明の目的は、メータ種別等による種々の状況に対応した確実かつ効率的な指示値認識を可能とする、メータ認識システム、メータ認識方法、およびメータ認識プログラムを提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide a meter recognition system, a meter recognition method, and a meter recognition program that enable reliable and efficient instruction value recognition corresponding to various situations such as meter type.

上記課題を解決する本発明のメータ認識システムは、針型または棒型のメータの目盛指示を認識するシステムであって、前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付ける、領域設定部と、前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定する、目盛差異特定部と、前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定する、割合算定部と、前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力する、変換指示値算定部と、を備える。 The meter recognition system of the present invention that solves the above problems is a system for recognizing a scale instruction of a needle-type or bar-type meter, displaying a photographed image of the scale instruction on an output interface, and recognizing the photographed image. An area setting unit that accepts specification of a minimum value and a maximum value indicated by a shooting scale in the recognition area and the recognition area from an input interface, and a plurality of parts that divide the minimum / maximum value at predetermined intervals with the minimum / maximum values at both ends of the scale The comparison scale is overlaid on the recognition area and displayed on the output interface, and the input of each corresponding value of the plurality of comparison scales in the imaging scale is received from the input interface, and becomes a break at the predetermined interval. A scale difference specifying unit that specifies the correspondence between each value of the comparative scale and the value of the photographing scale, and the recognition value from the photographed image. From the scale readings by the comparative scale of the meter to be subtraction processed a minimum value by the comparison scale in the scale reading is contained Ru at a constant interval of said separated by a plurality of comparative scale interval Then, the processing result value is divided by the amount of change of the value by the comparison scale in the predetermined section in which the scale instruction value is included, and the ratio that the scale instruction value occupies in the predetermined section is calculated. A conversion instruction is performed by multiplying the amount of change of the value by the shooting scale in the predetermined section by the ratio, and adding the minimum value by the shooting scale in the predetermined section to the processing result value. A conversion instruction value calculation unit that calculates a value and outputs the value to an output interface.

また、本発明のメータ認識方法は、針型または棒型のメータの目盛指示を認識する方法であって、前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付け、前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定し、前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定し、前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力する、ことを特徴とする。 The meter recognition method of the present invention is a method for recognizing a scale instruction of a needle-type or bar-type meter, displaying a photographed image of the scale instruction on an output interface, and a recognition area in the photographed image and the Accepting designation of the minimum and maximum values indicated by the imaging scale in the recognition area from the input interface, and recognizing a plurality of comparative scales that divide the minimum and maximum values at predetermined intervals with the minimum and maximum values as both ends of the scale. In addition to displaying on the output interface overlaid on the area, the input of each corresponding value of the plurality of comparison scales in the imaging scale is received from the input interface, and the value of each of the comparison scales serving as the predetermined interval identifying the correspondence between the value of the imaging scale than the scale readings by the comparative scale of the meter that is recognized from the captured image, wherein The minimum value subtracted by the comparison scale at a constant interval in which the Ru contains scale readings of the separated sections in number of comparison memory, the processing result value includes the scale indicated value Dividing by the amount of change of the value by the comparative scale in the predetermined section, the ratio of the scale indication value in the predetermined section is calculated, and the ratio to the amount of change of the value by the photographing scale in the predetermined section The conversion instruction value is calculated by adding the minimum value of the imaging scale in the predetermined section to the processing result value, and the result is output to the output interface.

また、本発明のメータ認識プログラムは、針型または棒型のメータの目盛指示を認識する方法をコンピュータに実行させるためのプログラムであって、前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付けるステップと、前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定するステップと、前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定するステップと、前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力するステップと、を備える。 Further, the meter recognition program of the present invention is a program for causing a computer to execute a method for recognizing a scale instruction of a needle-type or bar-type meter, displaying a photographed image of the scale instruction on an output interface, A step of accepting designation of a recognition area in the captured image and a minimum value and a maximum value indicated by a shooting scale in the recognition area from an input interface; and the minimum and maximum values at both ends of the scale and a predetermined interval between the minimum and maximum values A plurality of comparison scales to be separated are displayed on the output interface so as to overlap the recognition area, and input of each corresponding value of the plurality of comparison scales in the imaging scale is received from the input interface, and the separation at the predetermined interval Identifying the correspondence between each of the comparison scale values and the shooting scale values, From the scale readings by the comparative scale of the meter that is recognized from the captured image, the minimum by the comparative scale at a constant interval in which the Ru contains scale readings of said separated by a plurality of comparative scale interval A value is subtracted, and the processing result value is divided by a change amount of the value by the comparison scale in the predetermined section in which the scale instruction value is included, and a ratio of the scale instruction value in the predetermined section is calculated. The step of calculating and multiplying the amount of change in the value by the shooting scale in the predetermined section by the ratio, and adding the minimum value by the shooting scale in the predetermined section to this processing result value Calculating an indication value and outputting it to an output interface.

その他、本願が開示する課題、及びその解決方法は、発明の実施の形態の欄、及び図面により明らかにされる。   In addition, the problems disclosed by the present application and the solutions thereof will be clarified by the embodiments of the present invention and the drawings.

本発明によれば、メータ種別等による種々の状況に対応した確実かつ効率的な指示値認識が可能となる。   According to the present invention, it is possible to reliably and efficiently recognize an instruction value corresponding to various situations depending on a meter type or the like.

以下に本発明の実施形態について図面を用いて詳細に説明する。図1は本実施形態におけるメータ認識システム100を含む全体構成図である。本実施形態においては、例えば需要家の施設に設置された針型または棒型の電力積算計(メータ200)の指示値をデジタルカメラなどの撮影手段150で撮影し、この撮影画像に基づき指示値を認識する状況を想定する。しかし本発明の適用はこの実施形態に限定されるものではなく、ガス、水道など各種測定対象に関する各種メータに対する指示値の認識を行ういずれの状況にも適用可能である。   Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 is an overall configuration diagram including a meter recognition system 100 according to the present embodiment. In the present embodiment, for example, an instruction value of a needle-type or bar-type power accumulator (meter 200) installed in a customer's facility is photographed by photographing means 150 such as a digital camera, and the instruction value is based on the photographed image. Assuming a situation where However, the application of the present invention is not limited to this embodiment, and can be applied to any situation in which indication values for various meters related to various measurement objects such as gas and water are recognized.

本発明のメータ認識システム100(以下、システム100)は、本発明のメータ認識方法を実行する機能を実現すべく書き換え可能メモリなどのプログラムデータベース101に格納されたプログラム102をメモリ103に読み出し、演算装置たるCPU104により実行する。   A meter recognition system 100 (hereinafter, system 100) of the present invention reads a program 102 stored in a program database 101 such as a rewritable memory into a memory 103 to perform a calculation to realize a function for executing the meter recognition method of the present invention. It is executed by the CPU 104 as the apparatus.

また、前記システム100は、コンピュータ装置が一般に備えている各種キーボードやボタン類、ディスプレイなどの入出力インターフェイス105、ならびに、撮影手段150などとの間のデータ授受を担う通信手段106などを有している。   In addition, the system 100 includes various keyboards and buttons generally provided in a computer device, an input / output interface 105 such as a display, and a communication unit 106 that performs data exchange with the photographing unit 150 and the like. Yes.

前記システム100は、前記通信手段106により、前記撮影手段150らと例えばインターネットやLAN、シリアル・インターフェース通信線などのネットワーク140を介して接続し、データ授受を実行する。もちろん、ネットワーク140を経由してのデータ授受のみならず、撮影手段150が備える可搬型の記憶媒体をシステム100側で読み取るといった処理によりデータ授受を行うとしてもよい。システム100の各種機能部と通信手段106との間ではI/O部107がデータのバッファリングや各種仲介処理を実行している。   The system 100 is connected to the photographing unit 150 and the like via the network 140 such as the Internet, a LAN, or a serial interface communication line by the communication unit 106, and executes data exchange. Of course, not only data transmission / reception via the network 140 but also data transmission / reception may be performed by processing such as reading a portable storage medium included in the photographing unit 150 on the system 100 side. Between the various functional units of the system 100 and the communication means 106, the I / O unit 107 executes data buffering and various mediation processes.

続いて、前記システム100が、例えばプログラム102に基づき構成・保持する機能部につき説明を行う。システム100は、例えば前記撮影手段150より、メータ200の目盛指示の撮影画像を入手し、これを出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付ける、領域設定部110を備える。   Subsequently, functional units that are configured and held by the system 100 based on the program 102 will be described. For example, the system 100 obtains a photographed image of the scale indication of the meter 200 from the photographing unit 150 and displays it on the output interface, and the recognition area in the photographed image and the minimum value indicated by the photographing scale in the recognition area and An area setting unit 110 that accepts designation of the maximum value from the input interface is provided.

また、システム100は、前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定する、目盛差異特定部111を備える。   In addition, the system 100 displays a plurality of comparative graduations with the minimum / maximum values at both ends of the graduation and dividing the minimum / maximum values at a predetermined interval on the output interface, overlaid on the recognition area. Graduation difference identification that accepts input of corresponding values of the plurality of comparison graduations from the input interface and identifies the correspondence between the values of the respective graduation for comparison and the values of the imaging graduations Part 111 is provided.

また、システム100は、前記撮影画像より認識されるメータ200の比較用目盛による目盛指示値より、上記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定する、割合算定部112を備える。 The system 100, the more the scale readings by comparison scale of the meter 200 to be recognized from the captured image, where a constant interval in which the Ru contains scale indicated value of the interval delimited by the plurality of comparative scale the subtraction processing the minimum value according to the comparative scale, the processing result value, by dividing the amount of change in value due to the comparative scale at the predetermined interval that includes the scale indicated value, the scale indicated value A ratio calculating unit 112 that calculates a ratio occupied in the predetermined section is provided.

また、システム100は、前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力する、変換指示値算定部113を備える。 Further, the system 100 multiplies the ratio by the amount of change of the value by the shooting scale in the predetermined section, and adds the minimum value by the shooting scale in the predetermined section to the processing result value. A conversion instruction value calculation unit 113 is provided that calculates the conversion instruction value and outputs it to the output interface.

なお、これまで示した メータ認識システム100における各機能部110〜113は、ハードウェアとして実現してもよいし、メモリやHDD(Hard Disk Drive)などの適宜な記憶装置に格納したプログラムとして実現するとしてもよい。この場合、前記CPU104がプログラム実行に合わせて記憶装置より該当プログラムをメモリ103に読み出して、これを実行することとなる。   Note that each of the functional units 110 to 113 in the meter recognition system 100 described so far may be realized as hardware, or as a program stored in an appropriate storage device such as a memory or an HDD (Hard Disk Drive). It is good. In this case, the CPU 104 reads the corresponding program from the storage device into the memory 103 and executes it in accordance with the execution of the program.

また、前記ネットワーク140に関しては、インターネット、LANの他、ATM回線や専用回線、WAN(Wide Area Network)、電灯線ネットワーク、無線ネットワーク、公衆回線網、携帯電話網、シリアル・インターフェース通信線など様々なネットワークを採用することも出来る。また、VPN(Virtual Private Network)など仮想専用ネットワーク技術を用いれば、インターネットを採用した際にセキュリティ性を高めた通信が確立され好適である。なお、前記シリアル・インターフェイスは、単一の信号線を用いて1ビットずつ順次データを送るシリアル伝送で、外部機器と接続するためのインターフェースを指し、通信方式としてはRS−232C、RS−422、IrDA、USB、IEEE1394、ファイバ・チャネルなどが想定できる。   In addition to the Internet and LAN, the network 140 includes various types such as an ATM line, a dedicated line, a WAN (Wide Area Network), a power line network, a wireless network, a public line network, a mobile phone network, and a serial interface communication line. A network can also be adopted. If a virtual private network technology such as VPN (Virtual Private Network) is used, communication with improved security is established when the Internet is adopted. The serial interface refers to an interface for connecting to an external device by serial transmission that sequentially transmits data bit by bit using a single signal line, and RS-232C, RS-422, IrDA, USB, IEEE 1394, fiber channel, etc. can be assumed.

また、本実施形態における撮影手段150は、前記メータ200の指示部に向けて設置される固定式のカメラ、或いは点検員が撮影用に携行するカメラが想定できる。このカメラとしては例えばデジタルカメラとすることができる。また、デジタルカメラのカメラセンサーとしては、CCDやCMOSなどが想定できるが、いずれのカメラセンサーを備えるデジタルカメラであってもよい。   Further, the photographing means 150 in the present embodiment can be assumed to be a fixed camera installed toward the instruction unit of the meter 200 or a camera carried by an inspector for photographing. This camera can be a digital camera, for example. Moreover, as a camera sensor of a digital camera, CCD, CMOS, etc. can be assumed, However, A digital camera provided with any camera sensor may be sufficient.

−−−処理フロー例−−−
以下、本実施形態におけるメータ認識方法の実際手順について、図に基づき説明する。なお、以下で説明するメータ認識方法に対応する各種動作は、前記メータ認識システム100が、メモリ103に読み出して実行するプログラム102によって実現される。そして、このプログラム102は、以下に説明される各種の動作を行うためのコードから構成されている。
--- Processing flow example ---
Hereinafter, the actual procedure of the meter recognition method in the present embodiment will be described with reference to the drawings. Various operations corresponding to the meter recognition method described below are realized by the program 102 that the meter recognition system 100 reads into the memory 103 and executes. And this program 102 is comprised from the code | cord | chord for performing the various operation | movement demonstrated below.

ここでシステム100は、前記メータ200の指示部を撮影した撮影手段150より、前記メータ200における目盛指示の撮影画像を予め取得しているものとする(s1000)。この時、システム100は、前記撮影画像をディスプレイ等の適宜な出力インターフェイスに表示する(s1001)。この時の表示画面の例を、図3(a)および(b)に示す。図3(a)の示す画面1000では、一例としてメータ指示値が棒型となる水銀柱温度計などのメータを想定した状況を示している。また、図3(b)の示す画面1010では、一例としてメータ指示値が針型となる温度計などのメータを想定した状況を示している。   Here, it is assumed that the system 100 has previously acquired a captured image of the scale instruction in the meter 200 from the imaging unit 150 that has captured the indication unit of the meter 200 (s1000). At this time, the system 100 displays the captured image on an appropriate output interface such as a display (s1001). An example of the display screen at this time is shown in FIGS. A screen 1000 shown in FIG. 3A shows a situation assuming a meter such as a mercury column thermometer in which the meter indication value is a bar shape as an example. In addition, the screen 1010 shown in FIG. 3B shows a situation assuming a meter such as a thermometer in which the meter indication value is a needle type as an example.

このような画面表示を行ったシステム100は、次に、前記撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付けることとなる(s1002)。前記画面1000においては、一例として少なくとも“−30℃〜50℃”までの温度範囲に対応した目盛表示がメータ200に設定されていることが見て取れる。そこで、この画面1000に対応した前記認識領域1001は、例えば、“−30℃〜50℃”の目盛表示を含む画像範囲(例:画像上の座標値によるもの)に関して、システム100のマウス等(入力インターフェイス)によるドラッグ指定を受付ける。   The system 100 that has performed such screen display then accepts designation of the recognition area in the photographed image and the minimum and maximum values indicated by the photographing scale in the recognition area from the input interface (s1002). In the screen 1000, as an example, it can be seen that a scale display corresponding to a temperature range of at least “−30 ° C. to 50 ° C.” is set in the meter 200. Therefore, the recognition area 1001 corresponding to the screen 1000 is, for example, a mouse or the like of the system 100 with respect to an image range including a scale display of “−30 ° C. to 50 ° C.” (eg, according to coordinate values on the image) ( Accept drag specification by (input interface).

また、前記画面1000に対応した前記認識領域1001における撮影目盛が示す最小値および最大値の指定は、例えば、上述の“−30℃〜50℃”の目盛表示に対応して、システム100のキーボード等(入力インターフェイス)によるキーイン処理により、“−30℃〜50℃”として指定を受付ける。   In addition, the specification of the minimum value and the maximum value indicated by the imaging scale in the recognition area 1001 corresponding to the screen 1000 is, for example, the keyboard of the system 100 corresponding to the scale display of “−30 ° C. to 50 ° C.” described above. The designation is accepted as “−30 ° C. to 50 ° C.” by the key-in processing using the input interface.

或いは、前記画面1010に示すように、円弧上に目盛表示が配置されるようなメータ200については、前記認識領域1001は、例えば、“−30℃〜50℃”の目盛表示を含む画像範囲に関して、システム100のマウス等(入力インターフェイス)による円弧端にあたる目盛表示(−30℃および50℃の各目盛表示)上のクリック指定と、指針の回転中心上のクリック指定と、円弧の厚み(例:目盛線の長さ)のクリック指定とを、受付ける。これにより、ある中心線を軸に展開し、厚みを有した円弧帯を前記認識領域1001として指定できる。なお、前記認識領域1001における撮影目盛が示す最小値および最大値の指定は、上記画面1000の場合と同様で、例えば上述の“−30℃〜50℃”の目盛表示に対応して、システム100のキーボード等(入力インターフェイス)によるキーイン処理により、“−30℃〜50℃”として指定を受付ける。   Alternatively, as shown in the screen 1010, for the meter 200 in which a scale display is arranged on an arc, the recognition area 1001 is related to an image range including a scale display of “−30 ° C. to 50 ° C.”, for example. , Click designation on the scale display corresponding to the end of the arc (−30 ° C. and 50 ° C. each scale display) by the mouse of the system 100 (input interface), click designation on the center of rotation of the pointer, and arc thickness (eg: Accepts the click designation of the length of the scale line). As a result, an arc band having a thickness centered on a certain center line can be designated as the recognition area 1001. The specification of the minimum value and the maximum value indicated by the imaging scale in the recognition area 1001 is the same as that on the screen 1000. For example, the system 100 corresponds to the scale display of “-30 ° C. to 50 ° C.” described above. The designation is accepted as “−30 ° C. to 50 ° C.” by the key-in process using the keyboard (input interface).

続いてシステム100は、前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛1002を、前記認識領域1001に重ねて表示する(s1003)。例えばこの表示を閲覧した処理担当者は、前記撮影目盛における前記複数の比較用目盛1002の各対応値の入力を行うこととなる。図3(a)の例では、前記認識領域となっている“−30℃〜50℃”に対して、比較用目盛1002が、−30℃から50℃まで、等間隔で9本配置されている。しかし、この比較用目盛1002と撮影画像における目盛とはその示す数値が必ずしも整合していない。そこで、例えば図3(c)に示す画面1020において、各比較用目盛1002が各撮影画像における目盛でどの値を示すかの入力を受付(s1004)、システム100は両者の対応関係を特定するのである。つまり、システム100は、前記所定間隔の区切りとなる各比較用目盛1002の値と前記撮影目盛の値との対応関係を特定する(s1005)。   Subsequently, the system 100 displays a plurality of comparative scales 1002 with the minimum / maximum values at both ends of the scale and dividing the minimum / maximum values at predetermined intervals, overlaid on the recognition area 1001 (s1003). For example, the person in charge of processing who has viewed this display inputs the corresponding values of the plurality of comparative scales 1002 on the photographing scale. In the example of FIG. 3A, with respect to “−30 ° C. to 50 ° C.” serving as the recognition area, nine comparative scales 1002 are arranged at equal intervals from −30 ° C. to 50 ° C. Yes. However, the numerical values indicated by the comparative scale 1002 and the scale in the photographed image do not necessarily match. Therefore, for example, on the screen 1020 shown in FIG. 3C, an input indicating which value each comparative scale 1002 indicates on the scale in each captured image is accepted (s1004), and the system 100 identifies the correspondence between the two. is there. That is, the system 100 specifies the correspondence between the value of each of the comparison scales 1002 that becomes the predetermined interval and the value of the imaging scale (s1005).

次にシステム100は、前記撮影画像より認識されるメータ200の比較用目盛による目盛指示値より、当該目盛指示値が含まれる前記所定区間での前記比較用目盛による最小値を減算処理し(s1006)、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定する(s1007)。 Next, the system 100 subtracts the minimum value on the comparison scale in the predetermined section including the scale instruction value from the scale instruction value on the comparison scale of the meter 200 recognized from the captured image (s1006). ), And dividing the processing result value by the amount of change in the value by the comparison scale in the predetermined section including the scale instruction value, the ratio of the scale instruction value in the predetermined section is calculated (s1007). ).

例えば、特に前記対応関係に配慮せずに認識されるメータ200の目盛指示値が“17”だったとする。この場合、前記所定区間は、“10〜20”となる。また、この時、前記対応関係において、比較用目盛1002の値“10:最小値”に対する撮影画像における目盛の値“12”、比較用目盛1002の値“20:最大値”に対する比較用目盛1002の撮影画像における目盛の値“22”であったとする。また、目盛表示は等間隔であったとする。この時、前記“割合”は、(17−10)/(20−10)=0.7、となる。   For example, it is assumed that the scale indication value of the meter 200 recognized without considering the correspondence is “17”. In this case, the predetermined section is “10 to 20”. At this time, in the correspondence, the scale value “12” in the captured image with respect to the value “10: minimum value” of the comparative scale 1002 and the scale 1002 for comparison with respect to the value “20: maximum value” of the comparative scale 1002 It is assumed that the scale value “22” in the photographed image of FIG. Further, the scale display is assumed to be equally spaced. At this time, the “ratio” is (17−10) / (20−10) = 0.7.

また、システム100は、前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定する(s1008)。上記例の場合の“変換指示値”は、(22−12)×0.7+12=19、となる。 Further, the system 100 multiplies the ratio by the amount of change of the value by the shooting scale in the predetermined section, and adds the minimum value by the shooting scale in the predetermined section to the processing result value. A conversion instruction value is calculated (s1008). The “conversion instruction value” in the above example is (22−12) × 0.7 + 12 = 19.

システム100は、前記変換指示値の算定処理を、前記認識領域に含まれる目盛表示の各指示値について行い、これらを出力インターフェイスにおいて例えば図4の画面1610のごとく出力し(s1009)、処理を終了する。画面1610では、図3で示した認識領域の画像(元画像)や、これに比較用目盛1002を重ねて表示した画像と共に、前記変換指示値(図中では“表示値”)が数値で表示される。   The system 100 performs the calculation process of the conversion instruction value for each instruction value of the scale display included in the recognition area, and outputs these on the output interface as shown in the screen 1610 of FIG. 4, for example (s1009), and ends the process. To do. On the screen 1610, the conversion instruction value (“display value” in the figure) is displayed numerically together with the image (original image) of the recognition area shown in FIG. 3 and the image displayed with the scale 1002 for comparison superimposed thereon. Is done.

なお、他の実施例として、前記メータ200の指針形状や棒状の目盛指示形態が所定基準より細い場合、前記目盛表示の画像を膨張させる処理を行って、目盛指示値の特定処理に際して目盛表示の画像が途切れることなどによる特定困難事象の発生を抑制するとしてもよい。また逆に、前記メータ200の指針形状や棒状の目盛指示形態が所定基準より太い場合、前記目盛表示の画像を縮小させる処理を行って、目盛指示値の特定処理に際して目盛表示の画像が大きすぎて周囲の認識領域と重複することなどによる特定困難事象の発生を抑制するとしてもよい。   As another embodiment, when the pointer shape or bar-shaped scale indication form of the meter 200 is narrower than a predetermined reference, the scale display image is expanded to perform the scale display value specifying process. The occurrence of a specific difficult event due to an image being interrupted may be suppressed. Conversely, if the indicator shape or bar-shaped scale indication form of the meter 200 is thicker than a predetermined reference, the scale display image is reduced by performing a process of reducing the scale display image. It is also possible to suppress the occurrence of a specific difficult event due to overlapping with surrounding recognition areas.

また、前記認識領域の指定を受付けるに際し、認識領域が水平または垂直からずれている角度情報についても受付けることで、認識領域に含まれる前記目盛表示の画像の水平化または垂直化を図って、目盛指示値の特定処理に際して目盛表示の画像がゆがむことなどによる特定困難事象の発生を抑制するとしてもよい。   In addition, when accepting the designation of the recognition area, it also accepts angle information that the recognition area is deviated from horizontal or vertical, thereby leveling or leveling the scale display image included in the recognition area, It is possible to suppress the occurrence of a difficult-to-specify event due to distortion of the scale display image during the specified value specifying process.

本発明によれば、メータ種別等による種々の状況に対応した確実かつ効率的な指示値認識が可能となる。   According to the present invention, it is possible to reliably and efficiently recognize an instruction value corresponding to various situations depending on a meter type or the like.

以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。   As mentioned above, although embodiment of this invention was described concretely based on the embodiment, it is not limited to this and can be variously changed in the range which does not deviate from the summary.

本実施形態におけるメータ認識システムを含む全体構成図である。It is a whole lineblock diagram including the meter recognition system in this embodiment. 本実施形態におけるメータ認識方法の処理手順例1を示すフロー図である。It is a flowchart which shows process sequence example 1 of the meter recognition method in this embodiment. 本実施形態における画面例1を示す図である。It is a figure which shows the example 1 of a screen in this embodiment. 本実施形態における画面例2を示す図である。It is a figure which shows the example 2 of a screen in this embodiment.

符号の説明Explanation of symbols

100 メータ認識システム
101 プログラムデータベース
102 プログラム
103 メモリ
104 CPU
105 入出力インターフェイス
106 通信手段
107 I/O部
110 領域設定部
111 目盛差異特定部
112 割合算定部
113 変換指示値算定部
140 ネットワーク
150 撮影手段
200 メータ
100 Meter recognition system 101 Program database 102 Program 103 Memory 104 CPU
105 I / O interface 106 Communication means 107 I / O section 110 Area setting section 111 Scale difference identification section 112 Ratio calculation section 113 Conversion instruction value calculation section 140 Network 150 Imaging means 200 Meter

Claims (3)

針型または棒型のメータの目盛指示を認識するシステムであって、
前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付ける、領域設定部と、
前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定する、目盛差異特定部と、
前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定する、割合算定部と、
前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力する、変換指示値算定部と、
を備えることを特徴とするメータ認識システム。
A system for recognizing the scale indication of a needle-type or bar-type meter,
An area setting unit that displays a photographed image of the scale instruction on an output interface, and accepts designation of a recognition area in the photographed image and a minimum value and a maximum value indicated by the photographing scale in the recognition area from an input interface;
A plurality of comparison graduations with the minimum / maximum values at both ends of the graduation and separating the minimum / maximum values at a predetermined interval are displayed on the output interface so as to overlap the recognition area, and the plurality of comparison graduations on the imaging graduation A scale difference identifying unit that accepts an input of each corresponding value from the input interface and identifies a correspondence relationship between the value of each of the comparison graduations and the value of the imaging graduation serving as the predetermined interval,
From the scale readings by the comparative scale of the meter that is recognized from the captured image, by the comparative scale at a constant interval in which the Ru contains scale readings of said separated by a plurality of comparative scale interval The minimum value is subtracted, and the processing result value is divided by the amount of change in the value by the comparison scale in the predetermined section in which the scale instruction value is included, and the ratio of the scale instruction value in the predetermined section A ratio calculation unit for calculating
The conversion instruction value is calculated by multiplying the amount of change in the value by the shooting scale in the predetermined section by the ratio, and adding the minimum value by the shooting scale in the predetermined section to the processing result value. A conversion instruction value calculation unit for outputting to the output interface;
A meter recognition system comprising:
針型または棒型のメータの目盛指示を認識する方法であって、
前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付け、
前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定し、
前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定し、
前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力する、ことを特徴とするメータ認識方法。
A method for recognizing the scale indication of a needle-type or bar-type meter,
The photographed image of the scale instruction is displayed on the output interface, and the designation of the recognition area in the photographed image and the minimum value and the maximum value indicated by the photographing scale in the recognition area is received from the input interface,
A plurality of comparison graduations with the minimum / maximum values at both ends of the graduation and separating the minimum / maximum values at a predetermined interval are displayed on the output interface so as to overlap the recognition area, and the plurality of comparison graduations on the imaging graduation Each corresponding value input is received from the input interface, the correspondence between the value of each of the comparison graduations and the value of the imaging graduation that becomes the separation of the predetermined interval is specified,
From the scale readings by the comparative scale of the meter that is recognized from the captured image, by the comparative scale at a constant interval in which the Ru contains scale readings of said separated by a plurality of comparative scale interval The minimum value is subtracted, and the processing result value is divided by the amount of change in the value by the comparison scale in the predetermined section in which the scale instruction value is included, and the ratio of the scale instruction value in the predetermined section To calculate
The conversion instruction value is calculated by multiplying the amount of change in the value by the shooting scale in the predetermined section by the ratio, and adding the minimum value by the shooting scale in the predetermined section to the processing result value. , Output to an output interface, and a meter recognition method.
針型または棒型のメータの目盛指示を認識する方法をコンピュータに実行させるためのプログラムであって、
前記目盛指示の撮影画像を出力インターフェイスに表示して、当該撮影画像における認識領域と当該認識領域における撮影目盛が示す最小値および最大値との指定を入力インターフェイスより受け付けるステップと、
前記最小・最大値を目盛両端とし当該最小・最大値間を所定間隔に区切る複数の比較用目盛を、前記認識領域に重ねて出力インターフェイスに表示すると共に、前記撮影目盛における前記複数の比較用目盛の各対応値の入力を、入力インターフェイスより受け付けて、前記所定間隔の区切りとなる各比較用目盛の値と前記撮影目盛の値との対応関係を特定するステップと、
前記撮影画像より認識されるメータの前記比較用目盛による目盛指示値より、前記複数の比較用目盛で区切られた区間のうち当該目盛指示値が含まれる所定区間での前記比較用目盛による最小値を減算処理し、この処理結果値を、前記目盛指示値が含まれる前記所定区間での前記比較用目盛による値の変化量で除して、前記目盛指示値が前記所定区間で占める割合を算定するステップと、
前記所定区間での前記撮影目盛による値の変化量に前記割合を乗算処理し、この処理結果値に、前記所定区間での前記撮影目盛による最小値を合算することで、変換指示値を算定し、出力インターフェイスに出力するステップと、
を備えることを特徴とするメータ認識プログラム。
A program for causing a computer to execute a method for recognizing a scale indication of a needle-type or bar-type meter,
Displaying the scaled captured image on an output interface and receiving from the input interface designation of the recognition area in the captured image and the minimum and maximum values indicated by the imaging scale in the recognition area;
A plurality of comparison graduations with the minimum / maximum values at both ends of the graduation and separating the minimum / maximum values at a predetermined interval are displayed on the output interface so as to overlap the recognition area, and the plurality of comparison graduations on the imaging graduation Receiving the input of each of the corresponding values from the input interface, and specifying a correspondence relationship between the value of each of the comparison graduations and the value of the imaging graduation serving as the predetermined interval,
From the scale readings by the comparative scale of the meter that is recognized from the captured image, by the comparative scale at a constant interval in which the Ru contains scale readings of said separated by a plurality of comparative scale interval The minimum value is subtracted, and the processing result value is divided by the amount of change in the value by the comparison scale in the predetermined section in which the scale instruction value is included, and the ratio of the scale instruction value in the predetermined section A step of calculating
The conversion instruction value is calculated by multiplying the amount of change in the value by the shooting scale in the predetermined section by the ratio, and adding the minimum value by the shooting scale in the predetermined section to the processing result value. Outputting to the output interface;
A meter recognition program comprising:
JP2005099275A 2005-03-30 2005-03-30 Meter recognition system, meter recognition method, and meter recognition program Expired - Fee Related JP4570499B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005099275A JP4570499B2 (en) 2005-03-30 2005-03-30 Meter recognition system, meter recognition method, and meter recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005099275A JP4570499B2 (en) 2005-03-30 2005-03-30 Meter recognition system, meter recognition method, and meter recognition program

Publications (2)

Publication Number Publication Date
JP2006277608A JP2006277608A (en) 2006-10-12
JP4570499B2 true JP4570499B2 (en) 2010-10-27

Family

ID=37212266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005099275A Expired - Fee Related JP4570499B2 (en) 2005-03-30 2005-03-30 Meter recognition system, meter recognition method, and meter recognition program

Country Status (1)

Country Link
JP (1) JP4570499B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019204238A (en) * 2018-05-22 2019-11-28 富士通コンポーネント株式会社 Instrument reading device and instrument reading method
CN109858474B (en) * 2019-01-08 2021-10-19 北京全路通信信号研究设计院集团有限公司 Detection and identification method for transformer oil surface temperature controller
CN114782852B (en) * 2022-06-16 2023-04-25 深圳中集智能科技有限公司 Pointer type industrial instrument reading method, reading device and reading system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022433A (en) * 1999-07-13 2001-01-26 Babcock Hitachi Kk Monitoring device and monitoring method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022433A (en) * 1999-07-13 2001-01-26 Babcock Hitachi Kk Monitoring device and monitoring method

Also Published As

Publication number Publication date
JP2006277608A (en) 2006-10-12

Similar Documents

Publication Publication Date Title
EP3191798B1 (en) Method, apparatus, and system for initializing a meter reading device
CN110199256A (en) Calculate equipment, calculation method and computer program
JP2009245228A (en) Abnormality detecting method and abnormality detection device
JP2014032039A (en) Inspection support system and method
JP2017188049A (en) Inspection support terminal, inspection support method and program
JP2008102252A (en) Map display device and program
CN109190648A (en) Simulated environment generation method, device, mobile terminal and computer-readable storage medium
JP4570499B2 (en) Meter recognition system, meter recognition method, and meter recognition program
CN109086796B (en) Image recognition method, image recognition device, mobile terminal and storage medium
JP6672673B2 (en) Information processing apparatus, control method, and program
JP2006309405A (en) Meter recognition system, meter recognition method, and meter recognition program
JP2016103218A (en) Inspection history management system, inspection history management method
JP2022054521A (en) Round inspection work evaluation system, round inspection work evaluation device, operation terminal, position detection terminal, and round inspection work evaluation method
JP4797193B2 (en) Water meter reading and water pipe leak detection system
JP2009157787A (en) Standard time-series data calculation method, abnormality detection method, standard time-series data calculation device and abnormality detection device
WO2018158815A1 (en) Inspection assistance device, inspection assistance method, and recording medium
JPWO2014184937A1 (en) Image file clustering system and image file clustering program
US20210312476A1 (en) Information processing device, information processing method, and program
JPWO2012090890A1 (en) Information processing system, information processing method, and information processing program
US10839570B2 (en) Graph display method, electronic device, and recording medium for displaying modified expression in different ways in response to determining whether condition regarding modified expression is satisfied
JP2020098575A (en) Image processor, method for processing information, and image processing program
JP2020021403A (en) Program for construction recording and electric wire construction recording method
JP7242795B1 (en) Information processing device, information processing method, and computer program
JP6478849B2 (en) Meter mounting support system, meter mounting support device, and program
JP2015212639A (en) Measurement system, measurement information display method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100810

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4570499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees