WO2020194576A1 - 設備機器情報収集システム - Google Patents

設備機器情報収集システム Download PDF

Info

Publication number
WO2020194576A1
WO2020194576A1 PCT/JP2019/013179 JP2019013179W WO2020194576A1 WO 2020194576 A1 WO2020194576 A1 WO 2020194576A1 JP 2019013179 W JP2019013179 W JP 2019013179W WO 2020194576 A1 WO2020194576 A1 WO 2020194576A1
Authority
WO
WIPO (PCT)
Prior art keywords
character recognition
recognition engine
character
common
data
Prior art date
Application number
PCT/JP2019/013179
Other languages
English (en)
French (fr)
Inventor
利宏 妻鹿
Original Assignee
三菱電機ビルテクノサービス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機ビルテクノサービス株式会社 filed Critical 三菱電機ビルテクノサービス株式会社
Priority to CN201980094258.3A priority Critical patent/CN113614737B/zh
Priority to JP2019547327A priority patent/JP6780129B1/ja
Priority to PCT/JP2019/013179 priority patent/WO2020194576A1/ja
Publication of WO2020194576A1 publication Critical patent/WO2020194576A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns

Definitions

  • the present invention relates to a system for collecting device information such as model names and serial numbers of air conditioners, elevators and other equipment installed in buildings and the like based on image data or audio data acquired by a mobile terminal.
  • Patent Document 1 the image data of the nameplate taken by the user is subjected to OCR processing to extract the device number, and the extracted device number is corrected and registered in the database. For this reason, if the character recognition accuracy of the OCR is low, many corrections are required, which may take time and effort for registration, or the wrong device number may be registered, resulting in a decrease in device information collection efficiency.
  • the purpose of this disclosure is to improve the character recognition accuracy of the equipment information collection system and improve the information collection efficiency of the equipment.
  • the equipment information collection system of the present disclosure includes a server connected to a network, a mobile terminal connected to the network to acquire data including equipment information, and transmit the acquired data, and data connected to the network. It is an equipment information collection system equipped with a common character recognition engine that receives, analyzes the received data, recognizes the character string contained in the data, and transmits the recognized character string as a recognition character string, and is a mobile terminal. Sends the acquired data to the common character recognition engine and the server, receives the recognition character string from the common character recognition engine, and sends the registered character string in which the user corrects the received recognition character string to the correct character string to the server.
  • the server receives the data and the registered character string from the mobile terminal, receives the recognition character string from the common character recognition engine, and stores the received data, the recognition character string, and the registered character string in association with each other.
  • the server Including the database, based on the data stored in the character recognition database, the recognition character string, and the registered character string, it is connected to the network to receive the data, analyze the received data, and recognize the character string contained in the data.
  • the index of character recognition accuracy of the candidate character recognition engine and the common character recognition engine that sends the recognized character string as the recognition character string is calculated respectively, and based on each calculated index, the common character recognition engine and the candidate character recognition engine It is characterized by selecting a new common character recognition engine from among the above and replacing the selected new common character recognition engine with a common character recognition engine.
  • the server receives the recognition character string from the common character recognition engine, receives the data from the mobile terminal and the registered character string in which the user corrects the recognition character string to the correct character string, and the received data and the recognition character string.
  • the index of the character recognition accuracy of the common character recognition engine and the candidate character recognition engine is calculated based on the registered character string, and based on each calculated index, the common character recognition engine and the candidate character recognition engine are selected. Since the new common character recognition engine is selected and the selected new common character recognition engine is replaced with the common character recognition engine, character recognition can always be performed using the character recognition engine having high character recognition accuracy. As a result, the character recognition accuracy of the equipment information collection system can be improved and the information collection efficiency of the equipment can be improved.
  • the character recognition engine is an engine that receives image data, analyzes the received image data, recognizes a character string included in the image data, and transmits the recognized character string as a recognition character string, and voice. It includes those that receive data, analyze the received voice data, recognize the character string included in the voice data, and transmit the recognized character string as a recognition character string.
  • the server selects evaluation data from the data stored in the character recognition database, transmits the selected evaluation data to the common character recognition engine and the candidate character recognition engine, and uses the common character.
  • Recognition character strings are received from the recognition engine and the candidate character recognition engine, and the received recognition character strings are compared with the registered character strings corresponding to the evaluation data, and the indicators of the common character recognition engine and the candidate character recognition engine are compared. May be calculated respectively.
  • the server compares the recognition character string recognized by the common character recognition engine and the candidate character recognition engine with the registered character string obtained by modifying the recognition character string to the correct character string, and compares the common character recognition engine and the candidate character recognition. Since the index with the engine is calculated, the character recognition accuracy between the common character recognition engine and the candidate character recognition engine can be accurately evaluated.
  • the index is a common character recognition engine or a common character recognition engine calculated by comparing a recognition character string received from a common character recognition engine or a candidate character recognition engine with a registered character string corresponding to evaluation data. It may be the number of misrecognized characters of the candidate character recognition engine.
  • the evaluation data is a plurality of similar pattern data selected from the data stored in the character recognition database
  • the server selects the selected multiple similar pattern data as a common character recognition engine and a candidate. It sends to the character recognition engine, and receives multiple recognition character strings corresponding to multiple similar pattern data from the common character recognition engine and the candidate character recognition engine, and the index is the received multiple recognition character strings and multiple. It may be the number of erroneous recognitions of the common character recognition engine or the candidate character recognition engine calculated by comparing with a plurality of registered character strings corresponding to the similar pattern data of.
  • the server compares the recognition character string received from the common character recognition engine and the candidate character recognition engine with the registered character string corresponding to the evaluation data, and sets the common character recognition engine.
  • multiple similar pattern data are selected from the data stored in the character recognition database, and the selected multiple similar pattern data are used as the common character recognition engine and the candidate character recognition engine.
  • Each is transmitted, and a plurality of recognition character strings corresponding to a plurality of similar pattern data are received from the common character recognition engine and the candidate character recognition engine, respectively, and a plurality of received recognition character strings and a plurality of similar pattern data are supported.
  • the number of false recognitions between the common character recognition engine and the candidate character recognition engine is calculated by comparing with the registered character string of, and each index of the common character recognition engine and the candidate character recognition engine is the calculated number of false recognition characters. It may be a numerical value obtained by weighting and adding each calculated number of false recognitions.
  • the character recognition accuracy of the common character recognition engine and the candidate character recognition engine can be comprehensively evaluated, and the common character recognition engine can be optimized.
  • the server calculates the character recognition accuracy indexes of the common character recognition engine and the candidate character recognition engine at predetermined time intervals, and recognizes new common characters based on the calculated indexes. You may make an engine selection.
  • the common character recognition engine can be maintained with high character recognition accuracy.
  • the server calculates the number of erroneously recognized characters of the common character recognition engine by comparing the recognition character string received from the common character recognition engine with the registered character string received from the mobile terminal, and uses it regularly.
  • the time-series change in the number of erroneously recognized characters in the character recognition engine does not reach a predetermined threshold, the character recognition accuracy indexes of the common character recognition engine and the candidate character recognition engine are calculated, respectively, and based on the calculated indexes. You may select a new common character recognition engine.
  • the character recognition accuracy of the common character recognition engine improves over time, so when the improvement of the character recognition accuracy of the common character recognition engine stagnates, the common character recognition engine becomes a character recognition engine with higher character recognition accuracy. Can be replaced.
  • the server may be located in the first country and the mobile terminal may be located in a second country different from the first country.
  • This disclosure can improve the character recognition accuracy of the equipment information collection system and improve the information collection efficiency of the equipment.
  • FIG. 5 is an operation explanatory diagram showing an operation in which the server calculates the number of erroneously recognized characters of the candidate character recognition engine in the equipment information collecting system shown in FIG.
  • FIG. 5 is an operation explanatory diagram showing an operation in which the server calculates the number of erroneous recognitions of the candidate character recognition engine in the equipment information collection system shown in FIG.
  • the server calculates the number of erroneous recognitions of the candidate character recognition engine in the equipment information collection system shown in FIG.
  • the equipment information collecting system 100 includes a server 10, a mobile terminal 20, and a common character recognition engine 30.
  • the server 10 is a computer including a calculation unit 11 that includes a CPU and performs information processing and calculation, a storage unit 12 that stores operation programs, data, and the like, and a communication unit 13 that communicates with the network 15.
  • the storage unit 12 of the server 10 stores a character recognition database 50, which will be described later with reference to FIG.
  • the mobile terminal 20 includes a camera 21 for capturing an image, a microphone 22 for acquiring audio data, and a display 23 for displaying an image or a character string, and is connected to the network 15 and another device connected to the network 15. It communicates with.
  • the mobile terminal 20 may be composed of, for example, a smart phone or a mobile phone with a camera.
  • the common character recognition engine 30 is connected to the network 15, receives image data from the network 15, analyzes the received image data, recognizes a character string included in the image data, and uses the recognized character string as a recognition character string. Send to network 15.
  • the common character recognition engine 30 is arranged on the cloud.
  • the first to fourth candidate character recognition engines 35 to 38 are arranged on the cloud.
  • the first to fourth candidate character recognition engines 35 to 38 are connected to the network 15, receive image data from the network 15, analyze the received image data, and include the received image data in the image data. It recognizes a character string and transmits the recognized character string to the network 15 as a recognition character string.
  • the number of candidate character recognition engines is not limited to four, and may be one or a plurality of candidates other than four.
  • step S101 of FIGS. 2 and 3 the user 60 captures an image of the nameplate 41 of the air conditioner 40 by the camera 21 of the mobile terminal 20.
  • step S102 of FIGS. 2 and 3 the mobile terminal 20 transmits the image data acquired by the camera 21 to the common character recognition engine 30 and the server 10 via the network 15.
  • the common character recognition engine 30 analyzes the image data received from the mobile terminal 20 and recognizes the character string included in the image data. Then, the recognized character string is transmitted as a recognition character string to the mobile terminal 20 and the server 10 via the network 15.
  • the mobile terminal 20 displays the recognition character string received from the common character recognition engine 30 on the display 23.
  • the user 60 compares the recognition character string displayed on the display 23 with the character string described on the name plate 41, and sets the recognition character string as the character string described on the name plate 41. Generate a registered string by modifying it to the correct string that matches.
  • the user 60 transmits the generated registration character string from the mobile terminal 20 to the server 10.
  • the communication unit 13 of the server 10 receives the image data of the nameplate 41 and the registered character string from the mobile terminal 20, and receives the recognition character string from the common character recognition engine 30. .. Then, the calculation unit 11 of the server 10 stores the image data of the nameplate 41 received by the communication unit 13, the registered character string, and the recognition character string in the character recognition database 50 shown in FIG.
  • the character recognition database 50 stores the image data received from the mobile terminal 20, the registered character string, and the recognition character string received from the common character recognition engine 30 in association with each other.
  • the image data AAAA is image data of the nameplate 41 imaged by the user 60 with the camera 21 of the mobile terminal 20.
  • the recognition character string "PuHyDP28000SCMEBSGGGG” is a character string recognized by the common character recognition engine 30 by analyzing the image data AAAA received from the mobile terminal 20.
  • Registered character string "PUHY-DP280SCM-E-BSG” is a character string which the user 60 is described in the recognized character string "P u H y DP280 00 SC ME BSG GGG " nameplate 41 which is transmitted to the portable terminal 20 A string that has been correctly modified to match. Therefore, the registered character string is a character string when the image data is correctly recognized.
  • the underline in the recognition character string of FIG. 4 indicates a character erroneously recognized by the common character recognition engine 30.
  • the character recognition database 50 includes the image data of the name plate 41 captured by the mobile terminal 20, the recognition character string recognized by the common character recognition engine 30, and the registered character which is a character string when the image data is correctly recognized. It is stored in association with columns.
  • the server 10 determines whether or not the predetermined time has elapsed in step S108 of FIG. 3, and if it determines NO in step S108 of FIG. 3, returns to step S101 of FIG. 3 and the image from the mobile terminal 20.
  • the data and the registered character string are received, the recognition character string is received from the common character recognition engine 30, and the received image data, the registered character string, and the recognition character string are stored in the character recognition database 50.
  • the predetermined time may be, for example, one day, one week, or one month.
  • step S108 of FIG. 3 the character recognition accuracy of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 in steps S109 to S112 of FIG.
  • Each of the indexes indicating the above is calculated, and one of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 is selected as the new common character recognition engine based on each calculated index. Then, the selected new common character recognition engine is replaced with the common character recognition engine 30.
  • the calculation unit 11 of the server 10 uses the image data AAAA as the common character recognition engine 30 and the first to fourth candidates from the image data stored in the character recognition database 50. It is selected as the evaluation image data AAAAA used for the evaluation with the character recognition engines 35 to 38. Then, the calculation unit 11 transmits the evaluation image data AAAA from the communication unit 13 to the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38.
  • the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 analyze the received evaluation image data AAAA and include the evaluation image data AAAA in the evaluation image data AAAA.
  • the character string is recognized, and the recognized character string is transmitted to the server 10 as a recognition character string.
  • the first candidate character recognition engine 35 transmits the recognition character string “PuHyDP28000SCMEBSGGGG” to the server 10
  • the second candidate character recognition engine 36 transmits the recognition character string “PUHY-DP280SCM-E—BSG”. -”Is transmitted to the server 10.
  • the common character recognition engine 30, the third and fourth candidate character recognition engines 37 and 38 also transmit the recognition character strings to the server 10.
  • the server 10 calculates the number of erroneously recognized characters, which is an index indicating the character recognition accuracy of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38. ..
  • the calculation unit 11 of the server 10 reads the registered character string corresponding to the evaluation image data AAAA from the character recognition database 50 as the corresponding registered character string “PUHY-DP280SCM-E-BSG”. Then, the recognition character string "PuHyDP28000SCMEBSGGGG" received from the first candidate character recognition engine 35 and the corresponding registration character string "PUHY-DP280SCM-E-BSG" are compared.
  • the number of erroneously recognized characters in the recognition character string of the first candidate character recognition engine 35 is calculated by comparing both character strings. can do.
  • the calculation unit 11 of the server 10 calculates the number of erroneously recognized characters of the first candidate character recognition engine 35 as 8.
  • the calculation unit 11 of the server 10 has the recognition character string "PUHY-DP280SCM-E-BSG-" received from the second candidate character recognition engine 36 and the corresponding registration character string "PUHY-DP280SCM-E-BSG". Is compared and the number of erroneously recognized characters of the second candidate character recognition engine 36 is calculated as 2. Similarly, the number of erroneously recognized characters is calculated for the common character recognition engine 30 and the third and fourth candidate character recognition engines 37 and 38.
  • the calculation unit 11 of the server 10 has the second smallest number of erroneously recognized characters among the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38.
  • the candidate character recognition engine 36 is selected as the new common character recognition engine.
  • the server 10 replaces the second candidate character recognition engine 36 selected as the new common character recognition engine with the common character recognition engine 30.
  • the mobile terminal 20 transmits the image data to the new common character recognition engine 30, and receives the recognition character string with a small number of erroneously recognized characters from the new common character recognition engine 30, so that the user 60 has to take the trouble of correcting it. It is possible to reduce the number and effectively collect information on equipment.
  • the server 10 evaluates the recognition character string recognized by the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 from the evaluation image data.
  • the number of erroneously recognized characters of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 is calculated by comparing with the corresponding registered character string which is a character string when the image data for use is correctly recognized.
  • the character recognition engine 30 and the first to fourth candidate character recognition engines the one with a small number of erroneously recognized characters is selected as the new common character recognition engine. Then, the selected new common character recognition engine is replaced with the common character recognition engine 30.
  • the character recognition accuracy of the equipment information collection system 100 can be improved, and the information collection efficiency of the equipment can be improved. Further, since the new common character recognition engine is selected at a predetermined time interval and the new common character recognition engine is replaced with the normal character recognition engine 30, the common character recognition engine 30 can be maintained with high character recognition accuracy. , Information collection efficiency of equipment can be improved.
  • the calculation unit 11 of the server 10 selects a plurality of similar pattern data from the character recognition database 50.
  • the plurality of similar pattern data is a set of different images of the same nameplate 41, for example, a combination of a clear image, an image having a slightly blurred portion, an image from the front, an image from an angle, and the like. Since the similar pattern data is the image data of the same nameplate 41, the corresponding registration character string is one.
  • the calculation unit 11 of the server 10 selects a plurality of similar pattern data CCCC, CCCc, and cCCC, and sets the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38. Send to.
  • the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 analyze a plurality of received similar pattern data and transmit a plurality of recognition character strings to the server 10.
  • the first candidate character recognition engine 35 analyzes three similar pattern data CCCC, CCCc, and cCCC, and three recognition character strings "PUHY-DP280SCM-E-BSG” and "PUHY-DP280SCM-”. "E-BSG” and "PUHY-DP280SCM-EBSG" are transmitted to the server 10.
  • the calculation unit 11 of the server 10 refers to each recognition character string received from the first candidate character recognition engine 35 and the corresponding registration character string “PUHY-DP280SCM-E-BSG”. To determine if they match. As shown in FIG. 6, among the three recognition character strings transmitted by the first candidate character recognition engine 35, the first and second recognition character strings match the corresponding registered character strings, and the third recognition character. The column does not match the corresponding registration string. Therefore, the calculation unit 11 of the server 10 calculates the number of erroneous recognitions of the first candidate character recognition engine 35 as 1.
  • the calculation unit 11 of the server 10 compares the three recognition character strings received from the second candidate character recognition engine 36 with the corresponding registration character strings, and calculates the number of erroneous recognitions as 2. Further, the number of erroneous recognitions is similarly calculated for the common character recognition engine 30, the third and fourth candidate character recognition engines 37 and 38.
  • the calculation unit 11 of the server 10 is the first among the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38, which has the smallest number of false recognitions.
  • the candidate character recognition engine 35 is selected as the new common character recognition engine.
  • the server 10 replaces the first candidate character recognition engine 35 selected as the new common character recognition engine with the common character recognition engine 30.
  • the character recognition engine with a small number of false recognitions can be used as the regular character recognition engine 30.
  • the arithmetic unit 11 of the server 10 transmits the evaluation image data to the first and second candidate character recognition engines 35 and 36, receives the recognition character string, and receives the recognition character string.
  • the number of erroneously recognized characters is calculated by comparing the recognized character string with the corresponding registered character string.
  • the arithmetic unit 11 of the server 10 transmits a plurality of similar pattern data to the first and second candidate character recognition engines 35 and 36, and receives the recognition character string. Then, the number of false recognitions is calculated by comparing the received recognition character string with the corresponding registration character string.
  • the calculation unit 11 of the server 10 calculates the numerical value of the comprehensive index S by multiplying the number of misrecognized characters and the number of misrecognitions by the weights a and b, respectively, and adding the weights.
  • the calculation unit 11 of the server 10 determines the comprehensive index S.
  • the small second candidate character recognition engine 36 is selected as the common character recognition engine 30.
  • the server 10 replaces the second candidate character recognition engine 36 selected as the new common character recognition engine with the common character recognition engine 30.
  • the character recognition accuracy of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 is comprehensively evaluated, and the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 are evaluated.
  • the most suitable character recognition engine can be selected as the new common character recognition engine, and the common character recognition engine 30 can be optimized.
  • the common character recognition engine 30 applies AI, and the character recognition accuracy generally improves with the passage of time, and the number of erroneously recognized characters tends to decrease with the passage of time. Therefore, if the number of erroneously recognized characters does not decrease and is stagnant, there is a possibility that the improvement of the character recognition accuracy of the common character recognition engine 30 is lower than that of other character recognition engines.
  • the calculation unit 11 of the server 10 calculates the number of erroneously recognized characters of the common character recognition engine 30 and the time-series change in the number of erroneously recognized characters, and in step S202 of FIG.
  • the index of the character recognition accuracy between the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 is calculated and the new common character is used. It selects the recognition engine. This will be described below.
  • the calculation unit 11 of the server 10 receives the recognition character string from the common character recognition engine 30 as shown in step S104 of FIGS. 8 and 9, and registers it from the mobile terminal 20 as shown in step S106 of FIGS. 8 and 9.
  • the character string is received, the number of erroneously recognized characters of the common character recognition engine 30 is calculated as shown in step S201 of FIGS. 8 and 9.
  • the number of misrecognized characters is calculated by comparing the recognition character string received from the common character recognition engine 30 with the registered character string received from the mobile terminal 20 in the same manner as described above with reference to FIG. calculate. Then, the calculation unit 11 of the server 10 stores the calculated number of misrecognized characters in the storage unit 12.
  • the calculation unit 11 of the server 10 determines in step S202 of FIG. 9 whether the number of erroneously recognized characters of the common character recognition engine 30 has been calculated for a predetermined time or a predetermined number of times. If the calculation unit 11 of the server 10 determines NO in step S202 of FIG. 9, returns to step S101 of FIG. 9 to receive the image data and the registered character string from the mobile terminal 20, and the common character recognition engine 30 The recognition character string is received from, the number of erroneously recognized characters is calculated, and the recognition character string is stored in the storage unit 12.
  • step S203 of FIG. 9 reads the misrecognized character number data from the storage unit 12, and calculates the time-series change in the number of misrecognized characters.
  • the time-series change is, for example, the number of reductions in the number of misrecognized characters in a predetermined period, or the reduction rate.
  • the calculation unit 11 of the server 10 determines whether or not the time-series change calculated in step S204 of FIG. 9 has reached a predetermined threshold value. For example, when the time-series change does not reach the predetermined threshold value for the reduction number of erroneously recognized characters in the predetermined period, or when the reduction rate does not reach the predetermined threshold value, the calculation unit 11 of the server 10 determines FIG. In step S204 of the above, YES is determined, and the process proceeds to step S109 of FIG.
  • the server 10 transmits the evaluation image data to the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38.
  • the recognition character string is received from the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38.
  • the number of erroneously recognized characters of the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 is calculated from the received recognition character string and the corresponding registered character string, respectively.
  • the second candidate character recognition engine 36 having a small number of erroneously recognized characters is selected as the new common character recognition engine.
  • the server 10 replaces the second candidate character recognition engine 36 selected as the new common character recognition engine with the common character recognition engine 30.
  • the server 10 and the mobile terminal 20 may be arranged in the same first country, or the mobile terminal 20 may be arranged in a second country different from the first country. You may be. This makes it possible to collect information on equipment installed in foreign countries.
  • the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38 are described as analyzing the received image data and transmitting the recognition character string.
  • the present invention is not limited to this, and the received voice data may be analyzed and the recognition character string may be transmitted.
  • the voice data input by the user 60 from the microphone 22 of the mobile terminal 20 is analyzed by the common character recognition engine 30 to extract a recognition character string, and the extracted recognition character string is transmitted to the mobile terminal 20 to be transmitted to the user.
  • 60 may modify the recognition character string to make it a registration character string.
  • the server 10 transmits voice data to the common character recognition engine 30 and the first to fourth candidate character recognition engines 35 to 38, and receives the recognition character string.
  • the character recognition accuracy of each character recognition engine 30, 35 to 38 is calculated based on the registered character string and the character recognition engine having high character recognition accuracy is selected as the new common character recognition engine. Then, the selected new common character recognition engine is replaced with the common character recognition engine 30.
  • 10 server 11 arithmetic unit, 12 storage unit, 13 communication unit, 15 network, 20 mobile terminal, 21 camera, 22 microphone, 23 display, 30 common character recognition engine, 35-38 candidate character recognition engine, 40 air conditioning equipment, 41 Name plate, 50-character recognition database, 60 users, 100 equipment information collection system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)

Abstract

サーバ(10)と、携帯端末(20)と、受信した画像データから認識文字列を抽出して送信する文字認識エンジン(30,35~38)と、を備える設備機器情報収集システム(100)であって、サーバ(10)は、評価用画像データを各文字認識エンジン(30,35~38)に送信し、各文字認識エンジン(30,35~38)から認識文字列を受信する。そして、受信した認識文字列とユーザ(60)が認識文字列を正しく修正した登録文字列とから各文字認識エンジン(30,35~38)の誤認識文字数をそれぞれ算出し、誤認識文字数の少ない文字認識エンジンを新常用文字認識エンジンに選択する。そして、選択した新常用文字認識エンジンを常用文字認識エンジン(30)に置き換える。

Description

設備機器情報収集システム
 本発明は、携帯端末で取得した画像データ又は音声データに基づいてビルなどに設置される空調機器、昇降機等の設備機器の型名、製造番号等の機器情報を収集するシステムに関する。
 ビルに設置される空調機器、昇降機等の設備機器は、定期点検が必要なものがある。一方、定期点検の際に必要となる型名、製造番号等の機器情報がデータベースに格納されていない場合もある。そこで、設備機器のユーザに撮影機能と位置情報取得機能とを有するスマートフォン等の携帯端末を用いて上記の機器情報をデータベースに登録してもらい、その登録情報に基づいて定期点検を行う方法が提案されている(例えば、特許文献1参照)。
特開2017-107466号公報
 特許文献1に記載された従来技術では、ユーザが撮影した銘板の画像データをOCR処理して機器番号を抽出し、抽出した機器番号を修正してデータベースに登録するようにしている。このため、OCRの文字認識精度が低いと修正が多くなって登録に手間が掛かったり、誤った機器番号を登録してしまい、機器情報の収集効率が低下する場合があった。
 そこで本開示は、設備機器情報収集システムの文字認識精度の向上を図り、設備機器の情報収集効率を向上させることを目的とする。
 本開示の設備機器情報収集システムは、ネットワークに接続されたサーバと、ネットワークに接続され、設備機器情報を含むデータを取得し、取得したデータを送信する携帯端末と、ネットワークに接続されてデータを受信し、受信したデータを解析してデータに含まれる文字列を認識し、認識した文字列を認識文字列として送信する常用文字認識エンジンと、を備える設備機器情報収集システムであって、携帯端末は、取得したデータを常用文字認識エンジンとサーバとに送信し、常用文字認識エンジンから認識文字列を受信し、受信した認識文字列をユーザが正しい文字列に修正した登録文字列をサーバに送信し、サーバは、携帯端末からデータと登録文字列とを受信し、常用文字認識エンジンから認識文字列を受信し、受信したデータと認識文字列と登録文字列とを対応付けて格納する文字認識データベースを含み、文字認識データベースに格納したデータと認識文字列と登録文字列とに基づいて、ネットワークに接続されてデータを受信し、受信したデータを解析してデータに含まれる文字列を認識し、認識した文字列を認識文字列として送信する候補文字認識エンジン及び常用文字認識エンジンの文字認識精度の指標をそれぞれ算出し、算出した各指標に基づいて、常用文字認識エンジンと候補文字認識エンジンとの中から新常用文字認識エンジンを選択し、選択した新常用文字認識エンジンを常用文字認識エンジンに置き換えること、を特徴とする。
 このように、サーバが常用文字認識エンジンから認識文字列を受信し、携帯端末からデータとユーザが認識文字列を正しい文字列に修正した登録文字列とを受信し、受信したデータと認識文字列と登録文字列とに基づいて常用文字認識エンジンと候補文字認識エンジンとの文字認識精度の指標をそれぞれ算出し、算出した各指標に基づいて、常用文字認識エンジンと候補文字認識エンジンとの中から新常用文字認識エンジンを選択し、選択した新常用文字認識エンジンを常用文字認識エンジンに置き換えるので、常に文字認識精度の高い文字認識エンジンを用いて文字認識を行うことができる。これにより、設備機器情報収集システムの文字認識精度を向上させて設備機器の情報収集効率を向上させることができる。
 本開示において、文字認識エンジンとは、画像データを受信し、受信した画像データを解析して画像データに含まれる文字列を認識し、認識した文字列を認識文字列として送信するものと、音声データを受信し、受信した音声データを解析して音声データに含まれる文字列を認識し、認識した文字列を認識文字列として送信するものと含む。
 本開示の設備機器情報収集システムにおいて、サーバは、文字認識データベースに格納したデータから評価用データを選択し、選択した評価用データを常用文字認識エンジンと候補文字認識エンジンとに送信し、常用文字認識エンジンと候補文字認識エンジンとから認識文字列をそれぞれ受信し、受信した各認識文字列と評価用データに対応する登録文字列とを対比して常用文字認識エンジンと候補文字認識エンジンとの指標をそれぞれ算出してもよい。
 このように、サーバは常用文字認識エンジンと候補文字認識エンジンが認識した認識文字列と認識文字列をユーザが正しい文字列に修正した登録文字列とを対比して常用文字認識エンジンと候補文字認識エンジンとの指標を算出するので、常用文字認識エンジンと候補文字認識エンジンとの文字認識精度を正確に評価することができる。
 本開示の設備機器情報収集システムにおいて、指標は、常用文字認識エンジン又は候補文字認識エンジンから受信した認識文字列と評価用データに対応する登録文字列とを対比して算出した常用文字認識エンジン又は候補文字認識エンジンの誤認識文字数でもよい。
 これにより、簡便な構成で常用文字認識エンジンと候補文字認識エンジンとの文字認識精度を正確に評価することができる。
 本開示の設備機器情報収集システムにおいて、評価用データは、文字認識データベースに格納したデータから選択した複数の類似パターンデータであり、サーバは、選択した複数の類似パターンデータを常用文字認識エンジンと候補文字認識エンジンとにそれぞれ送信し、常用文字認識エンジンと候補文字認識エンジンとから複数の類似パターンデータに対応する複数の認識文字列をそれぞれ受信し、指標は、受信した複数の認識文字列と複数の類似パターンデータに対応する複数の登録文字列とを対比して算出した常用文字認識エンジン又は候補文字認識エンジンの誤認識回数としてもよい。
 これにより、常用文字認識エンジンを誤認識回数の少ないものに置き換えることができる。
 本開示の設備機器情報収集システムにおいて、サーバは、常用文字認識エンジンと候補文字認識エンジンとからそれぞれ受信した認識文字列と評価用データに対応する登録文字列とを対比して常用文字認識エンジンと候補文字認識エンジンの誤認識文字数をそれぞれ算出すると共に、文字認識データベースに格納したデータから複数の類似パターンデータを選択し、選択した複数の類似パターンデータを常用文字認識エンジンと候補文字認識エンジンとにそれぞれ送信し、常用文字認識エンジンと候補文字認識エンジンとから複数の類似パターンデータに対応する複数の認識文字列をそれぞれ受信し、受信した複数の認識文字列と複数の類似パターンデータに対応する複数の登録文字列とを対比して常用文字認識エンジンと候補文字認識エンジンとの誤認識回数をそれぞれ算出し、常用文字認識エンジンと候補文字認識エンジンとの各指標は、算出した各誤認識文字数と算出した各誤認識回数とにそれぞれ重み付けをして加算した数値でもよい。
 これにより、常用文字認識エンジンと候補文字認識エンジンの文字認識精度を総合的に評価し、常用文字認識エンジンを最適化することができる。
 本開示の設備機器情報収集システムにおいて、サーバは、常用文字認識エンジンと候補文字認識エンジンとの文字認識精度の指標を所定の時間間隔でそれぞれ算出し、算出した各指標に基づいて新常用文字認識エンジンの選択を行ってもよい。
 これにより、常用文字認識エンジンを文字認識精度の高いものに維持することができる。
 本開示の設備機器情報収集システムにおいて、サーバは、常用文字認識エンジンから受信した認識文字列と携帯端末から受信した登録文字列とを対比して常用文字認識エンジンの誤認識文字数を算出し、常用文字認識エンジンの誤認識文字数の時系列的な変化が所定の閾値に達しない場合に、常用文字認識エンジンと候補文字認識エンジンとの文字認識精度の指標をそれぞれ算出し、算出した各指標に基づいて新常用文字認識エンジンの選択を行ってもよい。
 通常、常用文字認識エンジンの文字認識精度は時間と共に向上していくので、常用文字認識エンジンの文字認識精度の向上が停滞した際に、常用文字認識エンジンをより文字認識精度の高い文字認識エンジンに置き換えることができる。
 本開示の設備機器情報収集システムにおいて、サーバが第1国に配置され、携帯端末が第1国と異なる第2国に配置されてもよい。
 これにより、外国に設置されている設備機器の情報を効果的に収集することができる。
 本開示は、設備機器情報収集システムの文字認識精度の向上を図り、設備機器の情報収集効率を向上させることができる。
実施形態の設備機器情報収集システムの構成を示す系統図である。 図1に示す設備機器情報収集システムの動作処理を示すシーケンス図である。 図1に示す設備機器情報収集システムの動作を示すフローチャートである。 図1に示すサーバの記憶部に格納されている文字認識データベースの構造を示す説明図である。 図1に示す設備機器情報収集システムにおいて、サーバが候補文字認識エンジンの誤認識文字数を算出する動作を示す動作説明図である。 図1に示す設備機器情報収集システムにおいて、サーバが候補文字認識エンジンの誤認識回数を算出する動作を示す動作説明図である。 図1に示す設備機器情報収集システムにおいて、サーバが候補文字認識エンジンの誤認識文字数と誤認識回数とに基づいて候補文字認識エンジンの文字認識精度を示す総合指標を算出する動作を示す動作説明図である。 図1に示す設備機器情報収集システムの他の動作処理を示すシーケンス図である。 図1に示す設備機器情報収集システムの他の動作を示すフローチャートである。
 以下、図面を参照しながら実施形態の設備機器情報収集システム100について説明する。図1に示すように、設備機器情報収集システム100は、サーバ10と、携帯端末20と、常用文字認識エンジン30とを備えている。
 サーバ10は、CPUを含み情報処理や演算を行う演算部11と、動作プログラム、データ等を格納する記憶部12と、ネットワーク15との通信を行う通信部13とを含むコンピュータである。サーバ10の記憶部12には後で図4を参照して説明する文字認識データベース50が格納されている。
 携帯端末20は、画像を撮像するカメラ21と、音声データを取得するマイク22と、画像或いは文字列を表示するディスプレイ23とを備え、ネットワーク15に接続されてネットワーク15に接続された他の機器との間で通信を行うものである。携帯端末20は、例えば、スマートホンやカメラ付き携帯電話で構成してもよい。
 常用文字認識エンジン30は、ネットワーク15に接続され、ネットワーク15から画像データを受信し、受信した画像データを解析して画像データに含まれる文字列を認識し、認識した文字列を認識文字列としてネットワーク15に送信する。常用文字認識エンジン30は、クラウド上に配置されている。また、クラウド上には、第1~第4候補文字認識エンジン35~38が配置されている。第1~第4候補文字認識エンジン35~38は、常用文字認識エンジン30と同様、ネットワーク15に接続され、ネットワーク15から画像データを受信し、受信した画像データを解析して画像データに含まれる文字列を認識し、認識した文字列を認識文字列としてネットワーク15に送信するものである。なお、候補文字認識エンジンの数は、4つに限らず、1つでも4つ以外の複数でもよい。
 次に、図2~5を参照しながら、実施形態の設備機器情報収集システム100の動作について説明する。以下の説明では、図1に示すユーザ60が携帯端末20で空調機器40の銘板41の画像を撮像することにより、空調機器40の機器情報を収集する場合について説明する。
 図2、図3のステップS101に示すように、ユーザ60は、携帯端末20のカメラ21によって空調機器40の銘板41の画像を撮像する。図2、図3のステップS102に示すように、携帯端末20は、カメラ21によって取得した画像データをネットワーク15を介して常用文字認識エンジン30とサーバ10に送信する。
 図2、図3のステップS103に示すように、常用文字認識エンジン30は、携帯端末20から受信した画像データを解析して画像データ中に含まれる文字列を認識する。そして、認識した文字列を認識文字列としてネットワーク15を介して携帯端末20とサーバ10とに送信する。
 携帯端末20は、常用文字認識エンジン30から受信した認識文字列をディスプレイ23に表示する。図3のステップS105に示すように、ユーザ60はディスプレイ23に表示された認識文字列と銘板41に記載されている文字列とを対比し、認識文字列を銘板41に記載されている文字列と一致する正しい文字列に修正して登録文字列を生成する。図3のステップS106に示すように、ユーザ60は、生成した登録文字列を携帯端末20からサーバ10に送信する。
 図2、図3のステップS107に示すように、サーバ10の通信部13は、携帯端末20から銘板41の画像データと登録文字列を受信し、常用文字認識エンジン30から認識文字列を受信する。そして、サーバ10の演算部11は、通信部13で受信した銘板41の画像データと登録文字列と認識文字列とを図4に示す文字認識データベース50に格納する。
 図4に示すように、文字認識データベース50は、携帯端末20から受信した画像データと登録文字列、及び、常用文字認識エンジン30から受信した認識文字列とを対応付けて格納するものである。ここで、画像データAAAAは、ユーザ60が携帯端末20のカメラ21で撮像した銘板41の画像データである。認識文字列「PuHyDP28000SCMEBSGGGG」は、常用文字認識エンジン30が携帯端末20から受信した画像データAAAAを解析し、認識した文字列である。登録文字列「PUHY-DP280SCM-E-BSG」は、ユーザ60が携帯端末20に送信された認識文字列「PDP28000SCMEBSGGGG」を銘板41に記載されている文字列と一致するように正しく修正した文字列である。従って、登録文字列は、画像データを正しく認識した場合の文字列となる。図4の認識文字列中の下線は、常用文字認識エンジン30が誤認識した文字を示している。この様に、文字認識データベース50は、携帯端末20で撮像した銘板41の画像データと、常用文字認識エンジン30が認識した認識文字列と、画像データを正しく認識した場合の文字列である登録文字列とを対応付けて格納したものである。
 サーバ10は、図3のステップS108で所定の時間が経過したかどうかを判断し、図3のステップS108でNOと判断した場合には、図3のステップS101に戻り、携帯端末20からの画像データと登録文字列を受信し、常用文字認識エンジン30から認識文字列を受信し、受信した画像データと登録文字列と認識文字列とを文字認識データベース50に格納していく。ここで、所定の時間は、例えば、一日でもよいし、一週間でもよいし、一ヶ月でもよい。
 サーバ10は、図3のステップS108でYESと判断した場合には、図3のステップS109~ステップS112において常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38との文字認識精度を示す指標をそれぞれ算出し、算出した各指標に基づいて常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の中の1つを新常用文字認識エンジンに選択する。そして、選択した新常用文字認識エンジンを常用文字認識エンジン30に置き換える。
 以下、図3、図5を参照しながら、指標として認識文字列と登録文字列とを対比して算出した誤認識文字数を用いる場合について説明する。
 図3のステップS109、図5に示すように、サーバ10の演算部11は、文字認識データベース50に格納した画像データの中から、画像データAAAAを常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38との評価に用いる評価用画像データAAAAとして選択する。そして、演算部11は、評価用画像データAAAAを通信部13から常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38とに送信する。
 図3のステップS110に示すように、常用文字認識エンジン30と、第1~第4候補文字認識エンジン35~38は、受信した評価用画像データAAAAを解析して評価用画像データAAAAに含まれる文字列を認識し、認識した文字列を認識文字列としてサーバ10に送信する。図5に示すように、第1候補文字認識エンジン35は、認識文字列「PuHyDP28000SCMEBSGGGG」をサーバ10に送信し、第2候補文字認識エンジン36は、認識文字列「PUHY-DP280SCM-E――BSG-」をサーバ10に送信する。常用文字認識エンジン30、第3、第4候補文字認識エンジン37,38についても同様にそれぞれ認識文字列をサーバ10に送信する。
 図3のステップS111、図5に示すように、サーバ10は、常用文字認識エンジン30、第1~第4候補文字認識エンジン35~38の文字認識精度を示す指標である誤認識文字数を算出する。図5に示すように、サーバ10の演算部11は、文字認識データベース50から評価用画像データAAAAに対応する登録文字列を対応登録文字列「PUHY-DP280SCM-E-BSG」として読み出す。そして、第1候補文字認識エンジン35から受信した認識文字列「PuHyDP28000SCMEBSGGGG」と対応登録文字列「PUHY-DP280SCM-E-BSG」とを対比する。対応登録文字列は、評価用画像データAAAAを正しく認識した場合の文字列であるから、両文字列を対比することにより、第1候補文字認識エンジン35の認識文字列中の誤認識文字数を算出することができる。本例では、図5に示すように、サーバ10の演算部11は第1候補文字認識エンジン35の誤認識文字数を8と算出する。
 同様に、サーバ10の演算部11は、第2候補文字認識エンジン36から受信した認識文字列「PUHY-DP280SCM-E――BSG-」と対応登録文字列「PUHY-DP280SCM-E-BSG」とを対比して第2候補文字認識エンジン36の誤認識文字数を2と算出する。常用文字認識エンジン30、第3、第4候補文字認識エンジン37,38についても同様にそれぞれの誤認識文字数を算出する。
 図3のステップS112、図5に示すように、サーバ10の演算部11は、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の中で誤認識文字数の最も少ない第2候補文字認識エンジン36を新常用文字認識エンジンとして選択する。そして、サーバ10は、新常用文字認識エンジンとして選択した第2候補文字認識エンジン36を常用文字認識エンジン30に置き換える。これ以後、携帯端末20は、新たな常用文字認識エンジン30に画像データを送信し、新たな常用文字認識エンジン30から誤認識文字数の少ない認識文字列を受信するので、ユーザ60の修正の手間が少なくなり、効果的に設備機器の情報を収集することができる。
 このように、実施形態の設備機器情報収集システム100では、サーバ10は常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38とが評価用画像データから認識した認識文字列と評価用画像データを正しく認識した場合の文字列である対応登録文字列とを対比して、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の誤認識文字数を算出し、常用文字認識エンジン30と第1~第4候補文字認識エンジンの内で誤認識文字数の少ないものを新常用文字認識エンジンとして選択する。そして、選択した新常用文字認識エンジンを常用文字認識エンジン30に置き換える。これにより、設備機器情報収集システム100の文字認識精度の向上を図り、設備機器の情報収集効率を向上させることができる。また、所定の時間間隔で新常用文字認識エンジンの選択を行い、新常用文字認識エンジンを常用文字認識エンジン30に置き換えるので、常用文字認識エンジン30を文字認識精度の高いものに維持することができ、設備機器の情報収集効率を向上させることができる。
 次に、図3、図6を参照しながら、指標として常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の誤認識回数を用いて新常用文字認識エンジンの選択を行う動作について説明する。
 図3のステップS109、図6に示すように、サーバ10の演算部11は、文字認識データベース50から複数の類似パターンデータを選択する。複数の類似パターンデータは、同一の銘板41の異なる画像のセットで、例えば、クリアな画像、少しぼけた部分のある画像、正面からの画像、斜めからの画像等を組み合わせたものである。類似パターンデータは、同一の銘板41の画像データであるから、対応登録文字列は一つとなる。図6に示す例では、サーバ10の演算部11は、複数の類似パターンデータCCCC,CCCc,cCCCを選択して、常用文字認識エンジン30と、第1~第4候補文字認識エンジン35~38とに送信する。
 図3のステップS110に示すように、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38は、受信した複数の類似パターンデータを解析して複数の認識文字列をサーバ10に送信する。図6に示すように、第1候補文字認識エンジン35は、3つの類似パターンデータCCCC,CCCc,cCCCを解析して3つの認識文字列「PUHY-DP280SCM-E-BSG」、「PUHY-DP280SCM-E-BSG」、「PUHY-DP280SCM-EBSG」をサーバ10に送信する。
 図3のステップS111、図6に示すように、サーバ10の演算部11は、第1候補文字認識エンジン35から受信した各認識文字列と対応登録文字列「PUHY-DP280SCM-E-BSG」とを対比して、両者が一致しているかどうかを判断する。図6に示すように、第1候補文字認識エンジン35が送信した3の認識文字列の内、一番目と二番目の認識文字列は対応登録文字列と一致しており、三番目の認識文字列は対応登録文字列と一致していない。従って、サーバ10の演算部11は、第1候補文字認識エンジン35の誤認識回数を1と算出する。
 同様に、サーバ10の演算部11は、第2候補文字認識エンジン36から受信した3つの認識文字列と対応登録文字列とを対比して誤認識回数を2と算出する。また、常用文字認識エンジン30、第3、第4候補文字認識エンジン37,38についても同様に誤認識回数を算出する。
 図3のステップS112、図6に示すように、サーバ10の演算部11は、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の中で誤認識回数の最も少ない第1候補文字認識エンジン35を新常用文字認識エンジンとして選択する。そして、サーバ10は、新常用文字認識エンジンとして選択した第1候補文字認識エンジン35を常用文字認識エンジン30に置き換える。
 これにより、誤認識回数が少ない文字認識エンジンを常用文字認識エンジン30とすることができる。
 次に、図7を参照しながら、誤認識文字数と誤認識回数とを組み合わせて総合指標Sを算出し、算出した総合指標Sに基づいて新常用文字認識エンジンを選択する動作について説明する。
 先に図5を参照して説明したように、サーバ10の演算部11は、第1、第2候補文字認識エンジン35,36に評価用画像データを送信し、認識文字列を受信し、受信した認識文字列と対応登録文字列と対比して誤認識文字数を算出する。また、先に図6を参照して説明したように、サーバ10の演算部11は、第1、第2候補文字認識エンジン35,36に複数の類似パターンデータを送信し、認識文字列を受信し、受信した認識文字列と対応登録文字列と対比して誤認識回数を算出する。そして、図7に示すように、サーバ10の演算部11は、誤認識文字数と誤認識回数にそれぞれ重みa,bを掛けて重み付けしたものを加算して総合指標Sの数値を算出する。
 図7に示す例のように、第2候補文字認識エンジン36の総合指標S2が第1候補文字認識エンジン35の総合指標S1よりも小さい場合には、サーバ10の演算部11は総合指標Sの小さい第2候補文字認識エンジン36を常用文字認識エンジン30に選択する。そして、サーバ10は、新常用文字認識エンジンとして選択した第2候補文字認識エンジン36を常用文字認識エンジン30に置き換える。
 これにより、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の文字認識精度を総合的に評価し、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の内で最適な文字認識エンジンを新常用文字認識エンジンに選択することができ、常用文字認識エンジン30を最適化することができる。
 次に、図8,図9を参照しながら、設備機器情報収集システム100の他の動作について説明する。先に図2、図3を参照して説明した動作と同様の動作には、同様のステップ番号を付して説明は省略する。
 常用文字認識エンジン30は、AIを適用したものであり、時間経過と共に、文字認識精度が向上してくることが一般的で、時間経過と共に、誤認識文字数は低下傾向を示す。従って、誤認識文字数が減少せず、停滞する場合には、常用文字認識エンジン30の文字認識精度の向上が他の文字認識エンジンよりも低くなっている可能性がある。
 そこで、本動作は、図8、図9に示すように、サーバ10の演算部11が常用文字認識エンジン30の誤認識文字数と誤認識文字数の時系列変化とを算出し、図8のステップS202で誤認識文字数の時系列的変化が所定の閾値に達しない場合に常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38との文字認識精度の指標を算出して新常用文字認識エンジンを選択するものである。以下、説明する。
 サーバ10の演算部11は、図8、図9のステップS104に示すように常用文字認識エンジン30から認識文字列を受信し、図8、図9のステップS106に示すように携帯端末20から登録文字列を受信したら、図8、図9のステップS201に示すように、常用文字認識エンジン30の誤認識文字数を算出する。誤認識文字数の算出は、先に図5を参照して説明したと同様、常用文字認識エンジン30から受信した認識文字列と携帯端末20から受信した登録文字列とを対比して誤認識文字数を算出する。そして、サーバ10の演算部11は、算出した誤認識文字数を記憶部12に格納する。
 図8に示すように、サーバ10の演算部11は、図9のステップS202で所定時間、或いは所定回数だけ常用文字認識エンジン30の誤認識文字数を算出したかを判断する。サーバ10の演算部11は、図9のステップS202でNOと判断した場合には、図9のステップS101に戻って携帯端末20からの画像データと登録文字列を受信し、常用文字認識エンジン30から認識文字列を受信し、誤認識文字数を算出して記憶部12に格納していく。
 サーバ10の演算部11は、図9のステップS202でYESと判断したら図9のステップS203に進み、記憶部12から誤認識文字数データを読み出して誤認識文字数の時系列的変化を算出する。時系列的変化は、例えば、所定期間における誤認識文字数の低減数、或いは低減割合である。
 そして、サーバ10の演算部11は、図9のステップS204で算出した時系列的変化が所定の閾値に達しているかどうかを判断する。例えば、時系列的変化が所定期間における誤認識文字数の低減数が所定の閾値に達していない場合、或いは、低減割合が所定の閾値に達していない場合、サーバ10の演算部11は、図9のステップS204でYESと判断して図3のステップS109に進む。
 そして、サーバ10は、図8、図3のステップS109~ステップS112に示すように、評価用画像データを常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38とに送信し、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38とから認識文字列を受信する。そして、図5を参照して説明したように、受信した認識文字列と対応登録文字列とから常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38の誤認識文字数をそれぞれ算出し、誤認識文字数の少ない第2候補文字認識エンジン36を新常用文字認識エンジンに選択する。そして、サーバ10は、新常用文字認識エンジンとして選択した第2候補文字認識エンジン36を常用文字認識エンジン30に置き換える。
 これにより、常用文字認識エンジン30の文字認識精度の向上が停滞しているような場合に、文字認識精度の文字認識エンジンに置き換えることができる。
 以上説明した実施形態の設備機器情報収集システム100において、サーバ10と携帯端末20とは同一の第1国に配置されてもよいし、携帯端末20は第1国と異なる第2国に配置されていてもよい。これにより、外国に設置されている設備機器の情報を収集することができる。
 また、実施形態の設備機器情報収集システム100では、常用文字認識エンジン30、第1~第4候補文字認識エンジン35~38は、受信した画像データを解析して認識文字列を送信するものとして説明したがこれに限らず、受信した音声データを解析して認識文字列を送信するもでもよい。
 この場合、例えば、ユーザ60が携帯端末20のマイク22から入力した音声データを常用文字認識エンジン30により解析して認識文字列を抽出し、抽出した認識文字列を携帯端末20に送信し、ユーザ60が認識文字列を修正して登録文字列としてもよい。
 この場合も、実施形態の設備機器情報収集システム100と同様、サーバ10は、常用文字認識エンジン30と第1~第4候補文字認識エンジン35~38に音声データを送信し、受信した認識文字列と登録文字列とに基づいて、各文字認識エンジン30,35~38の文字認識精度を算出し、文字認識精度の高い文字認識エンジンを新常用文字認識エンジンとして選択する。そして、選択した新常用文字認識エンジンを常用文字認識エンジン30に置き換える。
 10 サーバ、11 演算部、12 記憶部、13 通信部、15 ネットワーク、20 携帯端末、21 カメラ、22 マイク、23 ディスプレイ、30 常用文字認識エンジン、35~38 候補文字認識エンジン、40 空調機器、41 銘板、50 文字認識データベース、60 ユーザ、100 設備機器情報収集システム。
 

Claims (8)

  1.  ネットワークに接続されたサーバと、
     前記ネットワークに接続され、設備機器情報を含むデータを取得し、取得したデータを送信する携帯端末と、
     前記ネットワークに接続されてデータを受信し、受信したデータを解析してデータに含まれる文字列を認識し、認識した文字列を認識文字列として送信する常用文字認識エンジンと、を備える設備機器情報収集システムであって、
     前記携帯端末は、取得したデータを前記常用文字認識エンジンと前記サーバとに送信し、前記常用文字認識エンジンから認識文字列を受信し、受信した認識文字列をユーザが正しい文字列に修正した登録文字列を前記サーバに送信し、
     前記サーバは、
     前記携帯端末からデータと登録文字列とを受信し、前記常用文字認識エンジンから認識文字列を受信し、受信したデータと認識文字列と登録文字列とを対応付けて格納する文字認識データベースを含み、前記文字認識データベースに格納したデータと認識文字列と登録文字列とに基づいて、前記ネットワークに接続されてデータを受信し、受信したデータを解析してデータに含まれる文字列を認識し、認識した文字列を認識文字列として送信する候補文字認識エンジン及び前記常用文字認識エンジンの文字認識精度の指標をそれぞれ算出し、
     算出した各前記指標に基づいて、前記常用文字認識エンジンと前記候補文字認識エンジンとの中から新常用文字認識エンジンを選択し、
     選択した前記新常用文字認識エンジンを前記常用文字認識エンジンに置き換えること、
     を特徴とする設備機器情報収集システム。
  2.  請求項1に記載の設備機器情報収集システムであって、
     前記サーバは、
     前記文字認識データベースに格納したデータから評価用データを選択し、
     選択した前記評価用データを前記常用文字認識エンジンと前記候補文字認識エンジンとに送信し、
     前記常用文字認識エンジンと前記候補文字認識エンジンとから認識文字列をそれぞれ受信し、
     受信した各認識文字列と前記評価用データに対応する登録文字列とを対比して前記常用文字認識エンジンと前記候補文字認識エンジンとの前記指標をそれぞれ算出すること、
     を特徴とする設備機器情報収集システム。
  3.  請求項2に記載の設備機器情報収集システムであって、
     前記指標は、前記常用文字認識エンジン又は前記候補文字認識エンジンから受信した認識文字列と前記評価用データに対応する登録文字列とを対比して算出した前記常用文字認識エンジン又は前記候補文字認識エンジンの誤認識文字数であること、
     を特徴とする設備機器情報収集システム。
  4.  請求項2に記載の設備機器情報収集システムであって、
     前記評価用データは、前記文字認識データベースに格納したデータから選択した複数の類似パターンデータであり、
     前記サーバは、
     選択した複数の前記類似パターンデータを前記常用文字認識エンジンと前記候補文字認識エンジンとにそれぞれ送信し、
     前記常用文字認識エンジンと前記候補文字認識エンジンとから複数の前記類似パターンデータに対応する複数の認識文字列をそれぞれ受信し、
     前記指標は、受信した複数の認識文字列と複数の前記類似パターンデータに対応する複数の登録文字列とを対比して算出した前記常用文字認識エンジン又は前記候補文字認識エンジンの誤認識回数であること、
     を特徴とする設備機器情報収集システム。
  5.  請求項2に記載の設備機器情報収集システムであって、
     前記サーバは、前記常用文字認識エンジンと前記候補文字認識エンジンとからそれぞれ受信した認識文字列と前記評価用データに対応する登録文字列とを対比して前記常用文字認識エンジンと前記候補文字認識エンジンの誤認識文字数をそれぞれ算出すると共に、
     前記文字認識データベースに格納したデータから複数の類似パターンデータを選択し、選択した複数の前記類似パターンデータを前記常用文字認識エンジンと前記候補文字認識エンジンとにそれぞれ送信し、前記常用文字認識エンジンと前記候補文字認識エンジンとから複数の前記類似パターンデータに対応する複数の認識文字列をそれぞれ受信し、受信した複数の認識文字列と複数の前記類似パターンデータに対応する複数の登録文字列とを対比して前記常用文字認識エンジンと前記候補文字認識エンジンとの誤認識回数をそれぞれ算出し、
     前記常用文字認識エンジンと前記候補文字認識エンジンとの各前記指標は、算出した各誤認識文字数と算出した各誤認識回数とにそれぞれ重み付けをして加算した数値であること、
     を特徴とする設備機器情報収集システム。
  6.  請求項2から5のいずれか1項に記載の設備機器情報収集システムであって、
     前記サーバは、
     前記常用文字認識エンジンと前記候補文字認識エンジンとの文字認識精度の前記指標を所定の時間間隔でそれぞれ算出し、算出した各前記指標に基づいて前記新常用文字認識エンジンの選択を行うこと、
     を特徴とする設備機器情報収集システム。
  7.  請求項2から6のいずれか1項に記載の設備機器情報収集システムであって、
     前記サーバは、前記常用文字認識エンジンから受信した認識文字列と前記携帯端末から受信した登録文字列とを対比して前記常用文字認識エンジンの誤認識文字数を算出し、
     前記常用文字認識エンジンの誤認識文字数の時系列的な変化が所定の閾値に達しない場合に、前記常用文字認識エンジンと前記候補文字認識エンジンとの文字認識精度の前記指標をそれぞれ算出し、算出した各前記指標に基づいて前記新常用文字認識エンジンの選択を行うこと、
     を特徴とする設備機器情報収集システム。
  8.  請求項2から7のいずれか1項に記載の設備機器情報収集システムであって、
     前記サーバが第1国に配置され、
     前記携帯端末が第1国と異なる第2国に配置されていること、
     を特徴とする設備機器情報収集システム。
     
PCT/JP2019/013179 2019-03-27 2019-03-27 設備機器情報収集システム WO2020194576A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980094258.3A CN113614737B (zh) 2019-03-27 2019-03-27 机器设备信息收集系统
JP2019547327A JP6780129B1 (ja) 2019-03-27 2019-03-27 設備機器情報収集システム
PCT/JP2019/013179 WO2020194576A1 (ja) 2019-03-27 2019-03-27 設備機器情報収集システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/013179 WO2020194576A1 (ja) 2019-03-27 2019-03-27 設備機器情報収集システム

Publications (1)

Publication Number Publication Date
WO2020194576A1 true WO2020194576A1 (ja) 2020-10-01

Family

ID=72609744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013179 WO2020194576A1 (ja) 2019-03-27 2019-03-27 設備機器情報収集システム

Country Status (3)

Country Link
JP (1) JP6780129B1 (ja)
CN (1) CN113614737B (ja)
WO (1) WO2020194576A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222612A (ja) * 1997-02-07 1998-08-21 Hitachi Ltd 文書認識装置
JP2001043316A (ja) * 1999-07-29 2001-02-16 Ricoh Co Ltd 文書画像処理方法、文書画像処理装置及び記録媒体
JP2017107466A (ja) * 2015-12-11 2017-06-15 ダイキン工業株式会社 情報処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2903779B2 (ja) * 1991-06-27 1999-06-14 日本電気株式会社 文字列認識方法及びその装置
JP3803219B2 (ja) * 1999-12-14 2006-08-02 三菱電機株式会社 全文検索装置及び全文検索方法
JP2003178067A (ja) * 2001-12-10 2003-06-27 Mitsubishi Electric Corp 携帯端末型画像処理システム、携帯端末およびサーバ
JP5434586B2 (ja) * 2009-12-29 2014-03-05 オムロン株式会社 単語認識方法および単語認識用のプログラムならびに情報処理装置
EP2541441A4 (en) * 2010-02-26 2014-10-15 Rakuten Inc INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING INFORMATION PROCESSING PROGRAM
EP2650805B1 (en) * 2010-11-10 2017-08-30 Rakuten, Inc. Related-word registration device, information processing device, related-word registration method, program for related-word registration device, and recording medium
JP6102374B2 (ja) * 2013-03-15 2017-03-29 オムロン株式会社 読取文字訂正用のプログラムおよび文字読取装置
JP2016177383A (ja) * 2015-03-18 2016-10-06 グローリー株式会社 識別番号検索システム及び識別番号検索方法
CN107533740B (zh) * 2015-05-20 2023-07-25 三菱电机株式会社 设备管理装置、设备管理系统以及记录介质
WO2019003331A1 (ja) * 2017-06-28 2019-01-03 三菱電機ビルテクノサービス株式会社 機器保守支援システム、機器保守支援装置、及び、機器保守支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222612A (ja) * 1997-02-07 1998-08-21 Hitachi Ltd 文書認識装置
JP2001043316A (ja) * 1999-07-29 2001-02-16 Ricoh Co Ltd 文書画像処理方法、文書画像処理装置及び記録媒体
JP2017107466A (ja) * 2015-12-11 2017-06-15 ダイキン工業株式会社 情報処理装置

Also Published As

Publication number Publication date
JP6780129B1 (ja) 2020-11-04
CN113614737A (zh) 2021-11-05
JPWO2020194576A1 (ja) 2021-04-08
CN113614737B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
RU2613734C1 (ru) Захват видео в сценарии ввода данных
CN109800320B (zh) 一种图像处理方法、设备及计算机可读存储介质
CN111861731A (zh) 基于ocr的贷后检查系统及方法
CN110363112B (zh) 一种配线电缆接线位置核对方法及系统
KR101727137B1 (ko) 텍스트 영역의 추출 방법, 추출 장치 및 이를 이용한 번호판 자동 인식 시스템
CN111325082B (zh) 一种人员专注度分析方法及装置
US20200210459A1 (en) Method and apparatus for classifying samples
CN108109132B (zh) 一种图像分析方法及装置
CN111444075B (zh) 一种自动发现关键影响力指标的方法
CN111026738A (zh) 区域人口监控方法、系统、电子设备及存储介质
CN111046879A (zh) 证件图像分类方法、装置、计算机设备及可读存储介质
CN110555488A (zh) 图像序列的审核方法及系统、电子设备和存储介质
CN107862599B (zh) 银行风险数据处理方法、装置、计算机设备和存储介质
JP6780129B1 (ja) 設備機器情報収集システム
CN113807342A (zh) 基于图像获取设备信息的方法及相关装置
CN112215509A (zh) 资源参数的确定方法、装置及设备
CN111078983A (zh) 一种待识别页面的确定方法及学习设备
CN111090989A (zh) 一种基于文字识别的提示方法及电子设备
CN112712075B (zh) 算式检测方法、电子设备和存储装置
CN111091035A (zh) 一种科目识别方法及电子设备
CN111985519B (zh) 文本相似度量化方法、设备及系统
CN110532958B (zh) 一种基于FingerPrint浏览器信息采集的设备指纹识别方法
CN115588439B (zh) 一种基于深度学习的声纹采集装置的故障检测方法及装置
WO2019026147A1 (ja) 情報処理装置、情報処理システム、制御方法及び制御プログラム
US11586850B2 (en) Pattern recognition system, parameter generation method, and parameter generation program

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019547327

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921479

Country of ref document: EP

Kind code of ref document: A1