WO2023175905A1 - メーター識別システム、メーター識別方法および記録媒体 - Google Patents

メーター識別システム、メーター識別方法および記録媒体 Download PDF

Info

Publication number
WO2023175905A1
WO2023175905A1 PCT/JP2022/012631 JP2022012631W WO2023175905A1 WO 2023175905 A1 WO2023175905 A1 WO 2023175905A1 JP 2022012631 W JP2022012631 W JP 2022012631W WO 2023175905 A1 WO2023175905 A1 WO 2023175905A1
Authority
WO
WIPO (PCT)
Prior art keywords
meter
image
identification
value
learning
Prior art date
Application number
PCT/JP2022/012631
Other languages
English (en)
French (fr)
Inventor
敦司 清水
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/012631 priority Critical patent/WO2023175905A1/ja
Publication of WO2023175905A1 publication Critical patent/WO2023175905A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a meter identification system and the like.
  • Meters are sometimes monitored by identifying the value indicated by the meter using image recognition from an image of the meter taken with a camera.
  • a monitoring method for example, a meter is photographed using a fixed or mobile camera, and the photographed image is transmitted to a monitoring system via a network. The monitoring system then monitors the meter by identifying the value indicated by the meter and recording the identified value.
  • the reading of the meter by image recognition may be erroneous, for example due to the appearance of shadows on the meter or reflections from surfaces. Therefore, it is desirable to be able to improve the accuracy of monitoring using image recognition.
  • the information processing device of Patent Document 1 receives a label input when image recognition fails, and retrains the image recognition model using the input label.
  • Patent Document 1 it may be difficult to improve the identification accuracy of a learning model that performs image identification.
  • the meter identification system of the present invention provides a modification that obtains a correction result of correcting the identification value identified using an identification model that identifies the value indicated by the meter as the identification value from the image of the meter.
  • a result acquisition means an image generation means for generating, as a learning image, an image in which a part of the meter image is changed based on an image of a portion corresponding to a portion where a value has been corrected in the correction result; and the generated learning image; and updating means for updating the identification model by learning the relationship between the learning image and the value indicated by the meter of the learning image.
  • the meter identification method of the present invention obtains a correction result of correcting the identification value identified using an identification model that identifies the value indicated by the meter as the identification value from the meter image, and the value is corrected in the correction result.
  • An image in which a part of the meter image is changed is generated as a learning image based on the image of the part corresponding to the location, and the relationship between the generated learning image and the value indicated by the meter in the learning image is learned.
  • the identification model is updated by
  • the recording medium of the present invention includes a process of obtaining a correction result of correcting an identification value identified using an identification model that identifies a value indicated by a meter as an identification value from an image of the meter, and a process of obtaining a correction result in which a value is corrected in the correction result.
  • a process of generating an image with a part of the meter image changed as a learning image based on the image of the part corresponding to the location, and a process of comparing the generated learning image and the value indicated by the meter of the learning image.
  • a meter identification program is non-temporarily recorded that causes a computer to perform a process of updating an identification model by learning relationships.
  • the accuracy of identifying the value indicated by the meter can be improved.
  • FIG. 1 is a diagram showing an example of a configuration of a first embodiment of the present invention.
  • FIG. FIG. 3 is a diagram schematically showing an operation of photographing a meter in the first embodiment of the present invention.
  • 1 is a diagram showing an example of the configuration of a meter identification system according to a first embodiment of the present invention. It is a figure showing an example of a display screen in a 1st embodiment of the present invention. It is a figure showing an example of a display screen in a 1st embodiment of the present invention. It is a figure showing an example of the meter of the 1st embodiment of the present invention. It is a figure showing an example of the meter of the 1st embodiment of the present invention. It is a figure showing an example of the meter of the 1st embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a meter monitoring system according to the present embodiment.
  • the meter monitoring system includes a meter identification system 10, a terminal device 20, and a photographing device 30.
  • the meter identification system 10 is connected to a terminal device 20 via a network. Further, the meter identification system 10 is connected to the photographing device 30 via a network.
  • the meter identification system 10 is, for example, a system that identifies the value indicated by a meter from an image of the meter.
  • the meter to be identified is, for example, a meter that monitors the status of a device, a gas meter, an electric meter, or a water meter. Examples of meters to be identified are not limited to the above.
  • the value indicated by the meter is the value measured by the meter.
  • the value indicated by the meter is, for example, a measured value of the flow rate of water.
  • FIG. 2 is a diagram schematically showing the operation of photographing the meter.
  • the photographing device 30 photographs a meter to be identified, for example, by an operator's operation. Then, the photographing device 30 transmits the photographed image of the meter to the meter identification system 10 via the network, for example.
  • the photographing device 30 may be fixed at a position where the meter can be photographed.
  • the photographing device 30 photographs an image of the meter at a set date and time, for example. The date and time when the photographing device 30 photographs the meter is set depending on the purpose of the value indicated by the meter.
  • the meter identification system 10 uses an identification model to identify the value indicated by the meter as an identification value from an image of the meter.
  • the identification model is a learned model generated by learning the relationship between an image of a meter and the value indicated by the meter.
  • the meter identification system 10 obtains a value for correcting the identification value as a correction result. Misidentification of the value indicated by the meter occurs when, for example, the recognition model is unable to correctly identify the image of the meter due to reflections or shadows on the surface of the meter.
  • the identification value is corrected, for example, by an operator comparing the identification value with an image of the meter.
  • the meter identification system 10 generates a learning image using the image of the portion that influenced the identification result among the images in which the identification result was incorrect.
  • the meter identification system 10 updates the identification model by performing relearning using the generated learning image. For example, when the identification result is incorrect, the meter identification system 10 performs re-learning using the generated learning image and the image for which the identification result was incorrect.
  • FIG. 3 is a diagram showing an example of the configuration of the meter identification system 10.
  • the meter identification system 10 includes an acquisition section 11 , an identification section 12 , an output section 13 , a correction result acquisition section 14 , an image generation section 15 , an update section 16 , a determination section 17 , and a storage section 18 .
  • the acquisition unit 11, the identification unit 12, and the output unit 13 perform a process of identifying the value indicated by the meter as an identification value from an image of the meter using, for example, an identification model.
  • the correction result acquisition unit 14, the image generation unit 15, the update unit 16, and the determination unit 17 generate a learning image using the image whose identification value has been corrected, and the generated learning image.
  • the process of updating the identification model is performed using
  • the acquisition unit 11 acquires an image of a meter whose value the meter indicates is to be identified.
  • the acquisition unit 11 acquires an image of a meter from the photographing device 30, for example.
  • the acquisition unit 11 stores the acquired image in the storage unit 18, for example.
  • the acquisition unit 11 acquires, for example, information on the date and time when the image was photographed together with the image.
  • the acquisition unit 11 may acquire identification information of the meter being photographed together with the image.
  • the identification information of the meter is, for example, an identification number, a name, an installation position, a name of a device to be measured, a customer name, or a customer number.
  • the identification information is not limited to the above.
  • the acquisition unit 11 may acquire the identification information of the photographing device 30 as the meter identification information.
  • the acquisition unit 11 acquires, for example, setting information of a portion of the image of the meter whose identification value has been corrected, which corresponds to the location where the identification value has been corrected.
  • the setting information of the portion corresponding to the location where the identification value has been corrected is input into the terminal device 20 by, for example, an operator's operation.
  • the setting information is, for example, information indicating, in an image whose identification value has been corrected, a region corresponding to a portion where the identification value has been corrected.
  • the setting information may be information regarding at least one of the luminance and chromaticity of a portion of the image whose identification value has been corrected that corresponds to the location where the identification value has been corrected.
  • the identification unit 12 uses the identification model to identify the value indicated by the meter from the meter image acquired by the acquisition unit 11 as an identification value.
  • the identification model is a trained model for image recognition that identifies the value indicated by the meter in the image as the identification value from the image of the meter.
  • the identification unit 12 stores the meter image and the identification value in association with each other in the storage unit 18 .
  • the identification unit 12 adds the meter identification information and the photographing date and time information to the meter image and the identification value, for example. Further associate and save.
  • the identification model is updated by the updating unit 16.
  • the identification unit 12 uses, for example, the latest identification model among the identification models updated by the updating unit 16 to determine the identity model that appears in the image. Identify the value indicated by the meter. That is, the identification unit 12 uses the identification model that has been updated the shortest among the identification models updated by the updating unit 16 to identify the value indicated by the meter shown in the image.
  • An initial identification model that has never been updated in the meter identification system 10 is, for example, generated in advance outside the meter identification system 10. An initial identification model that has never been updated may be generated in the meter identification system 10.
  • the identification unit 12 may identify the value indicated by the meter in the image as the identification value using an identification model corresponding to the meter to be identified among the plurality of identification models.
  • the identification unit 12 identifies the value indicated by the meter in the image using, for example, a different identification model depending on the type of meter.
  • the identification unit 12 identifies the value indicated by the meter shown in the image, for example, using different identification models for a numerical display type meter and an analog display type meter.
  • a numerical display meter is a meter that indicates the measured value in numbers.
  • Analog display meters are meters that indicate measured values by having a movable needle pointing at a scale. That is, the analog display type meter is a pointer type meter.
  • the output unit 13 outputs, for example, an image of the meter and the identification value identified by the identification unit 12.
  • the output unit 13 outputs the meter image and the identification value identified by the identification unit 12 to the terminal device 20, for example.
  • the output unit 13 may output data that displays the image of the meter, the identification value identified by the identification unit 12, and an input field for a correction value of the identification value. Further, the output unit 13 may output images of a plurality of meters and values indicated by each meter.
  • the output unit 13 may output an image of a meter whose identification value identified by the identification unit 12 is outside the reference range, and the identification value. For example, when the identification value meter is significantly outside the range of possible values, the output unit 13 determines that the identification value is outside the reference range and outputs the image of the meter outside the reference range and the identification value.
  • the reference range of the value indicated by the meter is set using, for example, the range of measured values that the identification indicates when the monitored target is normal.
  • the output unit 13 may output each of the above data to a display device (not shown) connected to the meter identification system 10.
  • the modification result acquisition unit 14 acquires the modification result of the identification value identified from the meter image using the identification model that identifies the value indicated by the meter as the identification value.
  • the modification result acquisition unit 14 acquires, for example, a modification value of the identification value from the terminal device 20 as a modification result.
  • the modification value of the identification value is input to the terminal device 20 by a person operating the terminal device 20 as a modification result.
  • the correction result acquisition unit 14 stores, for example, the image of the meter whose identification value has been corrected in association with the obtained correction result in the storage unit 18.
  • FIG. 4 is a diagram showing an example of a display screen that displays an image of a meter and the value indicated by the meter.
  • an image of a numerical display meter is displayed on the left side.
  • some of the numbers are not displayed properly due to reflections or shadows on the surface of the meter, for example.
  • the image of the meter on the left side is in a state where the meter is displaying "7.78", but the image looks like "7.76".
  • the meter name is information that identifies the meter.
  • the information that identifies the meter is, for example, the installation location of the meter, the device that the meter monitors, the identification number assigned to the meter, and the customer name or customer number.
  • the date and time is, for example, the date and time when the meter image was photographed.
  • the meter value is a discrimination value identified by the discrimination model.
  • the correction value is an input field for inputting a correction value for correcting the identification value as a correction result. Further, in the example of the display screen in FIG. 4, buttons for "correct” and "next data" are set.
  • the "correction” button is, for example, a button for determining a correction value using the value input in the correction value input field.
  • the "next data” button is a button for displaying another image and the identification value of the other image, for example, when the identification value of the displayed meter has been confirmed.
  • FIG. 5 shows an example of a display screen that displays images of a plurality of meters and identification values identified by the identification unit 12.
  • images of numerical display type and analog display type meters are displayed on the left side.
  • input fields for inputting identification values for each of the meter images and correction values for the identification values are displayed.
  • buttons for "correct” and "next data” are set.
  • the meter name and date and time may also be displayed.
  • images taken at a plurality of dates and times and identification values for the same meter may be displayed as a list.
  • the image generation unit 15 generates an image in which a part of the meter image is changed as a learning image.
  • the image generation unit 15 changes a part of the meter image based on the image of the part corresponding to the part whose value has been corrected in the correction result.
  • the image generation unit 15 generates a learning image using, for example, an image in which the identification unit 12 misidentified the value indicated by the meter.
  • the image generation unit 15 stores the generated learning image in the storage unit 18, for example.
  • the image generation unit 15 stores, for example, the generated learning image and the value indicated by the meter of the learning image in association with each other in the storage unit 18 .
  • the value indicated by the meter of the learning image is, for example, the value indicated by the meter of the image used for generation or the value input by the operator.
  • the image of the portion corresponding to the location where the identification value has been corrected is extracted from the image where the identification value has been corrected, for example, by an operator's operation.
  • the image of the part corresponding to the location where the identification value has been corrected can be obtained by, for example, a worker drawing a line around the part of the image where the identification value has been corrected where numbers or scales have disappeared due to reflection or shadow on the display screen. is extracted.
  • the settings for the portion corresponding to the location where the identification value has been corrected are input to the terminal device 20 by, for example, an operator's operation.
  • the acquisition unit 11 acquires, from the terminal device 20, the settings of the portion corresponding to the location where the identification value has been corrected. Further, the setting of the portion corresponding to the location where the identification value has been corrected may be performed by an operator's operation via an input device (not shown) connected to the meter identification system 10.
  • the image of the part corresponding to the part where the identification value has been corrected can be obtained by, for example, having the operator select the block where the number or scale has disappeared from among the blocks obtained by dividing the image of the meter into a mesh shape. It may be extracted with Using the same method as in the case where the numbers or scales are not clear, the portions where the numbers or scale are unclear may be selected as the portions corresponding to the portions where the values have been modified.
  • the image generation unit 15 generates a learning image by using the image in which the identification unit 12 corrects the portion corresponding to the location where the identification value has been corrected, out of the image in which the value indicated by the meter was incorrectly identified. Good too. Correction of the portion corresponding to the portion where the identification value has been corrected refers to, for example, correcting a portion of an image of a meter that appears different from the meter display so that it appears normal. The correction is performed by an operator, for example. For example, in FIG. 4, if part of the "8" in "7.78" disappears and it looks like a "6", the operator who performs the correction can make it look like an "8” by filling in the disappeared part. do. Further, the image generation unit 15 may generate a learning image using an image in which the identification unit 12 misidentified the value indicated by the meter and an image taken of the same or similar type of meter.
  • the image generation unit 15 randomly selects any location on the image used to generate the learning image. Then, the image generation unit 15 generates a learning image by changing the selected location using the image of the portion corresponding to the location where the identification value has been corrected in the correction result. The image generation unit 15 generates a learning image by changing at least one of the brightness or chromaticity of the selected portion using the image of the portion corresponding to the portion where the identification value has been corrected in the correction result. Good too. For example, the image generation unit 15 may randomly select one of the locations where a number is displayed in the image used for generation, and change the selected location.
  • the image generation unit 15 generates more training images in which a part of the image corresponding to the higher digits is changed than training images in which a part of the image corresponding to the lower digits is changed in the meter image. May be generated. For example, when the identification result of the value indicated by the meter is incorrect, the image generation unit 15 generates learning images such that the larger the influence, the more images in which the portion corresponding to the number is changed. The image generation unit 15 selects the location to be changed, for example, so that higher digit numbers are selected more frequently than lower digit numbers. The image generation unit 15 may generate the learning image by changing the location selected by the operator's operation.
  • FIG. 6 is an example of an image of a numerical display meter with some of the numbers erased.
  • FIG. 7 is an example of an image of a meter when some of the numbers have not disappeared in the example of the image of FIG. 6.
  • the identification unit 12 may identify the value indicated by the meter as "7.76", for example.
  • the correction result acquisition unit 14 acquires, for example, a correction value “7.78” input by an operator's operation.
  • to correct the part corresponding to the part where the identification value has been corrected for example, in the example of the meter image in Fig. 6, by filling in the part where "8" is partially erased, it is possible to correct the part corresponding to the part where the identification value has been corrected.
  • An image is generated.
  • FIG. 8 shows an example of a learning image generated using the image of the disappearing part in the example of the meter image of FIG. 6.
  • the example of the learning image shown in FIG. 8 is an image generated by deleting a part of the leading "7" from "7.78".
  • a part of the "7" at the beginning of "7.78" is erased using the image of the part that is erased in the example of the meter image in FIG.
  • FIG. 9 is an example of an image of an analog display type meter in which part of the meter is unclear.
  • FIG. 10 is an example of a meter image when no blurring occurs in the display screen example of FIG. 9.
  • the example in FIG. 9 shows an example in which part of the image of the meter becomes unclear due to reflection on the surface of the meter.
  • the correction of the part corresponding to the part where the identification value has been corrected is done by the operator redrawing the unclear part in the meter image example in Figure 9 so that it looks like a clear meter image. It's okay.
  • FIG. 11 shows an example of a learning image generated using an image of an unclear portion in the example of the meter image of FIG. 9.
  • the updating unit 16 updates the identification model by learning the relationship between the learning image generated by the image generating unit 15 and the value indicated by the meter of the learning image.
  • the learning images may include images that have been incorrectly determined by the identification model.
  • the updating unit 16 learns the relationship between the image incorrectly identified by the identification model and the correction value. Further, the updating unit 16 executes learning for updating the identification model, for example, when the determining unit 17 determines that it is necessary to perform learning for updating the identification model.
  • the identification model is, for example, a learning model generated by deep learning using CNN (Convolutional Neural Network).
  • the machine learning algorithm that generates the discriminative model is not limited to deep learning using CNN.
  • the updating unit 16 updates the identification model using the same machine learning algorithm used to generate the identification model.
  • the updating unit 16 performs learning by using more learning images in which a part of the image corresponding to the upper digit is changed than in learning images in which a part of the image corresponding to the lower digit is changed. It's okay. For example, if the identification result of the value indicated by the meter is incorrect, the updating unit 16 may use for learning the more learning images in which the digits with greater influence are changed.
  • the determination unit 17 determines whether to perform learning to update the identification model based on preset criteria.
  • the criteria for determining whether or not to perform learning for updating the identification model is set, for example, depending on the purpose of the value indicated by the meter.
  • the criterion for determining whether or not to perform learning for updating the identification model is set using, for example, the date. That is, the criterion for determining whether or not to perform learning to update the identification model may be set such that learning is performed on a date corresponding to the meter measurement date or the closing date for monthly charge calculation. If there are multiple closing dates in calculating the monthly fee, the criteria for determining whether or not to perform learning for updating the identification model may be set using multiple dates.
  • the standard for determining whether or not to perform learning for updating the identification model is set using, for example, the day of the week.
  • the standard for determining whether or not to perform learning for updating the identification model may be set using a plurality of days of the week. For example, if the objects placed around the meter change depending on the day of the week, the criteria for determining whether or not to perform learning to update the discrimination model is such that the discrimination model is updated multiple times a week. may be set to .
  • the determination unit 17 determines whether to execute learning to update the identification model. It may be determined that it is unnecessary. Furthermore, when a criterion set using the date or day of the week is met, and the number of images whose values indicated by the meter have been corrected is less than the criterion, the determination unit 17 executes learning to update the identification model. may be determined to be unnecessary.
  • the criteria for determining whether or not to perform learning for updating the identification model is not limited to the date and day of the week, and may be set as appropriate.
  • the criterion for determining whether or not to perform learning to update the identification model may be set based on the number of images in which the value indicated by the meter has been corrected.
  • the determination unit 17 executes learning to update the identification model, for example, when the number of images whose value indicated by the meter has been corrected exceeds the standard. is determined to be necessary.
  • the storage unit 18 stores, for example, the image acquired by the acquisition unit 11 and the value indicated by the meter. When the value indicated by the meter is modified, the storage unit 18 stores, for example, the image acquired by the acquisition unit 11 and the corrected value of the value indicated by the meter. Furthermore, the storage unit 18 stores, for example, learning images generated by the image generation unit 15. The storage unit 18 stores, for example, the learning image generated by the image generation unit 15 and the value indicated by the meter of the learning image. Furthermore, the storage unit 18 stores, for example, an identification model. The storage unit 18 may store the date and time when the identification model was updated together with the identification model.
  • Each process performed by the meter identification system 10 described above may be performed in a distributed manner among a plurality of information processing devices connected to each other via a network. For example, the process of identifying the value indicated by the meter from the meter image using a discrimination model, the process of obtaining correction results, the process of generating a learning image, and the process of updating the discrimination model using the learning image. , may be performed in separate information processing devices. Further, the processing of acquiring the correction results and generating the learning image may be performed in yet another information processing device. Further, among the processes performed by the meter identification system 10 described above, a plurality of processes may be performed in the same information processing device. When processing is distributed to a plurality of information processing devices, how each process performed by the meter identification system 10 is arranged in the information processing devices can be set as appropriate.
  • the terminal device 20 obtains, for example, an image of the meter and an identification value that identifies the value indicated by the meter from the meter identification system 10. Then, the terminal device 20 outputs the meter image and the identification value to, for example, a display device (not shown).
  • the terminal device 20 receives, for example, a correction value of the identification value input by an operator's operation. Then, the terminal device 20 outputs, for example, a corrected value of the value indicated by the meter to the meter identification system 10. Further, the terminal device 20 receives, for example, an operation related to generation of a learning image input by an operator. Then, the terminal device 20 outputs, to the meter identification system 10, for example, the content of the received operation regarding the generation of the learning image.
  • the terminal device 20 is, for example, a personal computer, a tablet computer, or a smartphone.
  • the terminal device 20 is not limited to the above example. There may be a plurality of terminal devices 20. The number of terminal devices 20 may be set as appropriate.
  • the photographing device 30 includes, for example, a camera that photographs a meter image, and a communication function that transmits the image.
  • the photographing device 30 may be a smartphone with a camera, a mobile phone with a camera, or a tablet computer with a camera.
  • the photographing device 30 is not limited to the above example. There may be a plurality of photographing devices 30. The number of photographing devices 30 can be set as appropriate.
  • the photographing device 30 When the photographing device 30 is used in a fixed manner, the photographing device 30 is attached to, for example, a ceiling, a pillar, or a wall in a state in which the meter can be photographed.
  • the attachment location of the photographing device 30 is not limited to the above.
  • the photographing device 30 photographs a meter image at a preset timing. Then, the photographing device 30 outputs the photographed image to the meter identification system 10, for example.
  • the photographing device 30 may take an image of the meter under control from the outside.
  • the photographing device 30 When the photographing device 30 is portable, the photographing device 30 photographs an image of the meter, for example, when a worker performs a photographing operation. Then, the photographing device 30 outputs the photographed image to the meter identification system 10, for example. Further, the terminal device 20 and the photographing device 30 may be an integrated device.
  • FIG. 12 is a diagram showing an example of an operation flow when the meter identification system 10 identifies the value indicated by the meter.
  • the acquisition unit 11 acquires an image of the meter (step S11).
  • the identification unit 12 uses the identification model to identify the value indicated by the meter in the acquired image as an identification value (step S12).
  • the identification unit 12 stores the image of the meter and the identification value (step S13).
  • the identification unit 12 stores, for example, a meter identification number, a meter image, and an identification value in the storage unit 18.An operation performed when the meter identification system 10 updates an identification model will be described.
  • FIG. 13 is a diagram showing an example of an operation flow when the meter identification system 10 updates the identification model.
  • the output unit 13 outputs the image of the meter and the identification value identified by the identification unit 12 (step S21).
  • the output unit 13 outputs, for example, an image of the meter and the identification value to the terminal device 20.
  • the correction result acquisition unit 14 obtains a correction result obtained by correcting the identification value (step S23).
  • the correction result is a corrected value obtained by correcting the identification value identified using the identification model that identifies the value indicated by the meter as the identification value from the meter image.
  • the correction value of the identification value is input into the terminal device 20 by an operator's operation, for example.
  • the modification result acquisition unit 14 acquires the modification value of the identification value from the terminal device 20 .
  • the image generation unit 15 When the correction result is obtained, the image generation unit 15 generates an image in which a part of the meter image is changed as a learning image based on the image of the part corresponding to the part where the identification value has been corrected in the correction result. is generated (step S24).
  • step S25 If there is an image of a meter that has not been output and an identification value when the learning image is generated (Yes in step S25), the meter identification system 10 repeats the process from step S21.
  • the determination unit 17 determines whether the update conditions for the identification model are satisfied.
  • step S26 If the conditions for updating the identification model are satisfied (Yes in step S26), the updating unit 16 learns the relationship between the learning image and the value indicated by the meter of the learning image, and updates the identification model (step S27).
  • the updating unit 16 After updating the identification model, the updating unit 16 saves the updated identification model (step S28). For example, the updating unit 16 stores the updated identification model in association with the update date and time in the storage unit 18.
  • step S22 if the identification value is not corrected for the output identification value (No in step S22), and if there is another image of the meter (Yes in step S29), the meter identification The system 10 repeats the process from step S21.
  • step S22 if the identification value is not corrected with respect to the output identification value (No in step S22), and if there is no other image of the meter (No in step S29), the meter identification The system 10 ends the operation of updating the identification model.
  • step S26 if the conditions for updating the identification model are not satisfied (No in step S26), the meter identification system 10 ends the operation of updating the identification model.
  • the meter identification system 10 of the meter monitoring system of this embodiment generates a learning image using a portion of an image in which an error has occurred in identifying the value indicated by the meter. Then, the meter identification system 10 performs relearning using the generated learning image and updates the identification model. The meter identification system 10 can improve the accuracy of identifying the value indicated by the meter by identifying the value indicated by the meter in the meter image using the updated discrimination model.
  • the meter identification system 10 can use the generated learning images even if the number of errors in identification is small. , re-learning can be performed by securing the number of learning images of similar cases. Therefore, even if there are few cases of errors, the meter identification system 10 can further improve the accuracy of identifying the value indicated by the meter.
  • FIG. 14 is a diagram showing an example of the configuration of the meter identification system 100 of this embodiment.
  • the meter identification system 100 includes a correction result acquisition section 101, an image generation section 102, and an update section 103.
  • the modification result acquisition unit 101 acquires the modification result of modifying the identification value identified using the identification model that identifies the value indicated by the meter as the identification value from the meter image.
  • the image generation unit 102 generates, as a learning image, an image in which a part of the meter image is changed, based on an image of a portion corresponding to a portion whose value has been corrected in the correction result.
  • the updating unit 103 updates the identification model by learning the relationship between the generated learning image and the value indicated by the meter of the learning image.
  • the modification result acquisition unit 14 of the first embodiment is an example of the modification result acquisition unit 101. Further, the modification result acquisition unit 101 is one aspect of modification result acquisition means.
  • the image generation unit 15 of the first embodiment is an example of the image generation unit 102. Further, the image generation unit 102 is one aspect of image generation means.
  • the updating unit 16 of the first embodiment is an example of the updating unit 103. Further, the updating unit 103 is one aspect of updating means.
  • FIG. 12 is a diagram illustrating an example of the operation flow of the meter identification system 100.
  • the modification result acquisition unit 101 acquires the modification result of modifying the identification value identified using the identification model that identifies the value indicated by the meter as the identification value from the meter image (step S101).
  • the image generation unit 102 generates an image in which a part of the meter image is changed based on the image of the part corresponding to the part where the value has been corrected in the correction result. It is generated as a learning image (step S102).
  • the updating unit 103 updates the identification model by learning the relationship between the generated learning image and the value indicated by the meter of the learning image (step S103).
  • the meter identification system 100 of this embodiment generates a learning image based on an image of a portion corresponding to the corrected portion when the meter identification result is corrected. Then, the meter identification system 100 performs relearning using a learning image generated using a part of the image in which the error occurred, and updates the identification model. Therefore, the meter identification system 100 can improve the accuracy of identifying the value indicated by the meter by using the updated identification model.
  • FIG. 13 shows an example of the configuration of a computer 200 that executes a computer program that performs each process in the meter identification system 10 of the first embodiment and the meter identification system 100 of the second embodiment.
  • the computer 200 includes a CPU (Central Processing Unit) 201, a memory 202, a storage device 203, an input/output I/F (Interface) 204, and a communication I/F 205.
  • CPU Central Processing Unit
  • the CPU 201 reads computer programs for performing each process from the storage device 203 and executes them.
  • the CPU 201 may be configured by a combination of multiple CPUs. Further, the CPU 201 may be configured by a combination of a CPU and other types of processors. For example, the CPU 201 may be configured by a combination of a CPU and a GPU (Graphics Processing Unit).
  • the memory 202 is configured with a DRAM (Dynamic Random Access Memory) or the like, and temporarily stores computer programs executed by the CPU 201 and data being processed.
  • the storage device 203 stores computer programs executed by the CPU 201.
  • the storage device 203 is configured by, for example, a nonvolatile semiconductor storage device. Other storage devices such as a hard disk drive may be used as the storage device 203.
  • the input/output I/F 204 is an interface that receives input from a worker and outputs display data and the like.
  • the communication I/F 205 is an interface that transmits and receives data between the terminal device 20 and the photographing device 30. Further, the terminal device 20 may also have a similar configuration.
  • the computer program used to execute each process can also be stored and distributed in a computer-readable recording medium that non-temporarily records data.
  • a computer-readable recording medium for example, a magnetic tape for data recording or a magnetic disk such as a hard disk can be used.
  • an optical disc such as a CD-ROM (Compact Disc Read Only Memory) can also be used.
  • a nonvolatile semiconductor memory device may be used as the recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

メーター識別システムは、修正結果取得部と、画像生成部と、更新部を備える。修正結果取得部は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得する。画像生成部は、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する。更新部は、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する。

Description

メーター識別システム、メーター識別方法および記録媒体
　本発明は、メーター識別システム等に関する。
　メーターをカメラで撮影した画像から、画像認識によってメーターが示す値を識別することで、メーターの監視が行われることがある。このような、監視方法では、例えば、固定式または移動式のカメラを用いてメーターが撮影され、撮影された画像がネットワークを介して監視システムに送信される。そして、監視システムは、メーターが示す値を識別し、識別した値を記録することで、メーターの監視を行う。しかし、例えば、メーター上への影の発生、または表面の反射によって、画像認識によるメーターの読み取りに誤りが生じる場合がある。このため、画像認識による監視の精度を向上できることが望ましい。
　特許文献１の情報処理装置は、画像認識が失敗した場合に、ラベルの入力を受け付け、入力されたラベルを用い画像認識モデルの再学習を行う。
特開２０２１－５６９３９号公報
　特許文献１の情報処理装置は、画像識別を行う学習モデルの識別精度の向上が難しい場合がある。
　上記の課題を解決するため、メーターが示す値の識別精度を向上することができるメーター識別システム等を提供することを目的とする。
　上記の課題を解決するため、本発明のメーター識別システムは、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得する修正結果取得手段と、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する画像生成手段と、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する更新手段とを備える。
　本発明のメーター識別方法は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得し、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成し、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する。
　本発明の記録媒体は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得する処理と、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する処理と、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する処理とをコンピュータに実行させるメーター識別プログラムを非一時的に記録する。
　本発明によると、メーターが示す値の識別精度を向上することができる。
本発明の第１の実施形態の構成の一例を示す図である。 本発明の第１の実施形態においてメーターを撮影する動作を模式的に示す図である。 本発明の第１の実施形態のメーター識別システムの構成の例を示す図である。 本発明の第１の実施形態における表示画面の例を示す図である。 本発明の第１の実施形態における表示画面の例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーターの例を示す図である。 本発明の第１の実施形態のメーター識別システムの動作フローの例を示す図である。 本発明の第１の実施形態のメーター識別システムの動作フローの例を示す図である。 本発明の第２の実施形態のメーター識別システムの構成の例を示す図である。 本発明の第２の実施形態のメーター識別システムの動作フローの例を示す図である。 本発明の他の実施形態の構成の例を示す図である。
　（第1の実施形態）
　本発明の第１の実施形態について、図を参照して詳細に説明する。図１は、本実施形態のメーター監視システムの例を示す図である。一例として、メーター監視システムは、メーター識別システム１０と、端末装置２０と、撮影装置３０を備える。メーター識別システム１０は、ネットワークを介して、端末装置２０と接続する。また、メーター識別システム１０は、ネットワークを介して、撮影装置３０と接続する。
　メーター識別システム１０は、例えば、メーターを撮影した画像からメーターが示す値を識別するシステムである。識別する対象となるメーターは、例えば、装置の状態を監視するメーター、ガスメーター、電気メーター、または水道メーターである。識別する対象のメーターの例は、上記に限られない。メーターが示す値は、メーターによる計測値である。メーターが水道メーターである場合に、メーターが示す値は、例えば、水の流量の計測値である。
　図２は、メーターを撮影する動作を模式的に示す図である。図２の例のように、撮影装置３０は、例えば、作業者の操作によって、識別の対象となるメーターを撮影する。そして、撮影装置３０は、例えば、ネットワークを介してメーター識別システム１０に、撮影したメーターの画像を送信する。撮影装置３０は、メーターを撮影可能な位置に固定されていてもよい。撮影装置３０が固定されている場合に、撮影装置３０は、例えば、設定されている日時にメーターの画像を撮影する。撮影装置３０がメーターの撮影を行う日時は、メーターが示す値の用途に応じて設定される。
　メーター識別システム１０は、識別モデルを用いて、メーターを撮影した画像からメーターが示す値を識別値として識別する。識別モデルは、メーターを撮影した画像と、メーターが示す値との関係を学習することによって生成された学習済みモデルである。
　メーター識別システム１０は、識別結果が誤っていた場合に、識別値を修正する値を修正結果として取得する。メーターが示す値の識別の誤りは、例えば、メーターの表面の反射または影の写り込みによって、識別モデルがメーターの画像を正しく識別できない場合に生じる。識別値の修正は、例えば、メーターの画像と、識別値を作業者が比較することによって行われる。そして、メーター識別システム１０は、識別結果が誤っていた画像のうち、識別結果に影響を与えた部分の画像を用いて学習用画像を生成する。そして、メーター識別システム１０は、生成した学習用画像を用いて再学習を行うことで、識別モデルを更新する。メーター識別システム１０は、例えば、識別結果が誤っていた場合に、生成した学習用画像と、識別結果が誤っていた画像とを用いて、再学習を行う。
　メーター識別システム１０の構成について説明する。図３は、メーター識別システム１０の構成の例を示す図である。メーター識別システム１０は、取得部１１と、識別部１２と、出力部１３と、修正結果取得部１４と、画像生成部１５と、更新部１６と、判定部１７と、記憶部１８を備える。取得部１１と、識別部１２と、出力部１３は、例えば、識別モデルをもちいて、メーターを撮影した画像からメーターが示す値を識別値として識別する処理を行う。また、修正結果取得部１４と、画像生成部１５と、更新部１６と、判定部１７は、例えば、識別値が修正された画像を用いて学習用画像を生成し、生成した学習用画像を用いて識別モデルを更新する処理を行う。
　取得部１１は、メーターが示す値の識別対象となるメーターの画像を取得する。取得部１１は、例えば、撮影装置３０から、メーターを撮影した画像を取得する。取得部１１は、例えば、記憶部１８に、取得した画像を保存する。取得部１１は、例えば、画像とともに、画像を撮影した日時の情報を取得する。取得部１１は、画像とともに、撮影されているメーターの識別情報を取得してもよい。メーターの識別情報は、例えば、識別番号、名称、設置位置、計測対象の装置の名称、顧客名または顧客番号である。識別情報は、上記に限られない。また、メーターと撮影する撮影装置３０の関係が決まっている場合には、取得部１１は、メーターの識別情報として、撮影装置３０の識別情報を取得してもよい。
　取得部１１は、例えば、識別値が修正されたメーターの画像のうち、識別値が修正された箇所に対応する部分の設定情報を取得する。識別値が修正された箇所に対応する部分の設定情報は、例えば、作業者の操作によって端末装置２０に入力される。設定情報は、例えば、識別値が修正された画像において、識別値が修正された箇所に対応する部分の領域を示す情報である。設定情報は、識別値が修正された画像において、識別値が修正された箇所に対応する部分の輝度と、色度の少なくとも一方に関する情報であってもよい。
　識別部１２は、識別モデルを用いて、取得部１１が取得したメーターの画像からメーターが示す値を識別値として識別する。識別モデルは、メーターの画像から、画像に写っているメーターが示す値を識別値として識別する画像認識用の学習済みモデルである。識別部１２は、例えば、記憶部１８に、メーターの画像と、識別値を関連付けて保存する。メーターの画像に、メーターの識別情報と、撮影日時の情報が付加されている場合に、識別部１２は、例えば、メーターの画像と、識別値に、メーターの識別情報と、撮影日時の情報をさらに関連付けて保存する。
　識別モデルは、更新部１６によって更新される。同一の識別モデルについて更新された複数の識別モデルが保存されている場合に、識別部１２は、例えば、更新部１６によって更新された識別モデルのうち、最新の識別モデルを用いて、画像に写っているメーターが示す値を識別する。すなわち、識別部１２は、更新部１６によって更新された識別モデルのうち、更新からの時間が一番、短い識別モデルを用いて画像に写っているメーターが示す値を識別する。メーター識別システム１０において一度も更新を行っていない初期の識別モデルは、例えば、メーター識別システム１０の外部であらかじめ生成されている。一度も更新を行っていない初期の識別モデルは、メーター識別システム１０において生成されてもよい。
　識別部１２は、複数の識別モデルのうち、識別の対象となるメーターに応じた識別モデルを用いて、画像に写っているメーターが示す値を識別値として識別してもよい。識別部１２は、例えば、メーターの種類によって異なる識別モデルを用いて、画像に写っているメーターが示す値を識別する。識別部１２は、例えば、数値表示式のメーターと、アナログ表示式のメーターとでそれぞれ異なる識別モデルを用いて、画像に写っているメーターが示す値を識別する。数値表示式のメーターは、計測値を数字で示すメーターである。アナログ表示式のメーターは、可動式の針が目盛りを指すことで計測値を示すメーターである。すなわち、アナログ表示式のメーターは、指針式のメーターである。複数の識別モデルを用いる場合に、識別モデルが対象とするメーターの区分は、上記の例に限られない。
　出力部１３は、例えば、メーターの画像と、識別部１２が識別した識別値とを出力する。出力部１３は、例えば、端末装置２０に、メーターの画像と、識別部１２が識別した識別値とを出力する。出力部１３は、メーターの画像と、識別部１２が識別した識別値と、識別値の修正値の入力欄とを表示するデータを出力してもよい。また、出力部１３は、複数のメーターの画像と、メーターそれぞれが示す値とを出力してもよい。
　出力部１３は、識別部１２が識別した識別値が基準範囲外のメーターの画像と、識別値とを出力してもよい。出力部１３は、例えば、識別値メーターが取りうる値の範囲から大きく外れている場合に、識別値が基準範囲外であるとして、基準範囲外のメーターの画像と、識別値とを出力する。メーターが示す値の基準範囲は、例えば、識別が、監視対象が正常な場合において示すと想定される計測値の範囲を用いて設定される。出力部１３は、メーター識別システム１０に接続されている図示しない表示装置に、上記の各データを出力してもよい。
　修正結果取得部１４は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値の修正結果を取得する。修正結果取得部１４は、例えば、端末装置２０から、識別値の修正値を修正結果として取得する。識別値の修正値は、例えば、端末装置２０に端末装置２０を操作する人物によって修正結果として入力される。修正結果取得部１４は、例えば、記憶部１８に、識別値が修正されたメーターの画像と、取得した修正結果と関連付けて保存する。
　図４は、メーターの画像と、メーターが示す値を表示する表示画面の例を示す図である。図４の表示画面の例では、左側に数値表示式のメーターを撮影した画像が表示されている。図４の表示画面の例において、左側のメーターの画像は、例えば、メーターの表面の反射または影の写り込みによって、数字の一部が正常に写っていない状態である。図４の表示画面の例において、左側のメーターの画像は、メーターは、「７．７８」と表示しているものの、画像においては、「７．７６」のように見える状態になっている。
　また、図４の表示画面の例では、右側に、メーター名、日時、メーター値および修正値が表示されている。メーター名は、メーターを識別する情報である。メーターを識別する情報は、例えば、メーターの設置場所、メーターが監視を行っている装置、メーターに割り当てられている識別番号、顧客名または顧客番号である。日時は、例えば、メーターの画像が撮影された日時である。メーター値は、識別モデルによって識別された識別値である。修正値は、識別値を修正する修正値を修正結果として入力する入力欄である。また、図４の表示画面の例では、「修正」と、「次データ」のボタンが設定されている。「修正」のボタンは、例えば、修正値の入力欄に入力された値で修正値を決定するためのボタンである。「次データ」のボタンは、例えば、表示されているメーターについて識別値の確認が終わった場合に、他の画像と、他の画像の識別値を表示するためのボタンである。
　図５は、複数のメーターの画像と、識別部１２が識別した識別値とを表示する表示画面の例を示す。図５の表示画面の例では、左側に数値表示式と、アナログ表示式のメーターの画像が表示されている。また、図５の表示画面の例では、メーターの画像それぞれの識別値と、識別値の修正値の入力欄が表示されている。また、図５の表示画面の例では、「修正」と、「次データ」のボタンが設定されている。図５の表示画面の例では、例えば、修正値の入力欄に値が入力された状態で「修正」のボタンが押されると、修正値が入力されているメーターの画像について、識別値が「修正」される。また、図５の表示画面の例において、メーター名および日時がさらに表示されてもよい。また、図５の表示画面の例において、同一のメーターについて、複数の日時に撮影された画像と、識別値とを一覧として表示されてもよい。
　画像生成部１５は、メーターの画像の一部を変化させた画像を学習用画像として生成する。画像生成部１５は、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させる。画像生成部１５は、例えば、識別部１２が、メーターが示す値の識別を誤った画像を用いて、学習用画像を生成する。画像生成部１５は、例えば、記憶部１８に、生成した学習用画像を保存する。画像生成部１５は、例えば、記憶部１８に、生成した学習用画像と、学習用画像のメーターが示す値とを関連付けて保存する。学習用画像のメーターが示す値には、例えば、生成する際に用いた画像についてのメーターが示す値または作業者によって入力された値が用いられる。
　識別値が修正された箇所に対応する部分の画像は、例えば、作業者の操作によって、識別値が修正された画像から抽出される。識別値が修正された箇所に対応する部分の画像は、例えば、作業者が表示画面上で、識別値が修正された画像において反射または影によって数字または目盛りが消えている部分を線で囲うことで抽出される。識別値が修正されたメーターの画像のうち、識別値が修正された箇所に対応する部分の設定は、例えば、作業者の操作によって端末装置２０に入力される。そして、取得部１１は、端末装置２０から、識別値が修正された箇所に対応する部分の設定を取得する。また、識別値が修正された箇所に対応する部分の設定は、作業者の操作によって、メーター識別システム１０に接続された、図示しない入力装置を介して行われてもよい。
　識別値が修正された箇所に対応する部分の画像は、例えば、メーターが写った画像をメッシュ状に分割したブロックのうち、数字または目盛りが消えている部分のブロックを、作業者が選択することで抽出されてもよい。消えている場合と同様の方法を用いて、また、数字または目盛りが不鮮明な個所が、値が修正された箇所に対応する部分として選択されてもよい。
　画像生成部１５は、識別部１２が、メーターが示す値の識別を誤った画像のうち、識別値が修正された箇所に対応する部分を補正した画像を用いて、学習用画像を生成してもよい。識別値が修正された箇所に対応する部分の補正は、例えば、メーターを写した画像において、メーターの表示とは異なって見える箇所を、正常な表示に見えるように修正することをいう。補正は、例えば、作業者によって行われる。補正を行う作業者は、例えば、図４において、「７．７８」の「８」の一部が消えて「６」に見える場合に、消えて部分を塗りつぶすことによって「８」に見えるようにする。また、画像生成部１５は、識別部１２が、メーターが示す値の識別を誤った画像と、同一または同種のメーターを撮影した画像を用いて、学習用画像を生成してもよい。
　画像生成部１５は、例えば、学習用画像の生成に用いる画像上のいずれかの箇所をランダムに選択する。そして、画像生成部１５は、選択した個所を、修正結果において識別値が修正された箇所に対応する部分の画像を用いて変化させることで学習用画像を生成する。画像生成部１５は、選択した個所を、修正結果において識別値が修正された箇所に対応する部分の画像を用いて、輝度または色度の少なくとも一方を変化させることで学習用画像を生成してもよい。画像生成部１５は、例えば、生成に用いる画像のうち、数字が表示されている個所のいずれかの箇所をランダムに選択して、選択した個所を変化させてもよい。
　画像生成部１５は、メーターの画像において、下位の桁に対応する画像の一部を変化させた学習用画像よりも、上位の桁に対応する画像の一部を変化させた学習用画像を多く生成してもよい。画像生成部１５は、例えば、メーターが示す値の識別結果が誤っていた場合に、影響が大きい桁ほど数字に対応する部分を変化させた画像が多くなるように学習用画像を生成する。画像生成部１５は、例えば、下位の桁の数字よりも上位の桁の数字が選択される頻度が高くなるように、変化させる箇所を選択する。画像生成部１５は、作業者の操作によって選択された箇所を変化させて学習用画像を生成してもよい。
　図６は、数字の一部が消えている、数値表示式のメーターの画像の例である。図７は、図６の画像の例において、数字の一部が消えていなかった場合におけるメーターの画像の例である。図６のメーターの画像の例では、実際に表示されている値が「７．７８」であるのに対し、画像上で「８」の一部が消えている。このような場合に、識別部１２は、例えば、メーターが示す値を「７．７６」と識別する可能性がある。識別部１２が誤って識別した場合に、修正結果取得部１４は、例えば、作業者の操作によって入力される修正値「７．７８」を取得する。また、識別値が修正された箇所に対応する部分の補正では、図６のメーターの画像の例において、例えば、「８」の一部が消えている個所を塗りつぶすことによって図７の例のような画像が生成される。
　図８は、図６のメーターの画像の例において消えている部分の画像を用いて生成した学習用画像の例を示す。図８の学習用画像の例は、「７．７８」の先頭の「７」の一部を、消去して生成した画像を示す。図８の学習用画像の例では、図６のメーターの画像の例において消えている部分の画像を用いて、「７．７８」の先頭の「７」の一部が消去されている。
　図９は、メーターの一部が不鮮明な、アナログ表示式のメーターの画像の例である。図１０は、図９の表示画面の例において、不鮮明な状態が生じなかった場合におけるメーターの画像の例である。図９の例は、例えば、メーターの表面の反射によって、メーターの画像の一部が不鮮明になる例を示す。また、識別値が修正された箇所に対応する部分の補正は、図９のメーターの画像の例において、作業者が、不鮮明な個所を鮮明なメーターの画像に見えるように描きなおすことで行われてもよい。
　図１１は、図９のメーターの画像の例において不鮮明な部分の画像を用いて生成した学習用画像の例を示す。図９の学習用画像の例は、目盛り「１０」の付近が、図９のメーターの画像の例において不鮮明な部分の画像を用いて変更されている、
　更新部１６は、画像生成部１５が生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する。学習用画像には、識別モデルが判別を誤った画像が含まれていてもよい。識別モデルが判別を誤った画像が用いられる場合は、更新部１６は、識別モデルが判別を誤った画像と、修正値との関係を学習する。また、更新部１６は、例えば、判定部１７が識別モデルを更新する学習の実行が必要と判定した場合に、識別モデルを更新するための学習を実行する。
　識別モデルは、例えば、CNN（Convolutional Neural Network）を用いたディープラーニングによって生成された学習モデルである。識別モデルを生成する機械学習アルゴリズムは、ＣＮＮを用いたディープラーニングに限られない。更新部１６は、識別モデルの生成に用いられた機械学習アルゴリズムと同一の機械学習アルゴリズムを用いて識別モデルを更新する。
　更新部１６は、下位の桁に対応する画像の一部を変化させた学習用画像よりも、上位の桁に対応する画像の一部を変化させた学習用画像を多く用いて、学習を行ってもよい。更新部１６は、例えば、メーターが示す値の識別結果が誤っていた場合に、影響が大きい桁を変化させた学習用画像ほど多く学習に用いるようにしてもよい。
　判定部１７は、あらかじめ設定された基準に基づいて、識別モデルを更新する学習を実行するかを判定する。識別モデルを更新する学習の実行の要否を判定する基準は、例えば、メーターが示す値の用途に応じて設定される。メーターが示す値の用途が月額料金の算定である場合に、識別モデルを更新する学習の実行の要否を判定する基準は、例えば、日付を用いて設定される。すなわち、識別モデルを更新する学習の実行の要否を判定する基準は、メーターの計測日、または、月額料金の算定における締め日に応じた日に学習が行われるように設定され得る。月額料金の算定において複数の締め日がある場合には、識別モデルを更新する学習の実行の要否を判定する基準は、複数の日付を用いて設定されてもよい。メーターが示す値の用途が装置の稼働状態の監視である場合に、識別モデルを更新する学習の実行の要否を判定する基準は、例えば、曜日を用いて設定される。曜日を用いて基準を設定する場合に、識別モデルを更新する学習の実行の要否を判定する基準は、複数の曜日を用いて設定されてもよい。例えば、メーターの周囲に置かれている物体が曜日に応じて変わる場合に、識別モデルを更新する学習の実行の要否を判定する基準は、識別モデルの更新が週に複数回、行われるように設定されてもよい。また、日付または曜日を用いて設定されている基準を満たした際に、メーターが示す値が修正された画像が１つも無かった場合に、判定部１７は、識別モデルを更新する学習の実行は不要と判定してもよい。また、日付または曜日を用いて設定されている基準を満たした際に、メーターが示す値が修正された画像の数が基準未満の場合に、判定部１７は、識別モデルを更新する学習の実行は不要と判定してもよい。識別モデルを更新する学習の実行の要否を判定する基準は、日付および曜日に限られず、適宜、設定され得る。
　識別モデルを更新する学習の実行の要否を判定する基準は、メーターが示す値が修正された画像の数を基に設定されてもよい。画像の数を基に基準が設定されている場合に、判定部１７は、例えば、メーターが示す値が修正された画像の数が基準を超えている場合に、識別モデルを更新する学習の実行が必要と判定する。
　記憶部１８は、例えば、取得部１１が取得した画像と、メーターが示す値とを保存する。メーターが示す値が修正された場合に、記憶部１８は、例えば、取得部１１が取得した画像と、メーターが示す値の修正値とを保存する。また、記憶部１８は、例えば、画像生成部１５が生成した学習用画像を保存する。記憶部１８は、例えば、画像生成部１５が生成した学習用画像と、学習用画像のメーターが示す値とを保存する。また、記憶部１８は、例えば、識別モデルを保存する。記憶部１８は、識別モデルとともに識別モデルが更新された日時を保存してもよい。
　上記で説明したメーター識別システム１０が行う各処理は、ネットワークを介して互いに接続された複数の情報処理装置に分散されて行われてもよい。例えば、識別モデルを用いてメーターの画像からメーターが示す値を識別する処理と、修正結果を取得する処理および学習用画像を生成する処理と、学習用画像を用いて識別モデルを更新する処理は、それぞれ別の情報処理装置において行われてもよい。また、修正結果を取得および学習用画像を生成する処理は、さらに別の情報処理装置において行われてもよい。また、上記で説明したメーター識別システム１０が行う各処理のうち、複数の処理が同一の情報処理装置において行われてもよい。複数の情報処理装置に分散して処理を行う場合に、メーター識別システム１０が行う各処理を情報処理装置にどのように配置するかは、適宜、設定され得る。
　端末装置２０は、例えば、メーター識別システム１０から、メーターの画像と、メーターが示す値を識別した識別値を取得する。そして、端末装置２０は、例えば、図示しない表示装置に、メーターの画像と、識別値を出力する。
　端末装置２０は、例えば、作業者の操作によって入力される、識別値の修正値を受け付ける。そして、端末装置２０は、例えば、メーター識別システム１０に、メーターが示す値の修正値を出力する。また、端末装置２０は、例えば、作業者の操作によって入力される、学習用画像の生成に関する操作を受け付ける。そして、端末装置２０は、例えば、メーター識別システム１０に、受け付けた学習用画像の生成に関する操作の内容を出力する。
　端末装置２０は、例えば、パーソナルコンピュータ、タブレット型コンピュータ、またはスマートフォンである。端末装置２０は、上記の例に限られない。端末装置２０は、複数であってもよい。端末装置２０の数は、適宜、設定され得る。
　撮影装置３０は、例えば、メーターの画像を撮影するカメラと、画像を送信する通信機能を備える。撮影装置３０は、カメラ付きのスマートフォン、カメラ付きの携帯電話、またはカメラ付きのタブレット型コンピュータであってもよい。撮影装置３０は、上記の例に限られない。撮影装置３０は、複数であってもよい。撮影装置３０の数は、適宜、設定され得る。
　撮影装置３０が固定して用いられる場合に、撮影装置３０は、例えば、天井、柱または壁に、メーターを撮影可能な状態で取り付けられる。撮影装置３０の取り付け先は、上記に限られない。固定して用いられる場合に。撮影装置３０は、例えば、あらかじめ設定されたタイミングでメーターの画像を撮影する。そして、撮影装置３０は、例えば、メーター識別システム１０に、撮影した画像を出力する。撮影装置３０は、外部から制御によってメーターの画像を撮影してもよい。
　撮影装置３０が持ち運び式の場合に、撮影装置３０は、例えば、作業者が撮影の操作を行った時に、メーターの画像を撮影する。そして、撮影装置３０は、例えば、メーター識別システム１０に、撮影した画像を出力する。また、端末装置２０と、撮影装置３０は、一体の装置であってもよい。
　メーター識別システム１０が、メーターが示す値の識別を行う際の動作について説明する。図１２は、メーター識別システム１０が、メーターが示す値の識別を行う際の動作フローの例を示す図である。
　取得部１１は、メーターを撮影した画像を取得する（ステップＳ１１）。メーターを撮影した画像が取得されると、識別部１２は、識別モデルを用いて、取得した画像のメーターが示す値を識別値として識別する（ステップＳ１２）。メーターが示す値を識別すると、識別部１２は、メーターの画像と、識別値を保存する（ステップＳ１３）。識別部１２は、例えば、記憶部１８に、メーターの識別番号と、メーターの画像と、識別値を保存する
　メーター識別システム１０が識別モデルの更新を行う際の動作について説明する。図１３は、メーター識別システム１０が識別モデルの更新を行う際の動作フローの例を示す図である。
　出力部１３は、メーターを撮影した画像と、識別部１２が識別した識別値とを出力する（ステップＳ２１）。出力部１３は、例えば、端末装置２０に、メーターを撮影した画像と、識別値とを出力する。
　出力した識別値に対し、識別値の修正値が入力された場合（ステップＳ２２でＹｅｓ）、修正結果取得部１４は、識別値を修正した修正結果を取得する（ステップＳ２３）。修正結果は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正値である。識別値の修正値は、例えば、端末装置２０に、作業者の操作によって入力される。そして、修正結果取得部１４は、端末装置２０から、識別値の修正値を取得する。
　修正結果が取得されると、画像生成部１５は、修正結果において識別値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する（ステップＳ２４）。
　学習用画像を生成した際に、出力していないメーターの画像と、識別値がある場合（ステップＳ２５でＹｅｓ）、メーター識別システム１０は、ステップＳ２１から処理を繰り返す。
　学習用画像を生成した際に、メーターの画像と、識別値について出力を完了している場合（ステップＳ２５でＮｏ）、判定部１７は、識別モデルの更新条件を満たすかを判定する。
　識別モデルの更新条件を満たす場合（ステップＳ２６でＹｅｓ）、更新部１６は、学習用画像と、学習用画像のメーターが示す値との関係を学習し、識別モデルを更新する（ステップＳ２７）。
　識別モデルを更新すると、更新部１６は、更新した識別モデルを保存する（ステップＳ２８）。更新部１６は、例えば、記憶部１８に、更新した識別モデルと、更新日時を関連付けて保存する。
　また、ステップＳ２２において、出力した識別値に対し、識別値の修正が行われなかった場合において（ステップＳ２２でＮｏ）、他にメーターを撮影した画像がある場合（ステップＳ２９でＹｅｓ）、メーター識別システム１０は、ステップＳ２１からの処理を繰り返す。
　また、ステップＳ２２において、出力した識別値に対し、識別値の修正が行われなかった場合において（ステップＳ２２でＮｏ）、他にメーターを撮影した画像がない場合（ステップＳ２９でＮｏ）、メーター識別システム１０は、識別モデルの更新の動作を終了する。
　また、ステップＳ２６において、識別モデルの更新条件を満たさない場合（ステップＳ２６でＮｏ）、メーター識別システム１０は、識別モデルの更新の動作を終了する。
　本実施形態のメーター監視システムのメーター識別システム１０は、メーターが示す値の識別に誤りが生じた画像の一部分を用いて学習用画像を生成する。そして、メーター識別システム１０は、生成した学習用画像を用いて再学習を行い、識別モデルを更新する。メーター識別システム１０は、更新後の識別モデルを用いて、メーターの画像においてメーターが示す値を識別することで、メーターが示す値の識別精度を向上することができる。
　また、識別に誤りが生じた画像の一部を用いて生成した学習用画像を生成することで、メーター識別システム１０は、誤りが生じた数が少なくても、生成した学習用画像を用いて、同様の事例の学習用画像の数を確保して再学習を行うことができる。このため、誤りが生じた事例が少なくても、メーター識別システム１０は、メーターが示す値の識別精度をより向上することができる。
　（第２の実施形態）
　本発明の第２の実施形態について図を参照して詳細に説明する。図１４は、本実施形態のメーター識別システム１００の構成の例を示す図である。メーター識別システム１００は、修正結果取得部１０１と、画像生成部１０２と、更新部１０３を備える。
　修正結果取得部１０１は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得する。画像生成部１０２は、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する。更新部１０３は、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する。
　ここで、第１の実施形態の修正結果取得部１４は、修正結果取得部１０１の一例である。また、修正結果取得部１０１は、修正結果取得手段の一態様である。第１の実施形態の画像生成部１５は、画像生成部１０２の一例である。また、画像生成部１０２は、画像生成手段の一態様である。第１の実施形態の更新部１６は、更新部１０３の一例である。また、更新部１０３は、更新手段の一態様である。
　メーター識別システム１００の動作について説明する。図１２は、メーター識別システム１００の動作フローの例を示す図である。
　修正結果取得部１０１は、メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、識別値を修正した修正結果を取得する（ステップＳ１０１）。メーターが示す値の修正結果が取得されると、画像生成部１０２は、修正結果において値が修正された箇所に対応する部分の画像を基に、メーターの画像の一部を変化させた画像を学習用画像として生成する（ステップＳ１０２）。学習用画像が生成されると、更新部１０３は、生成した学習用画像と、学習用画像のメーターが示す値との関係を学習することによって、識別モデルを更新する（ステップＳ１０３）。
　本実施形態のメーター識別システム１００は、メーターの識別結果が修正された場合に、修正された箇所に対応する部分の画像を基に、学習用画像を生成する。そして、メーター識別システム１００は、誤りが生じた画像の一部を用いて生成した学習用画像を用いて再学習を行い、識別モデルを更新する。このため、メーター識別システム１００は、更新後の識別モデルを用いることで、メーターが示す値の識別精度を向上することができる。
　第１の実施形態のメーター識別システム１０および第２の実施形態のメーター識別システム１００における各処理は、コンピュータプログラムをコンピュータで実行することによって実現することができる。図１３は、第１の実施形態のメーター識別システム１０および第２の実施形態のメーター識別システム１００における各処理を行うコンピュータプログラムを実行するコンピュータ２００の構成の例を示したものである。コンピュータ２００は、ＣＰＵ（Central Processing Unit）２０１と、メモリ２０２と、記憶装置２０３と、入出力Ｉ／Ｆ（Interface）２０４と、通信Ｉ／Ｆ２０５を備える。
　ＣＰＵ２０１は、記憶装置２０３から各処理を行うコンピュータプログラムを読み出して実行する。ＣＰＵ２０１は、複数のＣＰＵの組み合わせによって構成されていてもよい。また、ＣＰＵ２０１は、ＣＰＵと他の種類のプロセッサの組み合わせによって構成されていてもよい。例えば、ＣＰＵ２０１は、ＣＰＵとＧＰＵ（Graphics Processing Unit）の組み合わせによって構成されていてもよい。メモリ２０２は、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成され、ＣＰＵ２０１が実行するコンピュータプログラムや処理中のデータが一時記憶される。記憶装置２０３は、ＣＰＵ２０１が実行するコンピュータプログラムを記憶している。記憶装置２０３は、例えば、不揮発性の半導体記憶装置によって構成されている。記憶装置２０３には、ハードディスクドライブ等の他の記憶装置が用いられてもよい。入出力Ｉ／Ｆ２０４は、作業者からの入力の受付および表示データ等の出力を行うインタフェースである。通信Ｉ／Ｆ２０５は、端末装置２０および撮影装置３０との間でデータの送受信を行うインタフェースである。また、端末装置２０も同様の構成としてもよい。
　各処理の実行に用いられるコンピュータプログラムは、データを非一時的に記録するコンピュータ読み取り可能な記録媒体に格納して頒布することもできる。記録媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記録媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）等の光ディスクを用いることもできる。不揮発性の半導体記憶装置を記録媒体として用いてもよい。
　以上、上述した実施形態を例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　１０　　メーター識別システム
　１１　　取得部
　１２　　識別部
　１３　　出力部
　１４　　修正結果取得部
　１５　　画像生成部
　１６　　更新部
　１７　　判定部
　１８　　記憶部
　２０　　端末装置
　３０　　撮影装置
　１００　　メーター識別システム
　１０１　　修正結果取得部
　１０２　画像生成部
　１０３　　更新部
　２００　　コンピュータ
　２０１　　ＣＰＵ
　２０２　　メモリ
　２０３　　記憶装置
　２０４　　入出力Ｉ／Ｆ
　２０５　　通信Ｉ／Ｆ

Claims (10)

  1. 　メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、前記識別値を修正した修正結果を取得する修正結果取得手段と、
    　前記修正結果において値が修正された箇所に対応する部分の画像を基に、前記メーターの画像の一部を変化させた画像を学習用画像として生成する画像生成手段と、
    　生成した前記学習用画像と、前記学習用画像のメーターが示す値との関係を学習することによって、前記識別モデルを更新する更新手段と
    　を備えるメーター識別システム。
  2. 　前記画像生成手段は、前記識別値が修正された画像において前記メーターが示す数字の一部が隠れている部分の画像を基に、前記メーターが示す数字の他の箇所が隠れている画像を前記学習用画像として生成する、
    　請求項１に記載のメーター識別システム。
  3. 　前記画像生成手段は、前記識別値が修正された画像において前記識別値が修正された箇所に対応する部分の画像の輝度または色度の少なくとも一方を基に、前記メーターの画像の一部を変化させた画像を学習用画像として生成する、
    　請求項１に記載のメーター識別システム。
  4. 　あらかじめ設定された基準に基づいて、前記識別モデルを更新する学習を実行するかを判定する判定手段をさらに備え、
    　前記更新手段は、前記判定手段が前記学習を実行すると判定した場合に、前記学習を実行して、前記識別モデルを更新する、
    　請求項１から３いずれかに記載のメーター識別システム。
  5. 　前記画像生成手段は、メーターの画像において、下位の桁に対応する画像の一部を変化させた前記学習用画像よりも、上位の桁に対応する画像の一部を変化させた前記学習用画像を多く生成する、
    　請求項１から４いずれかに記載のメーター識別システム。
  6. 　前記識別値を識別する対象となるメーターの画像を取得する取得手段と、
    　前記識別モデルを用いて、取得した前記メーターの画像からメーターが示す値を前記識別値として識別する識別手段と、
    　前記メーターの画像と、前記識別手段が識別した前記識別値とを出力する出力手段とをさらに備える、
    　請求項１から５いずれかに記載のメーター識別システム。
  7. 　前記出力手段は、前記識別モデルが識別した前記メーターが示す値が基準範囲外の前記メーターの画像と、前記メーターが示す値とを出力する、
    　請求項６に記載のメーター識別システム。
  8. 　前記出力手段は、複数のメーターの画像と、前記識別モデルが識別した前記複数のメーターそれぞれの識別値と、前記識別値の修正値の入力欄とを表示するデータを出力する、
    　請求項６または７に記載のメーター識別システム。
  9. 　メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、前記識別値を修正した修正結果を取得し、
    　前記修正結果において値が修正された箇所に対応する部分の画像を基に、前記メーターの画像の一部を変化させた画像を学習用画像として生成し、
    　生成した前記学習用画像と、生成した前記学習用画像のメーターが示す値との関係を学習することによって、前記識別モデルを更新する、
    　メーター識別方法。
  10. 　メーターの画像からメーターが示す値を識別値として識別する識別モデルを用いて識別された、前記識別値を修正した修正結果を取得する処理と、
    　前記修正結果において値が修正された箇所に対応する部分の画像を基に、前記メーターの画像の一部を変化させた画像を学習用画像として生成する処理と、
    　生成した前記学習用画像と、生成した前記学習用画像のメーターが示す値との関係を学習することによって、前記識別モデルを更新する処理と
    　をコンピュータに実行させるメーター識別プログラムを非一時的に記録する記録媒体。
PCT/JP2022/012631 2022-03-18 2022-03-18 メーター識別システム、メーター識別方法および記録媒体 WO2023175905A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012631 WO2023175905A1 (ja) 2022-03-18 2022-03-18 メーター識別システム、メーター識別方法および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/012631 WO2023175905A1 (ja) 2022-03-18 2022-03-18 メーター識別システム、メーター識別方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2023175905A1 true WO2023175905A1 (ja) 2023-09-21

Family

ID=88022669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/012631 WO2023175905A1 (ja) 2022-03-18 2022-03-18 メーター識別システム、メーター識別方法および記録媒体

Country Status (1)

Country Link
WO (1) WO2023175905A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109563A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2021092999A (ja) * 2019-12-11 2021-06-17 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理装置の制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109563A (ja) * 2017-12-15 2019-07-04 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
JP2021092999A (ja) * 2019-12-11 2021-06-17 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理装置の制御方法

Similar Documents

Publication Publication Date Title
CN106205459B (zh) 显示设备的校正方法及校正装置
US8483859B2 (en) Image processing device and image processing method
KR20090004348A (ko) 개인 식별 장치, 개인 식별 방법, 식별 사전 데이터의 갱신방법, 및 식별 사전 데이터의 갱신 프로그램
JP6091981B2 (ja) 月経開始予定日算出装置およびプログラム
JP2022179757A (ja) 設計公差の修正方法及び測定システム
KR101587018B1 (ko) 산점도에 기반하는 데이터 품질 측정 방법
US11243862B2 (en) Data processing method, data processing apparatus, and recording medium with data processing program recorded thereon
JPWO2020170486A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108717847B (zh) Dicom校准的方法、医疗显示装置及计算机存储介质
TW202111591A (zh) 配方資訊提示系統、配方錯誤推測系統
WO2023175905A1 (ja) メーター識別システム、メーター識別方法および記録媒体
JP6550371B2 (ja) 気圧記録複雑時計デバイス
JPWO2020059099A1 (ja) ラベル修正装置
US11112779B2 (en) Computer system and facility monitoring method
US12103169B2 (en) Abnormality diagnosis device and abnormality diagnosis method
JP2010146197A (ja) 管理図作成装置、及び管理図作成プログラム
US20220222580A1 (en) Deterioration detection method, non-transitory computer-readable storage medium, and information processing device
JP2005338451A (ja) 液晶表示装置のガンマ値取得方法及びそれを実現するガンマ値取得システム並びにそのガンマ値取得コンピュータとそれに用いられるプログラム
CN115953032A (zh) 一种基于数据分析的企业项目执行风险评估系统
JP7164008B2 (ja) データ生成方法、データ生成装置及びプログラム
JPWO2021100191A5 (ja)
JP5985080B2 (ja) グラフ生成装置、グラフ表示装置、グラフ生成プログラムおよびグラフ表示プログラム
CN111579102A (zh) 基于app应用模块的体温上报管理方法
CN114341932A (zh) 用于对机械的钟表的调节进行辅助的方法和系统
US11119716B2 (en) Display system, machine learning device, and display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22932178

Country of ref document: EP

Kind code of ref document: A1