WO2020170291A1 - メータ検出装置、メータ検出方法、及びメータ検出プログラム - Google Patents

メータ検出装置、メータ検出方法、及びメータ検出プログラム Download PDF

Info

Publication number
WO2020170291A1
WO2020170291A1 PCT/JP2019/005759 JP2019005759W WO2020170291A1 WO 2020170291 A1 WO2020170291 A1 WO 2020170291A1 JP 2019005759 W JP2019005759 W JP 2019005759W WO 2020170291 A1 WO2020170291 A1 WO 2020170291A1
Authority
WO
WIPO (PCT)
Prior art keywords
meter
image
region
detection
unit
Prior art date
Application number
PCT/JP2019/005759
Other languages
English (en)
French (fr)
Inventor
隆博 加島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020572579A priority Critical patent/JP6847337B2/ja
Priority to PCT/JP2019/005759 priority patent/WO2020170291A1/ja
Publication of WO2020170291A1 publication Critical patent/WO2020170291A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00Electric signal transmission systems
    • G08C19/36Electric signal transmission systems using optical means to covert the input signal

Definitions

  • the present invention relates to a meter detection device, a meter detection method, and a meter detection program.
  • the building is equipped with a meter.
  • the meter is an electric meter, a gas meter, or the like.
  • an information processing device that extracts a partial image in which a meter is reflected from an image and specifies the value of the meter in the partial image (see Patent Document 1).
  • the device wants to detect whether or not the meter in the image is the detection target meter. For example, the device compares the shape of the meter in the image with the shape of the detection target meter to detect whether the meter in the image is the detection target meter. However, in the comparison, meters of similar models but different models are detected as the detection target meters. In this way, it is a problem that different types of meters are detected as the detection target meters.
  • the purpose of the present invention is to detect meters of the same model.
  • a meter detection device determines an area in which the first meter exists in the image based on an image acquisition unit that acquires an image obtained by capturing an image of the first meter and a feature amount in the image. Based on the area detection unit that detects the meter area shown, the characteristic area information that is the information of the characteristic area that is the area showing the characteristics in the detection target meter, and the image information in the meter area, the first meter is A meter detection unit that detects whether or not the meter is the detection target meter.
  • meters of the same model can be detected.
  • FIG. 3 is a functional block diagram showing the configuration of the meter detection device of the first embodiment.
  • FIG. 3 is a diagram showing a hardware configuration of the meter detection device according to the first embodiment.
  • FIG. 5 is a diagram showing a specific example of a meter model table according to the first embodiment.
  • FIG. 6 is a diagram showing a specific example of a different area according to the first embodiment. 6 is a flowchart (part 1) showing a process executed by the meter detection device according to the first embodiment. 6 is a flowchart (No. 2) showing processing executed by the meter detection device according to the first embodiment.
  • FIG. 5 is a diagram for explaining a movable region of the needle according to the first embodiment.
  • FIG. 4 is a diagram showing an example of a histogram according to the first embodiment.
  • 6 is a diagram showing a hardware configuration of a meter detection device according to a second embodiment.
  • FIG. 7 is a functional block diagram showing a configuration of a meter detection device according to a second embodiment.
  • FIG. 9 is a flowchart (part 1) showing a process executed by the meter detection device according to the second embodiment. 9 is a flowchart (No. 2) showing processing executed by the meter detection device according to the second embodiment.
  • FIG. 9 is a functional block diagram showing a configuration of a meter detection device according to a third embodiment. It is a figure which shows the specific example of the meter model table of Embodiment 3. It is a figure which shows the specific example of the meter model table of Embodiment 4.
  • FIG. 1 is a functional block diagram showing the configuration of the meter detection device according to the first embodiment.
  • the meter detection device 100 is a device that executes a meter detection method. Here, the hardware included in the meter detection device 100 will be described.
  • FIG. 2 is a diagram showing a hardware configuration of the meter detection device according to the first embodiment.
  • the meter detection device 100 includes a processor 101, a volatile storage device 102, and a non-volatile storage device 103.
  • the processor 101, the volatile storage device 102, and the non-volatile storage device 103 are connected by a bus.
  • the processor 101 controls the entire meter detection device 100.
  • the processor 101 is a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), or the like.
  • the processor 101 may be a multiprocessor.
  • the meter detection device 100 may be realized by a processing circuit, or may be realized by software, firmware or a combination thereof.
  • the processing circuit may be a single circuit or a composite circuit.
  • the volatile storage device 102 is a main storage device of the meter detection device 100.
  • the volatile storage device 102 is a RAM (Random Access Memory).
  • the non-volatile storage device 103 is an auxiliary storage device of the meter detection device 100.
  • the nonvolatile storage device 103 is a ROM (Read Only Memory), an HDD (Hard Disk Drive), or an SSD (Solid State Drive).
  • the meter detection device 100 includes a storage unit 110, a model designation unit 120, a difference extraction unit 130, an image acquisition unit 140, an area detection unit 150, a meter detection unit 160, a numerical value reading unit 170, and an output unit 180.
  • the storage unit 110 may be realized as a storage area secured in the volatile storage device 102 or the non-volatile storage device 103.
  • a part or all of the model designation unit 120, the difference extraction unit 130, the image acquisition unit 140, the area detection unit 150, the meter detection unit 160, the numerical value reading unit 170, and the output unit 180 may be realized by the processor 101.
  • Part or all of the model designation unit 120, the difference extraction unit 130, the image acquisition unit 140, the area detection unit 150, the meter detection unit 160, the numerical value reading unit 170, and the output unit 180 are modules of a program executed by the processor 101. May be realized.
  • the program executed by the processor 101 is also called a meter detection program.
  • the meter detection program is recorded on a recording medium.
  • the storage unit 110 stores the image obtained by the imaging device imaging the meter.
  • the meter is also referred to as a first meter.
  • the imaging device may be included in the meter detection device 100 as described later. Further, the imaging device may be an imaging device connectable to the meter detection device 100. When the image pickup apparatus is connected to the meter detection apparatus 100, the image pickup apparatus may be connected to the meter detection apparatus 100 using USB (Universal Serial Bus) or IEEE 1394. Further, the imaging device may be connected to the meter detection device 100 via the Internet.
  • USB Universal Serial Bus
  • the storage unit 110 may also store an image in which the meter is not shown.
  • the image stored in the storage unit 110 is expressed as a camera image.
  • the camera image is data that constitutes a plurality of pixels. Further, the camera image is expressed in RGB (Red Green Blue) or gray scale.
  • the storage unit 110 also stores a meter model table.
  • the meter model table will be described.
  • FIG. 3 is a diagram showing a specific example of the meter model table according to the first embodiment.
  • the meter model table 111 is stored in the storage unit 110.
  • the meter model table 111 has items of model ID (identifier), template image, minimum value, maximum value, minimum angle, maximum angle, needle area distance, and needle area width.
  • the item of model ID indicates an identifier for distinguishing the model.
  • the model is a set of meters having the same appearance on the display surface of the meter. However, small differences such as moving parts such as the needle of the meter or engraving of the serial number shall be ignored. That is, a plurality of meters having almost the same type, shape, and size of meters and almost no difference in display surface are of the same model.
  • the item of template image indicates a template image.
  • the template image is an image obtained by imaging the meter.
  • the template image has the same file format as the camera image.
  • the item of minimum value shows the minimum value of the meter in the template image.
  • the item of maximum value indicates the maximum value of the meter in the template image.
  • the item of the minimum angle indicates the minimum angle.
  • the minimum angle is an angle corresponding to the minimum value based on a predetermined reference line.
  • the item of maximum angle indicates the maximum angle.
  • the maximum angle is an angle corresponding to the maximum value based on a predetermined reference line.
  • the item of the needle area distance indicates the needle area distance.
  • the item of the needle area width indicates the needle area width.
  • the meter model table 111 may have items other than the above items.
  • the meter model table 111 further has an item of unit of meter.
  • the model designation unit 120 designates the model ID of the detection target meter.
  • the difference extraction unit 130 compares the template image of the model ID designated by the model designation unit 120 with the template images other than the template image included in the meter model table 111. Template images other than the template image included in the meter model table 111 are expressed as comparison target template images. For example, the difference extraction unit 130 performs the comparison as follows.
  • the template image of the model ID designated by the model designation unit 120 is the template image of ID_1.
  • the template image to be compared is the template image of ID_2.
  • the difference extraction unit 130 compares the template image of ID_1 and the template image of ID_2.
  • the difference extraction unit 130 extracts a region in which the template image of the model ID designated by the model designation unit 120 is different from the template image of the comparison target.
  • the area is expressed as a difference area.
  • FIG. 4 is a diagram showing a specific example of the different area according to the first embodiment.
  • the different areas are indicated by arrows and rectangles.
  • the rectangular area indicated by the arrow 200 is a different area.
  • the different area is a characteristic area that is an area showing a characteristic.
  • the image acquisition unit 140 acquires the camera image stored in the storage unit 110.
  • the area detection unit 150 detects an area in the camera image where the meter is present, based on the characteristic amount in the camera image. Further, the area detection unit 150 may calculate the meter area based on the correspondence relationship between the feature amount in the camera image and the feature amount in the template image of the model ID designated by the model designation unit 120. The processing of the area detection unit 150 will be described in detail later. Note that, hereinafter, the area in which the meter exists is referred to as a meter area.
  • the meter detection unit 160 detects whether or not the meter in the camera image is a detection target meter based on the characteristic area information and the image information in the meter area.
  • the characteristic region information is information on a characteristic region that is a region indicating a characteristic in the detection target meter.
  • the information on the characteristic region is a different region corresponding to the model ID designated by the model designation unit 120.
  • the characteristic region information may be expressed as information of a characteristic region that is a region indicating the characteristic of the display surface of the detection target meter.
  • the meter detection unit 160 detects whether or not the meter in the camera image is a detection target meter as follows.
  • the characteristic region information includes position information indicating the position of the characteristic region and a plurality of pixel values corresponding to the characteristic region.
  • the meter detection unit 160 specifies the area corresponding to the characteristic area from the meter area based on the position information.
  • the meter detection unit 160 based on a plurality of pixel values of a plurality of pixels indicating a specific area that is a specified area and a plurality of pixel values corresponding to the characteristic area, the meter in the camera image is a detection target meter. Detect whether or not.
  • the meter detection unit 160 detects that the meter in the camera image is the detection target meter, the meter detection unit 160 confirms that the meter in the camera image is the same model as the meter of the model ID designated by the model designation unit 120. Can be detected.
  • the numerical reading unit 170 is based on a predetermined reference line based on the brightness value of the portion indicating the needle present in the meter area. Detect the angle corresponding to the needle. The numerical reading unit 170 determines the meter indicated by the needle based on the minimum value of the detection target meter, the maximum value of the detection target meter, the minimum angle corresponding to the minimum value, the maximum angle corresponding to the maximum value, and the angle corresponding to the needle. Calculate the value. In this way, the numerical reading unit 170 reads the meter value indicated by the meter needle present in the camera image.
  • the output unit 180 outputs the read meter value.
  • the output unit 180 may output the detection result.
  • the output unit 180 outputs that the meter existing in the camera image is the detection target meter. Further, for example, the output unit 180 outputs that the meter existing in the camera image is not the detection target meter. This allows the user to recognize whether or not the meter existing in the camera image is the detection target meter.
  • the output unit 180 may output the detection result to the display. Further, for example, the output unit 180 may output the detection result by voice. Further, for example, the output unit 180 may output the detection result to another device. Further, for example, the output unit 180 may output the detection result on a paper medium.
  • FIG. 5 is a flowchart (No. 1) showing a process executed by the meter detection device according to the first embodiment.
  • the model designation unit 120 designates a model ID.
  • the model designation unit 120 designates the model ID input by the user to the meter detection device 100.
  • the model designation unit 120 designates the model ID designated by the user from the model ID list displayed on the meter detection device 100.
  • the model designation unit 120 specifies the model ID based on the inspection order information.
  • the model designation unit 120 may designate the model ID designated by a device connectable to the meter detection device 100. The device is not shown.
  • the difference extraction unit 130 refers to the meter model table 111 and identifies the template image of the model ID designated by the model designation unit 120.
  • the difference extracting unit 130 compares the template image of the designated model ID with the template image of the comparison target included in the meter model table 111. As a result, the difference extraction unit 130 extracts the difference area.
  • the template image of the model ID designated by the model designation unit 120 is expressed as a designated template image.
  • the difference extracting unit 130 compares the designated template image with the comparison target template image on a pixel-by-pixel basis.
  • the difference extracting unit 130 sets a pixel having a pixel value difference larger than a predetermined threshold as a difference area. It can be said that the different area is the characteristic area of the meter indicated by the designated template image. For example, it is assumed that ten types of model IDs are registered in the meter type table 111.
  • Pixel values of the nine types of comparison target template images are almost the same value, and a pixel in which the difference between the pixel value of one type of specified template image and the pixel value of nine types of comparison target template images is larger than the threshold is Can be said.
  • the pixel having the pixel value of the designated template image cannot be said to be a characteristic region.
  • the difference extraction unit 130 does not have to perform comparison on a pixel-by-pixel basis. For example, the difference extraction unit 130 may compare in units of 16 ⁇ 16 pixels. Then, the difference extraction unit 130 calculates the difference between the total pixel value of each pixel value of 16 ⁇ 16 pixels of the designated template image and the total pixel value of each pixel value of 16 ⁇ 16 pixels of the template image to be compared. When the difference is larger than a predetermined threshold value, the difference extraction unit 130 sets 16 ⁇ 16 pixels of the designated template image as the difference area.
  • the difference extraction unit 130 can extract the characteristic region of the meter indicated by the designated template image by extracting the difference region.
  • the characteristic area is characteristic area information.
  • the characteristic region is assumed to include a plurality of pixels.
  • Step S13 The image acquisition unit 140 acquires a camera image from the storage unit 110.
  • Step S14 The area detection unit 150 extracts a plurality of feature points of the camera image.
  • the area detection unit 150 calculates the feature amount of each of the extracted feature points.
  • the feature amount calculated from the feature points is expressed as a local feature amount.
  • the respective feature amounts of the plurality of feature points are expressed as a list of local feature amounts of the camera image.
  • SIFT Scale-invariant feature transform
  • SURF Speed up robust features
  • ORB Oriented FAST and rotated BRIEF
  • KARE KARE
  • the area detection unit 150 extracts a plurality of feature points of the designated template image.
  • the area detection unit 150 calculates the local feature amount of each of the extracted feature points.
  • each feature amount of the plurality of feature points is expressed as a local feature amount list of the designated template image.
  • the list of local features of the designated template image may be registered in the meter model table 111 in advance.
  • Step S15 The area detection unit 150 compares the local feature amount list of the camera image with the local feature amount list of the designated template image, and determines each of the plurality of feature points of the camera image and the plurality of feature points of the designated template image. Determine the correspondence with each.
  • the correspondence is obtained by the distance between the local feature quantities.
  • the local feature amount can be compared with other local feature amounts, and a value called a distance representing the similarity between the local feature amounts can be calculated by the comparison. It means that the smaller the distance value is, the more similar the two local feature amounts are, and the larger the distance value is, the less similar the two local feature amounts are.
  • the local feature amounts of the designated template image are compared one by one to calculate the distance, and the local feature amount of the designated template image having the smallest distance value is obtained. Thereby, the correspondence between the local feature amount of the camera image and the local feature amount of the designated template image is obtained.
  • the above-described method of calculating the correspondence relationship is a method of brute force, and is an example. For example, a nearest neighbor search method using a kd tree may be used.
  • FIG. 6 is a flowchart (No. 2) showing the processing executed by the meter detection device according to the first embodiment.
  • Step S21 The area detection unit 150 determines whether the total value or the average value of the distances calculated for all the correspondences is less than or equal to a predetermined threshold value. When the total value or average value of the distances is equal to or less than the threshold value, the area detection unit 150 determines that the meter exists in the camera image. That is, the area detection unit 150 detects the meter in the camera image. Then, the area detection unit 150 advances the processing to step S22. When the total value or average value of the distances exceeds the threshold value, the area detection unit 150 determines that the meter does not exist in the camera image. Then, the area detection unit 150 ends the process.
  • the area detection unit 150 calculates the meter area based on the correspondence between the local feature amount of the camera image and the local feature amount of the designated template image obtained in step S15.
  • the area detection unit 150 calculates a 3 ⁇ 3 matrix called a projective transformation matrix by the least square method in order to calculate the meter area.
  • This projective transformation matrix transforms the coordinate system of the designated template image into the coordinate system of the area of the meter shown in the camera image. Therefore, this projective transformation matrix can specify the meter area shown in the camera image. Since the correspondence may include outliers, a method called Random sample consensus (RANSAC) may be applied to exclude the outliers. Thereby, the area detection unit 150 detects the meter area.
  • Random sample consensus Random sample consensus
  • Step S23 The area detection unit 150 converts the coordinate system of the camera image into the coordinate system of the specified template image based on the correspondence between the characteristic points of the camera image and the characteristic points of the specified template image. In the conversion, the area detection unit 150 uses the projective conversion matrix calculated in step S22. In this way, the area detection unit 150 uses the projective transformation matrix to generate a meter image that is a camera image transformed into the coordinate system of the designated template image.
  • the area detection unit 150 may not generate the meter image.
  • the area detection unit 150 stores the projective transformation matrix in the storage unit 110. Then, when referring to the meter area of the camera image, the area detection unit 150 may refer to the meter area of the camera image converted into the coordinate system of the designated template image using the projective transformation matrix. In addition, the area detection unit 150 may end the process when there is an abnormality such that the shape of the meter area is not convex.
  • Step S24 The meter detection unit 160 identifies a region corresponding to the characteristic region from the meter image based on the position information indicating the position of the characteristic region of the meter indicated by the designated template image.
  • the specified area is expressed as a specific area of the meter image.
  • the characteristic region of the designated model ID is the characteristic region of the meter to be detected.
  • the meter detection unit 160 compares the characteristic area of the meter to be detected with the specific area of the meter image. Then, the meter detection unit 160 determines whether the difference between the total value of the pixel values of the characteristic area of the detection target meter and the total value of the pixel values of the specific area of the meter image is equal to or less than a predetermined threshold value. judge. If the difference is less than or equal to the threshold, the meter detection unit 160 advances the process to step S25. When the difference exceeds the threshold, the meter detection unit 160 ends the process.
  • the meter detection unit 160 executes the following processing.
  • the meter detection unit 160 determines, for each characteristic region, whether the difference between the total value of the pixel values of the characteristic region of the detection target meter and the total value of the pixel values of the specific region of the meter image is less than or equal to a threshold value. To do.
  • the meter detection unit 160 advances the process to step S25.
  • the meter detection unit 160 ends the process.
  • the meter detection unit 160 may determine whether the difference between the average value of the pixel values of the characteristic area of the detection target meter and the average value of the pixel values of the specific area of the meter image is less than or equal to a threshold value. Good. If the difference is less than or equal to the threshold, the meter detection unit 160 advances the process to step S25. When the difference exceeds the threshold, the meter detection unit 160 ends the process.
  • the meter detection unit 160 executes the following processing.
  • the meter detection unit 160 determines, for each characteristic region, whether the difference between the average value of the pixel values of the characteristic region of the detection target meter and the average value of the pixel values of the specific region of the meter image is less than or equal to a threshold value. To do.
  • the meter detection unit 160 advances the process to step S25.
  • the meter detection unit 160 ends the process.
  • the meter detection unit 160 may calculate a correlation coefficient between each pixel in the characteristic region of the detection target meter and each pixel in the specific region of the meter image. Then, when the correlation coefficient is equal to or larger than the threshold value, the meter detection unit 160 advances the process to step S25. When the correlation coefficient is smaller than the threshold value, the meter detection unit 160 ends the process.
  • the meter detection unit 160 detects that the meter in the camera image is not the detection target meter.
  • Step S25 The meter detection unit 160 detects that the meter existing in the camera image is the detection target meter. Further, for example, when the model ID designated by the model designation unit 120 is ID_1, the meter detection unit 160 can detect that the meter in the camera image is ID_1 of the model ID.
  • Step S26 The numerical reading unit 170 generates a histogram based on the movable region of the needle in the meter image. Here, the movable region of the needle will be described.
  • FIG. 7 is a diagram for explaining the movable region of the needle according to the first embodiment.
  • FIG. 7 shows a meter image.
  • Arrow 301 indicates the minimum angle.
  • Arrow 302 indicates the maximum angle.
  • the angle is defined clockwise with reference to the reference line 300. However, the angle may be defined in other definitions.
  • the needle area distance 303 indicates the needle area distance.
  • the needle area distance is the distance from the center of the meter to the root of the needle.
  • the needle area width 304 indicates the needle area width.
  • the needle area width is the length of the needle.
  • the needle area distance and the needle area width may be defined by the number of pixels of the meter image. Further, the needle area distance and the needle area width may be defined as a ratio with respect to the size of the meter image.
  • the movable area 305 indicates the movable area of the needle.
  • the movable region 305 is a region in the range from the minimum angle to the maximum angle.
  • FIG. 8 is a diagram showing an example of the histogram according to the first embodiment.
  • the horizontal axis represents the angle of the movable area 305.
  • the vertical axis represents the brightness of the pixel at each angle. Note that the number of bins in the histogram is arbitrary. In this way, the numerical reading unit 170 generates a histogram based on the movable area of the needle in the meter image.
  • the numerical reading unit 170 calculates the meter value indicated by the needle in the meter image based on the histogram. For example, when the meter needle is black and the background is white, the numerical reading unit 170 detects the bin with the lowest brightness in the histogram. That is, when the meter needle is black, the brightness of the needle is lowest. Therefore, the numerical reading unit 170 detects the bin with the lowest brightness in the histogram. Note that the detected bin angle is the angle corresponding to the needle in the meter image.
  • the meter detection device 100 determines whether or not the meter in the camera image is the detection target meter by using the characteristic region in the detection target meter, and determines whether the meter in the camera image is detected based on the determination result. It is possible to detect that the meter is a detection target meter. That is, the meter detection device 100 can detect that the meter in the camera image is the same model as the detection target meter. Therefore, the meter detection device 100 can detect meters of the same model.
  • the meter detection device 100 compares the characteristic area of the detection target meter with the specific area of the meter image. That is, the meter detection device 100 does not compare the entire area in the detection target meter with the meter area in the camera image. Therefore, the meter detection device 100 can reduce the processing load.
  • Embodiment 2 Next, a second embodiment will be described. In the second embodiment, matters different from the first embodiment will be mainly described, and descriptions of matters common to the first embodiment will be omitted. Embodiment 2 refers to FIGS. 1 to 8.
  • FIG. 9 is a diagram showing a hardware configuration of the meter detection device according to the second embodiment.
  • the meter detection device 100 further includes an imaging device 104.
  • the imaging device 104 has a lens and a sensor.
  • the imaging device 104 images the meter. 9 that is the same as the configuration shown in FIG. 2 is assigned the same reference numeral as that shown in FIG.
  • FIG. 10 is a functional block diagram showing the configuration of the meter detection device according to the second embodiment.
  • the meter detection device 100 further includes an imaging unit 190. A part or all of the imaging unit 190 may be realized by the imaging device 104.
  • the image capturing unit 190 generates a camera image.
  • the imaging unit 190 stores the camera image in the storage unit 110. 10 that are the same as the configurations shown in FIG. 1 are assigned the same reference numerals as the reference numerals shown in FIG.
  • FIG. 11 is a flowchart (No. 1) showing a process executed by the meter detection device according to the second embodiment.
  • the process of FIG. 11 differs from the process of FIG. 5 in that step S12a is executed. Therefore, in FIG. 11, step S12a will be described.
  • the other steps in FIG. 11 are assigned the same numbers as the step numbers in FIG. 5, and the description of the process is omitted.
  • Step S12a The imaging unit 190 generates a camera image.
  • the imaging unit 190 stores the camera image in the storage unit 110.
  • FIG. 12 is a flowchart (part 2) showing the processing executed by the meter detection device according to the second embodiment.
  • the process of FIG. 12 differs from the process of FIG. 6 in that steps S21a and S24a are executed. Therefore, in FIG. 12, steps S21a and S24a will be described.
  • the other steps in FIG. 12 are assigned the same numbers as the step numbers in FIG. 6 to omit the description of the processing.
  • Step S21a The area detection unit 150 determines whether the total value or the average value of the distances calculated for all the correspondences is less than or equal to a predetermined threshold value. When the total value or average value of the distances is equal to or less than the threshold value, the area detection unit 150 determines that the meter exists in the camera image. That is, the area detection unit 150 detects the meter in the camera image. Then, the area detection unit 150 advances the processing to step S22.
  • the area detection unit 150 determines that the meter does not exist in the camera image. Then, the area detection unit 150 advances the processing to step S12a.
  • Step S24a The meter detection unit 160 identifies, from the meter image, a region corresponding to the characteristic region of the model ID designated by the model designation unit 120.
  • the meter detection unit 160 compares the characteristic area of the detection target meter with the specific area of the meter image. Then, the meter detection unit 160 determines whether the difference between the total value of the pixel values of the characteristic area of the detection target meter and the total value of the pixel values of the specific area of the meter image is equal to or less than a predetermined threshold value. judge. If the difference is less than or equal to the threshold, the meter detection unit 160 advances the process to step S25. When the difference exceeds the threshold, the meter detection unit 160 advances the process to step S12a.
  • the meter detection unit 160 executes the following processing.
  • the meter detection unit 160 determines, for each characteristic region, whether the difference between the total value of the pixel values of the characteristic region of the detection target meter and the total value of the pixel values of the specific region of the meter image is less than or equal to a threshold value. To do.
  • the meter detection unit 160 advances the process to step S25.
  • the meter detection unit 160 advances the process to step S12a.
  • the meter detection unit 160 may determine whether the difference between the average value of the pixel values of the characteristic area of the detection target meter and the average value of the pixel values of the specific area of the meter image is less than or equal to a threshold value. Good. If the difference is less than or equal to the threshold, the meter detection unit 160 advances the process to step S25. When the difference exceeds the threshold, the meter detection unit 160 advances the process to step S12a.
  • the meter detection unit 160 executes the following processing.
  • the meter detection unit 160 determines, for each characteristic region, whether the difference between the average value of the pixel values of the characteristic region of the detection target meter and the average value of the pixel values of the specific region of the meter image is less than or equal to a threshold value. To do.
  • the meter detection unit 160 advances the process to step S25.
  • the meter detection unit 160 advances the process to step S12a.
  • the meter detection unit 160 may calculate a correlation coefficient between each pixel in the characteristic region of the detection target meter and each pixel in the specific region of the meter image. Then, when the correlation coefficient is equal to or larger than the threshold value, the meter detection unit 160 advances the process to step S25. If the correlation coefficient is smaller than the threshold value, the meter detection unit 160 advances the process to step S12a. Here, in the case of No in step S24a, the meter detection unit 160 detects that the meter in the camera image is not the detection target meter.
  • the output unit 180 may output information indicating that the meter in the camera image is not the detection target meter. This allows the user to recognize that the meter in the camera image is not the detection target meter.
  • the output unit 180 may output information prompting the imaging of the meter. In this way, when it is detected that the meter in the camera image is not the detection target meter, the output unit 180 outputs information that prompts the meter to be imaged. As a result, the user can recognize that it is necessary to take an image of a meter of a different model.
  • the meter detection device 100 can detect whether or not the meter in the camera image obtained by capturing the image in real time is the detection target meter.
  • FIG. 13 is a functional block diagram showing the configuration of the meter detection device according to the third embodiment. 13 that is the same as the configuration shown in FIG. 1 is assigned the same reference numeral as that shown in FIG.
  • the difference extraction unit 130 extracts a difference area for each model ID.
  • the difference extraction unit 130 registers the difference area for each model ID in the meter model table.
  • FIG. 14 is a diagram showing a specific example of the meter model table according to the third embodiment.
  • the meter model table 111 a is stored in the storage unit 110.
  • a different area is associated with each model ID of the meter model table 111a.
  • the difference extraction unit 130 registers the difference area in the meter model table 111a in advance. That is, the storage unit 110 stores the characteristic region information in advance.
  • the meter detection device 100 does not have to execute step S12.
  • the meter detection unit 160 may acquire the difference area corresponding to the model ID designated by the model designation unit 120 from the meter model table 111a in step S24.
  • the meter detection device 100 does not have to execute step S12, and therefore the processing load can be reduced.
  • Embodiment 4 refers to FIGS. 1 to 8.
  • FIG. 15 is a diagram showing a specific example of the meter model table according to the fourth embodiment.
  • the meter model table 111b is stored in the storage unit 110.
  • the meter model table 111b does not have items of minimum value, maximum value, minimum angle, and maximum angle.
  • the meter model table 111b has items of a meter value/angle list in place of items of a minimum value, a maximum value, a minimum angle, and a maximum angle.
  • the items of the meter value/angle list indicate two or more meter values and angles corresponding to the two or more meter values.
  • 113° is also called the first angle.
  • the meter value 20 is also referred to as a first meter value.
  • 158° is also referred to as the second angle.
  • the meter value 40 is also referred to as a second meter value.
  • the meter detecting device 100 can calculate the meter value with higher accuracy than the meter value indicated by the needle using the minimum value and the maximum value.
  • the meter detection device 100 may be considered to be a PC (Personal Computer), a tablet device, or a mobile device such as a smartphone.
  • 100 meter detection device 101 processor, 102 volatile storage device, 103 non-volatile storage device, 104 imaging device, 110 storage unit, 111, 111a, 111b meter model table, 120 model specification unit, 130 difference extraction unit, 140 image acquisition Section, 150 area detection section, 160 meter detection section, 170 numerical reading section, 180 output section, 190 imaging section, 200 arrow, 300 reference line, 301 arrow, 302 arrow, 303 needle area distance, 304 needle area width, 305 movable region.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

メータ検出装置(100)は、第1のメータを撮像することで得られた画像を取得する画像取得部(140)と、画像内の特徴量に基づいて、画像内の第1のメータが存在する領域を示すメータ領域を検出する領域検出部(150)と、検出対象メータ内の特徴を示す領域である特徴領域の情報である特徴領域情報とメータ領域内の画像情報とに基づいて、第1のメータが検出対象メータであるか否かを検出するメータ検出部(160)と、を有する。

Description

メータ検出装置、メータ検出方法、及びメータ検出プログラム
 本発明は、メータ検出装置、メータ検出方法、及びメータ検出プログラムに関する。
 建物には、メータが備えられている。例えば、メータは、電気メータ、ガスメータなどである。
 ここで、画像からメータが写っている部分画像を抽出し、当該部分画像に写っているメータの値を特定する情報処理装置が提案されている(特許文献1を参照)。
特開2017-68465号公報
 ところで、メータには、異なる機種であるが、同じ形状のメータが存在する。ここで、画像内のメータが検出対象メータであるか否かを装置が検出したい場合がある。例えば、装置は、画像内のメータの形状と検出対象メータの形状とを比較し、画像内のメータが検出対象メータであるか否かを検出する。しかし、当該比較では、形状が似ているが、異なる機種のメータが検出対象メータであると検出される。このように、異なる機種のメータが検出対象メータであると検出されることは、問題である。
 本発明の目的は、同じ機種のメータを検出することである。
 本発明の一態様に係るメータ検出装置が提供される。メータ検出装置は、第1のメータを撮像することで得られた画像を取得する画像取得部と、前記画像内の特徴量に基づいて、前記画像内の前記第1のメータが存在する領域を示すメータ領域を検出する領域検出部と、検出対象メータ内の特徴を示す領域である特徴領域の情報である特徴領域情報と前記メータ領域内の画像情報とに基づいて、前記第1のメータが前記検出対象メータであるか否かを検出するメータ検出部と、を有する。
 本発明によれば、同じ機種のメータを検出できる。
実施の形態1のメータ検出装置の構成を示す機能ブロック図である。 実施の形態1のメータ検出装置が有するハードウェアの構成を示す図である。 実施の形態1のメータ機種テーブルの具体例を示す図である。 実施の形態1の差異領域の具体例を示す図である。 実施の形態1のメータ検出装置が実行する処理を示すフローチャート(その1)である。 実施の形態1のメータ検出装置が実行する処理を示すフローチャート(その2)である。 実施の形態1の針の可動領域を説明するための図である。 実施の形態1のヒストグラムの例を示す図である。 実施の形態2のメータ検出装置が有するハードウェアの構成を示す図である。 実施の形態2のメータ検出装置の構成を示す機能ブロック図である。 実施の形態2のメータ検出装置が実行する処理を示すフローチャート(その1)である。 実施の形態2のメータ検出装置が実行する処理を示すフローチャート(その2)である。 実施の形態3のメータ検出装置の構成を示す機能ブロック図である。 実施の形態3のメータ機種テーブルの具体例を示す図である。 実施の形態4のメータ機種テーブルの具体例を示す図である。
 以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態1.
 図1は、実施の形態1のメータ検出装置の構成を示す機能ブロック図である。メータ検出装置100は、メータ検出方法を実行する装置である。
 ここで、メータ検出装置100が有するハードウェアについて説明する。
 図2は、実施の形態1のメータ検出装置が有するハードウェアの構成を示す図である。メータ検出装置100は、プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103を有する。プロセッサ101、揮発性記憶装置102、及び不揮発性記憶装置103は、バスで接続されている。
 プロセッサ101は、メータ検出装置100全体を制御する。例えば、プロセッサ101は、CPU(Central Processing Unit)、又はFPGA(Field Programmable Gate Array)などである。プロセッサ101は、マルチプロセッサでもよい。メータ検出装置100は、処理回路によって実現されてもよく、又は、ソフトウェア、ファームウェア若しくはそれらの組み合わせによって実現されてもよい。なお、処理回路は、単一回路又は複合回路でもよい。
 揮発性記憶装置102は、メータ検出装置100の主記憶装置である。例えば、揮発性記憶装置102は、RAM(Random Access Memory)である。不揮発性記憶装置103は、メータ検出装置100の補助記憶装置である。例えば、不揮発性記憶装置103は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)である。
 図1に戻って、メータ検出装置100を説明する。
 メータ検出装置100は、記憶部110、機種指定部120、差異抽出部130、画像取得部140、領域検出部150、メータ検出部160、数値読取部170、及び出力部180を有する。
 記憶部110は、揮発性記憶装置102又は不揮発性記憶装置103に確保した記憶領域として実現してもよい。
 機種指定部120、差異抽出部130、画像取得部140、領域検出部150、メータ検出部160、数値読取部170、及び出力部180の一部又は全部は、プロセッサ101によって実現してもよい。
 機種指定部120、差異抽出部130、画像取得部140、領域検出部150、メータ検出部160、数値読取部170、及び出力部180の一部又は全部は、プロセッサ101が実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサ101が実行するプログラムは、メータ検出プログラムとも言う。例えば、メータ検出プログラムは、記録媒体に記録されている。
 記憶部110は、撮像装置がメータを撮像することで得られた画像を記憶する。当該メータは、第1のメータとも言う。また、当該撮像装置は、後述するように、メータ検出装置100が有してもよい。また、当該撮像装置は、メータ検出装置100に接続可能な撮像装置でもよい。なお、当該撮像装置がメータ検出装置100に接続する場合、当該撮像装置は、USB(Universal Serial Bus)又はIEEE 1394などを用いて、メータ検出装置100に接続されてもよい。また、当該撮像装置は、インターネットを介してメータ検出装置100に接続されてもよい。
 また、記憶部110は、メータが写っていない画像を記憶することもある。
 ここで、記憶部110が記憶する画像は、カメラ画像と表現する。カメラ画像は、複数の画素を構成するデータである。また、カメラ画像は、RGB(Red Green Blue)又はグレースケールで表現される。
 また、記憶部110は、メータ機種テーブルを記憶する。ここで、メータ機種テーブルを説明する。
 図3は、実施の形態1のメータ機種テーブルの具体例を示す図である。メータ機種テーブル111は、記憶部110に格納される。
 メータ機種テーブル111は、機種ID(identifier)、テンプレート画像、最小値、最大値、最小角度、最大角度、針領域距離、及び針領域幅の項目を有する。
 機種IDの項目は、機種を区別するための識別子を示す。ここで、機種は、メータの表示面の見た目が同じメータの集合とする。但し、メータの針などの可動部分又は製造番号の刻印などの細かな違いは、無視するものとする。すなわち、メータの種類、形状、及び大きさがほぼ同じ、かつ表示面の差がほぼない、複数のメータは、同じ機種とする。
 テンプレート画像の項目は、テンプレート画像を示す。テンプレート画像は、メータを撮像することで得られた画像である。なお、テンプレート画像は、カメラ画像と同じファイル形式である。
 最小値の項目は、テンプレート画像内のメータの最小値を示す。最大値の項目は、テンプレート画像内のメータの最大値を示す。
 最小角度の項目は、最小角度を示す。最小角度は、予め決められた基準線に基づく最小値に対応する角度である。
 最大角度の項目は、最大角度を示す。最大角度は、予め決められた基準線に基づく最大値に対応する角度である。
 針領域距離の項目は、針領域距離を示す。針領域幅の項目は、針領域幅を示す。
 また、メータ機種テーブル111は、上記の項目以外の項目を有してもよい。例えば、メータ機種テーブル111は、さらに、メータの単位の項目を有する。
 機種指定部120は、検出対象メータの機種IDを指定する。
 差異抽出部130は、機種指定部120が指定した機種IDのテンプレート画像と、メータ機種テーブル111に含まれている当該テンプレート画像以外のテンプレート画像とを比較する。メータ機種テーブル111に含まれている当該テンプレート画像以外のテンプレート画像は、比較対象のテンプレート画像と表現する。例えば、差異抽出部130は、比較を次のように行う。機種指定部120が指定した機種IDのテンプレート画像が、ID_1のテンプレート画像とする。比較対象のテンプレート画像は、ID_2のテンプレート画像とする。差異抽出部130は、ID_1のテンプレート画像とID_2のテンプレート画像とを比較する。
 これにより、差異抽出部130は、機種指定部120が指定した機種IDのテンプレート画像が比較対象のテンプレート画像と異なる領域を抽出する。当該領域は、差異領域と表現する。
 ここで、差異領域の具体例を示す。
 図4は、実施の形態1の差異領域の具体例を示す図である。図4は、差異領域を矢印と矩形とで示している。例えば、矢印200が示す矩形の領域は、差異領域である。ここで、差異領域は、特徴を示す領域である特徴領域とも言える。
 画像取得部140は、記憶部110に格納されているカメラ画像を取得する。
 領域検出部150は、カメラ画像内の特徴量に基づいて、カメラ画像内のメータが存在する領域を検出する。また、領域検出部150は、カメラ画像内の特徴量と、機種指定部120が指定した機種IDのテンプレート画像内の特徴量との対応関係に基づいて、メータ領域を算出してもよい。領域検出部150の処理については、後で詳細に説明する。なお、以下、メータが存在する領域は、メータ領域と表現する。
 メータ検出部160は、特徴領域情報とメータ領域内の画像情報とに基づいて、カメラ画像内のメータが検出対象メータであるか否かを検出する。特徴領域情報は、検出対象メータ内の特徴を示す領域である特徴領域の情報である。なお、特徴領域の情報は、機種指定部120が指定した機種IDに対応する差異領域である。また、特徴領域情報は、検出対象メータの表示面の特徴を示す領域である特徴領域の情報であると表現してもよい。
 例えば、メータ検出部160は、次のように、カメラ画像内のメータが検出対象メータであるか否かを検出する。ここで、特徴領域情報は、特徴領域の位置を示す位置情報と特徴領域に対応する複数の画素値とを含む。メータ検出部160は、位置情報に基づいて、メータ領域の中から特徴領域に対応する領域を特定する。メータ検出部160は、特定した領域である特定領域を示す複数の画素の複数の画素値と、特徴領域に対応する複数の画素値とに基づいて、カメラ画像内のメータが検出対象メータであるか否かを検出する。
 また、メータ検出部160は、カメラ画像内のメータが検出対象メータであることを検出した場合、カメラ画像内のメータが、機種指定部120が指定した機種IDのメータと同じ機種であることを検出できる。
 数値読取部170は、カメラ画像に存在するメータが検出対象メータであることが検出された場合、メータ領域内に存在する針を示す箇所の輝度値に基づいて、予め決められた基準線に基づく針に対応する角度を検出する。数値読取部170は、検出対象メータの最小値、検出対象メータの最大値、最小値に対応する最小角度、最大値に対応する最大角度、及び針に対応する角度に基づいて、針が示すメータ値を算出する。
 このように、数値読取部170は、カメラ画像に存在するメータの針が示すメータ値を読み取る。
 出力部180は、読み取られたメータ値を出力する。また、出力部180は、検出結果を出力してもよい。例えば、出力部180は、カメラ画像内に存在するメータが検出対象メータであることを出力する。また、例えば、出力部180は、カメラ画像内に存在するメータが検出対象メータでないことを出力する。
 これにより、ユーザは、カメラ画像内に存在するメータが検出対象メータであるか否かを認識することができる。
 なお、例えば、出力部180は、検出結果をディスプレイに出力してもよい。また、例えば、出力部180は、検出結果を音声出力してもよい。また、例えば、出力部180は、検出結果を他の装置に出力してもよい。また、例えば、出力部180は、検出結果を紙媒体に出力してもよい。
 次に、メータ検出装置100が実行する処理についてフローチャートを用いて説明する。
 図5は、実施の形態1のメータ検出装置が実行する処理を示すフローチャート(その1)である。
 (ステップS11)機種指定部120は、機種IDを指定する。例えば、機種指定部120は、ユーザがメータ検出装置100に入力した機種IDを指定する。また、例えば、機種指定部120は、メータ検出装置100に表示された機種ID一覧の中からユーザが指定した機種IDを指定する。また、例えば、メータを点検する順番を示す点検順番情報が記憶部110に格納されている場合、機種指定部120は、点検順番情報に基づいて、機種IDを指定する。また、例えば、機種指定部120は、メータ検出装置100に接続可能な装置が指示した機種IDを指定してもよい。なお、当該装置は、図示を省略されている。
 (ステップS12)差異抽出部130は、メータ機種テーブル111を参照し、機種指定部120が指定した機種IDのテンプレート画像を特定する。差異抽出部130は、指定された機種IDのテンプレート画像と、メータ機種テーブル111に含まれている比較対象のテンプレート画像とを比較する。これにより、差異抽出部130は、差異領域を抽出する。
 ここで、差異抽出部130が実行する差異領域の抽出について、詳細に説明する。また、機種指定部120が指定した機種IDのテンプレート画像は、指定テンプレート画像と表現する。差異抽出部130は、1画素単位で指定テンプレート画像と比較対象テンプレート画像とを比較する。差異抽出部130は、画素値の差が予め決められた閾値よりも大きい画素を差異領域とする。差異領域は、指定テンプレート画像が示すメータの特徴領域とも言える。例えば、メータ機種テーブル111には、10種類の機種IDが登録されているものとする。9種類の比較対象テンプレート画像の画素値がほぼ同じ値であり、1種類の指定テンプレート画像の画素値と9種類の比較対象テンプレート画像の画素値との差が閾値よりも大きい画素は、特徴領域と言える。一方、9種類の比較対象テンプレート画像の画素値のいずれかが、指定テンプレート画像の画素値とほぼ同じ場合、指定テンプレート画像の当該画素値の画素は、特徴領域と言えない。
 また、差異抽出部130は、1画素単位で比較しなくてもよい。例えば、差異抽出部130は、16×16画素の単位で比較してもよい。そして、差異抽出部130は、指定テンプレート画像の16×16画素の各画素値の合計画素値と比較対象のテンプレート画像の16×16画素の各画素値の合計画素値との差を算出する。差異抽出部130は、差が予め決められた閾値よりも大きい場合、指定テンプレート画像の16×16画素を差異領域とする。
 このように、差異抽出部130は、差異領域を抽出することで、指定テンプレート画像が示すメータの特徴領域を抽出できる。なお、当該特徴領域は、特徴領域情報である。
 また、以下、特徴領域は、複数の画素を含むものとする。
 (ステップS13)画像取得部140は、記憶部110からカメラ画像を取得する。
 (ステップS14)領域検出部150は、カメラ画像の複数の特徴点を抽出する。領域検出部150は、抽出した複数の特徴点のそれぞれの特徴量を算出する。特徴点から算出される特徴量は、局所特徴量と表現する。また、複数の特徴点のそれぞれの特徴量は、カメラ画像の局所特徴量一覧と表現する。
 なお、特徴点の抽出と局所特徴量の算出では、SIFT(Scale-invariant feature transform)、SURF(Speed up robust features)、ORB(Oriented FAST and rotated BRIEF)、KAZEなどが用いられる。
 また、領域検出部150は、指定テンプレート画像の複数の特徴点を抽出する。領域検出部150は、抽出した複数の特徴点のそれぞれの局所特徴量を算出する。また、複数の特徴点のそれぞれの特徴量は、指定テンプレート画像の局所特徴量一覧と表現する。
 上記では、領域検出部150が指定テンプレート画像の局所特徴量一覧を算出する場合を説明した。しかし、指定テンプレート画像の局所特徴量一覧は、予めメータ機種テーブル111に登録されてもよい。
 (ステップS15)領域検出部150は、カメラ画像の局所特徴量一覧と指定テンプレート画像の局所特徴量一覧とを比較し、カメラ画像の複数の特徴点のそれぞれと指定テンプレート画像の複数の特徴点のそれぞれとの対応関係を決める。対応関係は、局所特徴量同士の距離によって求められる。局所特徴量は他の局所特徴量との比較が可能であり、比較により局所特徴量同士の類似度を表す距離と呼ばれる値を算出できる。距離の値が小さいほど2つの局所特徴量は類似しており、距離の値が大きいほど2つの局所特徴量は類似していないということになる。従って、カメラ画像のそれぞれの局所特徴量に対して、指定テンプレート画像の局所特徴量を1つずつ比較して距離を算出し、最も距離の値が小さい指定テンプレート画像の局所特徴量を求める。これにより、カメラ画像の局所特徴量と指定テンプレート画像の局所特徴量との対応関係が求まる。なお、前述の対応関係の算出手法は、総当たりによる手法であり、一例である。例えばkd木による最近傍探索手法を用いてもよい。
 図6は、実施の形態1のメータ検出装置が実行する処理を示すフローチャート(その2)である。
 (ステップS21)領域検出部150は、全ての対応関係に対して算出した各距離の合計値又は平均値が予め決められた閾値以下であるか否かを判定する。
 各距離の合計値又は平均値が当該閾値以下である場合、領域検出部150は、カメラ画像内にメータが存在すると判定する。すなわち、領域検出部150は、カメラ画像内のメータを検出する。そして、領域検出部150は、処理をステップS22に進める。
 各距離の合計値又は平均値が当該閾値を超える場合、領域検出部150は、カメラ画像内にメータが存在しないと判定する。そして、領域検出部150は、処理を終了する。
 (ステップS22)領域検出部150は、ステップS15で求めた、カメラ画像の局所特徴量と、指定テンプレート画像の局所特徴量との対応関係を元に、メータ領域を算出する。領域検出部150は、メータ領域を算出するために、射影変換行列と呼ばれる3×3の行列を最小二乗法によって算出する。この射影変換行列は、指定テンプレート画像の座標系を、カメラ画像に写るメータの領域の座標系に変換するものである。従って、この射影変換行列により、カメラ画像に写るメータ領域を特定できる。なお、対応関係には外れ値が含まれている可能性があるため、外れ値を除外するためにRandom sample consensus(RANSAC)と呼ばれる手法を適用しても良い。これにより、領域検出部150は、メータ領域を検出する。
 (ステップS23)領域検出部150は、カメラ画像の特徴点と指定テンプレート画像の特徴点との対応関係に基づいて、カメラ画像の座標系を指定テンプレート画像の座標系に変換する。当該変換では、領域検出部150は、ステップS22で算出した射影変換行列を用いる。このように、領域検出部150は、射影変換行列を用いて、指定テンプレート画像の座標系に変換されたカメラ画像であるメータ画像を生成する。
 なお、領域検出部150は、メータ画像を生成しなくてもよい。メータ画像が生成されない場合、領域検出部150は、射影変換行列を記憶部110に格納する。そして、領域検出部150は、カメラ画像のメータ領域を参照する場合、射影変換行列を用いて指定テンプレート画像の座標系に変換されたカメラ画像のメータ領域を参照してもよい。
 また、領域検出部150は、メータ領域の形状が凸ではないなどの異常がある場合、処理を終了してもよい。
 (ステップS24)メータ検出部160は、指定テンプレート画像が示すメータの特徴領域の位置を示す位置情報に基づいて、メータ画像の中から、特徴領域に対応する領域を特定する。特定した領域は、メータ画像の特定領域と表現する。なお、指定された機種IDの特徴領域は、検出対象メータの特徴領域である。
 メータ検出部160は、検出対象メータの特徴領域とメータ画像の特定領域とを比較する。そして、メータ検出部160は、検出対象メータの特徴領域の各画素値の合計値とメータ画像の特定領域の各画素値の合計値との差が予め決められた閾値以下であるか否かを判定する。差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理を終了する。
 検出対象メータの特徴領域が複数である場合、メータ検出部160は、次のような処理を実行する。メータ検出部160は、特徴領域毎に、検出対象メータの特徴領域の各画素値の合計値とメータ画像の特定領域の各画素値の合計値との差が閾値以下であるか否かを判定する。全ての特徴領域において、差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理を終了する。
 また、メータ検出部160は、検出対象メータの特徴領域の各画素値の平均値とメータ画像の特定領域の各画素値の平均値との差が閾値以下であるか否かを判定してもよい。差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理を終了する。
 検出対象メータの特徴領域が複数である場合、メータ検出部160は、次のような処理を実行する。メータ検出部160は、特徴領域毎に、検出対象メータの特徴領域の各画素値の平均値とメータ画像の特定領域の各画素値の平均値との差が閾値以下であるか否かを判定する。全ての特徴領域において、差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理を終了する。
 また、メータ検出部160は、検出対象メータの特徴領域の各画素とメータ画像の特定領域の各画素との相関係数を算出してもよい。そして、相関係数が閾値以上である場合、メータ検出部160は、処理をステップS25に進める。相関係数が閾値よりも小さい場合、メータ検出部160は、処理を終了する。
 ここで、ステップS24でNoの場合、メータ検出部160は、カメラ画像内のメータが検出対象メータでないことを検出する。
 (ステップS25)メータ検出部160は、カメラ画像内に存在するメータが検出対象メータであることを検出する。また、例えば、機種指定部120が指定した機種IDがID_1である場合、メータ検出部160は、カメラ画像内のメータが機種IDのID_1であることを検出できる。
 (ステップS26)数値読取部170は、メータ画像内の針の可動領域に基づいて、ヒストグラムを生成する。ここで、針の可動領域について説明する。
 図7は、実施の形態1の針の可動領域を説明するための図である。図7は、メータ画像を示している。
 矢印301は、最小角度を示す。矢印302は、最大角度を示す。図7では、角度は、基準線300を基準に、時計回りで定義される。しかし、角度は、他の定義で定義されてもよい。
 針領域距離303は、針領域距離を示す。針領域距離は、メータの中心から針の根元までの距離である。針領域幅304は、針領域幅を示す。針領域幅は、針の長さである。また、針領域距離と針領域幅は、メータ画像の画素数で定義してもよい。さらに、針領域距離と針領域幅は、メータ画像の大きさに対する割合で定義してよい。
 可動領域305は、針の可動領域を示す。可動領域305は、最小角度から最大角度までの範囲の領域である。
 次に、ヒストグラムについて説明する。
 図8は、実施の形態1のヒストグラムの例を示す図である。横軸は、可動領域305の角度を示す。縦軸は、各角度の画素の輝度を示す。なお、ヒストグラムのビンの数は、任意である。
 このように、数値読取部170は、メータ画像内の針の可動領域に基づいて、ヒストグラムを生成する。
 (ステップS27)数値読取部170は、ヒストグラムに基づいて、メータ画像内の針が示すメータ値を算出する。例えば、メータの針が黒色、背景が白色の場合、数値読取部170は、ヒストグラム内で最も輝度が低いビンを検出する。すなわち、メータの針が黒色である場合、針の輝度は、最も低い。そのため、数値読取部170は、ヒストグラム内で最も輝度が低いビンを検出する。なお、検出されたビンの角度は、メータ画像内の針に対応する角度である。
 数値読取部170は、最小値、最大値、最小角度、及び最大角度を用いて、メータ値に算出する。例えば、カメラ画像内のメータがID_1であることを検出した場合、数値読取部170は、メータ機種テーブル111に登録されているID_1に対応する最小値、最大値、最小角度、及び最大角度を用いて、メータ値に算出する。具体的には、最小値が0、最大値が100、最小角度が66°、最大角度が293°、検出されたビンの角度が100°とする。数値読取部170は、100°に対応するメータ値である15(=(100-66)÷(293-66)×(100-0)+0)を算出する。
 また、例えば、数値読取部170は、針が白色、背景が黒色の場合、最も輝度が高いビンを検出する。
 (ステップS28)出力部180は、メータ値を出力する。
 実施の形態1によれば、メータ検出装置100は、検出対象メータ内の特徴領域を用いて、カメラ画像内のメータが検出対象メータであるか否かを判定し、判定結果により、カメラ画像内のメータが検出対象メータであることを検出できる。すなわち、メータ検出装置100は、カメラ画像内のメータが検出対象メータと同じ機種であることを検出できる。よって、メータ検出装置100は、同じ機種のメータを検出することができる。
 また、メータ検出装置100は、検出対象メータの特徴領域とメータ画像の特定領域とを比較する。すなわち、メータ検出装置100は、検出対象メータ内の全領域とカメラ画像内のメータ領域とを比較しない。そのため、メータ検出装置100は、処理負荷を軽減できる。
実施の形態2.
 次に、実施の形態2を説明する。実施の形態2は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態2は、図1~8を参照する。
 図9は、実施の形態2のメータ検出装置が有するハードウェアの構成を示す図である。メータ検出装置100は、さらに、撮像装置104を有する。
 例えば、撮像装置104は、レンズ及びセンサを有する。撮像装置104は、メータを撮像する。
 図2に示される構成と同じ図9の構成は、図2に示される符号と同じ符号を付している。
 図10は、実施の形態2のメータ検出装置の構成を示す機能ブロック図である。メータ検出装置100は、さらに、撮像部190を有する。撮像部190の一部又は全部は、撮像装置104によって実現してもよい。
 撮像部190は、カメラ画像を生成する。撮像部190は、カメラ画像を記憶部110に格納する。
 図1に示される構成と同じ図10の構成は、図1に示される符号と同じ符号を付している。
 次に、メータ検出装置100が実行する処理についてフローチャートを用いて説明する。
 図11は、実施の形態2のメータ検出装置が実行する処理を示すフローチャート(その1)である。図11の処理では、ステップS12aが実行される点が、図5の処理と異なる。そのため、図11では、ステップS12aを説明する。図11における他のステップについては、図5のステップ番号と同じ番号を付することによって、処理の説明を省略する。
 (ステップS12a)撮像部190は、カメラ画像を生成する。撮像部190は、カメラ画像を記憶部110に格納する。
 図12は、実施の形態2のメータ検出装置が実行する処理を示すフローチャート(その2)である。図12の処理では、ステップS21a,S24aが実行される点が、図6の処理と異なる。そのため、図12では、ステップS21a,S24aを説明する。図12における他のステップについては、図6のステップ番号と同じ番号を付することによって、処理の説明を省略する。
 (ステップS21a)領域検出部150は、全ての対応関係に対して算出した各距離の合計値又は平均値が予め決められた閾値以下であるか否かを判定する。
 各距離の合計値又は平均値が当該閾値以下である場合、領域検出部150は、カメラ画像内にメータが存在すると判定する。すなわち、領域検出部150は、カメラ画像内のメータを検出する。そして、領域検出部150は、処理をステップS22に進める。
 各距離の合計値又は平均値が当該閾値を超える場合、領域検出部150は、カメラ画像内にメータが存在しないと判定する。そして、領域検出部150は、処理をステップS12aに進める。
 (ステップS24a)メータ検出部160は、メータ画像の中から、機種指定部120が指定した機種IDの特徴領域に相当する領域を特定する。
 メータ検出部160は、検出対象メータの特徴領域とメータ画像の特定領域とを比較する。そして、メータ検出部160は、検出対象メータの特徴領域の各画素値の合計値とメータ画像の特定領域の各画素値の合計値との差が予め決められた閾値以下であるか否かを判定する。差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理をステップS12aに進める。
 検出対象メータの特徴領域が複数である場合、メータ検出部160は、次のような処理を実行する。メータ検出部160は、特徴領域毎に、検出対象メータの特徴領域の各画素値の合計値とメータ画像の特定領域の各画素値の合計値との差が閾値以下であるか否かを判定する。全ての特徴領域において、差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理をステップS12aに進める。
 また、メータ検出部160は、検出対象メータの特徴領域の各画素値の平均値とメータ画像の特定領域の各画素値の平均値との差が閾値以下であるか否かを判定してもよい。差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理をステップS12aに進める。
 検出対象メータの特徴領域が複数である場合、メータ検出部160は、次のような処理を実行する。メータ検出部160は、特徴領域毎に、検出対象メータの特徴領域の各画素値の平均値とメータ画像の特定領域の各画素値の平均値との差が閾値以下であるか否かを判定する。全ての特徴領域において、差が閾値以下である場合、メータ検出部160は、処理をステップS25に進める。差が閾値を超える場合、メータ検出部160は、処理をステップS12aに進める。
 また、メータ検出部160は、検出対象メータの特徴領域の各画素とメータ画像の特定領域の各画素との相関係数を算出してもよい。そして、相関係数が閾値以上である場合、メータ検出部160は、処理をステップS25に進める。相関係数が閾値よりも小さい場合、メータ検出部160は、処理をステップS12aに進める。
 ここで、ステップS24aでNoの場合、メータ検出部160は、カメラ画像内のメータが検出対象メータでないことを検出する。
 なお、ステップS21aでNo又はステップS24aでNoの場合、出力部180は、カメラ画像内のメータが検出対象メータでないことを示す情報を出力してもよい。これにより、ユーザは、カメラ画像内のメータが検出対象メータでないことを認識することができる。
 また、ステップS21aでNo又はステップS24aでNoの場合、出力部180は、メータの撮像を促す情報を出力してもよい。このように、カメラ画像内のメータが検出対象メータでないことが検出された場合、出力部180は、メータの撮像を促す情報を出力する。これにより、ユーザは、異なる機種のメータの撮影が必要であることを認識できる。
 実施の形態2によれば、メータ検出装置100は、リアルタイムに撮像することで得られたカメラ画像内のメータが検出対象メータであるか否かを検出できる。
実施の形態3.
 次に、実施の形態3を説明する。実施の形態3は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態3は、図1~8を参照する。
 図13は、実施の形態3のメータ検出装置の構成を示す機能ブロック図である。また、図1に示される構成と同じ図13の構成は、図1に示される符号と同じ符号を付している。
 差異抽出部130は、機種ID毎に差異領域を抽出する。差異抽出部130は、機種ID毎の差異領域をメータ機種テーブルに登録する。
 図14は、実施の形態3のメータ機種テーブルの具体例を示す図である。メータ機種テーブル111aは、記憶部110に格納される。メータ機種テーブル111aの各機種IDには、差異領域が対応付けられている。
 このように、差異抽出部130は、予め差異領域をメータ機種テーブル111aに登録する。すなわち、記憶部110は、予め特徴領域情報を記憶する。これにより、メータ検出装置100は、ステップS12を実行しなくて済む。そして、例えば、メータ検出部160は、ステップS24で、機種指定部120が指定した機種IDに対応する差異領域をメータ機種テーブル111aから取得すればよい。
 実施の形態3によれば、メータ検出装置100は、ステップS12を実行しなくて済むので、処理負荷を軽減できる。
実施の形態4.
 次に、実施の形態4を説明する。実施の形態4は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態4は、図1~8を参照する。
 図15は、実施の形態4のメータ機種テーブルの具体例を示す図である。メータ機種テーブル111bは、記憶部110に格納される。
 メータ機種テーブル111bは、最小値、最大値、最小角度、及び最大角度の項目を有さない。メータ機種テーブル111bは、最小値、最大値、最小角度、及び最大角度の項目に変えて、メータ値・角度リストの項目を有する。
 メータ値・角度リストの項目は、2つ以上のメータ値と、2つ以上のメータ値に対応する角度とを示す。
 数値読取部170は、ヒストグラムに基づいて検出されたビンの角度と、メータ値・角度リストとに基づいて、メータ値を算出する。例えば、ヒストグラムに基づいて検出されたビンの角度が、130°とする。また、カメラ画像内のメータが、ID_2とする。数値読取部170は、130°が113°から158°の範囲に属することを検出する。数値読取部170は、メータ機種テーブル111bを参照し、113°に対応するメータ値20を検出する。数値読取部170は、メータ機種テーブル111bを参照し、158°に対応するメータ値40を検出する。数値読取部170は、130°に対応するメータ値である28(=(130-113)÷(158-113)×(40-20)+20)を算出する。
 なお、例えば、上記の例では、113°は、第1の角度とも言う。メータ値20は、第1のメータ値とも言う。158°は、第2の角度とも言う。メータ値40は、第2のメータ値とも言う。
 実施の形態4によれば、メータ検出装置100は、最小値と最大値を用いて針が示すメータ値を算出するよりも、精度の高いメータ値を算出できる。
 以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。また、例えば、実施の形態1~4のメータ検出装置100は、PC(Personal Computer)、タブレット装置、又はスマートフォンなどの携帯装置と考えてもよい。
 100 メータ検出装置、 101 プロセッサ、 102 揮発性記憶装置、 103 不揮発性記憶装置、 104 撮像装置、 110 記憶部、 111,111a,111b メータ機種テーブル、 120 機種指定部、 130 差異抽出部、 140 画像取得部、 150 領域検出部、 160 メータ検出部、 170 数値読取部、 180 出力部、 190 撮像部、 200 矢印、 300 基準線、 301 矢印、 302 矢印、 303 針領域距離、 304 針領域幅、 305 可動領域。

Claims (10)

  1.  第1のメータを撮像することで得られた画像を取得する画像取得部と、
     前記画像内の特徴量に基づいて、前記画像内の前記第1のメータが存在する領域を示すメータ領域を検出する領域検出部と、
     検出対象メータ内の特徴を示す領域である特徴領域の情報である特徴領域情報と前記メータ領域内の画像情報とに基づいて、前記第1のメータが前記検出対象メータであるか否かを検出するメータ検出部と、
     を有するメータ検出装置。
  2.  前記特徴領域情報は、前記特徴領域の位置を示す位置情報と前記特徴領域に対応する複数の画素値とを含み、
     前記メータ検出部は、前記位置情報に基づいて、前記メータ領域の中から前記特徴領域に対応する領域を特定し、特定した領域である特定領域を示す複数の画素の複数の画素値と、前記特徴領域に対応する複数の画素値とに基づいて、前記第1のメータが前記検出対象メータであるか否かを検出する、
     請求項1に記載のメータ検出装置。
  3.  前記画像を生成する撮像部をさらに有する、
     請求項1又は2に記載のメータ検出装置。
  4.  予め前記特徴領域情報を記憶する記憶部をさらに有する、
     請求項1から3のいずれか1項に記載のメータ検出装置。
  5.  検出結果を出力する出力部をさらに有する、
     請求項1から4のいずれか1項に記載のメータ検出装置。
  6.  前記第1のメータが前記検出対象メータでないことが検出された場合、メータの撮像を促す情報を出力する出力部をさらに有する、
     請求項1から4のいずれか1項に記載のメータ検出装置。
  7.  前記第1のメータが前記検出対象メータであることが検出された場合、前記メータ領域内に存在する針を示す箇所の輝度値に基づいて、予め決められた基準線に基づく前記針に対応する角度を検出し、前記検出対象メータの最小値、前記検出対象メータの最大値、前記基準線に基づく前記最小値に対応する角度、前記基準線に基づく前記最大値に対応する角度、及び前記針に対応する角度に基づいて、前記針が示すメータ値を算出する数値読取部をさらに有する、
     請求項1から4のいずれか1項に記載のメータ検出装置。
  8.  前記第1のメータが前記検出対象メータであることが検出された場合、前記メータ領域内に存在する針を示す箇所の輝度値に基づいて、予め決められた基準線に基づく前記針に対応する角度を検出し、前記検出対象メータの第1のメータ値、前記基準線に基づく前記第1のメータ値に対応する第1の角度、前記検出対象メータの第2のメータ値、前記基準線に基づく前記第2のメータ値に対応する第2の角度、及び前記針に対応する角度に基づいて、前記針が示すメータ値を算出する数値読取部をさらに有し、
     前記針に対応する角度は、前記第1の角度から前記第2の角度の範囲に属する、
     請求項1から4のいずれか1項に記載のメータ検出装置。
  9.  メータ検出装置が、
     第1のメータを撮像することで得られた画像を取得し、
     前記画像内の特徴量に基づいて、前記画像内の前記第1のメータが存在する領域を示すメータ領域を検出し、
     検出対象メータ内の特徴を示す領域である特徴領域の情報である特徴領域情報と前記メータ領域内の画像情報とに基づいて、前記第1のメータが前記検出対象メータであるか否かを検出する、
     メータ検出方法。
  10.  メータ検出装置に、
     第1のメータを撮像することで得られた画像を取得し、
     前記画像内の特徴量に基づいて、前記画像内の前記第1のメータが存在する領域を示すメータ領域を検出し、
     検出対象メータ内の特徴を示す領域である特徴領域の情報である特徴領域情報と前記メータ領域内の画像情報とに基づいて、前記第1のメータが前記検出対象メータであるか否かを検出する、
     処理を実行させるメータ検出プログラム。
PCT/JP2019/005759 2019-02-18 2019-02-18 メータ検出装置、メータ検出方法、及びメータ検出プログラム WO2020170291A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020572579A JP6847337B2 (ja) 2019-02-18 2019-02-18 メータ検出装置、メータ検出方法、及びメータ検出プログラム
PCT/JP2019/005759 WO2020170291A1 (ja) 2019-02-18 2019-02-18 メータ検出装置、メータ検出方法、及びメータ検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/005759 WO2020170291A1 (ja) 2019-02-18 2019-02-18 メータ検出装置、メータ検出方法、及びメータ検出プログラム

Publications (1)

Publication Number Publication Date
WO2020170291A1 true WO2020170291A1 (ja) 2020-08-27

Family

ID=72143473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/005759 WO2020170291A1 (ja) 2019-02-18 2019-02-18 メータ検出装置、メータ検出方法、及びメータ検出プログラム

Country Status (2)

Country Link
JP (1) JP6847337B2 (ja)
WO (1) WO2020170291A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441989B1 (ja) 2023-03-15 2024-03-01 三菱電機インフォメーションシステムズ株式会社 メータ読取装置、メータ読取方法及びメータ読取プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
US20130070099A1 (en) * 2011-09-20 2013-03-21 Honeywell International Inc. Image based dial gauge reading

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
US20130070099A1 (en) * 2011-09-20 2013-03-21 Honeywell International Inc. Image based dial gauge reading

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441989B1 (ja) 2023-03-15 2024-03-01 三菱電機インフォメーションシステムズ株式会社 メータ読取装置、メータ読取方法及びメータ読取プログラム

Also Published As

Publication number Publication date
JPWO2020170291A1 (ja) 2021-04-30
JP6847337B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
JP6701118B2 (ja) 画像処理装置および画像処理方法
JP6666046B2 (ja) 画像処理装置および画像処理方法
JP5261501B2 (ja) 不変の視覚場面及び物体の認識
US20110292219A1 (en) Apparatus and methods for imaging system calibration
US10424068B2 (en) Image processing apparatus and image processing method for person identification
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
US8660302B2 (en) Apparatus and method for tracking target
JP6106808B2 (ja) 文書内バーコード配置特定
US9313412B2 (en) Image sensor and operating method thereof
US20120301020A1 (en) Method for pre-processing an image in facial recognition system
WO2020170291A1 (ja) メータ検出装置、メータ検出方法、及びメータ検出プログラム
US10834281B2 (en) Document size detecting by matching between image of entire document and read size image
KR102444544B1 (ko) 영상의 전처리 방법 및 장치
JP6943340B2 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラム
US10360471B2 (en) Image retrieving device, image retrieving method, and recording medium
JP6478282B2 (ja) 情報端末装置及びプログラム
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
JP6542407B1 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP2005182098A (ja) 合成画像を生成・表示する装置及び方法
JP2017041113A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6684947B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
JP4268953B2 (ja) 動き検出装置およびそのプログラム
US10567632B2 (en) Non-transitory computer-readable storage medium, image processing method, and image processing apparatus
JP6194677B2 (ja) 画像処理装置およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19916157

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572579

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19916157

Country of ref document: EP

Kind code of ref document: A1