WO2019163776A1 - 異常判定装置、異常判定方法及び異常判定プログラム - Google Patents

異常判定装置、異常判定方法及び異常判定プログラム Download PDF

Info

Publication number
WO2019163776A1
WO2019163776A1 PCT/JP2019/006105 JP2019006105W WO2019163776A1 WO 2019163776 A1 WO2019163776 A1 WO 2019163776A1 JP 2019006105 W JP2019006105 W JP 2019006105W WO 2019163776 A1 WO2019163776 A1 WO 2019163776A1
Authority
WO
WIPO (PCT)
Prior art keywords
code amount
manhole cover
image
determination
abnormality
Prior art date
Application number
PCT/JP2019/006105
Other languages
English (en)
French (fr)
Inventor
基宏 高木
和也 早瀬
暁経 三反崎
清水　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US16/971,762 priority Critical patent/US11436740B2/en
Publication of WO2019163776A1 publication Critical patent/WO2019163776A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02D—FOUNDATIONS; EXCAVATIONS; EMBANKMENTS; UNDERGROUND OR UNDERWATER STRUCTURES
    • E02D29/00—Independent underground or underwater structures; Retaining walls
    • E02D29/12—Manhole shafts; Other inspection or access chambers; Accessories therefor
    • E02D29/14—Covers for manholes or the like; Frames for covers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to an abnormality determination device, an abnormality determination method, and an abnormality determination program.
  • Non-Patent Document 1 In the technique disclosed in Non-Patent Document 1, it is assumed that image information of an image obtained by photographing the installed manhole cover is encoded and stored.
  • arithmetic processing for a general image such as feature extraction or discrimination that decodes an image from encoded information and extracts features included in individual regions of the image It is assumed that For this reason, when the number of target manholes increases, there is a problem that the time cost required for the arithmetic processing becomes enormous.
  • an object of the present invention is to provide a technique capable of reducing the time cost required for arithmetic processing for an image obtained by photographing a manhole cover.
  • One aspect of the present invention is based on an analysis unit that analyzes a feature amount related to a pattern of an image of encoded information obtained by encoding at least an image of a manhole cover, and based on an analysis result of the analysis unit. And a determination unit that determines whether or not the manhole cover is abnormal.
  • One aspect of the present invention is the abnormality determination device described above, wherein the feature amount is a code amount for each divided image obtained by dividing the image.
  • One aspect of the present invention is the abnormality determination device described above, wherein the analysis unit analyzes the feature amount based on the distribution of the code amount.
  • One aspect of the present invention is the abnormality determination apparatus described above, wherein the code amount distribution includes the code amount as a variable, and the division belonging to each of the sections obtained by dividing the value of the variable at predetermined intervals.
  • One aspect of the present invention is the abnormality determination device described above, wherein the abnormality includes that the manhole cover is worn, that there is water leakage, that there is a crack, and that the manhole cover is removed. Any one or more of the above.
  • One aspect of the present invention is the abnormality determination device described above, wherein the image is an image in which the manhole cover is replaced with a desired subject.
  • One aspect of the present invention includes a step of analyzing a feature amount related to a pattern of an image of encoded information obtained by encoding at least an image of a manhole cover, and the manhole cover based on the analyzed analysis result. And determining whether or not there is an abnormality.
  • One aspect of the present invention is an abnormality determination program for causing a computer to function as the abnormality determination device described above.
  • FIG. 1 is a block diagram showing a configuration of an abnormality determination device 1 according to an embodiment of the present invention.
  • the abnormality determination device 1 includes a position information input unit 10, an encoded information input unit 11, a score threshold input unit 12, an analysis unit 13, and a determination unit 14.
  • the abnormality determination device 1 is, for example, a device used in an abnormality detection system A that detects an abnormality of the manhole cover 100 as shown in FIG.
  • the abnormality detection system A includes an imaging device 3, an image processing device 2, and an abnormality determination device 1.
  • the abnormality detection system A is used as follows.
  • the worker 1000 using the abnormality detection system A uses the image pickup apparatus 3 such as a digital camera to photograph the manhole cover 100 installed on the road from a position slightly away as a still image.
  • the worker 1000 connects the imaging device 3 to the image processing device 2 after shooting.
  • the image processing apparatus 2 captures photographed image information 200 including an image of the manhole cover 100 photographed from the connected imaging apparatus 3.
  • the image of the manhole cover 100 included in the captured image information 200 captured is, for example, an ellipse shape, as shown in FIGS. 3A and 3B, since the image is taken from a slightly separated position. .
  • the images in FIGS. 3A and 3B are merely examples, and the image of the manhole cover 100 has various elliptical shapes including circles having the same major axis and minor axis depending on the shooting position.
  • the image processing apparatus 2 applies image processing to the captured captured image information 200.
  • the rectangular image information 300 of the rectangular region including the image of the manhole cover 100 from the captured image information 200. Is detected.
  • the rectangular area is an area surrounded by a line segment in contact with the circumference of the image of the elliptical manhole cover 100, and the vertical and horizontal lengths of the rectangle are the lengths of the minor axis and the major axis of the ellipse. Matches.
  • the image processing apparatus 2 detects the coordinate information of the four vertices v1, v2, v3, and v4 from the extracted rectangular image information 300, and uses the detected four coordinate information to determine the position of the image of the manhole cover 100 in the captured image information 200. Detect as information. Note that before the image processing apparatus 2 detects the coordinate information of the four vertices v1, v2, v3, and v4 from the rectangular image information 300, the vertical side of the rectangular image information 300 becomes parallel to the Y axis. It is assumed that the position correction is performed by rotating the captured image information 200 so that the lateral side is parallel to the X axis. As a result, coordinate information of the four vertices v1, v2, v3, v4 having the relationship shown in FIG. 4 is obtained.
  • the image processing apparatus 2 applies, for example, H.264 to the captured image information 200 after correcting the position. Coding processing based on H.265 / HVEC (High Efficiency Video ⁇ Coding) is performed, and coding information obtained by the coding processing is output.
  • the encoded information includes, for example, information such as a code amount for each CU (Coding Unit), a CU size indicating the size of the CU, an intra prediction mode applied to the encoding process, the number of significant coefficients, and bins of significant coefficients. included.
  • the CU is divided image information 200-1-1, 200-1-2, 200 obtained by dividing the photographed image information 200 into blocks of a predetermined size. -1-3, ...
  • the captured image information 200 has a pixel number of 480 ⁇ 320
  • the CU size is a fixed size of 16 ⁇ 16
  • the image processing apparatus 2 outputs information on 600 code amounts as a result of the encoding process.
  • the image processing device 2 When the image processing apparatus 2 outputs the code amount information, the image processing device 2 outputs the code amount information in the form of a two-dimensional matrix as shown in FIG.
  • the relationship between the divided image information 200-1-1, 200-1-2, 200-1-3,... And each element of the two-dimensional matrix is, for example, in the example shown in FIG.
  • the element “2” in 1 row and 1 column corresponds to the code amount of the divided image information 200-1-1
  • the element “3” in 1 row 2 column corresponds to the code amount of the divided image information 200-1-2.
  • the element “4” in 1 row and 3 columns corresponds to the code amount of the divided image information 200-1-3
  • the element “1” in 2 rows and 1 column corresponds to the code amount of the divided image information 200-2-1.
  • the two-dimensional matrix information having the code amount for each CU as an element is referred to as a code amount matrix.
  • the position information input unit 10 of the abnormality determination apparatus 1 includes position information indicating the position in the captured image information 200 of the manhole cover 100 output from the image processing apparatus 2, that is, the four vertexes of the rectangular image information 300. Import coordinate information.
  • the position information input unit 10 outputs the coordinate information of the four vertices of the captured rectangular image information 300 to the code amount distribution generation unit 20 of the analysis unit 13.
  • the encoded information input unit 11 takes in the encoded information output from the image processing device 2 and outputs the CU size information and the code amount matrix included in the acquired encoded information to the code amount distribution generating unit 20 of the analyzing unit 13. To do.
  • the score threshold value input unit 12 takes in threshold information used for the determination of a score given from the outside, and outputs the fetched threshold information to the determination unit 14.
  • the analysis unit 13 includes a code amount distribution generation unit 20 and a determination score calculation unit 21, and analyzes a feature amount related to an image pattern included in the captured image information 200.
  • the code amount distribution generation unit 20 Based on the coordinate information of the four vertices of the rectangular image information 300 output from the position information input unit 10 and the CU size and code amount matrix output from the encoding information input unit 11, the code amount distribution generation unit 20 Generate information indicating the distribution of quantities.
  • the determination score calculation unit 21 calculates a determination score used for determining the wear state of the manhole cover 100 based on information indicating the code amount distribution generated by the code amount distribution generation unit 20.
  • the determination unit 14 determines the score calculated by the determination score calculation unit 21 using the threshold information output from the score threshold input unit 12 to determine whether the manhole cover 100 is abnormal. Specifically, the determination unit 14 determines whether or not the manhole cover 100 is worn.
  • FIG. 6 is a flowchart showing the overall flow of processing by the abnormality determination device 1.
  • the position information input unit 10 of the abnormality determination apparatus 1 captures the position information of the image of the manhole cover 100 in the captured image information 200 output from the image processing apparatus 2, that is, the coordinate information of the four vertices of the rectangular image information 300.
  • the position information input unit 10 outputs the coordinate information of the four vertices of the captured rectangular image information 300 to the code amount distribution generation unit 20 of the analysis unit 13.
  • the encoding information input unit 11 takes in the encoding information output from the image processing apparatus 2.
  • the encoding information input unit 11 outputs the CU size information and the code amount matrix included in the acquired encoding information to the code amount distribution generation unit 20 of the analysis unit 13 (step S1).
  • the code amount distribution generation unit 20 of the analysis unit 13 calls a subroutine shown in FIG. 7 and starts processing for generating a code amount distribution (step S2).
  • the code amount distribution generation unit 20 takes in the coordinate information of the four vertices of the rectangular image information 300 output from the position information input unit 10, the CU size information and the code amount matrix output from the encoding information input unit 11 ( Step Sa1).
  • the code amount distribution generation unit 20 detects the range of the code amount matrix corresponding to the area of the rectangular image information 300 based on the coordinate information of the four vertices of the rectangular image information 300 and the CU size. For example, as shown in FIG. 8A, the captured image information 200 has a number of pixels of 480 ⁇ 320, and the coordinate information of the four vertices v1, v2, v3, v4 of the rectangular image information 300 is respectively It is assumed that (48, 32), (304, 32), (304, 176), (48, 176).
  • the code amount distribution generation unit 20 divides the value of the X coordinate and the value of the Y coordinate included in each of the coordinate information of the four vertices v1, v2, v3, v4 of the rectangular image information 300 by the CU size to obtain a quotient. Calculate the value.
  • the code amount distribution generation unit 20 has (3, 2), (19, 2), (19, 11), (3, 3) for each of the vertices v1, v2, v3, and v4. 11) The four coordinate information items are calculated.
  • the coordinate information determined based on the value of the quotient obtained by the division indicates the range of the code amount matrix corresponding to the area of the rectangular image information 300.
  • the origin of the coordinate system of the rectangular image information 300 is (0, 0)
  • the following numerical correction is required.
  • the position of the code amount matrix having the code amount of the upper left CU of the rectangular image information 300 as an element is obtained by adding “1” to each coordinate value of (3, 2) corresponding to the vertex v1 (4, 3 ), That is, the position of 4 rows and 3 columns of the code amount matrix.
  • the remaining (19, 2), (19, 11), (3, 11) are corrected to (19, 3), (19, 11), (4, 11), respectively.
  • the code amount distribution generation unit 20 converts the range 400 of the 4 ⁇ 3, 19 ⁇ 3, 19 ⁇ 11, and 4 ⁇ 11 columns of the code amount matrix into the range of the code amount matrix corresponding to the rectangular image information 300. (Step Sa2).
  • the code amount distribution generation unit 20 reads out the code amount for each CU from the range of the detected code amount matrix (step Sa3).
  • the code amount distribution generation unit 20 sets the code amount as a variable of the histogram, delimits the range of code amount values at predetermined intervals, counts the number of CUs included in each section, and generates a code amount histogram (Ste Sa4).
  • a section is called a bin.
  • FIG. 9 is a graph showing a code amount histogram generated in the form of a graph by counting the number of CUs included in each bin with a predetermined interval of “20”.
  • the code amount distribution generation unit 20 outputs the generated code amount histogram to the determination score calculation unit 21, and ends the subroutine of the code amount distribution generation process (step Sa5).
  • the determination score calculation unit 21 of the analysis unit 13 calls a subroutine shown in FIG. 10 and starts a process of calculating a determination score used for determining the wear state of the manhole cover 100 (step S ⁇ b> 3). ).
  • the determination score calculation unit 21 takes in the code amount histogram output from the code amount distribution generation unit 20 (step Sb1).
  • the determination score calculation unit 21 detects the number of CUs of the smallest bin as the determination score b 1 in the acquired code amount histogram (step Sb2). For example, in the example of FIG. 9, the range of the minimum bin is “0” to “20”, and the number of CUs in the bin is detected as the determination score b 1 .
  • Determination score calculation unit 21 calculates the ratio of the number of a certain amount or more of CU code amount is predetermined as the determination score b 2 (step Sb3). For example, in the example of FIG. 9, when the predetermined amount or more is “100”, the determination score calculation unit 21 calculates the number of all CUs included in each bin whose code amount is “100” or more. Count to calculate. The determination score calculation unit 21 divides the number of CUs with the calculated code amount “100” or more by the total number of CUs included in the code amount histogram, and the ratio of the number of CUs with the code amount “100” or more. It is calculated and the calculated value of the ratio a determination score b 2.
  • the determination score calculation unit 21 outputs the determination scores b 1 and b 2 and the code amount histogram to the determination unit 14, and ends the determination score calculation processing subroutine (step Sb4).
  • the determination unit 14 calls the subroutine shown in FIG. 11, and uses the threshold information output by the score threshold input unit 12 to determine the determination scores b 1 and b 2 calculated by the determination score calculation unit 21.
  • a score determination process for determining is started (step S4).
  • the determination unit 14 takes in the determination scores b 1 and b 2 and the code amount histogram output from the determination score calculation unit 21 (step Sc1).
  • the determination unit 14 takes in the threshold information output from the score threshold input unit 12, and reads the three thresholds th A , threshold th B , and threshold th C included in the fetched threshold information (step Sc2). Note that the order of the processes of step Sc1 and step Sc2 may be switched.
  • the threshold th A and the threshold th B are used for determination of the determination score b 1
  • the threshold th A and the threshold th B are values between the minimum value and the maximum value that the code amount can take, and the threshold th A > threshold th B It is predetermined to have a relationship.
  • the threshold th C is used for determination of the determination score b 2 , a value indicating a ratio such as a percentage is determined in advance.
  • the determination unit 14 determines whether or not the value of the determination score b 1 exceeds the threshold th A (step Sc3). When the determination unit 14 determines that the value of the determination score b 1 exceeds the threshold th A (step Sc3-YES), the determination unit 14 outputs the determination result as “the manhole cover 100 is worn” (step Sc3). Sc6).
  • the determination unit 14 determines that the value of the determination score b 1 does not exceed the threshold th A (step Sc3-NO)
  • the value of the determination score b 1 is It is determined whether it is the maximum value among the number of CUs in the bin and the determination score b 1 exceeds the threshold th B (step Sc4).
  • the determination unit 14 determines that the value of the determination score b 1 is the maximum value among the number of CUs in each bin of the code amount histogram, and the determination score b 1 exceeds the threshold th B (Step Sc4-YES)
  • the determination result is output on the assumption that the manhole cover 100 is “weared” (step Sc6).
  • the determination unit 14 determines that the value of the determination score b 1 is not the maximum value among the number of CUs in each bin of the code amount histogram, or the determination score b 1 does not exceed the threshold th B. If (step Sc4-NO), then, determines the value of the determination score b 2 is whether exceeds the threshold th C (step Sc5).
  • Determining unit 14 the value of determination score b 2 is, when it is determined to exceed the threshold th C (step Sc5-YES), the lid 100 of the manhole and outputs the determination result as "worn” ( Step Sc6).
  • the determination unit 14 determines that the value of the determination score b 2 does not exceed the threshold th C (step Sc5-NO)
  • the determination unit 14 outputs the determination result as the manhole cover 100 is “not worn”. (Step Sc7).
  • the determination score b 1 is the number of CUs included in the smallest bin in the code amount histogram.
  • a large number of CUs in the bin means that there are many CUs with a small code amount.
  • the fact that there are many CUs with a small code amount means that the contrast of the feature amount related to the pattern included in the rectangular image information 300 is low, and there are many textures that show a flat feeling. Means that.
  • the pattern contrast is low and many textures showing a flat feeling are included. Become. Therefore, based on the determination score b 1 , it can be determined whether or not the manhole cover 100 is worn by determining whether or not many textures showing a flat feeling are included. .
  • the threshold th A can be determined as follows. For example, a sample of the smallest bin CU number obtained from the rectangular image information 300 including an image of a manhole cover 100 that is clearly worn, and a rectangular image that includes an image of the manhole cover 100 that is not clearly worn. A sample of the minimum bin CU number obtained from the information 300 is obtained. A boundary value between the acquired samples is detected, and this boundary value or a value in the vicinity of the boundary value is determined as the threshold th A. By thus determining the threshold th A and performing the determination process of step Sc3 described above, the worn manhole cover 100 can be extracted.
  • the determination score b 1 is the maximum value among the number of CUs in each bin of the code amount histogram
  • the distribution of the entire code amount is a distribution concentrated in the smaller code amount.
  • the threshold value th B having a relationship of threshold value th A > threshold value th B is determined as described above, and the determination process in step Sc4 is performed. By doing so, the worn manhole cover 100 can be extracted.
  • the determination process in step Sc3 can extract the manhole cover 100 having a high degree of wear, whereas the determination process in step Sc4 has a lower degree of wear than in step Sc3.
  • the determination score b 2 indicates the ratio of the number of CUs whose code amount is equal to or larger than a predetermined amount.
  • the value of the determination score b 2 is small, there are many CUs with a large code amount in the rectangular image information 300. Means not included. Therefore, in this case as well, since the distribution is more when the code amount is smaller, it can be estimated that there are many textures that show a flat feeling as a whole. Therefore, by setting the threshold value th C to an appropriate value, it is possible to extract the worn manhole cover 100 that could not be extracted in step Sc3 or step Sc4.
  • the analysis unit 13 of the abnormality determination device 1 analyzes the feature amount related to the pattern of the image among the encoded information obtained by encoding at least the image obtained by photographing the manhole cover 100.
  • the determination unit 14 determines whether the manhole cover 100 has an abnormality based on the analysis result of the analysis unit 13. As a result, it is possible to reduce the time cost by determining the abnormal state of the lid, that is, the wear state, from the encoded information of the image obtained by photographing the manhole cover without using a general image feature extraction process or the like. It becomes possible.
  • the encoding information is the code amount for each CU (Coding Unit), the size of the CU, the intra prediction mode, the number of significant coefficients, the bins of significant coefficients, and the like.
  • the configuration of the embodiment is not limited.
  • the encoded information is information that can be obtained directly from data obtained by encoding the captured image information 200, or a process of decoding data obtained by encoding the captured image information 200 into the captured image information 200 through a plurality of stages of processing.
  • the information may include information that can be obtained without performing at least the last one-stage process.
  • the determination unit 14 is configured to determine whether the manhole cover 100 is worn or not as the determination of whether the manhole cover 100 is abnormal.
  • It may be configured to determine whether or not there is a water leak, whether or not there is a crack, and whether or not the manhole cover 100 is removed as the determination of the presence or absence of 100 abnormalities.
  • the determination unit 14 determines that there is an abnormality in the manhole cover 100 when there is water leakage, and when there is no water leakage, It is determined that the lid 100 is not abnormal.
  • the determination unit 14 determines that the manhole cover 100 is abnormal when the manhole cover 100 is cracked. When there is no crack, it is determined that the manhole cover 100 is normal.
  • the existing technique may be used for the detection of a crack.
  • the determination unit 14 determines that the manhole cover 100 is abnormal when the manhole cover 100 is removed.
  • the manhole cover 100 is not removed, it is determined that the manhole cover 100 is normal. Whether or not the manhole cover 100 is removed may be determined by matching an image in a state where the manhole cover 100 is not removed with a photographed image.
  • the determination unit 14 may determine the presence / absence of an abnormality in the manhole cover 100 by combining the above examples.
  • the determination unit 14 determines any of a plurality of states among the determination of whether the manhole cover 100 is worn, whether there is water leakage, whether there is a crack, or whether the manhole cover 100 is removed. When it is determined that there is no abnormality with respect to all the determined or predetermined ones, it may be determined that there is no abnormality in the manhole cover 100.
  • the coordinate information of the four vertices of the rectangular image information 300 is given to the position information input unit 10 as the position information.
  • the configuration of the present invention is limited to the embodiment. Absent.
  • the image processing apparatus 2 extracts the rectangular image information 300 from the captured image information 200, applies an encoding process to the extracted rectangular image information 300, generates an encoding matrix, and generates the generated encoding matrix. It may be included in the encoded information and output to the abnormality determination device 1.
  • the code amount distribution generation unit 20 takes in only the code amount matrix in step Sa1 shown in FIG.
  • the code amount histogram can be generated by performing the processing after step Sa3 without performing the above processing.
  • the rectangular image information 300 including the image of the manhole cover 100 is extracted from the captured image information 200, and each CU included in the extracted rectangular image information 300 is extracted.
  • the wear state is determined using the code amount
  • the configuration of the present invention is not limited to the embodiment. Any technique other than a technique using a rectangular shape may be applied as long as it can identify the position of the image of the manhole cover 100.
  • the shape of the manhole includes a quadrilateral shape in addition to the circular shape, and the image processing apparatus 2 may extract only the image of the manhole cover 100 according to the shape of the manhole. In that case, the abnormality determination apparatus 1 uses encoded information related to image information including only the extracted image of the manhole cover 100.
  • the configuration is the same as when the image processing apparatus 2 extracts the rectangular image information 300. That is, since the position information becomes unnecessary, it is not necessary to provide the position information input unit 10, and the code amount distribution generation unit 20 takes in only the code amount matrix in step Sa1 shown in FIG. 7 and performs the process of step Sa2. First, the code amount histogram can be generated by performing the processing after step Sa3.
  • the captured image information 200 captured by the imaging device 3 is assumed to be a single still image, but a plurality of images having a composition in which the positions of the manhole cover 100 are substantially matched.
  • Still images or moving images may be used.
  • information of a plurality of code amounts corresponding to each of the still images can be obtained.
  • each of a plurality of frames included in the moving image A plurality of code amounts corresponding to can be obtained. Therefore, a plurality of code amounts can be obtained for one CU, and the accuracy of wear determination can be increased.
  • the code amount is specified by a bit rate.
  • a code amount per frame is used for a moving image of 30 fps (frame per second). Is 50 kbps on average, and the quantization coefficient is set so as to be the code amount. That is, by changing the designated bit rate, the quantization coefficient changes accordingly, and the characteristics of the code amount distribution also change. Therefore, in the case of a moving image, the bit rate at which many CUs with a small code amount, which are often seen when worn, appear in advance, and the moving image of the manhole cover 100 is photographed at the bit rate. It is possible to further improve the accuracy of the determination.
  • the manhole cover 100 is used as the subject of the image pickup apparatus 3 and the state of wear on the surface of the manhole cover 100 is detected.
  • the present invention is limited to this embodiment. Absent. Any object may be used as long as the object wears, i.e., the edge on the image stands out and the edge gradually disappears.For example, the surface of the tire
  • the wear state of the grid pattern may be determined, or the shoe sole may be used as a subject to determine the wear state of the shoe sole.
  • the determination process using the inequality sign is performed in the processes illustrated in steps Sc3, Sc4, and Sc5 illustrated in FIG.
  • the present invention is not limited to the embodiment, but “whether or not”, “whether or not”, “whether or not”, “whether or not”.
  • the determination process is merely an example, and depending on how the threshold value is set, each of “whether or not”, “whether or not”, “whether or not”, It may be replaced with a determination process of “whether or not it is less than”.
  • the threshold values used in the determination process are also examples, and different threshold values may be applied to each. That is, for the above threshold determination process, it may be determined whether or not the value to be determined is equal to or greater than the threshold.
  • the object is to detect an abnormality of the manhole cover 100 as shown in FIG. 3, and therefore it is assumed that the subject is a circle and the image of the manhole cover 100 is an ellipse.
  • the invention can also be applied to a rectangular manhole cover or the like. That is, the present invention can be applied to any subject that can determine whether or not it is abnormal by using a trigger that the edge of the image gradually disappears or becomes clearer.
  • the abnormality determination device 1 in the above-described embodiment may be realized by a computer.
  • a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time.
  • the program may be a program for realizing a part of the above-described functions, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system. It may be realized using a programmable logic device such as an FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • SYMBOLS 1 Abnormality determination apparatus, 10 ... Position information input part, 11 ... Encoding information input part, 12 ... Analysis part, 13 ... Score threshold value input part, 14 ... Determination part, 20 ... Code amount distribution generation part, 21 ... For determination Score calculator

Landscapes

  • Engineering & Computer Science (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mining & Mineral Resources (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Structural Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Paleontology (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Underground Structures, Protecting, Testing And Restoring Foundations (AREA)
  • Image Analysis (AREA)

Abstract

少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、を備える異常判定装置。

Description

異常判定装置、異常判定方法及び異常判定プログラム
　本発明は、異常判定装置、異常判定方法及び異常判定プログラムに関する。
　近年、社会インフラの点検や保守の自動化の必要性が高まっている。例えば、通信土木設備である電信柱やマンホールの点検などにおいても自動化の動きがある。例えば、マンホールの蓋は、道路上にあることが多いため、車両の通行に影響がないよう定期的に点検や保守を行う必要がある。
　従来は、作業員が対象のマンホールに近づき、例えば、ノギス等を用いて、蓋の摩耗状態等の測定や確認をしていた。これに対して、近年、少し離れたところから、設置されているマンホールの蓋をデジタルカメラで撮影した画像を用いて、蓋の摩耗、蓋のがたつきといった異常を判定することが行われている（例えば、非特許文献１参照）。
「段サーチ２」、［online］、アイレック技建、［平成３０年２月２日検索］、インターネット（URL:http://www.airec.co.jp/products/renovation/StepSearch2.html）
　非特許文献１に示される技術では、設置されたマンホールの蓋が撮影された画像の画像情報を符号化して保存していることが想定される。そして、画像の解析を行う際には、符号化された情報から画像を復号し、画像の個々の領域に含まれる特徴の抽出を行う特徴抽出や判別といった一般的な画像を対象とした演算処理を行っていると想定される。そのため、対象とするマンホールの数が増大した場合、それに伴い、演算処理に要する時間的なコストが膨大になるという問題があった。
　上記事情に鑑み、本発明は、マンホールの蓋が撮影された画像を対象とした演算処理に要する時間的なコストを減少させることができる技術の提供を目的としている。
　本発明の一態様は、少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、を備える異常判定装置である。
　本発明の一態様は、上記の異常判定装置であって、前記特徴量は、前記画像を分割した分割画像ごとの符号量である。
　本発明の一態様は、上記の異常判定装置であって、前記解析部は、前記符号量の分布に基づいて前記特徴量の解析を行う。
　本発明の一態様は、上記の異常判定装置であって、前記符号量の分布とは、前記符号量を変量とし、変量の値を予め定められる一定間隔で区切った区間の各々に属する前記分割画像を含む情報である分割画像情報の個数を示すヒストグラムであり、前記解析部は、前記符号量の分布に基づいて、最小の符号量が含まれる前記区間の前記分割画像情報の個数と、前記符号量が、予め定められる一定量以上となる前記分割画像情報の個数の割合とを判定用のスコアとして算出し、前記判定部は、予め定められる閾値と、前記判定用のスコアとに基づいて、前記マンホールの蓋が異常を有するか否かを判定する。
　本発明の一態様は、上記の異常判定装置であって、前記異常は、前記マンホールの蓋が摩耗していること、水漏れがあること、ひび割れがあること、前記マンホールの蓋が外れていることのいずれか１つ又は複数である。
　本発明の一態様は、上記の異常判定装置であって、前記画像は、前記マンホールの蓋が、所望の被写体に置き換えられた画像である。
　本発明の一態様は、少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析するステップと、解析した解析結果に基づき前記マンホールの蓋の異常の有無を判定するステップと、を含む異常判定方法である。
　本発明の一態様は、コンピュータを、上記に記載の異常判定装置として機能させるための異常判定プログラムである。
　本発明により、マンホールの蓋が撮影された画像を対象とした演算処理に要する時間的なコストを減少させることが可能となる。
本発明の実施形態による異常判定装置の構成を示すブロック図である。 同実施形態の異常判定装置が適用される異常検出システムの構成を示すブロック図である。 同実施形態において撮像装置により撮影されるマンホールの蓋の画像を含んだ撮影画像情報の例である。 同実施形態において撮像装置により撮影される撮影画像情報に含まれる矩形画像情報を示す図である。 同実施形態における撮影画像情報の分割と、分割画像情報ごとの符号量を含む二次元行列とを示す図である。 同実施形態における異常判定装置による処理の流れを示すフローチャートである。 同実施形態における符号量分布生成処理の流れを示すフローチャートである。 同実施形態における矩形画像情報の領域と二次元行列の範囲との対応関係を説明する図である。 同実施形態の符号量分布生成処理において生成される符号量ヒストグラムの例を示す図である。 同実施形態における判定用スコア算出処理の流れを示すフローチャートである。 同実施形態におけるスコア判定処理の流れを示すフローチャートである。
　以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の一実施形態による異常判定装置１の構成を示すブロック図である。異常判定装置１は、位置情報入力部１０、符号化情報入力部１１、スコア閾値入力部１２、解析部１３及び判定部１４を備える。
　異常判定装置１は、例えば、図２に示すようなマンホールの蓋１００の異常を検出する異常検出システムＡに用いられる装置である。異常検出システムＡは、撮像装置３、画像処理装置２及び異常判定装置１を備える。異常検出システムＡは、以下のようにして用いられる。
　まず、異常検出システムＡを利用する作業者１０００が、デジタルカメラ等の撮像装置３を用いて、少し離れた位置から道路上に設置されているマンホールの蓋１００を静止画像で撮影する。作業者１０００は、撮影後に撮像装置３を画像処理装置２に接続する。画像処理装置２は、接続される撮像装置３から撮影されたマンホールの蓋１００の画像を含んだ撮影画像情報２００を取り込む。取り込んだ撮影画像情報２００に含まれるマンホールの蓋１００の画像は、例えば、図３（ａ），（ｂ）に示すように、少し離れた位置から撮影しているために、楕円の形状になる。なお、図３（ａ），（ｂ）の画像は一例にすぎず、撮影する位置により、マンホールの蓋１００の画像は、長径と短径が等しい円を含む様々な楕円の形状となる。
　画像処理装置２は、取り込んだ撮影画像情報２００に対して画像処理を適用し、例えば、図４に示すように、撮影画像情報２００からマンホールの蓋１００の画像を含む矩形領域の矩形画像情報３００を検出する。矩形領域は、図４に示すように、楕円形状のマンホールの蓋１００の画像の円周に接する線分で囲まれる領域であり、矩形の縦横の長さが、楕円の短径と長径の長さに一致する。
　画像処理装置２は、抽出した矩形画像情報３００から４つの頂点ｖ１，ｖ２，ｖ３，ｖ４の座標情報を検出し、検出した４つの座標情報をマンホールの蓋１００の画像の撮影画像情報２００における位置情報として検出する。なお、画像処理装置２は、矩形画像情報３００から４つの頂点ｖ１，ｖ２，ｖ３，ｖ４の座標情報の検出を行う前に、矩形画像情報３００の縦方向の辺が、Ｙ軸と平行になり、横方向の辺が、Ｘ軸と平行になるように撮影画像情報２００を回転させて位置の補正を行うものとする。これにより、図４に示すような関係を有する４つの頂点ｖ１，ｖ２，ｖ３，ｖ４の座標情報が得られることになる。
　また、画像処理装置２は、位置を補正した後の撮影画像情報２００に対して、例えば、Ｈ．２６５／ＨＶＥＣ(High Efficiency Video Coding)に基づく符号化処理を行い、符号化処理によって得られる符号化情報を出力する。符号化情報には、例えば、ＣＵ（Coding Unit）ごとの符号量、ＣＵの大きさを示すＣＵサイズ、符号化処理に適用したイントラ予測モード、有意係数の個数、有意係数のビン等の情報が含まれる。
　ここで、ＣＵとは、例えば、図５（ａ）に示すように、撮影画像情報２００を、予め定められるサイズのブロックに分割した分割画像情報２００－１－１，２００－１－２，２００－１－３，…のことである。例えば、撮影画像情報２００が、４８０×３２０の画素数を有する場合、ＣＵサイズを１６×１６の固定サイズとすると、ＣＵの数は、３０×２０＝６００になる。この場合、画像処理装置２は、符号化処理の結果として、６００個の符号量の情報を出力する。
　画像処理装置２は、符号量の情報を出力する際、符号量の情報を図５（ｂ）に示すように、二次元行列の形式で出力する。分割画像情報２００－１－１，２００－１－２，２００－１－３，…と、二次元行列の各要素との関係は、例えば、図５に示す例では、図５（ｂ）の１行１列の要素「２」が、分割画像情報２００－１－１の符号量に対応し、１行２列の要素「３」が、分割画像情報２００－１－２の符号量に対応し、１行３列の要素「４」が、分割画像情報２００－１－３の符号量に対応し、２行１列の要素「１」が、分割画像情報２００－２－１の符号量に対応する。以下の説明において、ＣＵごとの符号量を要素とする二次元行列情報を符号量行列という。
　図１に戻り、異常判定装置１の位置情報入力部１０は、画像処理装置２が出力するマンホールの蓋１００の撮影画像情報２００における位置を示す位置情報、すなわち矩形画像情報３００の４つの頂点の座標情報を取り込む。位置情報入力部１０は、取り込んだ矩形画像情報３００の４つの頂点の座標情報を解析部１３の符号量分布生成部２０に出力する。
　符号化情報入力部１１は、画像処理装置２が出力する符号化情報を取り込み、取り込んだ符号化情報に含まれるＣＵサイズの情報及び符号量行列を解析部１３の符号量分布生成部２０に出力する。
　スコア閾値入力部１２は、外部から与えられるスコアの判定に用いられる閾値情報を取り込み、取り込んだ閾値情報を判定部１４に出力する。
　解析部１３は、符号量分布生成部２０と判定用スコア算出部２１を備えており、撮影画像情報２００に含まれる画像の模様に係る特徴量を解析する。なお、本実施形態では、特徴量として符号量を用いる場合について記載するが、画像の模様を示す特徴量であれば他の特徴量でもよい。符号量分布生成部２０は、位置情報入力部１０が出力する矩形画像情報３００の４つの頂点の座標情報と、符号化情報入力部１１が出力するＣＵサイズ及び符号量行列とに基づいて、符号量の分布を示す情報を生成する。判定用スコア算出部２１は、符号量分布生成部２０が生成した符号量の分布を示す情報に基づいて、マンホールの蓋１００の摩耗状態の判定に用いられる判定用のスコアを算出する。
　判定部１４は、スコア閾値入力部１２が出力する閾値情報を用いて、判定用スコア算出部２１が算出したスコアの判定を行い、マンホールの蓋１００の異常の有無を判定する。
具体的には、判定部１４は、マンホールの蓋１００が摩耗しているか否かを判定する。
（異常判定装置による処理）
　次に、図６から図１１を参照して、異常判定装置１による処理の流れについて説明する。図６は、異常判定装置１による処理の全体的な流れを示すフローチャートである。異常判定装置１の位置情報入力部１０は、画像処理装置２が出力する撮影画像情報２００におけるマンホールの蓋１００の画像の位置情報、すなわち矩形画像情報３００の４つの頂点の座標情報を取り込む。位置情報入力部１０は、取り込んだ矩形画像情報３００の４つの頂点の座標情報を解析部１３の符号量分布生成部２０に出力する。
　符号化情報入力部１１は、画像処理装置２が出力する符号化情報を取り込む。符号化情報入力部１１は、取り込んだ符号化情報に含まれるＣＵサイズの情報と符号量行列を解析部１３の符号量分布生成部２０に出力する（ステップＳ１）。
　解析部１３の符号量分布生成部２０が、図７に示すサブルーチンを呼び出し、符号量分布を生成する処理を開始する（ステップＳ２）。符号量分布生成部２０は、位置情報入力部１０が出力する矩形画像情報３００の４つの頂点の座標情報と、符号化情報入力部１１が出力するＣＵサイズの情報及び符号量行列とを取り込む（ステップＳａ１）。
　符号量分布生成部２０は、矩形画像情報３００の４つの頂点の座標情報と、ＣＵサイズとに基づいて、矩形画像情報３００の領域に対応する符号量行列の範囲を検出する。例えば、図８（ａ）に示すように撮影画像情報２００が、４８０×３２０の画素数を有しており、矩形画像情報３００の４つの頂点ｖ１、ｖ２、ｖ３、ｖ４の座標情報が、それぞれ（４８，３２），（３０４，３２），（３０４，１７６），（４８，１７６）であるとする。
　ここで、ＣＵサイズが１６×１６であるとすると、図８（ｂ）に示す符号量行列の全体の大きさは、撮影画像情報２００のサイズが、４８０×３２０であるため、３０行×２０列になる。符号量分布生成部２０は、矩形画像情報３００の４つの頂点ｖ１、ｖ２、ｖ３、ｖ４の座標情報の各々に含まれるＸ座標の値とＹ座標の値を、ＣＵサイズで除算して商の値を算出する。図８（ａ）の例では、符号量分布生成部２０は、頂点ｖ１、ｖ２、ｖ３、ｖ４の各々について、（３，２），（１９，２），（１９，１１），（３，１１）の４つの座標情報を算出する。
　除算により得られる商の値に基づいて定められる座標情報は、矩形画像情報３００の領域に対応する符号量行列の範囲を示すことになる。ただし、矩形画像情報３００の座標系は、原点が（０，０）となっているため、以下のような数値の補正が必要になる。例えば、矩形画像情報３００の左上のＣＵの符号量を要素とする符号量行列の位置は、頂点ｖ１に対応する（３，２）の各々の座標値に「１」を加えた（４，３）、すなわち符号量行列の４行３列の位置になる。残りの（１９，２），（１９，１１），（３，１１）は、それぞれ（１９，３），（１９，１１），（４，１１）に補正されることになる。
　したがって、符号量分布生成部２０は、符号量行列の４行３列、１９行３列、１９行１１列、４行１１列の範囲４００を、矩形画像情報３００に対応する符号量行列の範囲として検出する（ステップＳａ２）。
　符号量分布生成部２０は、検出した符号量行列の範囲からＣＵごとの符号量を読み出す（ステップＳａ３）。符号量分布生成部２０は、符号量をヒストグラムの変量とし、符号量の値の範囲を予め定められる一定間隔で区切り、各区間に含まれるＣＵの数をカウントして符号量ヒストグラムを生成する（ステップＳａ４）。以下の説明において、区間のことをビンという。
　例えば、図９は、予め定められる一定間隔の大きさを「２０」として、ビンごとに含まれるＣＵの数をカウントして生成した符号量ヒストグラムをグラフ形式で示した図である。符号量分布生成部２０は、生成した符号量ヒストグラムを判定用スコア算出部２１に出力して、符号量分布の生成処理のサブルーチンを終了する（ステップＳａ５）。
　図６に戻り、解析部１３の判定用スコア算出部２１が、図１０に示すサブルーチンを呼び出し、マンホールの蓋１００の摩耗状態の判定に用いられる判定用スコアを算出する処理を開始する（ステップＳ３）。
　判定用スコア算出部２１は、符号量分布生成部２０が出力した符号量ヒストグラムを取り込む（ステップＳｂ１）。判定用スコア算出部２１は、取り込んだ符号量ヒストグラムにおいて、最小のビンのＣＵの数を判定用スコアｂ１として検出する（ステップＳｂ２）。例えば、図９の例の場合、最小のビンの範囲は、「０」から「２０」であり、当該ビンのＣＵの数を判定用スコアｂ１として検出する。
　判定用スコア算出部２１は、符号量ヒストグラムにおいて、符号量が予め定められる一定量以上のＣＵの数の割合を判定用スコアｂ２として算出する（ステップＳｂ３）。例えば、図９の例において、予め定められる一定量以上が「１００」である場合、判定用スコア算出部２１は、符号量が「１００」以上のビンの各々に含まれる全てのＣＵの数をカウントして算出する。判定用スコア算出部２１は、算出した符号量が「１００」以上のＣＵの数を、符号量ヒストグラムに含まれるＣＵの全数で除算して、符号量が「１００」以上のＣＵの数の割合を算出し、算出した割合の値を判定用スコアｂ２とする。
　判定用スコア算出部２１は、判定用スコアｂ１，ｂ２と、符号量ヒストグラムとを判定部１４に出力して、判定用スコア算出処理のサブルーチンを終了する（ステップＳｂ４）。
　図６に戻り、判定部１４が、図１１に示すサブルーチンを呼び出し、スコア閾値入力部１２が出力する閾値情報を用いて、判定用スコア算出部２１が算出した判定用スコアｂ１，ｂ２の判定を行うスコア判定処理を開始する（ステップＳ４）。判定部１４は、判定用スコア算出部２１が出力する判定用スコアｂ１，ｂ２及び符号量ヒストグラムを取り込む（ステップＳｃ１）。
　判定部１４は、スコア閾値入力部１２が出力する閾値情報を取り込み、取り込んだ閾値情報に含まれる３つの閾値ｔｈＡ、閾値ｔｈＢ、閾値ｔｈＣを読み出す（ステップＳｃ２）。なお、ステップＳｃ１とステップＳｃ２の処理は、処理の順番が入れ替わってもよい。
　閾値ｔｈＡ、閾値ｔｈＢは、判定用スコアｂ１の判定に用いられるため、符号量の取り得る値の最小値から最大値までの間の値であって、閾値ｔｈＡ＞閾値ｔｈＢの関係を有するように予め定められる。また、閾値ｔｈＣは、判定用スコアｂ２の判定に用いられるため、百分率等の割合を示す値が予め定められる。
　判定部１４は、判定用スコアｂ１の値が、閾値ｔｈＡを超えているか否かを判定する（ステップＳｃ３）。判定部１４は、判定用スコアｂ１の値が閾値ｔｈＡを超えていると判定した場合（ステップＳｃ３－ＹＥＳ）、マンホールの蓋１００が「摩耗している」として判定結果を出力する（ステップＳｃ６）。
　一方、判定部１４は、判定用スコアｂ１の値が閾値ｔｈＡを超えていないと判定した場合（ステップＳｃ３－ＮＯ）、次に、判定用スコアｂ１の値が、符号量ヒストグラムの各ビンのＣＵの数の中の最大値であって、かつ判定用スコアｂ１が閾値ｔｈＢを超えているか否かを判定する（ステップＳｃ４）。判定部１４は、判定用スコアｂ１の値が、符号量ヒストグラムの各ビンのＣＵの数の中の最大値であって、かつ判定用スコアｂ１が閾値ｔｈＢを超えていると判定した場合（ステップＳｃ４－ＹＥＳ）、マンホールの蓋１００が「摩耗している」として判定結果を出力する（ステップＳｃ６）。
　一方、判定部１４は、判定用スコアｂ１の値が、符号量ヒストグラムの各ビンのＣＵの数の中の最大値でないか、または判定用スコアｂ１が閾値ｔｈＢを超えていないと判定した場合（ステップＳｃ４－ＮＯ）、次に、判定用スコアｂ２の値が、閾値ｔｈＣを超えているか否かを判定する（ステップＳｃ５）。
　判定部１４は、判定用スコアｂ２の値が、閾値ｔｈＣを超えていると判定した場合（ステップＳｃ５－ＹＥＳ）、マンホールの蓋１００が「摩耗している」として判定結果を出力する（ステップＳｃ６）。一方、判定部１４は、判定用スコアｂ２の値が、閾値ｔｈＣを超えていないと判定した場合（ステップＳｃ５－ＮＯ）、マンホールの蓋１００が「摩耗していない」として判定結果を出力する（ステップＳｃ７）。
　ここで、閾値情報に含まれる３つの閾値ｔｈＡ、閾値ｔｈＢ、閾値ｔｈＣについて説明する。判定用スコアｂ１は、符号量ヒストグラムにおける最小のビンに含まれるＣＵの数であり、当該ビンのＣＵの数が多いということは、符号量の少ないＣＵが多いということになる。符号量の少ないＣＵが多いということは、矩形画像情報３００に含まれる模様に係る特徴量のうちのコントラストが低くなっており、平坦な感じを示すテクスチャが多く含まれている状態になっていることを意味する。
　例えば、図３（ｂ）に示すように、マンホールの蓋１００の表面が削られて摩耗している場合には、模様のコントラストが低くなっており平坦な感じを示すテクスチャが多く含まれることになる。したがって、判定用スコアｂ１に基づいて、平坦な感じを示すテクスチャが多く含まれているか否かを判定することにより、マンホールの蓋１００が摩耗しているか否かを判定することができることになる。
　閾値ｔｈＡは、以下のようにして定めることができる。例えば、明らかに摩耗しているマンホールの蓋１００の画像を含む矩形画像情報３００から得られる最小のビンのＣＵの数のサンプルと、明らかに摩耗していないマンホールの蓋１００の画像を含む矩形画像情報３００から得られる最小のビンのＣＵの数のサンプルとを取得する。取得したサンプル間の境界値を検出し、この境界値、または境界値の付近の値を閾値ｔｈＡとして定める。
このようにして閾値ｔｈＡを定めて、上記のステップＳｃ３の判定処理を行うことにより、摩耗しているマンホールの蓋１００を抽出することが可能となる。
　また、判定用スコアｂ１が、符号量ヒストグラムの各ビンのＣＵの数の中で最大値となっている場合、全体の符号量の分布として、符号量が小さい方に集中している分布となり、この場合も全体的に平坦な感じを示すテクスチャが多い状態であると推測することができる。したがって、ステップＳｃ３では抽出できなかった摩耗しているマンホールの蓋１００を抽出するために、上記の通り閾値ｔｈＡ＞閾値ｔｈＢの関係を有する閾値ｔｈＢを定めて、ステップＳｃ４の判定処理を行うことにより、摩耗しているマンホールの蓋１００を抽出することができる。
　換言すると、ステップＳｃ３の判定処理は、摩耗している度合いの高いマンホールの蓋１００を抽出することができるのに対して、ステップＳｃ４の判定処理は、ステップＳｃ３よりも摩耗している度合いが低いものの、明らかに摩耗していないマンホールの蓋１００と比べると摩耗が進んでいるマンホールの蓋１００を抽出することができる。
　判定用スコアｂ２は、符号量が予め定められる一定量以上のＣＵの数の割合を示しており、判定用スコアｂ２の値が小さい場合、矩形画像情報３００に符号量の大きいＣＵが多く含まれていないことを意味する。そのため、この場合も符号量が小さい方が多い分布となっているため、全体的に平坦な感じを示すテクスチャが多い状態であると推測することができる。したがって、閾値ｔｈＣを適切な値に定めることで、ステップＳｃ３やステップＳｃ４において抽出できなかった、摩耗しているマンホールの蓋１００を抽出することができることになる。
　上記の実施形態の構成では、異常判定装置１の解析部１３が、少なくともマンホールの蓋１００が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する。判定部１４は、解析部１３の解析結果に基づきマンホールの蓋１００が異常を有するか否かを判定する。これにより、一般的な画像の特徴抽出処理等を用いることなく、マンホールの蓋を撮影した画像の符号化情報から蓋の異常状態、すなわち摩耗状態を判定することで、時間的なコストを減少させることが可能となる。
　なお、上記の実施形態の構成では、符号化情報は、ＣＵ（Coding Unit）ごとの符号量、ＣＵのサイズ、イントラ予測モード、有意係数の個数、有意係数のビン等としているが、本発明は、当該実施の形態の構成に限られない。符号化情報は、撮影画像情報２００を符号化したデータから直接得ることができる情報、または、撮影画像情報２００を符号化したデータを複数の段階の処理を経て撮影画像情報２００に復号する処理過程において、少なくとも最後の一段階の処理を行うことなく得ることができる情報、のいずれか一方、または両方を含む情報であってもよい。
　上記の実施形態では、判定部１４がマンホールの蓋１００の異常の有無の判定として、マンホールの蓋１００が摩耗しているか否かを判定する構成を示したが、判定部１４は、マンホールの蓋１００の異常の有無の判定として水漏れの有無、ひび割れの有無、マンホールの蓋１００が外れているか否かを判定するように構成されてもよい。マンホールの蓋１００の異常の有無の判定として水漏れの有無が用いられる場合、判定部１４は、水漏れがある場合にマンホールの蓋１００の異常ありと判定し、水漏れがない場合にマンホールの蓋１００の異常なしと判定する。マンホールの蓋１００の異常の有無の判定としてひび割れの有無が用いられる場合、判定部１４は、マンホールの蓋１００にひび割れがある場合にマンホールの蓋１００の異常ありと判定し、マンホールの蓋１００にひび割れがない場合にマンホールの蓋１００の異常なしと判定する。なお、ひび割れの検出は、既存の技術が用いられてもよい。マンホールの蓋１００の異常の有無の判定としてマンホールの蓋１００が外れているか否かが用いられる場合、判定部１４は、マンホールの蓋１００が外れている場合にマンホールの蓋１００の異常ありと判定し、マンホールの蓋１００が外れていない場合にマンホールの蓋１００の異常なしと判定する。なお、マンホールの蓋１００が外れているか否かの判定は、マンホールの蓋１００が外れていない状態の画像と、撮影された画像とをマッチングすることによって判定してもよい。判定部１４は、マンホールの蓋１００の異常の有無の判定として、上記例を組み合わせて判定してもよい。例えば、判定部１４は、マンホールの蓋１００が摩耗しているか否か、水漏れの有無、ひび割れの有無、マンホールの蓋１００が外れているか否かの判定のうち、いずれか複数の状態について判定を行い、判定した全て又は予め定められたものに対して異常がないと判定した場合に、マンホールの蓋１００の異常なしと判定してもよい。
　また、上記の実施形態では、位置情報入力部１０に対して、矩形画像情報３００の４つの頂点の座標情報を位置情報として与えているが、本発明の構成は、当該実施の形態に限られない。例えば、画像処理装置２が、撮影画像情報２００から矩形画像情報３００を抽出し、抽出した矩形画像情報３００に対して符号化処理を適用して符号化行列を生成し、生成した符号化行列を符号化情報に含めて異常判定装置１に出力するようにしてもよい。
このようにした場合、位置情報は不要になるため、位置情報入力部１０を備える必要がなくなり、符号量分布生成部２０は、図７に示すステップＳａ１において、符号量行列のみを取り込み、ステップＳａ２の処理を行わず、ステップＳａ３以降の処理を行うことで符号量ヒストグラムを生成することができる。
　また、上記の実施形態では、図４に示すように、撮影画像情報２００からマンホールの蓋１００の画像を含む矩形の矩形画像情報３００を抽出し、抽出した矩形画像情報３００に含まれるＣＵごとの符号量を用いて摩耗状態の判定を行っているが、本発明の構成は、当該実施の形態に限られない。マンホールの蓋１００の画像の位置を特定できる手法であれば、矩形の形状を用いる手法以外の手法を適用するようにしてもよい。また、マンホールの形状は、円形以外に四辺形の形状等も存在し、画像処理装置２において、マンホールの形状に応じて、マンホールの蓋１００の画像のみを抽出するようにしてもよい。その場合、異常判定装置１においては、抽出したマンホールの蓋１００の画像のみを含む画像情報に係る符号化情報を用いることになる。この場合も、画像処理装置２において矩形画像情報３００を抽出する場合と同様の構成となる。すなわち、位置情報は不要になるため、位置情報入力部１０を備える必要がなくなり、符号量分布生成部２０は、図７に示すステップＳａ１において、符号量行列のみを取り込み、ステップＳａ２の処理を行わず、ステップＳａ３以降の処理を行うことで符号量ヒストグラムを生成できることになる。
　また、上記の実施形態では、撮像装置３によって撮影する撮影画像情報２００は、１枚の静止画像であることを前提としているが、マンホールの蓋１００の位置がほぼ一致している構図の複数枚の静止画像や動画像であってもよい。この場合、１つのＣＵについて、複数枚の静止画像の場合、静止画像の各々に対応する複数の符号量の情報を得ることができ、動画像の場合、動画像に含まれる複数のフレームの各々に対応する複数の符号量を得ることができることになる。そのため、１つのＣＵについて、複数の符号量が得られることになり、摩耗の判定の精度を高めることが可能となる。
　なお、動画像の場合、符号量は、ビットレートで指定することとなり、例えば、１秒当たり１５００ｋｂｐｓ（bit per second）とすると、３０ｆｐｓ（frame per second）の動画では、フレーム１枚当たりの符号量が平均で５０ｋｂｐｓとなり、当該符号量となるように量子化係数が設定されることになる。すなわち、指定するビットレートを変えることにより、それに伴って量子化係数も変わるため、符号量分布の特性も変化する。したがって、動画像の場合、摩耗している場合に多くみられる符号量の小さいＣＵが多く表れるビットレートを予め調べておき、当該ビットレートでマンホールの蓋１００の動画像を撮影することで、摩耗の判定の精度をより高めることが可能となる。
　また、上記の実施形態では、マンホールの蓋１００を撮像装置３の被写体とし、マンホールの蓋１００の表面の摩耗の状態を検出するようにしているが、本発明は、当該実施の形態に限られない。使用によって表面が摩耗する、すなわち画像上のエッジが際立っていて、エッジが徐々になくなっていく物体であれば、どのような物体を被写体としてもよく、例えば、タイヤの表面を被写体として、タイヤのグリッドパターンの摩耗状態を判定するようにしてもよいし、靴底を被写体として、靴底の摩耗状態を判定するようにしてもよい。
　また、上記の実施形態の構成では、図１１に示すステップＳｃ３，Ｓｃ４，Ｓｃ５に示す処理において、不等号を用いた判定処理を行っている。しかしながら、本発明は、当該実施の形態に限られるものではなく、「超過するか否か」、「未満であるか否か」、「以上であるか否か」、「以下であるか否かを」という判定処理は一例に過ぎず、閾値の定め方に応じて、ぞれぞれ「以上であるか否か」、「以下であるか否かを」、「超過するか否か」、「未満であるか否か」という判定処理に置き換えられてもよい。また、判定処理に用いた閾値についても、一例を示したものであり、それぞれにおいて異なる閾値が適用されてもよい。すなわち、上記の閾値判定処理については、判定対象の値が、閾値以上であるか否かを判定するようにしてもよい。
　上記の実施形態では、図３のようなマンホールの蓋１００の異常を検出することを目的としているため、被写体が円でありマンホールの蓋１００の画像が楕円であることを前提としているが、本発明は四角形のマンホールの蓋などにも適用することができる。すなわち、本発明は、画像のエッジが徐々になくなっていく、若しくは徐々に明確になっていくことをトリガに異常であるか否かを判定できる被写体であれば適用することができる。
　上述した実施形態における異常判定装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…異常判定装置，１０…位置情報入力部，１１…符号化情報入力部，１２…解析部，１３…スコア閾値入力部，１４…判定部，２０…符号量分布生成部，２１…判定用スコア算出部

Claims (8)

  1. 　少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析する解析部と、
    　前記解析部の解析結果に基づき前記マンホールの蓋の異常の有無を判定する判定部と、
    　を備える異常判定装置。
  2. 　前記特徴量は、前記画像を分割した分割画像ごとの符号量である、請求項１に記載の異常判定装置。
  3. 　前記解析部は、
    　前記符号量の分布に基づいて前記特徴量の解析を行う、請求項２に記載の異常判定装置。
  4. 　前記符号量の分布とは、前記符号量を変量とし、変量の値を予め定められる一定間隔で区切った区間の各々に属する前記分割画像を含む情報である分割画像情報の個数を示すヒストグラムであり、
    　前記解析部は、
    　前記符号量の分布に基づいて、最小の符号量が含まれる前記区間の前記分割画像情報の個数と、前記符号量が、予め定められる一定量以上となる前記分割画像情報の個数の割合とを判定用のスコアとして算出し、
    　前記判定部は、
    　予め定められる閾値と、前記判定用のスコアとに基づいて、前記マンホールの蓋が異常を有するか否かを判定する、請求項３に記載の異常判定装置。
  5. 　前記異常は、前記マンホールの蓋が摩耗していること、水漏れがあること、ひび割れがあること、前記マンホールの蓋が外れていることのいずれか１つ又は複数である、請求項４に記載の異常判定装置。
  6. 　前記画像は、前記マンホールの蓋が、所望の被写体に置き換えられた画像である、請求項１に記載の異常判定装置。
  7. 　少なくともマンホールの蓋が撮影された画像を符号化した符号化情報のうち、当該画像の模様に係る特徴量を解析するステップと、
    　解析した解析結果に基づき前記マンホールの蓋の異常の有無を判定するステップと、
    　を含む異常判定方法。
  8. 　コンピュータを、
    　請求項１から６のいずれか一項に記載の異常判定装置として機能させるための異常判定プログラム。
PCT/JP2019/006105 2018-02-26 2019-02-19 異常判定装置、異常判定方法及び異常判定プログラム WO2019163776A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/971,762 US11436740B2 (en) 2018-02-26 2019-02-19 Manhole cover abnormity determination apparatus, method, and computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018032432A JP7092989B2 (ja) 2018-02-26 2018-02-26 異常判定装置、異常判定方法及び異常判定プログラム
JP2018-032432 2018-02-26

Publications (1)

Publication Number Publication Date
WO2019163776A1 true WO2019163776A1 (ja) 2019-08-29

Family

ID=67687731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006105 WO2019163776A1 (ja) 2018-02-26 2019-02-19 異常判定装置、異常判定方法及び異常判定プログラム

Country Status (3)

Country Link
US (1) US11436740B2 (ja)
JP (1) JP7092989B2 (ja)
WO (1) WO2019163776A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118538309A (zh) * 2024-07-24 2024-08-23 曲阜市东原铸造材料有限公司 一种用于覆膜砂加热固化过程的模拟分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015059768A (ja) * 2013-09-17 2015-03-30 株式会社Ｎｔｅｃ 段差計測装置、段差計測方法及びプログラム
JP2015099563A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015099112A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 マンホール鉄蓋最大段差量測定装置および方法、並びにこれに用いられる画素分解能算出装置、マンホール鉄蓋最大段差箇所検知装置、画素分解能算出方法、マンホール鉄蓋最大段差箇所検知方法
JP2015191572A (ja) * 2014-03-28 2015-11-02 株式会社パスコ マンホール検出装置、マンホール検出方法及びプログラム
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
JP2016095235A (ja) * 2014-11-14 2016-05-26 日本電信電話株式会社 摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9533539B2 (en) * 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
US10771786B2 (en) * 2016-04-06 2020-09-08 Intel Corporation Method and system of video coding using an image data correction mask
US10916129B2 (en) * 2017-01-30 2021-02-09 International Business Machines Corporation Roadway condition predictive models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015059768A (ja) * 2013-09-17 2015-03-30 株式会社Ｎｔｅｃ 段差計測装置、段差計測方法及びプログラム
JP2015099563A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2015099112A (ja) * 2013-11-20 2015-05-28 日本電信電話株式会社 マンホール鉄蓋最大段差量測定装置および方法、並びにこれに用いられる画素分解能算出装置、マンホール鉄蓋最大段差箇所検知装置、画素分解能算出方法、マンホール鉄蓋最大段差箇所検知方法
JP2015191572A (ja) * 2014-03-28 2015-11-02 株式会社パスコ マンホール検出装置、マンホール検出方法及びプログラム
JP2015197376A (ja) * 2014-04-01 2015-11-09 日本電信電話株式会社 摩耗検出装置、方法、及びプログラム
JP2016095235A (ja) * 2014-11-14 2016-05-26 日本電信電話株式会社 摩耗推定装置、摩耗推定器学習装置、画像特徴選択装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MURASAKI, KAZUHIKO ET AL.: "Manhole cover wearing estimation via vertical plane segmentation", IEICE TECHNICAL REPORT, vol. 117, no. 211, 2017, pages 205 - 212 *

Also Published As

Publication number Publication date
US11436740B2 (en) 2022-09-06
JP2019148921A (ja) 2019-09-05
JP7092989B2 (ja) 2022-06-29
US20210027474A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
KR101780761B1 (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
JP5701005B2 (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
KR101223046B1 (ko) 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
CN103460249B (zh) 图像处理装置以及图像处理方法
US9066101B2 (en) Image processing apparatus and image processing method
CN109509166B (zh) 印刷电路板图像检测方法和装置
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
CN102754440B (zh) 图像编码方法、图像编码装置以及摄像系统
WO2019163776A1 (ja) 異常判定装置、異常判定方法及び異常判定プログラム
CN115272336A (zh) 基于梯度向量的金属零件缺陷精准检测方法
US20150043807A1 (en) Depth image compression and decompression utilizing depth and amplitude data
CN117496560A (zh) 一种基于多维向量的指纹纹线识别方法及装置
Christodoulou et al. Advanced statistical and adaptive threshold techniques for moving object detection and segmentation
US10033904B2 (en) Information processing apparatus for multiplexing information in an image, information processing method, and storage medium storing program
US9826142B2 (en) Image pickup apparatus and method of controlling image pickup apparatus
JP2017123641A (ja) デジタル画像の圧縮比を制御する方法及び装置
JP2014238789A (ja) 画像処理プログラム、画像処理方法及び画像処理装置
JP5754931B2 (ja) 画像解析装置、画像解析方法及びプログラム
KR20190109242A (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
CN109936741B (zh) 视频编码方法和系统
WO2017216884A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2016051236A (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP2014127763A (ja) 画像処理装置、画像処理方法及びプログラム
KR20190048072A (ko) 영상의 노이즈 레벨 결정 방법
US20150227812A1 (en) Magnification factor estimation device and method for same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19758100

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19758100

Country of ref document: EP

Kind code of ref document: A1