WO2024029046A1 - 情報処理システム及びプログラム、情報処理方法、サーバ - Google Patents

情報処理システム及びプログラム、情報処理方法、サーバ Download PDF

Info

Publication number
WO2024029046A1
WO2024029046A1 PCT/JP2022/029980 JP2022029980W WO2024029046A1 WO 2024029046 A1 WO2024029046 A1 WO 2024029046A1 JP 2022029980 W JP2022029980 W JP 2022029980W WO 2024029046 A1 WO2024029046 A1 WO 2024029046A1
Authority
WO
WIPO (PCT)
Prior art keywords
crack
unit
area
information processing
shape
Prior art date
Application number
PCT/JP2022/029980
Other languages
English (en)
French (fr)
Inventor
駿 菅井
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=85131332&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2024029046(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to PCT/JP2022/029980 priority Critical patent/WO2024029046A1/ja
Priority to JP2022577216A priority patent/JP7217570B1/ja
Priority to JP2023005042A priority patent/JP2024022441A/ja
Publication of WO2024029046A1 publication Critical patent/WO2024029046A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to an information processing system and program for detecting cracks, an information processing method, and a server.
  • a crack detection device that detects cracks in the walls of buildings and civil engineering structures is disclosed in Patent Document 1.
  • a target image is binarized to generate a binary image, which is subjected to a first half-line filter process, and expanded.
  • a second half-line filter process is executed, and an image area including crack candidate pixels is set as a crack candidate area.
  • a crack candidate confirmation process is performed on the crack candidate area to confirm whether or not it is an erroneous detection, and a crack candidate area that is determined not to be an erroneous detection is set as a crack area.
  • the present invention was made in view of the above background, and particularly provides an information processing system, a program, an information processing method, and a server that can accurately estimate cracks using a crack estimation learning model.
  • One purpose is to provide.
  • a crack estimating unit that uses a crack estimation learning model for an original image in which one or more objects are reflected to estimate a crack area in the object;
  • An information processing system comprising: a crack shape analysis unit that analyzes a crack shape in a region.
  • FIG. 1 is a diagram showing the overall configuration of an embodiment of the present invention.
  • 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.
  • 3 is a block diagram showing the hardware configuration of the server in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the terminal in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the aircraft shown in FIG. 2.
  • FIG. 3 is a block diagram showing the functions of the server and terminal in FIG. 2.
  • FIG. It is a figure explaining the shape analysis process of the crack area
  • 7 is a flowchart illustrating a process for implementing a crack area detection method by the information processing system according to the present embodiment.
  • FIG. 3 is a diagram conceptually showing a state in which an image to be detected is divided into a plurality of regions in a grid pattern.
  • FIG. 7 is a diagram showing an image in which an estimated crack region is shown on a divided region in which it is estimated that a crack region exists. It is a figure which shows the image of the state which visualized the crack location analyzed.
  • FIG. 6 is a diagram showing one original detection target image reconstructed from each divided region in which a crack region is estimated. 7 is a flowchart showing a process for implementing a crack estimation learning method by the information processing system according to the present embodiment.
  • FIG. 2 is a conceptual diagram showing a crack estimation learning method according to the present embodiment.
  • An information processing system, program, information processing method, and server has the following configuration.
  • [Item 1] a crack estimation unit that estimates a crack area in one or more objects using a crack estimation learning model for an original image in which the objects are reflected; a crack shape analysis unit that analyzes a crack shape in the estimated crack region; Equipped with An information processing system characterized by: [Item 2]
  • the crack shape analysis unit determines a center line of the crack region, calculates the width of the crack shape by using a Hessian matrix for the center line, and analyzes the crack shape based on the center line and the width.
  • the information processing system according to item 1 characterized in that: [Item 3] further comprising a crack estimation learning unit that sets the original image and analyzed position information of the crack shape on the original image as training data;
  • the information processing system according to item 1 or 2 characterized in that: [Item 4] A program that causes a computer having a processing unit to perform information processing, The program causes the processing unit to Estimating a crack area in the object using a crack estimation learning model for an original image in which one or more objects are reflected; Analyzing a crack shape in the estimated crack area; Equipped with A program to run.
  • the information processing system detects cracks existing in a wall surface of a structure such as a building or a civil engineering structure based on an image taken of such a wall surface. It is something.
  • the wall surface of the structure may be imaged by the user himself or herself by operating a camera, or by a camera mounted on an unmanned flying vehicle 4 as shown in FIG. 1 that flies autonomously or by remote control. You may operate it to take an image.
  • the information processing system in this embodiment includes a server 1, a terminal 2, and an unmanned flying vehicle 4.
  • the server 1, the terminal 2, and the unmanned aircraft 4 may be communicably connected to each other via the network NW.
  • the illustrated configuration is an example, and the configuration is not limited to this.
  • the unmanned flying object 4 may not be connected to the network NW.
  • the unmanned aerial vehicle 4 may be operated by a transmitter (so-called radio) operated by a user, or the image data acquired by the camera of the unmanned aerial vehicle 4 may be stored in an auxiliary storage device (e.g.
  • the configuration may be such that the data is stored in a memory card such as an SD card, a USB memory, etc.), and later read out from the auxiliary storage device by the user and stored in the server 1 or terminal 2, for operational purposes or image data.
  • the unmanned aerial vehicle 4 may be connected to the network NW only for one of the storage purposes.
  • FIG. 2 is a diagram showing the hardware configuration of the server 1 in this embodiment. Note that the illustrated configuration is an example, and other configurations may be used.
  • the server 1 includes at least a processor 10, a memory 11, a storage 12, a transmitting/receiving section 13, an input/output section 14, etc., which are electrically connected to each other via a bus 15.
  • the server 1 may be a general-purpose computer, such as a workstation or a personal computer, or may be logically implemented by cloud computing.
  • the processor 10 is an arithmetic device that controls the overall operation of the server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes programs stored in the storage 12 and developed in the memory 11 to perform various information processing.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the memory 11 includes a main memory configured with a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory configured with a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
  • the memory 11 is used as a work area for the processor 10, and also stores a BIOS (Basic Input/Output System) executed when the server 1 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be constructed in the storage 12.
  • a storage unit 130 which will be described later, may be provided in a part of the storage area.
  • the transmitting/receiving unit 13 is a communication interface through which the server 1 communicates with an external device (not shown), the unmanned aircraft 4, etc. via a communication network.
  • the transmitter/receiver 13 may further include a short-range communication interface for Bluetooth (registered trademark) and BLE (Bluetooth Low Energy), a USB (Universal Serial Bus) terminal, and the like.
  • the input/output unit 14 is information input devices such as a keyboard and mouse, and output devices such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, address signals, data signals, and various control signals.
  • the terminal 2 shown in FIG. 4 also includes a processor 20, a memory 21, a storage 22, a transmitting/receiving section 23, an input/output section 24, etc., which are electrically connected to each other through a bus 25. Since the functions of each element can be configured in the same manner as the server 1 described above, a detailed explanation of each element will be omitted.
  • FIG. 5 is a block diagram showing the hardware configuration of the unmanned aerial vehicle 4.
  • Flight controller 41 may include one or more processors, such as a programmable processor (eg, a central processing unit (CPU)).
  • processors such as a programmable processor (eg, a central processing unit (CPU)).
  • the flight controller 41 has a memory 411 and can access the memory.
  • Memory 411 stores logic, code, and/or program instructions executable by the flight controller to perform one or more steps.
  • the flight controller 41 may include sensors 412 such as an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), and the like.
  • the memory 411 may include, for example, a separable medium or external storage device such as an SD card or random access memory (RAM). Data acquired from cameras/sensors 42 may be communicated directly to and stored in memory 411. For example, still image/video data taken with a camera or the like may be recorded in the built-in memory or external memory, but the data is not limited to this. 2 may be recorded.
  • the camera 42 is installed on the unmanned aerial vehicle 4 via a gimbal 43.
  • Flight controller 41 includes a control module (not shown) configured to control the state of unmanned aerial vehicle 4 .
  • the control module adjusts the spatial position, velocity, and/or acceleration of the unmanned air vehicle 4 with six degrees of freedom (translational movements x, y, and z, and rotational movements ⁇ x , ⁇ y , and ⁇ z ).
  • the propulsion mechanism (motor 45, etc.) of the unmanned aerial vehicle 4 is controlled via an ESC 44 (Electric Speed Controller).
  • a propeller 46 is rotated by a motor 45 supplied with power from a battery 48, thereby generating lift of the unmanned flying vehicle 4.
  • the control module can control one or more of the states of the mounting section and sensors.
  • Flight controller 41 is a transceiver configured to transmit and/or receive data from one or more external devices (e.g., a transceiver 49, terminal, display, or other remote controller). It is possible to communicate with the unit 47.
  • Transceiver 49 may use any suitable communication means, such as wired or wireless communication.
  • the transmitter/receiver 47 uses one or more of a local area network (LAN), wide area network (WAN), infrared rays, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, etc. can do.
  • LAN local area network
  • WAN wide area network
  • infrared rays wireless
  • WiFi point-to-point
  • P2P point-to-point
  • telecommunications network telecommunications network
  • cloud communication etc.
  • the transmitting/receiving unit 47 transmits and/or receives one or more of data acquired by the sensors 42, processing results generated by the flight controller 41, predetermined control data, user commands from a terminal or a remote controller, etc. be able to.
  • Sensors 42 may include an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), or a vision/image sensor (eg, camera).
  • inertial sensor acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor eg, lidar
  • vision/image sensor eg, camera
  • FIG. 6 is a block diagram illustrating functions implemented in the server 1 and the terminal 2.
  • the server 1 includes an image acquisition section 115, a processing section 120, and a storage section 130.
  • the processing section 120 includes a crack estimation section 121, a crack shape analysis section 122, and a crack estimation learning section 123.
  • the storage unit 130 includes an information/image storage unit 131 and a crack estimation learning model 132.
  • the various functional units are illustrated as functional units in the processor 10 of the server 1, but some or all of the various functional units may be implemented in the processor 10 of the server 1, the processor 20 of the terminal 2, or the controller of the unmanned aircraft 4.
  • the configuration may be implemented in any of the processor 10, the processor 20, and the controller 41 depending on the capabilities of the processor 41 and the like.
  • the communication unit 110 communicates with the terminal 2 and the unmanned aerial vehicle 4 via the network NW.
  • the communication unit 110 also functions as a reception unit that receives various requests, data, etc. from the terminal 2, the unmanned aircraft 4, and the like.
  • the image acquisition unit 115 acquires images captured by a digital camera mounted on the unmanned aerial vehicle 4 or a digital camera used by a user, for example, by wireless communication via a communication interface or wired communication via a USB terminal. acquired from a digital camera.
  • the image acquisition unit 115 may be configured to acquire images via a storage medium such as a USB memory or an SD memory.
  • the processing unit 120 includes functional units 121 to 123 that perform a series of processes for detecting cracks in the image acquired by the image acquisition unit 115 and detecting in which part and what size the crack exists. We are prepared.
  • the crack estimating unit 121 determines whether one or more objects (at least a part of a structure such as a building or civil engineering structure, at least a part of a wall of the structure, at least a part of a tile or panel on the wall, etc.) A process for estimating the crack area existing in the object is performed on the original image.
  • the crack estimating unit 121 of this embodiment estimates a crack area using the crack estimation learning model 132 in the storage unit 130. Details of the crack estimation learning model 132 will be described later.
  • the crack estimating unit 121 may perform a process of estimating a crack area for the entire original image, or may perform a process of dividing the original image into a plurality of areas and then divide each divided area. A process for estimating the crack area may also be executed. The process of dividing the original image into multiple regions and estimating the crack area can be done once for the entire original image, since by dividing the area for crack area estimation into smaller parts, the calculation amount for the process can also be divided into smaller parts. The calculation load on the crack estimating unit 121 can be reduced compared to when the process of estimating the crack area is executed.
  • the crack estimation unit 121 executes the process of dividing the original image into a plurality of regions, the crack estimation unit 121 executes each process described below regarding each divided region, and then reconstructs the divided regions and returns the original image to the original image. Generate an image corresponding to one image of .
  • the crack shape analysis unit 122 executes a process of analyzing the shape (length, width, etc.) of the crack area based on the crack area estimated by the crack estimation unit 121.
  • the crack shape analysis unit 122 of the present embodiment analyzes the shape of the crack location by a method using a Hessian matrix, for example. It is configured to perform analysis processing.
  • the image can be interpreted as a three-dimensional curved surface.
  • the Hessian matrix for a certain pixel (x, y) among pixels is a square matrix composed of elements obtained by second-order differentiation of the brightness value of the image in the x direction and the y direction, and is expressed by the following equation (1). Ru. ... Formula (1)
  • Pixels that satisfy the relationship are regarded as linear structures and are emphasized.
  • FIG. 7(a) shows a conceptual diagram of the crack area A estimated by the crack estimating unit 121 and the correct actual crack area B
  • FIG. 7(b) a skeleton C having a line width of one pixel is shown, which is formed by pixels that are considered to be a linear structure as described above based on the estimated crack area A. Skeleton C indicates the stretching direction and length of the cracked portion.
  • the linear structure is evaluated by changing the scale of the Hessian matrix on the skeleton C, and the crack width is evaluated by examining the scale at which the linearity evaluation value is maximum for pixels determined to be linear structures. (See FIG. 7(c)).
  • the crack shape analysis unit 122 calculates the correct actual crack area as the shape of the crack location, as shown in FIG. 7(c). A linear structure D close to B can be obtained.
  • the skeleton C It is possible to obtain the stretching direction and length of the cracked portion based on , and obtain the width of the cracked portion based on the Hessian matrix.
  • the information/image storage unit 131 of the storage unit 130 stores the image obtained by the image acquisition unit 115 as well as the crack area estimated by the crack estimation unit 121, which is visualized by superimposing it on the original image by coloring or the like.
  • a crack estimation image, a crack analysis image visualized by superimposing the crack position analyzed by the crack shape analysis unit 122 on either the original image or the crack estimation image by coloring, etc., and each functional unit 121 of the processing unit 120 The information, data, etc. generated in the processing in steps 123 to 123 are at least temporarily stored.
  • the crack estimation learning model 132 is a learning model generated by machine learning using crack images related to various cracks as training data.
  • the crack estimation learning model 132 is created, for example, by the crack estimation learning unit 123 or by using any external computer device (not shown) as a learning device, and is stored in the storage unit 130 or any external storage. It can be stored in means (not shown).
  • the crack estimation learning model 132 may be generated by machine learning using crack images as training data for each object such as a different type of tile or panel or a different material. A plurality of crack estimation learning models are generated and stored in the storage unit 130.
  • the crack estimation learning model 132 is generated by performing machine learning with a neural network composed of multiple layers each including neurons.
  • a neural network such as a convolutional neural network (CNN) can be used.
  • CNN convolutional neural network
  • Mask R-CNN (Region-based Convolutional Neural Network) is used.
  • Mask R-CNN a candidate region of an object is extracted using CNN, and by simultaneously estimating the region position and class probability, the object is multiplied by a bounding box and the class to which the object belongs is determined.
  • the crack estimation learning unit 123 uses the original image analyzed by the crack shape analysis unit 122 and the position information on the original image of the crack area estimated by the crack estimation unit 121 (in particular, the center line (skeleton) of the crack). shape information (including at least one of position information, width information, and length information, especially width information) on the original image of the crack location analyzed by the crack shape analysis unit 122 is used as training training data. Set as .
  • the crack estimation learning unit 123 may be capable of performing machine learning such as additional learning or relearning on the crack estimation learning model 132 using the set training training data, or may be capable of performing machine learning such as additional learning or relearning using the set learning training data, or may be capable of performing machine learning such as additional learning or relearning using the set learning training data. It may be possible to output learning teacher data as output data so that machine learning such as additional learning and relearning can be performed with the learning device.
  • FIG. 8 is a flowchart showing a process for implementing a crack area detection method by the information processing system according to the present embodiment.
  • the image acquisition unit 115 of the server 1 acquires original images captured by the camera mounted on the unmanned flying vehicle 4 or the camera used by the user (S101).
  • the original image to be acquired is an image of an object whose cracked area is to be detected, such as a wall surface of a building or civil engineering structure.
  • FIG. 9 shows an example of an original image to be detected.
  • the crack estimating unit 121 of the server 1 executes a process of estimating a crack area in the target object on the original image in which the target object is reflected (S102).
  • This process of estimating the crack area may include a process in which the crack estimation unit 121 divides the original image of which the crack area is to be detected into a plurality of areas.
  • FIG. 10 is a diagram conceptually showing a state in which the image of the detection target is divided into a plurality of regions in a grid pattern.
  • the image to be detected is divided into a total of nine regions, three vertically by three horizontally.
  • the crack estimation unit 121 associates the image of each divided area divided by the crack estimation unit 121 with information indicating which part of the entire original image before division corresponds, and stores the image in the information/image storage unit 131. Store. Note that the process of dividing the detection target image in this way is an option, and the subsequent process may be performed on one entire image without dividing the original image of the detection target.
  • the crack estimation unit 121 next estimates the crack area using the crack estimation learning model 132 for each of the divided areas of the original image to be detected as described above. Execute the process to estimate.
  • FIG. 11 shows an image in which the estimated crack area is visualized on the divided area in which the crack area is estimated to exist as a result of the crack area estimation process by the crack estimation unit 121. ing.
  • the crack estimating unit 121 stores information regarding the estimated crack area (divided area where the cracked area exists, position of the cracked area in the divided area, size/shape of the cracked area, etc.) as information/image storage. It is stored in the section 131.
  • the crack shape analysis unit 122 of the server 1 executes a process of analyzing the shape (length, width, etc.) of the crack area based on the crack area estimated by the crack estimation unit 121 ( S106).
  • the crack shape analysis unit 122 is configured to perform a shape analysis process of a crack location using a method using a Hessian matrix as described above, and the shape analysis process determines the direction of extension of the crack location. , the length, and the width of the cracked portion are acquired as information regarding the shape of the cracked portion, and the acquired information regarding the shape of the cracked portion is stored in the information/image storage unit 131 .
  • FIG. 12 is an enlarged view of the image shown in FIG. 11 for explanation, and FIG. 12 shows a skeleton generated based on the estimated crack area and a skeleton obtained by evaluating the crack width. A linear structure close to the actual crack location is shown.
  • FIG. 12 also shows numerical information regarding the length and width of each segment constituting the crack location, which was obtained as a result of the analysis by the crack shape analysis unit 122.
  • the crack estimating unit 121 regenerates the image of the divided divided regions into one original detection target image.
  • the construction process is executed (S107).
  • the crack estimating unit 121 converts the divided areas into original parts based on information stored in the information/image storage unit 131 that indicates which part of the entire image before division the image of each divided area corresponds to. Reconstruct into two detection target images. Among the images of each divided area in which the target object area (in this case, the area of each tile) is estimated, the shape of the divided area including the target object area in which the crack area is estimated is analyzed by the above-mentioned process. The identified crack location is superimposed on the estimated object area.
  • FIG. 13 shows one original detection target image reconstructed from each divided region in which the target object region was estimated.
  • the crack estimation unit 121 stores the thus reconstructed image and various data related to the image in the information/image storage unit 131 in association with each other.
  • Various data related to the reconstructed image include data obtained through each of the above processes (object area where the crack exists (for example, ID may be identified and managed), shape of the crack, etc.
  • the number of object areas where cracks exist may be transmitted to the terminal 2 in response to a request from the terminal 2.
  • the image and various data related to the image may be viewable by the user on a predetermined user interface via the input/output unit 24 (eg, display) of the terminal 2.
  • the number of object regions in which there are cracks whose length or width exceeds a reference value is extracted by processing the processing unit 120 by determining the value of at least one of the length and width of the crack. This may be performed based on the result of comparison with a reference value, or alternatively, after data regarding cracks is received on the terminal 2, a similar comparison may be performed on the terminal 2 to extract it.
  • cracks can be estimated with high accuracy using the crack estimation learning model.
  • FIG. 14 is a flowchart showing a process for implementing a crack estimation learning method by the information processing system according to the present embodiment.
  • FIG. 15 is a conceptual diagram showing the crack estimation learning method according to this embodiment.
  • a crack estimation learning model 132 is generated (S201).
  • the crack estimation learning unit 123 of the server 1 generates an analyzed image in which the crack shape analyzed by the crack shape analysis unit 122 is visualized (for example, the processing unit 120 colors the crack location in the original image). or a crack analysis image visualized by being superimposed on any of the crack estimation images) and position information on the image of the crack location are set as training teacher data (S202).
  • the crack estimation learning unit 123 of the server 1 performs machine learning such as additional learning and relearning on the crack estimation learning model 132 using the set learning teacher data (S203).
  • the server 1 of the present embodiment it is possible to generate teacher data by performing crack analysis, so the workload for preparing teacher data is reduced.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラムを提供する。 【解決手段】本発明の一実施形態によれば、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、を備える情報処理システムが提供される。また、前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する。

Description

情報処理システム及びプログラム、情報処理方法、サーバ
　本発明は、ヒビ割れを検出する情報処理システム及びプログラム、情報処理方法、サーバに関する。
　建築物や土木構造物の壁におけるヒビ割れを検出するヒビ割れ検出装置が、特許文献１に開示されている。特許文献１に開示されたヒビ割れ検出装置によれば、ヒビ割れ検出のために、対象画像を二値化した二値画像を生成し、それを第１のハーフラインフィルタ処理を実行し、拡張処理を実行し、さらに第２のハーフラインフィルタ処理を実行し、ヒビ割れ候補画素を含む画像領域を、ヒビ割れ候補領域として設定する。その後、ヒビ割れ候補領域に対して候補確認処理として、誤検出か否かを確認するヒビ割れ候補確認処理を実行し、誤検出ではないと判定されたヒビ割れ候補領域をヒビ割れ領域とする。
特許第６８９４３３９号公報
　しかしながら、このようなヒビ割れ検出処理は非常に処理が煩雑である。また、ヒビ割れ検出用の学習モデルによりヒビ割れ領域を推定することも可能であるが、推定の精度によっては実際のヒビ割れ領域よりも拡張された領域となってしまうこともあり得るし、精度向上のために継続的に大量の教師データを用意することは作業の負担となり得る。
　本発明はこのような背景を鑑みてなされたものであり、特に、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することを一つの目的とする。
　本発明の一態様によれば、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、を備えることを特徴とする情報処理システムが提供される。
　本発明によれば、特に、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することができる。
本発明の実施の形態の全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２のサーバ、端末の機能を示すブロック図である。 ヒビ割れ形状解析部によるヒビ割れ領域の形状解析処理を説明する図である。 本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。 ヒビ割れ領域を検出する対象の画像の一例である。 検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。 ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を示した状態の画像を示す図である。 解析したヒビ割れ箇所を可視化して示した状態の画像を示す図である。 ヒビ割れ領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示す図である。 本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法を実施する処理を示すフローチャートである。 本実施形態にかかるヒビ割れ推定学習方法を示す概念図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、サーバは、以下のような構成を備える。
［項目１］
　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
を備える、
　ことを特徴とする情報処理システム。
［項目２］
　前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する、
　ことを特徴とする項目１に記載の情報処理システム。
［項目３］
　前記原画像と解析された前記原画像上のヒビ割れ形状の位置情報とを教師データとして設定するヒビ割れ推定学習部をさらに備える、
　ことを特徴とする項目１または２に記載の情報処理システム。
［項目４］
　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
　前記プログラムは、前記処理部に、
　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定することと、
　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析することと、
を備える、
を実行させる、プログラム。
［項目５］
　ヒビ割れ推定部により、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するステップと、
　ヒビ割れ形状解析部により、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するステップと、
をコンピュータにおいて実行する、情報処理方法。
［項目６］
　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
を備える、
　ことを特徴とするサーバ。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜本実施形態の概要＞
　図１に示されるように、本実施の形態における情報処理システムは、例えば建物や土木建造物などの構造物の壁面を撮像した画像を基に、そのような壁面に存在するヒビ割れを検出するものである。構造物の壁面は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。
＜システム構成＞
　図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
＜サーバ１のハードウェア構成＞
　図２は、本実施形態におけるサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
　送受信部１３は、サーバ１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子等をさらに備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜端末２＞
　図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
　図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
　フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
＜サーバ１の機能＞
　図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、ヒビ割れ推定部１２１、ヒビ割れ形状解析部１２２、ヒビ割れ推定学習部１２３を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１、ヒビ割れ推定学習モデル１３２を含んでいる。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
　通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。
　画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよい。
　処理部１２０は、画像取得部１１５が取得した画像についてヒビ割れ検出を行い、どの部分にどのくらいのサイズのヒビ割れ箇所が存在するかを検出する一連の処理を実行する各機能部１２１～１２３を備えている。
　ヒビ割れ推定部１２１は、一以上の対象物（建物や土木建造物などの構造物の少なくとも一部、当該構造物の壁面の少なくとも一部、当該壁面のタイルやパネルの少なくとも一部等）が映る原画像に対して、その対象物において存在するヒビ割れ領域を推定する処理を実行する。本実施形態のヒビ割れ推定部１２１は、記憶部１３０のヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する。ヒビ割れ推定学習モデル１３２の詳細については後述する。
　ヒビ割れ推定部１２１は、原画像の全体に対してヒビ割れ領域を推定する処理を実行してもよいし、あるいは、原画像を複数の領域に分割する処理を実行した後に、各々の分割領域についてヒビ割れ領域を推定する処理を実行してもよい。原画像を複数の領域に分割してヒビ割れ領域を推定する処理は、ヒビ割れ領域推定を行う領域を細分化することでその処理のための計算量も細分化できるので、原画像全体について一度にヒビ割れ領域を推定する処理を実行する場合に比べて、ヒビ割れ推定部１２１における計算負荷を抑えることができる。ヒビ割れ推定部１２１は、原画像を複数の領域に分割する処理を実行した場合には、各々の分割領域に関する以下に説明する各処理を実行した後、それらの分割領域を再構築して元の１つの画像に対応する画像を生成する。
　ヒビ割れ形状解析部１２２は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する。ヒビ割れ領域の形状解析処理には種々の公知の手法を用いることが可能であるが、本実施形態のヒビ割れ形状解析部１２２は、一例として、ヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されている。
　ここで、図７を参照して、ヘッセ行列を用いたヒビ割れ領域の形状解析手法について説明する。
　画像の各画素（ｘ，ｙ）において、輝度値ｆ（ｘ，ｙ）を高さ方向とし、（ｘ，ｙ）を連続変数とすると、画像は三次元曲面と解釈することができる。画素中の或る画素（ｘ，ｙ）に関するヘッセ行列は、画像の輝度値をｘ方向及びｙ方向に２階微分した要素から構成される正方行列であり、下記の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　…　式（１）
　このヘッセ行列の固有値λ１，λ２の関係に基づき、
Figure JPOXMLDOC01-appb-M000002
 　…　式（２）
の関係を満たす画素を線状構造とみなして強調する。
　ここで、図７（ａ）には、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域Ａと、正解である実際のヒビ割れ領域Ｂとの概念図が示されており、図７（ｂ）には、推定されたヒビ割れ領域Ａに基づいて上述するように線状構造とみなされた画素によって形成された、１画素の線幅からなるスケルトンＣが示されている。スケルトンＣは、ヒビ割れ箇所の延伸方向及び長さを示す。
　そして、スケルトンＣ上でヘッセ行列のスケールを変えて線状構造を評価し、線状構造と判別された画素について線らしさの評価値が最大であるスケールを調べることにより、ヒビ割れ幅を評価することができる（図７（ｃ）参照）。このようにヘッセ行列をスケールさせてヒビ割れ幅を評価することにより、ヒビ割れ形状解析部１２２は、ヒビ割れ箇所の形状として、図７（ｃ）に示すように正解である実際のヒビ割れ領域Ｂに近い線状構造Ｄを得ることができる。
　このように、ヒビ割れ推定部１２１（及び後述のヒビ割れ推定学習モデル１３２）によって推定されたヒビ割れ領域に対して、ヘッセ行列を用いたヒビ割れ箇所の形状解析手法を用いることで、スケルトンＣに基づいてヒビ割れ箇所の延伸方向及び長さを取得し、ヘッセ行列に基づいてヒビ割れ箇所の幅を取得することができる。
　なお、上述したヘッセ行列を用いた手法は、論文「画像処理によるコンクリート構造物のヒビ割れ幅の分類」（コンクリート工学年次論文集，Ｖｏｌ．３４，Ｎｏ．１，２０１２）に開示されている。
　次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、ヒビ割れ推定部１２１が推定したヒビ割れ領域を着色等で原画像に重畳して可視化したヒビ割れ推定画像や、ヒビ割れ形状解析部１２２が解析したヒビ割れ位置を着色等で原画像またはヒビ割れ推定画像のいずれかに重畳して可視化したヒビ割れ解析画像、処理部１２０の各機能部１２１～１２３による処理に生成された情報・データ等を、少なくとも一時的に記憶する。
　ヒビ割れ推定学習モデル１３２は、種々のヒビ割れに関するヒビ割れ画像を教師データとして機械学習して生成された学習モデルである。ヒビ割れ推定学習モデル１３２は、例えばヒビ割れ推定学習部１２３により作成したり、任意の外部コンピュータ装置（不図示）を学習器として用いて作成したりして、記憶部１３０や任意の外部の記憶手段（不図示）に記憶させることができる。ヒビ割れ推定学習モデル１３２は、タイルやパネル等の異なる種別または異なる材質などの対象物毎にヒビ割れ画像を教師データとして機械学習して生成してもよく、この場合は、対象物毎に特化した複数のヒビ割れ推定学習モデルが生成されて記憶部１３０に記憶される。
　ヒビ割れ推定学習モデル１３２は、各層にニューロンを含む複数の層で構成されるニューラルネットワークで機械学習を実行して生成される。そのようなニューラルネットワークとして、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）のようなディープニューラルネットワークを用いることができる。
　本実施形態では特に、画像の何処に何が写っているかを推定する物体検出に加えて、それがどのような形状を有しているかも推定することが可能なＭａｓｋ　Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）が用いられる。Ｍａｓｋ　Ｒ－ＣＮＮによれば、ＣＮＮを用いて物体の候補領域を抽出し、領域位置とクラスの確率を同時に推定することにより、物体にバウンディングボックスを掛け、その物体がどのクラスに属するか（その物体が何であるか）を推定することに加えて、バウンディングボックス内のピクセル単位でクラス分類を行うことで、その物体の形も推定することが可能である。そのため、本実施形態のヒビ割れ推定学習モデル１３２を用いることで、画像中のヒビ割れ推定領域の位置のみならず、そのヒビ割れ箇所の形状も推定することが可能である。
　ヒビ割れ推定学習部１２３は、ヒビ割れ形状解析部１２２によって解析された原画像及びヒビ割れ推定部１２１が推定したヒビ割れ領域の原画像上の位置情報（特に、ヒビ割れの中心線（スケルトン）の位置情報）、ヒビ割れ形状解析部１２２が解析したヒビ割れ箇所の原画像上の形状情報（位置情報、幅情報、長さ情報の少なくともいずれかを含み、特に幅情報）を学習用教師データとして設定する。ヒビ割れ推定学習部１２３は、設定された学習用教師データを用いてヒビ割れ推定学習モデル１３２を追加学習や再学習などの機械学習を実行することが可能であってもよいし、任意の外部の学習器で追加学習や再学習などの機械学習が可能なように学習用教師データを出力データとして出力することが可能であってもよい。
＜ヒビ割れ領域検出方法の一例＞
　続いて、図８等を参照して、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法について説明する。図８は、本実施形態にかかる情報処理システムによるヒビ割れ領域検出方法を実施する処理を示すフローチャートである。
　最初に、サーバ１の画像取得部１１５は、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された原画像をそれらのカメラから取得する（Ｓ１０１）。
　取得する原画像は、建物や土木建造物等の壁面等の、ヒビ割れ領域を検出する対象物を撮像したものである。図９に、検出対象の原画像の一例を示す。
　次に、サーバ１のヒビ割れ推定部１２１は、対象物が映る原画像に対して、その対象物におけるヒビ割れ領域を推定する処理を実行する（Ｓ１０２）。
　このヒビ割れ領域を推定する処理は、ヒビ割れ推定部１２１が、ヒビ割れ領域を検出する対象の原画像を複数の領域に分割する処理を含んでもよい。
　図１０は、検出対象の画像を格子状に複数の領域に分割した状態を概念的に示す図である。図１０に示す例では、検出対象の画像が縦３個×横３個の合計９個の領域に分割されている。ヒビ割れ推定部１２１は、ヒビ割れ推定部１２１によって分割された各分割領域の画像を、分割前の原画像全体のどの部分に対応するかを示す情報と関連付けて、情報・画像記憶部１３１に格納する。なお、このように検出対象画像を分割する処理はオプションであり、検出対象の原画像を分割することなく１つの画像全体について後続の処理を実行してもよい。
　ヒビ割れ領域を推定する処理において、ヒビ割れ推定部１２１は次に、検出対象の原画像の上記のように分割された個々の分割領域について、ヒビ割れ推定学習モデル１３２を用いてヒビ割れ領域を推定する処理を実行する。
　図１１は、ヒビ割れ推定部１２１によるヒビ割れ領域推定処理の結果、ヒビ割れ領域が存在すると推定された分割領域の上に、推定されたヒビ割れ領域を可視化して示した状態の画像を示している。ヒビ割れ推定部１２１は、推定されたヒビ割れ領域に関する情報（ヒビ割れ領域が存在する分割領域、当該分割領域におけるヒビ割れ領域の位置、ヒビ割れ領域の大きさ・形状等）を情報・画像記憶部１３１に格納する。
　次に、サーバ１のヒビ割れ形状解析部１２２は、ヒビ割れ推定部１２１によって推定されたヒビ割れ領域に基づいて、ヒビ割れ領域の形状（長さ及び幅等）を解析する処理を実行する（Ｓ１０６）。
　ヒビ割れ形状解析部１２２は、一例として、上述したようにヘッセ行列を用いた手法によりヒビ割れ箇所の形状解析処理を行うように構成されており、その形状解析処理により、ヒビ割れ箇所の延伸方向及び長さと、ヒビ割れ箇所の幅とをヒビ割れ箇所の形状に関する情報として取得し、取得したヒビ割れ箇所の形状に関する情報を情報・画像記憶部１３１に格納する。図１２は図１１に示した画像を説明のために拡大して示す図であり、図１２には推定されたヒビ割れ領域に基づいて生成されたスケルトンと、ヒビ割れ幅を評価して得られた実際のヒビ割れ箇所に近い線状構造とが示されている。図１２では、ヒビ割れ形状解析部１２２による解析の結果取得された、ヒビ割れ箇所を構成する各セグメントの長さ及び幅に関する数値情報も併せて示されている。
　最後に、ヒビ割れ推定部１２１は、上記ステップＳ１０２において原画像を複数の分割領域に分割する処理を実行していた場合には、分割した分割領域の画像を元の１つの検出対象画像に再構築する処理を実行する（Ｓ１０７）。
　ヒビ割れ推定部１２１は、情報・画像記憶部１３１に格納した、各分割領域の画像が分割前の全体画像のどの部分に対応するかを示す情報に基づいて、それらの分割領域を元の１つの検出対象画像に再構築する。対象物領域（ここではタイル１枚毎の領域）が推定された各分割領域の画像のうち、ヒビ割れ領域が推定された対象物領域を含む分割領域では、上述した処理により、形状が解析されて特定されたヒビ割れ箇所が、推定された対象物領域の上に重畳される。
　図１３は、対象物領域が推定された各分割領域によって再構築された元の１つの検出対象画像を示している。また、図１３には、検出対象の壁面のうち、窓枠部分の図示左側に位置する２つの対象物（タイル）に、長さ及び幅が特定された形状を有するヒビ割れ箇所が存在することが示されている。ヒビ割れ推定部１２１は、このように再構築された画像とその画像に関連する各種データとを、互いに関連付けて情報・画像記憶部１３１に格納する。再構築された画像に関連する各種データは、上記各処理により得られたデータ（ヒビ割れ箇所が存在する対象物領域（例えば、ＩＤが特定されて管理されてもよい）、ヒビ割れ箇所の形状（長さ及び幅）及び位置、ヒビ割れ箇所が存在する対象物領域の数（特に、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数）等に関する情報）を含む。これらの画像及びその画像に関連する各種データは、端末２からの要求に応じてその一部または全部が端末２へ送信されてもよい。そして、画像及びその画像に関連する各種データは、ユーザが端末２の入出力部２４（例えばディスプレイ）を介して所定のユーザインタフェースにおいて閲覧可能であってもよい。なお、長さまたは幅の少なくともいずれかが基準値を超えるヒビ割れ箇所が存在する対象物領域の数の抽出は、処理部１２０においてヒビ割れの長さまたは幅の少なくともいずれかの値を対応する基準値と比較した結果に基づいて行われてもよいし、これに代えて、端末２上でヒビ割れに関するデータを受け取った後に、端末２上で同様の比較を行って抽出してもよい。
　このように、本実施形態のサーバ１によれば、少なくとも推定したヒビ割れ推定領域をさらにヒビ割れ解析することにより、ヒビ割れ推定学習モデルを利用して精度よくヒビ割れを推定することができる。
＜ヒビ割れ推定学習方法の一例＞
　続いて、図１４を参照して、本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法について説明する。図１４は、本実施形態にかかる情報処理システムによるヒビ割れ推定学習方法を実施する処理を示すフローチャートである。図１５は、本実施形態にかかるヒビ割れ推定学習方法を示す概念図である。
　最初に、サーバ１のヒビ割れ推定学習部１２３または任意の外部コンピュータ装置（不図示）の学習器に対して、種々のヒビ割れに関するヒビ割れ画像及びヒビ割れ位置情報を教師データとして機械学習してヒビ割れ推定学習モデル１３２を生成する（Ｓ２０１）。
　次に、サーバ１のヒビ割れ推定学習部１２３は、ヒビ割れ形状解析部１２２によって解析されたヒビ割れ形状が可視化された解析済画像（例えば、処理部１２０においてヒビ割れ箇所を着色等で原画像またはヒビ割れ推定画像のいずれかに重畳して可視化されたヒビ割れ解析画像など）及びヒビ割れ箇所の画像上の位置情報を学習用教師データとして設定する（Ｓ２０２）。
　次に、サーバ１のヒビ割れ推定学習部１２３は、設定された学習用教師データを用いてヒビ割れ推定学習モデル１３２を追加学習や再学習などの機械学習を実行する（Ｓ２０３）。
　このように、本実施形態のサーバ１によれば、ヒビ割れ解析を実行することで教師データを生成することが可能となるので、教師データを用意するための作業負担が軽減される。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　サーバ
　２　　　　端末
　４　　　　無人飛行体

 

Claims (6)

  1. 　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
    　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
    を備える、
    　ことを特徴とする情報処理システム。
  2. 　前記ヒビ割れ形状解析部は、前記ヒビ割れ領域の中心線を求め、当該中心線に対してヘッセ行列を利用することで前記ヒビ割れ形状の幅を算出し、前記中心線及び前記幅に基づきヒビ割れ形状を解析する、
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記原画像と解析された前記原画像上のヒビ割れ形状の位置情報とを教師データとして設定するヒビ割れ推定学習部をさらに備える、
    　ことを特徴とする請求項１または２に記載の情報処理システム。
  4. 　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
    　前記プログラムは、前記処理部に、
    　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定することと、
    　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析することと、
    を備える、
    を実行させる、プログラム。
  5. 　ヒビ割れ推定部により、一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するステップと、
    　ヒビ割れ形状解析部により、推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するステップと、
    をコンピュータにおいて実行する、情報処理方法。
  6. 　一以上の対象物が映る原画像に対してヒビ割れ推定学習モデルを用いて当該対象物におけるヒビ割れ領域を推定するヒビ割れ推定部と、
    　推定した前記ヒビ割れ領域におけるヒビ割れ形状を解析するヒビ割れ形状解析部と、
    を備える、
    　ことを特徴とするサーバ。

     
PCT/JP2022/029980 2022-08-04 2022-08-04 情報処理システム及びプログラム、情報処理方法、サーバ WO2024029046A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/029980 WO2024029046A1 (ja) 2022-08-04 2022-08-04 情報処理システム及びプログラム、情報処理方法、サーバ
JP2022577216A JP7217570B1 (ja) 2022-08-04 2022-08-04 情報処理システム及びプログラム、情報処理方法、サーバ
JP2023005042A JP2024022441A (ja) 2022-08-04 2023-01-17 情報処理システム及びプログラム、情報処理方法、サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/029980 WO2024029046A1 (ja) 2022-08-04 2022-08-04 情報処理システム及びプログラム、情報処理方法、サーバ

Publications (1)

Publication Number Publication Date
WO2024029046A1 true WO2024029046A1 (ja) 2024-02-08

Family

ID=85131332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029980 WO2024029046A1 (ja) 2022-08-04 2022-08-04 情報処理システム及びプログラム、情報処理方法、サーバ

Country Status (2)

Country Link
JP (2) JP7217570B1 (ja)
WO (1) WO2024029046A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019066267A (ja) * 2017-09-29 2019-04-25 清水建設株式会社 ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム
JP2021081953A (ja) * 2019-11-19 2021-05-27 富士通株式会社 演算プログラム、演算装置及び演算方法
JP2021165909A (ja) * 2020-04-06 2021-10-14 キヤノン株式会社 情報処理装置、情報処理装置の情報処理方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104799B2 (ja) * 2018-09-20 2022-07-21 富士フイルム株式会社 学習用データ収集装置、学習用データ収集方法、及びプログラム
JP2021184163A (ja) * 2020-05-21 2021-12-02 清水建設株式会社 学習装置、クラック検出装置、学習方法、クラック検出方法
KR102408407B1 (ko) * 2020-08-05 2022-06-14 (주)이포즌 콘크리트 균열 탐지 장치 및 방법
CN112633354B (zh) * 2020-12-18 2024-03-01 广东省大湾区集成电路与系统应用研究院 路面裂缝检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019066267A (ja) * 2017-09-29 2019-04-25 清水建設株式会社 ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム
JP2021081953A (ja) * 2019-11-19 2021-05-27 富士通株式会社 演算プログラム、演算装置及び演算方法
JP2021165909A (ja) * 2020-04-06 2021-10-14 キヤノン株式会社 情報処理装置、情報処理装置の情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJITA YUSKE: "Categories of concrete structural crack widths obtained with image processing", PROCEEDINGS OF THE JAPAN CONCRETE INSTITUTE, vol. 34, no. 1, 15 June 2012 (2012-06-15), pages 1792 - 1797, XP093135562 *

Also Published As

Publication number Publication date
JP2024022441A (ja) 2024-02-16
JPWO2024029046A1 (ja) 2024-02-08
JP7217570B1 (ja) 2023-02-03

Similar Documents

Publication Publication Date Title
US10859684B1 (en) Method and system for camera-lidar calibration
JP6029446B2 (ja) 自律飛行ロボット
US10872228B1 (en) Three-dimensional object detection
CN110399775A (zh) 生成式对抗网络中的同时定位和建图约束
US20200326717A1 (en) Transferring synthetic lidar system data to real world domain for autonomous vehicle training applications
EP4058984A1 (en) Geometry-aware instance segmentation in stereo image capture processes
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
WO2023112083A1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP6807093B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2024029046A1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7149569B2 (ja) 建造物の測定方法
WO2024029026A1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6807092B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2021087785A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
JP7385332B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7228311B1 (ja) 情報処理システム、情報処理方法、プログラム、サーバ
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7487900B1 (ja) 情報処理方法、情報処理システム及びプログラム
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
US20240054612A1 (en) Iinformation processing apparatus, information processing method, and program
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
WO2021049508A1 (ja) 寸法表示システムおよび寸法表示方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022577216

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22954034

Country of ref document: EP

Kind code of ref document: A1