WO2024052997A1 - 情報処理システム及びプログラム、情報処理方法、サーバ - Google Patents

情報処理システム及びプログラム、情報処理方法、サーバ Download PDF

Info

Publication number
WO2024052997A1
WO2024052997A1 PCT/JP2022/033467 JP2022033467W WO2024052997A1 WO 2024052997 A1 WO2024052997 A1 WO 2024052997A1 JP 2022033467 W JP2022033467 W JP 2022033467W WO 2024052997 A1 WO2024052997 A1 WO 2024052997A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
visible light
information
information processing
Prior art date
Application number
PCT/JP2022/033467
Other languages
English (en)
French (fr)
Inventor
駿 菅井
瑞東 楊
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Priority to PCT/JP2022/033467 priority Critical patent/WO2024052997A1/ja
Priority to JP2023502574A priority patent/JP7385332B1/ja
Priority to JP2023156380A priority patent/JP2024037186A/ja
Publication of WO2024052997A1 publication Critical patent/WO2024052997A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing system and program, an information processing method, and a server that detect abnormalities in objects.
  • Patent Document 1 An image processing device that detects floating tiles on the walls of buildings and civil engineering structures is disclosed in Patent Document 1. According to the image processing device disclosed in Patent Document 1, edge detection processing is performed on a thermal image, a tile shape is detected from the edge image to generate a tile image, and a heat source tile and a heat-affected tile are detected from the tile image. Set to identify floating tile areas (see summary).
  • the present invention has been made in view of this background, and in particular, it is possible to detect abnormalities in objects by identifying objects such as tiles that have an abnormality such as floating from a visible light image and reflecting this in an infrared image.
  • One object of the present invention is to provide an information processing system, a program, an information processing method, and a server that can detect.
  • the object area estimating unit estimates each object area in which a plurality of lined up objects exist from a visible light image;
  • An information processing system comprising: a superimposition unit that superimposes object area information indicating the estimated object area on a corresponding area.
  • an information processing system is capable of detecting an abnormality in an object by identifying an object such as a tile with an abnormality such as floating from a visible light image and reflecting this in an infrared image. and programs, information processing methods, and servers.
  • FIG. 1 is a diagram showing the overall configuration of an embodiment of the present invention.
  • 1 is a diagram showing a system configuration of an information processing system according to an embodiment of the present invention.
  • 3 is a block diagram showing the hardware configuration of the server in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the terminal in FIG. 2.
  • FIG. 3 is a block diagram showing the hardware configuration of the aircraft shown in FIG. 2.
  • FIG. 3 is a block diagram showing the functions of the server and terminal in FIG. 2.
  • FIG. This is an example of a target visible light image.
  • This is an example of a target infrared image.
  • This is an example of a visible light image that has been subjected to image transformation processing.
  • This is an example of a visible light image that has been subjected to object area estimation processing.
  • FIG. 11 is a diagram showing an enlarged view of the object region shown in FIG. 10.
  • FIG. This is an example of an image in which the object area information shown in FIG. 10 is superimposed on the infrared image shown in FIG. 8.
  • 2 is a flowchart illustrating a process for implementing a method for detecting an abnormality in an object by the information processing system according to the present embodiment.
  • An information processing system, program, information processing method, and server has the following configuration.
  • An information processing system characterized by: [Item 2] further comprising an abnormality detection unit that associates temperature information associated with the infrared image with each of the superimposed object regions and detects an abnormality of the object based on the temperature information of the associated object regions;
  • the information processing system according to item 1 characterized in that: [Item 3] The object is a plurality of objects lined up in at least one of the vertical direction and the horizontal direction, The abnormality detection unit detects an abnormality in the object based on at least one of a temperature gradient between object regions
  • the information processing system characterized in that: [Item 4]
  • the target object is a plurality of target objects lined up in a vertical direction and a horizontal direction
  • the abnormality detection unit detects an abnormality in the object based on a temperature gradient between object regions arranged in a vertical direction and a temperature gradient between object regions arranged in a horizontal direction.
  • the information processing system according to item 2 characterized in that: [Item 5]
  • the abnormality detection unit detects an abnormality of the object according to a comparison between temperature information of the object region and reference temperature information.
  • the information processing system characterized in that: [Item 6]
  • the superimposing unit further performs image deformation processing on an image area of at least one of the visible light image and the infrared image.
  • the information processing system includes a process of generating a transformation matrix for performing a predetermined image transformation process on an image area of at least one of the visible light image and the infrared image.
  • the information processing system according to item 6, characterized in that: [Item 8] A program that causes a computer having a processing unit to perform information processing, The program causes the processing unit to Estimating each object area where multiple objects are located from the visible light image; Superimposing object area information indicating the estimated object area on a corresponding area corresponding to the area of the visible light image in at least a portion of the infrared image; A program to run.
  • an object area estimation unit that estimates each object area in which a plurality of aligned objects exist from the visible light image; a superimposing unit that superimposes object area information indicating the estimated object area on a corresponding area corresponding to the area of the visible light image in at least a part of the infrared image;
  • a server characterized by:
  • the information processing system detects an abnormality of an object existing on the wall surface based on an image taken of the wall surface of a structure such as a building or a civil engineering structure. It is something to detect.
  • the wall surface of the structure may be imaged by the user himself or herself by operating a camera, or by a camera mounted on an unmanned flying vehicle 4 as shown in FIG. 1 that flies autonomously or by remote control. You may operate it to take an image.
  • the information processing system in this embodiment simply detects the presence or absence of an abnormality in the image of the inspection target by performing processing to estimate the object area where the object in a normal state exists. Instead, it identifies the area in which an object (for example, a partitioned area such as a wall tile or panel) is present in the image to be inspected, and also determines in which part of which object an abnormality exists. It also makes it possible to detect whether the object (for example, a partitioned area such as a wall tile or panel) is present in the image to be inspected, and also determines in which part of which object an abnormality exists. It also makes it possible to detect whether the object (for example, a partitioned area such as a wall tile or panel) is present in the image to be inspected, and also determines in which part of which object an abnormality exists. It also makes it possible to detect whether the object (for example, a partitioned area such as a wall tile or panel) is present in the image to be inspected, and also determines in which part of
  • the information processing system in this embodiment includes a server 1, a terminal 2, and an unmanned flying vehicle 4.
  • the server 1, the terminal 2, and the unmanned aircraft 4 may be communicably connected to each other via the network NW.
  • the illustrated configuration is an example, and the configuration is not limited to this.
  • the unmanned flying object 4 may not be connected to the network NW.
  • the unmanned aerial vehicle 4 may be operated by a transmitter (so-called radio) operated by a user, or the image data acquired by the camera of the unmanned aerial vehicle 4 may be stored in an auxiliary storage device (e.g.
  • the configuration may be such that the data is stored in a memory card such as an SD card, a USB memory, etc.), and later read out from the auxiliary storage device by the user and stored in the server 1 or terminal 2, for operational purposes or image data.
  • the unmanned aerial vehicle 4 may be connected to the network NW only for one of the storage purposes.
  • FIG. 3 is a diagram showing the hardware configuration of the server 1 in this embodiment. Note that the illustrated configuration is an example, and other configurations may be used.
  • the server 1 includes at least a processor 10, a memory 11, a storage 12, a transmitting/receiving section 13, an input/output section 14, etc., which are electrically connected to each other via a bus 15.
  • the server 1 may be a general-purpose computer, such as a workstation or a personal computer, or may be logically implemented by cloud computing.
  • the processor 10 is an arithmetic device that controls the overall operation of the server 1, controls the transmission and reception of data between each element, and performs information processing necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), and executes programs stored in the storage 12 and developed in the memory 11 to perform various information processing.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the memory 11 includes a main memory configured with a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary memory configured with a non-volatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
  • the memory 11 is used as a work area for the processor 10, and also stores a BIOS (Basic Input/Output System) executed when the server 1 is started, various setting information, and the like.
  • BIOS Basic Input/Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be constructed in the storage 12.
  • a storage unit 130 which will be described later, may be provided in a part of the storage area.
  • the transmitting/receiving unit 13 is a communication interface through which the server 1 communicates with an external device (not shown), the unmanned aircraft 4, etc. via a communication network.
  • the transmitter/receiver 13 may further include a short-range communication interface for Bluetooth (registered trademark) and BLE (Bluetooth Low Energy), a USB (Universal Serial Bus) terminal, and the like.
  • the input/output unit 14 is information input devices such as a keyboard and mouse, and output devices such as a display.
  • the bus 15 is commonly connected to each of the above elements and transmits, for example, address signals, data signals, and various control signals.
  • the terminal 2 shown in FIG. 4 also includes a processor 20, a memory 21, a storage 22, a transmitting/receiving section 23, an input/output section 24, etc., which are electrically connected to each other through a bus 25. Since the functions of each element can be configured in the same manner as the server 1 described above, a detailed explanation of each element will be omitted.
  • FIG. 5 is a block diagram showing the hardware configuration of the unmanned aerial vehicle 4.
  • Flight controller 41 may include one or more processors, such as a programmable processor (eg, a central processing unit (CPU)).
  • processors such as a programmable processor (eg, a central processing unit (CPU)).
  • the flight controller 41 has a memory 411 and can access the memory.
  • Memory 411 stores logic, code, and/or program instructions executable by the flight controller to perform one or more steps.
  • the flight controller 41 may include sensors 412 such as an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), and the like.
  • the memory 411 may include, for example, a separable medium or external storage device such as an SD card or random access memory (RAM). Data acquired from cameras/sensors 42 may be communicated directly to and stored in memory 411. For example, still image/video data taken with a camera or the like may be recorded in the built-in memory or external memory, but the data is not limited to this. 2 may be recorded.
  • the camera 42 is installed on the unmanned aerial vehicle 4 via a gimbal 43.
  • Flight controller 41 includes a control module (not shown) configured to control the state of unmanned aerial vehicle 4 .
  • the control module adjusts the spatial position, velocity, and/or acceleration of the unmanned air vehicle 4 with six degrees of freedom (translational movements x, y, and z, and rotational movements ⁇ x , ⁇ y , and ⁇ z ).
  • the propulsion mechanism (motor 45, etc.) of the unmanned aerial vehicle 4 is controlled via an ESC 44 (Electric Speed Controller).
  • a propeller 46 is rotated by a motor 45 supplied with power from a battery 48, thereby generating lift of the unmanned flying vehicle 4.
  • the control module can control one or more of the states of the mounting section and sensors.
  • Flight controller 41 is a transceiver configured to transmit and/or receive data from one or more external devices (e.g., a transceiver 49, terminal, display, or other remote controller). It is possible to communicate with the unit 47.
  • Transceiver 49 may use any suitable communication means, such as wired or wireless communication.
  • the transmitter/receiver 47 uses one or more of a local area network (LAN), wide area network (WAN), infrared rays, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, etc. can do.
  • LAN local area network
  • WAN wide area network
  • infrared rays wireless
  • WiFi point-to-point
  • P2P point-to-point
  • telecommunications network telecommunications network
  • cloud communication etc.
  • the transmitting/receiving unit 47 transmits and/or receives one or more of data acquired by the sensors 42, processing results generated by the flight controller 41, predetermined control data, user commands from a terminal or a remote controller, etc. be able to.
  • Sensors 42 may include an inertial sensor (acceleration sensor, gyro sensor), a GPS sensor, a proximity sensor (eg, lidar), or a vision/image sensor (eg, camera).
  • the sensors 42 include a visible light camera and an infrared camera.
  • FIG. 6 is a block diagram illustrating functions implemented in the server 1 and the terminal 2.
  • the server 1 includes an image acquisition section 115, a processing section 120, and a storage section 130.
  • the processing unit 120 includes an object area estimation unit 121, a superposition unit 122, and an abnormality detection unit 123.
  • the storage unit 130 includes an information/image storage unit 131 and an object area estimation learning model 132.
  • the various functional units are illustrated as functional units in the processor 10 of the server 1, but some or all of the various functional units may be implemented in the processor 10 of the server 1, the processor 20 of the terminal 2, or the controller of the unmanned aircraft 4.
  • the configuration may be implemented in any of the processor 10, the processor 20, and the controller 41 depending on the capabilities of the processor 41 and the like.
  • the communication unit 110 communicates with the terminal 2 and the unmanned aerial vehicle 4 via the network NW.
  • the communication unit 110 also functions as a reception unit that receives various requests, data, etc. from the terminal 2, the unmanned aircraft 4, and the like.
  • the image acquisition unit 115 acquires images captured by a digital camera mounted on the unmanned aerial vehicle 4 or a digital camera used by a user, for example, by wireless communication via a communication interface or wired communication via a USB terminal. acquired from a digital camera.
  • the image acquisition unit 115 may be configured to acquire images via a storage medium such as a USB memory or an SD memory.
  • the processing unit 120 includes functional units 121 to 123 that perform a series of processes for detecting an abnormality in the image acquired by the image acquisition unit 115 and detecting which part of an object has an abnormality. There is.
  • the object area estimating unit 121 performs a process of estimating each object area information, which is an area where a plurality of lined up objects (wall tiles, panels, etc.) exist, on the visible light image acquired by the image acquisition unit 115. Execute.
  • the object area estimation unit 121 of this embodiment estimates object area information using the object area estimation learning model 132 in the storage unit 130.
  • the object area information may be, for example, position information or area range information of each object. Details of the object area estimation learning model 132 will be described later.
  • the object area estimation process performed by the object area estimation unit 121 detects an area in the image where an object (wall tile, panel, etc.) exists, and further detects the position or shape of each object in that area. Information regarding the range, etc. is detected. In other words, the position, shape, range, etc. of each object is individually recognized by this object area estimation process. To explain this using an example where the target object is a tile, the target area estimation process detects the area in the image where the tile exists, and also calculates the size of each tile separated by joints in that area. The position, shape, range, etc. are also individually detected.
  • the superimposition unit 122 applies the object area information estimated by the object area estimation unit 121 to at least a part of the infrared image acquired by the image acquisition unit 115 (for example, a corresponding area corresponding to the visible light image area). Execute the overlapping process. For example, if the infrared image area includes a wider shooting range than the visible light image area, the object area information is superimposed on the corresponding area of the visible light image area in the infrared image area, and the infrared image area is When the image area includes a shooting range narrower than the visible light image area, superposition of object area information is performed in the visible light image area that can correspond to the entire infrared image area.
  • the superposition unit 122 performs a superimposition process on at least one image area of an infrared image or a visible light image (particularly an image including a wide shooting range, for example, a visible light image) before superimposition processing.
  • Image deformation processing may also be performed.
  • the image transformation process may, for example, calculate a transformation matrix for making at least one of the infrared image or the visible light image correspond to the other image, and more specifically, the common feature points in both images may be made to correspond.
  • An affine transformation may be performed to obtain the transformation matrix with the highest degree of matching.
  • the image conversion process may include a process of deleting portions that are no longer needed when enlarged.
  • a learning model (which may be learned from a general image classification database, or may be learned using at least one of an infrared image or a visible light image of an object) is used.
  • Image feature information (for example, information indicating which region in the image is estimated to belong to which) is generated in the visible light image and the infrared image, respectively.
  • a transformation matrix in an affine transformation with a high degree of matching may be obtained as a combination of image feature amounts.
  • the image transformation process may calculate a transformation matrix that matches the photographing range from the photographing positions, photographing angles, angles of view, etc. of the visible light camera and the infrared camera.
  • image deformation process performed by the superposition unit 122, in order to superpose the visible light image illustrated in FIG. 7 onto the infrared image illustrated in FIG. Perform predetermined image transformation processing.
  • image transformation processing (particularly calculation of a transformation matrix) such as enlargement, stretching, and deletion of unnecessary parts is performed.
  • Overlapping the object area information may mean, for example, associating the infrared image area with position information or area range information of the object area indicated by the object area information.
  • superimposition of object area information refers to, for example, a process of visualizing object area information so that it is possible to determine which position the object area is in an infrared image area (for example, overlapping an infrared image It may also be a process of coloring a position or range based on object area information, a process of transmitting and superimposing a visible light image associated with object area information on an infrared image, etc.) .
  • object area estimation processing is performed on the visible light image illustrated in FIG. 7 in advance, and object area information regarding the object area (tile area of the wall surface in FIG. 7) is estimated. Then, the object is visualized in the visible light image based on the object area information, and the superimposition unit 122 performs the same processing as the image transformation processing described above (in particular, application of a transformation matrix) to the visible light image. By executing this, a visible light image and object area information as illustrated in FIG. 10 are obtained (FIG. 11 is an example of an enlarged visible light image in which object area information is visualized).
  • Each object area information may include object identification information (ID), object area position information, object area range information, and the like.
  • the superimposition unit 122 superimposes the object area information on the infrared image, as illustrated in FIG. 12 .
  • the image deformation process is performed after the execution of the object area estimation process, but the image deformation process is performed first and then the object area estimation process is performed to create the visible A light image and object area information may be obtained.
  • the object area estimation process by the object area estimation unit 121 detects the area in the image where the object (wall tiles, panels, etc.) exists and the position, shape, range, etc. of each object. has been done. Therefore, according to the superimposition unit 122, it is possible to specify in which position (range) the target object exists in the infrared image. That is, by superimposing the object area information on the infrared image region in this way, it becomes easier for at least a worker to inspect the superimposed image by visually observing the superimposed image, and furthermore, the abnormality detection unit 123 (described later) can detect the object. It becomes possible to detect abnormalities in objects.
  • the abnormality detection unit 123 associates temperature information associated with the infrared image with each of the superimposed object regions, and detects an abnormality of the object based on the temperature of each object region.
  • the abnormality detection unit 123 acquires temperature information linked to pixels on the infrared image corresponding to the target object area, and calculates the aggregated value such as the average value of the temperature information in the target object area.
  • the temperature information of the target object region is stored in the information/image storage unit 131, and abnormality detection is performed based on the temperature information of the target object region.
  • the abnormality detection unit 123 detects an abnormality in a corresponding object from the temperature gradient between object regions.
  • the abnormality detection unit 123 detects the temperature gradient between the regions of the objects arranged in the vertical direction.
  • an abnormality in the object is detected based on at least one of the temperature gradients between object regions arranged in the horizontal direction (that is, an object in which an abnormality has occurred is identified).
  • the object when the object is a tile, if a tile is floating, the temperature will be significantly different compared to the surrounding tiles, so by referring to the temperature gradient between the objects in a row, Detecting a temperature that is higher or lower compared to both adjacent objects (e.g., higher or lower temperature compared to both adjacent objects, or at least one of the adjacent objects) By detecting that the absolute value of the temperature difference is greater than or equal to a predetermined value, it is possible to identify the object in which the abnormality has occurred. Furthermore, since there are various objects other than tiles that cause temperature abnormalities such as abnormal heat generation, the present invention is particularly effective for such objects.
  • the abnormality detection unit 123 detects the vertical Based on both the temperature gradient between the object areas arranged in the direction and the temperature gradient between the object areas arranged in the horizontal direction, it is possible to determine whether the temperature is higher or lower than the temperature of both adjacent objects in any direction. detect (for example, detect that the temperature is higher or lower than all adjacent objects, or that adjacent objects whose absolute value of temperature difference is greater than or equal to a predetermined value are greater than or equal to a predetermined value), Identifying the object in which the abnormality is occurring increases the reliability of abnormality detection.
  • the abnormality detection unit 123 detects an abnormality in the object according to a comparison result between each temperature information of the object region and predetermined reference temperature information. This makes it possible to identify an object whose temperature is higher or lower than the reference temperature as an object in which an abnormality has occurred.
  • the abnormality detection unit 123 executes a process of linking abnormality information regarding the abnormality to object area information of the specified object.
  • the abnormality information regarding the abnormality may include, for example, information indicating the presence or absence of an abnormality as a result of determining whether the temperature information of the object satisfies a predetermined abnormal temperature condition, or may include information indicating the presence or absence of an abnormality as a result of determining whether the temperature information of the object satisfies a predetermined abnormal temperature condition, A plurality of conditions may be provided, and information indicating which condition is met may be included (for example, it may be ranked from A to F according to the degree of abnormality of the abnormal temperature condition).
  • the abnormality information may include temperature information of a specific object or differential temperature information with surrounding objects (for example, information indicating in which direction there is a temperature difference from adjacent objects, (It may also be information indicating the average value of the temperature difference with surrounding objects).
  • the abnormality detection unit 123 associates the abnormality information with the object area information and stores it in the information/image storage unit 131. Part or all of various data such as abnormality information stored in the information/image storage unit 131 may be transmitted to the terminal 2 in response to a request from the terminal 2.
  • the image and various data related to the image may be viewable by the user on a predetermined user interface via the input/output unit 24 (eg, display) of the terminal 2.
  • the information/image storage unit 131 of the storage unit 130 stores, at least temporarily, the information/data generated by the processing by each of the functional units 121 to 123 of the processing unit 120, in addition to the image acquired by the image acquisition unit 115. remember exactly.
  • the object area estimation learning model 132 is a learning model generated by machine learning using images related to various objects such as tiles and panels as training data.
  • the object region estimation learning model 132 can also be created using, for example, an arbitrary external computer device (not shown) as a learning device, and can be stored in the storage unit 130.
  • the object region estimation learning model 132 is also generated by performing machine learning using Mask R-CNN (Region-based Convolutional Neural Network). Therefore, by using the target object region estimation learning model 132 of this embodiment, it is possible to estimate not only the region where the target part exists in the image, but also the position, range, and shape of each target part in that region. It is.
  • Mask R-CNN Registered-based Convolutional Neural Network
  • FIG. 13 is a flowchart illustrating a process for implementing a method for detecting an abnormality in an object by the information processing system according to the present embodiment.
  • the image acquisition unit 115 of the server 1 acquires visible light images and infrared images captured by the camera mounted on the unmanned flying vehicle 4 or the camera used by the user (S101).
  • the image to be acquired is, for example, an image of a target object for detecting an abnormality, such as a wall surface of a building or a civil engineering structure.
  • the target area estimating unit 121 of the server 1 inputs the visible light image to the target area estimation learning model 133 to estimate the target area where the target object (in the illustrated example, a wall tile) exists. Then, processing for outputting object area information is executed (S102).
  • the superimposition unit 122 of the server 1 performs estimation by the object area estimation unit 121 on at least a portion of the infrared image acquired by the image acquisition unit 115 (for example, a corresponding area corresponding to the visible light image area).
  • a process of superimposing the obtained object area information is executed (S103).
  • the abnormality detection unit 123 of the server 1 associates temperature information based on the infrared images with the superimposed object regions, and detects an abnormality of the object based on the temperature of each object region (S104 ).
  • the server 1 of the present embodiment it is possible to detect an abnormality in the object by determining the object whose temperature abnormality such as floating is to be detected from the visible light image and reflecting this in the infrared image. can.

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

【課題】浮き等の温度異常のある対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することを可能とする情報処理システム及びプログラム等を提供する。 【解決手段】本発明の一実施形態によれば、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、情報処理システム及びプログラム等が提供される。

Description

情報処理システム及びプログラム、情報処理方法、サーバ
　本発明は、対象物の異常を検出する情報処理システム及びプログラム、情報処理方法、サーバに関する。
　建築物や土木構造物の壁における浮きタイルを検出する画像処理装置が、特許文献１に開示されている。特許文献１に開示された画像処理装置によれば、熱画像に対してエッジ検出処理を行い、エッジ画像からタイル形状を検出してタイル画像を生成し、タイル画像から熱源タイルや熱影響タイルを設定して浮きタイル領域を特定する（要約参照）。
特開２０２２－２１９２６号公報
　しかしながら、このように熱画像からタイルなどの対象物を検出して異常（浮き等）を検出する場合、特許文献１の図７（Ｂ）に示されるように全ての対象物（タイル）が正確に検出されない可能性があり、検出されなかった対象物に実際に異常がある場合には誤検出となり得る。
　本発明はこのような背景を鑑みてなされたものであり、特に、浮き等の異常のあるタイル等の対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することを一つの目的とする。
　本発明の一態様によれば、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備えることを特徴とする情報処理システムが提供される。
　本発明によれば、特に、浮き等の異常のあるタイル等の対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することが可能な情報処理システム及びプログラム、情報処理方法、サーバを提供することができる。
本発明の実施の形態の全体構成を示す図である。 本発明の実施の形態にかかる情報処理システムのシステム構成を示す図である。 図２のサーバのハードウェア構成を示すブロック図である。 図２の端末のハードウェア構成を示すブロック図である。 図２の飛行体のハードウェア構成を示すブロック図である。 図２のサーバ、端末の機能を示すブロック図である。 対象となる可視光画像の一例である。 対象となる赤外線画像の一例である。 画像変形処理を施した可視光画像の一例である。 対象物領域推定処理を施した可視光画像の一例である。 図１０に示した対象物領域を拡大して示す図である。 図１０に示した対象物領域情報を図８に示した赤外線画像に重ね合わせた画像の一例である。 本実施形態にかかる情報処理システムによる対象物の異常検出方法を実施する処理を示すフローチャートである。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム及びプログラム、情報処理方法、サーバは、以下のような構成を備える。
［項目１］
　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
　ことを特徴とする情報処理システム。
［項目２］
　重ね合わせた前記対象物領域のそれぞれに対して前記赤外線画像に紐づく温度情報を対応付け、対応付けられた対象物領域の温度情報に基づき対象物の異常を検出する異常検出部をさらに備える、
　ことを特徴とする項目１に記載の情報処理システム。
［項目３］
　前記対象物は垂直方向または水平方向の少なくともいずれかに複数並ぶ対象物であって、
　前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配の少なくともいずれかに基づき対象物の異常を検出する、
　ことを特徴とする項目２に記載の情報処理システム。
［項目４］
　前記対象物は垂直方向及び水平方向に複数並ぶ対象物であって、
　前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配とに基づき対象物の異常を検出する、
　ことを特徴とする項目２に記載の情報処理システム。
［項目５］
　前記異常検出部は、前記対象物領域の温度情報と基準温度情報との比較に応じて対象物の異常を検出する、
　ことを特徴とする項目２に記載の情報処理システム。
［項目６］
　前記重ね合わせ部は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して画像変形処理をさらに実行する、
　ことを特徴とする項目１ないし５のいずれかに記載の情報処理システム。
［項目７］
　前記画像変形処理は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して所定の画像変形処理を行うための変換行列の生成処理を含む、
　ことを特徴とする項目６に記載の情報処理システム。
［項目８］
　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
　前記プログラムは、前記処理部に、
　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定することと、
　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせることと、
を実行させる、プログラム。
［項目９］
　対象物領域推定部により、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定するステップと、
　重ね合わせ部により、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせるステップと、
をコンピュータにおいて実行する、情報処理方法。
［項目１０］
　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
　ことを特徴とするサーバ。
＜実施の形態の詳細＞
　以下、本発明の実施の形態による情報処理システムを説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
＜本実施形態の概要＞
　図１に示されるように、本実施の形態における情報処理システムは、例えば建物や土木建造物などの構造物の壁面を撮像した画像を基に、そのような壁面に存在する対象物の異常を検出するものである。構造物の壁面は、一例として、ユーザ自身がカメラを操作して撮像してもよいし、あるいは、自律飛行もしくは遠隔操作により飛行する図１に示すような無人飛行体４に搭載したカメラを遠隔操作して撮像してもよい。
　本実施形態における情報処理システムは、後述するように、異常の無い状態の対象物が存在する対象物領域を推定する処理を行うことにより、検査対象の画像中における異常の有無を単に検出するだけでなく、検査対象の画像中において対象物（例えば、壁面のタイルやパネルなどの区画された領域をなすもの）が存在する領域を特定し、さらには、どの対象物のどの部分に異常が存在するかについても検出することを可能にするものである。
＜システム構成＞
　図２に示されるように、本実施の形態における情報処理システムは、サーバ１と、端末２と、無人飛行体４とを有している。サーバ１と、端末２と、無人飛行体４は、ネットワークＮＷを介して互いに通信可能に接続されていてもよい。なお、図示された構成は一例であり、これに限らず、例えば無人飛行体４がネットワークＮＷに接続されていなくてもよい。その場合、無人飛行体４の操作がユーザが操作する送信機（いわゆるプロポ）により行われたり、無人飛行体４のカメラにより取得した画像データが無人飛行体４に接続される補助記憶装置（例えばＳＤカードなどのメモリカードやＵＳＢメモリなど）に記憶され、ユーザにより事後的に補助記憶装置からサーバ１や端末２に読み出されて記憶されたりする構成であってもよく、操作目的または画像データの記憶目的のいずれか一方の目的のためだけに無人飛行体４がネットワークＮＷに接続されていてもよい。
＜サーバ１のハードウェア構成＞
　図３は、本実施形態におけるサーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　プロセッサ１０は、サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　／　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。また、後述の記憶部１３０が記憶領域の一部に設けられていてもよい。
　送受信部１３は、サーバ１が通信ネットワークを介して外部装置（不図示）や無人飛行体４等と通信を行うための通信インターフェースである。送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インターフェースやＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）端子等をさらに備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
＜端末２＞
　図４に示される端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述したサーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
＜無人飛行体４＞
　図５は、無人飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。
　メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくともサーバ１や端末２のいずれか１つに記録されてもよい。カメラ４２は無人飛行体４にジンバル４３を介して設置される。
　フライトコントローラ４１は、無人飛行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する無人飛行体４の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ　Ｓｐｅｅｄ　Ｃｏｎｔｒｏｌｌｅｒ）を経由して無人飛行体４の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで無人飛行体４の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。特に、本実施の形態において無人飛行体４等の移動体を用いる場合には、センサ類４２は、可視光カメラ及び赤外線カメラを含む。
＜サーバ１の機能＞
　図６は、サーバ１及び端末２に実装される機能を例示したブロック図である。本実施の形態においては、サーバ１は、画像取得部１１５、処理部１２０、記憶部１３０を備えている。処理部１２０は、対象物領域推定部１２１、重ね合わせ部１２２、異常検出部１２３を含んでいる。また、記憶部１３０は、情報・画像記憶部１３１、対象物領域推定学習モデル１３２を含んでいる。なお、各種機能部は、サーバ１のプロセッサ１０における機能部として例示しているが、各種機能部の一部または全部は、サーバ１のプロセッサ１０または端末２のプロセッサ２０、無人飛行体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはプロセッサ２０、コントローラ４１のうちのいずれの構成において実現されていてもよい。
　通信部１１０は、ネットワークＮＷを介して端末２や、無人飛行体４と通信を行う。通信部１１０は、端末２や無人飛行体４等からの各種要求やデータ等を受け付ける受付部としても機能する。
　画像取得部１１５は、例えば、通信インターフェースを介した無線通信あるいはＵＳＢ端子等を介した有線通信によって、無人飛行体４に搭載されたデジタルカメラやユーザが用いたデジタルカメラで撮像された画像をそれらのデジタルカメラから取得する。画像取得部１１５は、ＵＳＢメモリやＳＤメモリ等の記憶媒体を介して画像を取得するように構成されていてもよい。
　処理部１２０は、画像取得部１１５が取得した画像について異常検出を行い、どの対象物のどの部分に異常箇所が存在するかを検出する一連の処理を実行する各機能部１２１～１２３を備えている。
　対象物領域推定部１２１は、画像取得部１１５が取得した可視光画像に対して、複数並ぶ対象物（壁面のタイルやパネル等）が存在する領域である各対象物領域情報を推定する処理を実行する。本実施形態の対象物領域推定部１２１は、記憶部１３０の対象物領域推定学習モデル１３２を用いて対象物領域情報を推定する。対象物領域情報は、例えば、各対象物の位置情報または領域範囲情報であってもよい。対象物領域推定学習モデル１３２の詳細については後述する。
　対象物領域推定部１２１による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域が検出され、さらには、その領域における個々の対象物の位置または形状、範囲に関する情報等が検出される。換言すれば、この対象物領域推定処理により個々の対象物の位置または形状、範囲等が個別に認識される。対象物がタイルである場合を例に挙げてこれを説明すると、対象物領域推定処理により、画像中におけるタイルが存在する領域が検出されると共に、その領域において目地で区切られた個々のタイルの位置または形状、範囲等も個別に検出される。
　重ね合わせ部１２２は、画像取得部１１５が取得した赤外線画像の少なくとも一部（例えば可視光画像領域に対応する対応領域）に対して、対象物領域推定部１２１によって推定された対象物領域情報を重ね合わせる処理を実行する。例えば、赤外線画像領域が可視光画像領域よりも広い撮影範囲を含む場合には、赤外線画像領域のうち可視光画像領域に対応する範囲の対応領域で対象物領域情報の重ね合わせを実行し、赤外線画像領域が可視光画像領域よりも狭い撮影範囲を含む場合には、赤外線画像領域全体に対して対応し得る可視光画像領域で対象物領域情報の重ね合わせを実行する。　
　重ね合わせ部１２２は、重ね合わせ処理の前に、赤外線画像または可視光画像の少なくともいずれかの画像領域に対して（特に広い撮影範囲を含む画像であって、例えば可視光画像などに対して）画像変形処理をさらに実行してもよい。画像変形処理は、例えば、少なくとも赤外線画像または可視光画像の一方を他方の画像に対応するための変換行列を算出するようにしてもよく、より具体的には両画像における共通の特徴点が対応するようにアフィン変換を行い、一致度が一番高い変換行列を求めるようにしてもよい。その際に、画像変換処理として、拡大した際に不要になった部分は削除する処理を含めてもよい。さらに具体的には、例えば学習モデル（一般的な画像分類データベースから学習されたものであってもよいし、対象物が撮影された赤外線画像または可視光画像の少なくともいずれかを用いて学習されたものであってもよい）を用いて、可視光画像と赤外線画像における画像特徴量情報（例えば、画像内の何れの領域が何れのものであると推定されるかを示す情報）をそれぞれ生成し、互いの画像特徴量の組み合わせとして一致度が高いアフィン変換における変換行列を求めるようにしてもよい。その他、画像変形処理は、可視光カメラと赤外線カメラの撮影位置、撮影角度、画角などから撮影範囲が一致する変換行列を算出してもよい。
　重ね合わせ部１２２による画像変形処理の例としては、例えば図７に例示される可視光画像を、図８に例示される赤外線画像に対して重ね合わせを実行するために、前処理として、上述の所定の画像変形処理を行う。その結果、図９に例示されるように拡大や引き延ばし、不要部分の削除などの画像変形処理（特に変換行列の算出）が行われる。
　対象物領域情報の重ね合わせとは、例えば、赤外線画像領域に対して、対象物領域情報が示す対象物領域の位置情報または領域範囲情報などの関連付けを行うことであってもよい。また、対象物領域情報の重ね合わせとは、例えば、赤外線画像領域における、対象物領域が何れの位置であるかを判別可能なように対象物領域情報を可視化する処理（例えば赤外線画像に対して対象物領域情報に基づいた位置や範囲に着色をする処理や、赤外線画像に対して対象物領域情報が関連付けられた可視光画像を透過して重畳する処理など）を行うことであってもよい。
　重ね合わせ部１２２による重ね合わせ処理の例を説明する。まず、事前に図７に例示される可視光画像に対して対象物領域推定処理が実行され、対象物領域（図７においては壁面のタイル領域）に関する対象物領域情報が推定される。そして、対象物領域情報に基づき可視光画像において対象物を可視化すると共に、当該可視光画像に対して、重ね合わせ部１２２により、上述の画像変形処理と同様の処理（特に変換行列の適用）を実行することで図１０に例示されるような可視光画像及び対象物領域情報を得る（図１１は、対象物領域情報を可視化した可視光画像の拡大例）。各対象物領域情報は、対象物識別情報（ＩＤ）、対象物領域位置情報、対象物領域範囲情報などを含んでいてもよい。さらに、重ね合わせ部１２２は、図１２に例示されるように、赤外線画像に対して対象物領域情報の重ね合わせを実行する。なお、上述の例においては、対象物領域推定処理の実行後に画像変形処理を行っているが、先に画像変形処理を行った後に対象物領域推定処理を実行して図１０に例示される可視光画像及び対象物領域情報を得るようにしてもよい。
　上記のように、対象物領域推定部１２１による対象物領域推定処理により、画像中における対象物（壁面のタイルやパネル等）が存在する領域と個々の対象物の位置または形状、範囲等が検出されている。そのため、重ね合わせ部１２２によれば、赤外線画像において対象物が何れの位置（範囲）に存在しているのかを特定することができる。すなわち、このように赤外線画像領域に対して対象物領域情報を重ね合わせることで、少なくとも作業員が重ね合わせ画像を目視することでの点検が容易となり、さらには、後述の異常検出部１２３による対象物の異常検出が可能となる。
　異常検出部１２３は、重ね合わせた対象物領域のそれぞれに対して前記赤外線画像に紐づく温度情報を対応付けて、各対象物領域の温度に基づいて対象物の異常を検出する。より具体的な例としては、異常検出部１２３は、対象物領域に対応する赤外線画像上の画素に紐づく温度情報を取得し、対象物領域内の温度情報の平均値などの集計値を該当する対象物領域の温度情報として情報・画像記憶部１３１に格納し、対象物領域の温度情報に基づいて異常検出を行う。
　異常検出の一例として、異常検出部１２３は、対象物領域間の温度勾配から対応する対象物の異常を検出する。より具体的な例としては、対象物が垂直方向または水平方向の少なくともいずれかの方向に複数並ぶ対象物である場合には、異常検出部１２３は、垂直方向に並ぶ対象物領域間の温度勾配または水平方向に並ぶ対象物領域間の温度勾配の少なくともいずれかに基づき、対象物の異常を検出する（すなわち、異常が発生している対象物を特定する）。特に対象物がタイルである場合には、タイルに浮きが発生しているとその周辺のタイルと比較して温度が大きく異なることから、並んでいる対象物間の温度勾配を参照することにより、隣接する両対象物の温度と比較して高いまたは低いことを検出し（例えば、隣接する両対象物と比較して温度が高いまたは低いことや、少なくともいずれかの隣接する対象物と比較して温度差の絶対値が所定値以上であることなどを検出）、異常が発生している対象物を特定することが可能となる。また、タイルに限らず、発熱異常などの温度異常を生じる対象物は種々存在するため、このような対象物に対して特に有効である。また、対象物が垂直方向及び水平方向の両方向に複数並ぶ対象物（例えば平面をなすように並ぶ対象物であり、壁面のタイルやパネルなど）である場合には、異常検出部１２３は、垂直方向に並ぶ対象物領域間の温度勾配及び水平方向に並ぶ対象物領域間の温度勾配の両温度勾配に基づき、何れの方向においても隣接する両対象物の温度と比較して高いまたは低いことを検出し（例えば、隣接する全ての対象物と比較して温度が高いまたは低いことや、温度差の絶対値が所定値以上である隣接する対象物が所定値以上であることなどを検出）、異常が発生している対象物を特定すると、異常検出の確実性がより高まる。
　異常検出の他の例として、異常検出部１２３は、対象物領域の各温度情報と所定の基準温度情報との比較結果に応じて対象物の異常を検出する。これにより、温度が基準温度よりも高くなっている、または、低くなっている対象物を異常が発生している対象物として特定することが可能となる。
　異常検出部１２３は、異常が発生している対象物を検出した後、特定した対象物の対象物領域情報に異常に関する異常情報を紐づける処理を実行する。異常に関する異常情報は、例えば、対象物の温度情報が所定の異常温度条件を満たしているかを判定した結果として異常の有無を示す情報を含んでいてもよいし、対象物の温度情報の異常温度条件を複数設けて、いずれの条件に合致するかを示す情報（例えば、異常温度条件の異常度の高低に合わせてＡ～Ｆのランクを付すなどであってもよい）を含んでいてもよい。または、異常情報として、具体的な対象物の温度情報や周囲の対象物との差分温度情報（例えば、何れの方向に隣接する対象物とどれくらいの温度差があるかを示す情報であったり、周囲の対象物との温度差の平均値を示す情報であってもよい）を含んでいてもよい。
　異常検出部１２３は、対象物領域情報に異常情報を紐付けて情報・画像記憶部１３１に格納する。情報・画像記憶部１３１に格納される異常情報などの各種データは、端末２からの要求に応じてその一部または全部が端末２へ送信されてもよい。そして、画像及びその画像に関連する各種データは、ユーザが端末２の入出力部２４（例えばディスプレイ）を介して所定のユーザインタフェースにおいて閲覧可能であってもよい。
　次に、記憶部１３０の情報・画像記憶部１３１は、画像取得部１１５が取得した画像の他、処理部１２０の各機能部１２１～１２３による処理に生成された情報・データ等を、少なくとも一時的に記憶する。
　対象物領域推定学習モデル１３２は、タイルやパネル等の種々の対象物に関する画像を教師データとして機械学習して生成された学習モデルである。対象物領域推定学習モデル１３２も、例えば任意の外部コンピュータ装置（不図示）を学習器として用いて作成して、記憶部１３０に記憶させることができる。
　本実施形態では、対象物領域推定学習モデル１３２もＭａｓｋ　Ｒ－ＣＮＮ（Ｒｅｇｉｏｎ－ｂａｓｅｄ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）で機械学習を実行して生成されている。そのため、本実施形態の対象物領域推定学習モデル１３２を用いることで、画像中の対象部が存在する領域のみならず、その領域における個々の対象部の位置または範囲、形状も推定することが可能である。
＜対象物の異常検出方法の一例＞
　続いて、図１３を参照して、本実施形態にかかる情報処理システムによる対象物の異常検出方法について説明する。図１３は、本実施形態にかかる情報処理システムによる対象物の異常検出方法を実施する処理を示すフローチャートである。
　最初に、サーバ１の画像取得部１１５は、無人飛行体４に搭載されたカメラやユーザが用いたカメラで撮像された可視光画像及び赤外線画像をそれらのカメラから取得する（Ｓ１０１）。
　取得する画像は、例えば、建物や土木建造物等の壁面等における、異常を検出する対象物を撮像したものである。
　次に、サーバ１の対象物領域推定部１２１は、可視光画像を対象物領域推定学習モデル１３３に入力して、対象物（図示の例では、壁面のタイル）が存在する対象物領域を推定して対象物領域情報を出力する処理を実行する（Ｓ１０２）。
　次に、サーバ１の重ね合わせ部１２２は、画像取得部１１５が取得した赤外線画像の少なくとも一部（例えば可視光画像領域に対応する対応領域）に対して、対象物領域推定部１２１によって推定された対象物領域情報を重ね合わせる処理を実行する（Ｓ１０３）。
　次に、サーバ１の異常検出部１２３は、重ね合わせた対象物領域に対して赤外線画像に基づく温度情報を対応付けて、各対象物領域の温度に基づいて対象物の異常を検出する（Ｓ１０４）。
　このように、本実施形態のサーバ１によれば、浮き等の温度異常を検出したい対象物を可視光画像から判別し、これを赤外線画像に反映することで対象物の異常を検出することができる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　情報処理システム
　２　　　　端末
　４　　　　無人飛行体

 

Claims (10)

  1. 　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
    　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
    　ことを特徴とする情報処理システム。
  2. 　重ね合わせた前記対象物領域のそれぞれに対して前記赤外線画像に紐づく温度情報を対応付け、対応付けられた対象物領域の温度情報に基づき対象物の異常を検出する異常検出部をさらに備える、
    　ことを特徴とする請求項１に記載の情報処理システム。
  3. 　前記対象物は垂直方向または水平方向の少なくともいずれかに複数並ぶ対象物であって、
    　前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配の少なくともいずれかに基づき対象物の異常を検出する、
    　ことを特徴とする請求項２に記載の情報処理システム。
  4. 　前記対象物は垂直方向及び水平方向に複数並ぶ対象物であって、
    　前記異常検出部は、垂直方向に並ぶ対象物領域間の温度勾配と、水平方向に並ぶ対象物領域間の温度勾配とに基づき対象物の異常を検出する、
    　ことを特徴とする請求項２に記載の情報処理システム。
  5. 　前記異常検出部は、前記対象物領域の温度情報と基準温度情報との比較に応じて対象物の異常を検出する、
    　ことを特徴とする請求項２に記載の情報処理システム。
  6. 　前記重ね合わせ部は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して画像変形処理をさらに実行する、
    　ことを特徴とする請求項１ないし５のいずれかに記載の情報処理システム。
  7. 　前記画像変形処理は、前記可視光画像または前記赤外線画像の少なくともいずれかの画像領域に対して所定の画像変形処理を行うための変換行列の生成処理を含む、
    　ことを特徴とする請求項６に記載の情報処理システム。
  8. 　処理部を有するコンピュータに情報処理を実行させるプログラムであって、
    　前記プログラムは、前記処理部に、
    　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定することと、
    　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせることと、
    を実行させる、プログラム。
  9. 　対象物領域推定部により、可視光画像から複数並ぶ対象物が存在する各対象物領域を推定するステップと、
    　重ね合わせ部により、赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせるステップと、
    をコンピュータにおいて実行する、情報処理方法。
  10. 　可視光画像から複数並ぶ対象物が存在する各対象物領域を推定する対象物領域推定部と、
    　赤外線画像の少なくとも一部における前記可視光画像の領域に対応する対応領域に対して、推定された前記対象物領域を示す対象物領域情報を重ね合わせる重ね合わせ部と、を備える、
    　ことを特徴とするサーバ。
     

     
PCT/JP2022/033467 2022-09-06 2022-09-06 情報処理システム及びプログラム、情報処理方法、サーバ WO2024052997A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/033467 WO2024052997A1 (ja) 2022-09-06 2022-09-06 情報処理システム及びプログラム、情報処理方法、サーバ
JP2023502574A JP7385332B1 (ja) 2022-09-06 2022-09-06 情報処理システム及びプログラム、情報処理方法、サーバ
JP2023156380A JP2024037186A (ja) 2022-09-06 2023-09-21 情報処理システム及びプログラム、情報処理方法、サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/033467 WO2024052997A1 (ja) 2022-09-06 2022-09-06 情報処理システム及びプログラム、情報処理方法、サーバ

Publications (1)

Publication Number Publication Date
WO2024052997A1 true WO2024052997A1 (ja) 2024-03-14

Family

ID=88833400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033467 WO2024052997A1 (ja) 2022-09-06 2022-09-06 情報処理システム及びプログラム、情報処理方法、サーバ

Country Status (2)

Country Link
JP (2) JP7385332B1 (ja)
WO (1) WO2024052997A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221235A (ja) * 2011-04-08 2012-11-12 Furuta Sekkei Co Ltd 画像処理方法、画像処理装置、建物画像診断方法、及び建物画像診断装置
JP2019027908A (ja) * 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ 外面材調査システム
JP2021156724A (ja) * 2020-03-27 2021-10-07 株式会社フジタ 剥離診断装置
JP2022021928A (ja) * 2020-07-22 2022-02-03 株式会社竹中工務店 画像処理装置、及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5318728B2 (ja) * 2009-11-04 2013-10-16 大和小田急建設株式会社 赤外線法によるコンクリート表層部の変状部検出方法
WO2018163329A1 (ja) * 2017-03-08 2018-09-13 オリンパス株式会社 エネルギー源装置
WO2019163329A1 (ja) * 2018-02-21 2019-08-29 富士フイルム株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221235A (ja) * 2011-04-08 2012-11-12 Furuta Sekkei Co Ltd 画像処理方法、画像処理装置、建物画像診断方法、及び建物画像診断装置
JP2019027908A (ja) * 2017-07-28 2019-02-21 株式会社ＴｏｎＴｏｎ 外面材調査システム
JP2021156724A (ja) * 2020-03-27 2021-10-07 株式会社フジタ 剥離診断装置
JP2022021928A (ja) * 2020-07-22 2022-02-03 株式会社竹中工務店 画像処理装置、及び画像処理プログラム

Also Published As

Publication number Publication date
JP7385332B1 (ja) 2023-11-22
JPWO2024052997A1 (ja) 2024-03-14
JP2024037186A (ja) 2024-03-18

Similar Documents

Publication Publication Date Title
CN109887057A (zh) 生成高精度地图的方法和装置
WO2023112083A1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
KR102288609B1 (ko) 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법
JP6807093B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP7385332B1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP7149569B2 (ja) 建造物の測定方法
WO2022264413A1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2024029026A1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
WO2024029046A1 (ja) 情報処理システム及びプログラム、情報処理方法、サーバ
JP2022052779A (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
Cai et al. TEA-bot: a thermography enabled autonomous robot for detecting thermal leaks of HVAC systems in ceilings
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法
WO2022113482A1 (ja) 情報処理装置、方法およびプログラム
JP7369040B2 (ja) 演算装置
Luu et al. TriDAR test results onboard final Shuttle mission, applications for future of non-cooperative autonomous rendezvous & docking
JP6960643B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP7228298B1 (ja) 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ
WO2024069669A1 (ja) 情報処理システム及びプログラム、情報処理方法、端末、サーバ
WO2024023953A1 (ja) 情報処理システム、情報処理方法、プログラム、サーバ
WO2021049508A1 (ja) 寸法表示システムおよび寸法表示方法
JP7487900B1 (ja) 情報処理方法、情報処理システム及びプログラム
JP7401068B1 (ja) 情報処理システム、情報処理方法及びプログラム
JP7072311B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP7453643B1 (ja) ソーラーパネルの経緯度特定方法
JP7418727B1 (ja) 情報処理方法、情報処理システム及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958076

Country of ref document: EP

Kind code of ref document: A1