WO2026004385A1 - 情報処理方法及び情報処理装置 - Google Patents

情報処理方法及び情報処理装置

Info

Publication number
WO2026004385A1
WO2026004385A1 PCT/JP2025/017773 JP2025017773W WO2026004385A1 WO 2026004385 A1 WO2026004385 A1 WO 2026004385A1 JP 2025017773 W JP2025017773 W JP 2025017773W WO 2026004385 A1 WO2026004385 A1 WO 2026004385A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
processing device
surface temperature
distance
tire
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/017773
Other languages
English (en)
French (fr)
Inventor
周 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bridgestone Corp
Original Assignee
Bridgestone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corp filed Critical Bridgestone Corp
Publication of WO2026004385A1 publication Critical patent/WO2026004385A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60C—VEHICLE TYRES; TYRE INFLATION; TYRE CHANGING; CONNECTING VALVES TO INFLATABLE ELASTIC BODIES IN GENERAL; DEVICES OR ARRANGEMENTS RELATED TO TYRES
    • B60C19/00—Tyre parts or constructions not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles
    • G01M17/02—Tyres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws

Definitions

  • This disclosure relates to an information processing method and an information processing device.
  • Patent Document 1 discloses a tire damage detection system that detects the size of a damaged portion of a tire relative to the diameter of the rim wheel, based on image data of the tire mounted on the rim wheel.
  • the purpose of this disclosure is to provide an information processing method and information processing device that improve the accuracy of technology for determining the state of an object using an image of the object.
  • An information processing method is an information processing method executed by a computer, and includes: acquiring a thermographic image of an object captured with an infrared camera; identifying the position of a target location on the object based on the acquired thermographic image; acquiring the surface temperature of the target location based on the acquired thermographic image; acquiring the distance from the infrared camera to the object; and correcting the surface temperature based on the acquired distance.
  • An information processing method is the information processing method described in [1] above, and may further include estimating the state of the target location based on the identified position of the target location and the corrected surface temperature.
  • An information processing method is the information processing method described in [2] above, wherein the target location includes a damaged portion of the object, and the state of the target location may include the depth of the damaged portion.
  • An information processing method is the information processing method described in any one of [1] to [3] above, wherein correcting the surface temperature may include correcting the surface temperature using machine learning.
  • An information processing method is the information processing method described in any one of [1] to [4] above, wherein correcting the surface temperature may include correcting the surface temperature using at least one of a correction coefficient and a correction term determined based on a function that includes the distance as a variable.
  • An information processing method is the information processing method described in any one of [1] to [5] above, wherein acquiring the distance may include acquiring the distance using an AR function of an information processing device to which the infrared camera is attached.
  • An information processing method is the information processing method described in [6] above, and may further include displaying the corrected surface temperature on a screen of the information processing device in real time.
  • An information processing method is the information processing method described in any one of [1] to [7] above, wherein the target object may be a rubber product including a tire or a crawler.
  • An information processing device includes a control unit, which acquires a thermographic image of an object captured by an infrared camera, identifies the position of a target location on the object based on the acquired thermographic image, acquires the surface temperature of the target location based on the acquired thermographic image, acquires the distance from the infrared camera to the object, and corrects the surface temperature based on the acquired distance.
  • This disclosure provides an information processing method and information processing device that improves the accuracy of technology that determines the state of an object using an image of the object.
  • FIG. 1 is a block diagram illustrating an example of a schematic configuration of an information processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the information processing apparatus shown in FIG. 1 .
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the imaging apparatus of FIG. 1 .
  • FIG. 2 is a block diagram showing an example of a schematic configuration of the server shown in FIG. 1 .
  • 2 is a flowchart showing an example of an operation of the information processing system of FIG. 1 .
  • FIG. 3 is a first schematic diagram for explaining an example of the operation of the information processing device of FIG. 2 .
  • FIG. 3 is a second schematic diagram for explaining an example of the operation of the information processing device of FIG. 2 .
  • FIG. 10 is a third schematic diagram illustrating an example of the operation of the information processing device of FIG. 2 .
  • FIG. 4 is a fourth schematic diagram for explaining an example of the operation of the information processing device of
  • Fig. 1 is a block diagram showing an example of a schematic configuration of the information processing system 1 according to an embodiment of the present disclosure.
  • the information processing system 1 includes an information processing device 10, an imaging device 20, a server 30, and a measurement device 40.
  • FIG. 1 shows only one each of the information processing device 10, imaging device 20, server 30, and measuring device 40, but the number of each device included in the information processing system 1 is not limited to one.
  • the information processing system 1 may, for example, include multiple information processing devices 10.
  • the information processing system 1 may, for example, include multiple imaging devices 20.
  • the information processing system 1 may, for example, include multiple servers 30.
  • the information processing system 1 may, for example, include multiple measuring devices 40.
  • Each of the information processing device 10, server 30, and measurement device 40 is communicatively connected to, for example, a network 50.
  • the imaging device 20 may be communicatively connected to the network 50 indirectly via the information processing device 10, or may be communicatively connected to the network 50 directly without via the information processing device 10.
  • the information processing device 10 and the imaging device 20 are connected to each other, for example, via a connector.
  • the information processing device 10 is integrally connected to the imaging device 20 so that the distance between the imaging device 20 and the object imaged by the imaging device 20 can be accurately measured using the functions of the information processing device 10.
  • this is not limited to this, and the information processing device 10 does not need to be integrally connected to the imaging device 20 as long as it is possible to obtain the distance from the imaging device 20 to the object.
  • object includes, for example, any object for which the condition of a target portion of the object is to be estimated.
  • the object is a rubber product including a tire, crawler, etc.
  • target portion of the object includes, for example, a damaged portion of the object.
  • condition of the target portion includes, for example, the depth of the damaged portion of the object.
  • the information processing device 10 performs a surface temperature correction process, described below, as preprocessing to improve the estimation accuracy when the depth of the damaged portion of the tire is estimated by the server 30 or the like in tire failure detection.
  • the information processing device 10 includes any general-purpose electronic device, including, for example, a smartphone, a tablet PC (Personal Computer), a wearable device such as a smartwatch, and a PC. Without being limited to these, the information processing device 10 may also include other electronic devices dedicated to the information processing system 1. As an example, the information processing device 10 functions as a terminal device for the server 30. The information processing device 10 is used by a user who wishes to use the server 30 to estimate the state of a target location of an object.
  • a smartphone a tablet PC (Personal Computer)
  • a wearable device such as a smartwatch
  • PC Personal Computer
  • the information processing device 10 may also include other electronic devices dedicated to the information processing system 1.
  • the information processing device 10 functions as a terminal device for the server 30.
  • the information processing device 10 is used by a user who wishes to use the server 30 to estimate the state of a target location of an object.
  • the imaging device 20 is configured with a computer including one or more cameras.
  • the imaging device 20 is capable of acquiring, for example, thermal images.
  • the images acquired by the imaging device 20 may be still images such as photographs, or may be videos.
  • the imaging device 20 generates a thermal image of an object such as a tire, and transmits it to the information processing device 10.
  • the thermal image of the tire includes at least a portion of the tire.
  • the imaging device 20 is, as an example, connected to the information processing device 10 and is a device that can be carried by the user together with the information processing device 10.
  • the imaging device 20 is not limited to this, and if the information processing device 10 and the imaging device 20 are not integrally connected to each other, it may be, for example, a fixed device installed on the vehicle's travel route at a mining site. This allows the imaging device 20 to capture images of the vehicle traveling on the travel route, making it less likely to reduce the vehicle's operating rate and productivity at the mine.
  • the imaging device 20 may be a device mounted on a drone.
  • the server 30 is configured with one or more computers. In one embodiment, the server 30 is described as being configured with one computer. However, the server 30 may be configured with multiple computers, such as in a cloud computing system. In the present disclosure, the server 30 functions, for example, as a tire failure determination device.
  • the measuring device 40 is composed of a computer including one or more sensors.
  • the sensors may be, but are not limited to, a digital tachograph, a tire pressure monitoring system (TPMS), an electronic control unit (ECU), or a car navigation device.
  • the measuring device 40 acquires time-series data relating to the tires mounted on the vehicle and transmits the data to the server 30. Therefore, the measuring device 40 may be installed on the vehicle or the tires.
  • the time-series data related to the tires mounted on a vehicle includes tire measurement values and the date and time of the measurement.
  • the tire measurement values may include tire condition information such as the tire's internal pressure (air pressure), tire cavity temperature, and thermal history.
  • the tire's thermal history is the history of heat applied to the tire as the tire is used.
  • the tire's thermal history is used to evaluate how much energy has been applied to the tire since it was first used. Generally, the greater the thermal history, the more severe the tire's deterioration.
  • the thermal history can be calculated, for example, by applying the tire's internal cavity temperature to the Arrhenius equation.
  • the tire measurement values may include vehicle driving information such as the vehicle's driving time, driving distance, speed, acceleration, and tire rotation count.
  • the network 50 is any communication network that allows the information processing device 10, the imaging device 20, the server 30, and the measuring device 40 to communicate with each other.
  • the network 50 may be, for example, the Internet, a mobile communication network, a LAN (Local Area Network), or a combination of these.
  • the information processing system 1 may function as a tire failure determination system centered around the server 30 as a tire failure determination device. In this case, the information processing system 1 is used to determine failures in one or more tires.
  • the server 30 acquires, from the information processing device 10, a thermographic image of the tire that has been captured by the imaging device 20 and in which the surface temperature of the damaged portion has been corrected by the information processing device 10.
  • the server 30 acquires the surface temperature of at least one damaged portion of the tire based on the thermographic image.
  • the server 30 acquires time-series data on the tire cavity temperature from the measuring device 40.
  • the server 30 estimates the depth of at least one damaged portion based on the surface temperature of at least one damaged portion of the tire in the thermal image and the cavity temperature at the time the thermal image was acquired. In this way, the information processing system 1 can more accurately estimate the depth of the damaged portion by using the tire cavity temperature in addition to the surface temperature of at least one damaged portion of the tire in the thermal image.
  • the tires are not particularly limited, but may be OR (Off The Road) tires fitted to mining vehicles such as transport vehicles, construction vehicles, engineering vehicles, and heavy machinery vehicles used at mining sites.
  • the tires may be tires other than OR tires.
  • the vehicle is, for example, a mining vehicle used at a mining site.
  • the vehicle is not limited to the mining vehicle described above, and may be any vehicle capable of being fitted with tires, such as a transport vehicle, construction vehicle, engineering vehicle, heavy machinery vehicle, as well as a bus, passenger car, motorcycle, bicycle, or airplane.
  • FIG. 2 is a block diagram showing an example of the schematic configuration of the information processing device 10 of FIG. 1. An example of the configuration of the information processing device 10 will be mainly described with reference to FIG. 2.
  • the information processing device 10 has a communication unit 11, a memory unit 12, an acquisition unit 13, an input unit 14, an output unit 15, and a control unit 16.
  • the communication unit 11, the memory unit 12, the acquisition unit 13, the input unit 14, the output unit 15, and the control unit 16 are connected to each other via wired or wireless communication so as to be able to communicate with each other.
  • the communication unit 11 includes a communication module for connecting to the network 50.
  • the communication module is a communication module that supports mobile communication standards such as 4G (4th Generation) and 5G (5th Generation).
  • the communication module may be a communication module that supports standards such as wired LAN and wireless LAN.
  • the communication module may be a communication module that supports short-range wireless communication standards such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or infrared communication.
  • the information processing device 10 is communicatively connected to the network 50 via the communication unit 11. This allows the information processing device 10 to communicate with the server 30, the measurement device 40, other computers, and the like.
  • the storage unit 12 includes, for example, semiconductor memory, magnetic memory, and optical memory.
  • the storage unit 12 functions, for example, as a main storage unit, auxiliary storage unit, or cache memory.
  • the storage unit 12 stores any information used in the operation of the information processing device 10.
  • the storage unit 12 stores system programs, application programs, embedded software, databases, and the like.
  • the information stored in the storage unit 12 may be updatable, for example, with information obtained from the network 50 via the communication unit 11.
  • the acquisition unit 13 includes a sensor that measures the distance between the information processing device 10 and an object imaged by the imaging device 20, and acquires the distance from the imaging device 20 to the object.
  • the sensor includes, for example, a ranging module that can measure the distance from the information processing device 10 to the object.
  • the ranging module includes, for example, LiDAR (Light Detection And Ranging) and an ultrasonic element array using multiple ultrasonic elements.
  • the input unit 14 includes one or more input interfaces that detect user input and acquire input information based on the user's operation.
  • the input interfaces include physical keys, capacitive keys, a touchscreen integrated with the display of the output unit 15, an imaging module such as a camera, and a microphone that accepts audio input.
  • the output unit 15 includes one or more output interfaces that output information to notify the user.
  • Output interfaces include a display that outputs information visually as an image, a speaker that outputs information audibly as sound, and a vibrator that outputs information tactilely as vibration.
  • the control unit 16 includes one or more processors.
  • the processor may be, for example, a general-purpose processor such as a CPU (Central Processing Unit), or a dedicated processor specialized for specific processing.
  • the control unit 16 is not limited to a processor, and may include one or more dedicated circuits.
  • the dedicated circuits may be, for example, an FPGA (Field-Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit).
  • the control unit 16 controls each component to realize the functions of the information processing device 10, including the functions of components such as the communication unit 11, memory unit 12, acquisition unit 13, input unit 14, and output unit 15.
  • FIG. 3 is a block diagram showing an example of the schematic configuration of the imaging device 20 in FIG. 1. An example of the configuration of the imaging device 20 will be mainly described with reference to FIG. 3.
  • the imaging device 20 has an infrared camera 21.
  • the infrared camera 21 includes, for example, a thermal camera that detects the temperature of an object by detecting far-infrared rays.
  • a thermal camera detects heat and visualizes the temperature.
  • an image of an object captured by a thermal camera is called a thermal image.
  • high-temperature areas are usually displayed in red, and low-temperature areas in blue.
  • the infrared camera 21 may be equipped with a near-infrared LED (Light Emitting Diode) that acts as a light source, and detect near-infrared rays that are irradiated onto the object and reflected.
  • a near-infrared LED Light Emitting Diode
  • Such an infrared camera 21 uses infrared rays like a thermal camera, but uses light of an entirely different wavelength included in the infrared wavelength band, and has a different configuration.
  • the infrared camera 21 is capable of acquiring thermographic images.
  • the thermographic images acquired by the infrared camera 21 may be still images such as photographs, or may be videos.
  • the infrared camera 21 generates thermographic images of objects such as tires, and transmits them to the information processing device 10.
  • the thermographic image of a tire captures at least a portion of the tire.
  • the imaging device 20 may have any other camera, such as a visible light camera.
  • a visible light camera detects visual information of an object by detecting visible light, for example.
  • an image of an object captured by a visible light camera is called an RGB image.
  • a visible light camera can acquire RGB images.
  • the RGB images acquired by a visible light camera may be still images such as photographs, or may be videos.
  • a visible light camera may generate RGB images of an object such as a tire and transmit them to the information processing device 10.
  • the RGB image of the tire includes at least a portion of the tire.
  • FIG. 4 is a block diagram showing an example of the schematic configuration of the server 30 in FIG. 1. An example of the configuration of the server 30 will be mainly described with reference to FIG. 4.
  • the server 30 has a communication unit 31, a storage unit 32, and a control unit 33.
  • the communication unit 31, the storage unit 32, and the control unit 33 are connected to each other so that they can communicate with each other via wired or wireless communication.
  • the communication unit 31 includes a communication module for connecting to the network 50.
  • the communication module is a communication module that supports mobile communication standards such as 4G and 5G.
  • the communication module may also be a communication module that supports standards such as wired LAN and wireless LAN.
  • the communication module may also be a communication module that supports short-range wireless communication standards such as Wi-Fi (registered trademark), Bluetooth (registered trademark), or infrared communication.
  • the server 30 is communicatively connected to the network 50 via the communication unit 31. This allows the server 30 to communicate with the information processing device 10, the measurement device 40, other computers, and the like.
  • the storage unit 32 includes, for example, semiconductor memory, magnetic memory, and optical memory.
  • the storage unit 32 functions, for example, as a main storage unit, auxiliary storage unit, or cache memory.
  • the storage unit 32 stores any information used in the operation of the server 30.
  • the storage unit 32 stores system programs, application programs, embedded software, databases, and the like.
  • the information stored in the storage unit 32 may be updatable, for example, with information obtained from the network 50 via the communication unit 31.
  • the memory unit 32 may store tire identification information for one or more tires that are the subject of failure determination.
  • tire identification information is also referred to as a tire ID (Identifier).
  • the tire identification information for a tire is information that can uniquely identify the tire.
  • the tire identification information for a tire is, for example, uniquely issued by the server 30, but is not limited to this and may be the tire's serial number or the vehicle number of the vehicle on which the tire is mounted.
  • the memory unit 32 may store information related to the tire in association with the tire's tire identification information.
  • Information about tires includes any information about tires.
  • Information about tires may include, for example, the time-series data about the tires described above, tire damage information, tire configuration information, information about the vehicle on which the tires are mounted, or information about the position of the tires on the vehicle.
  • Tire damage information may include, for example, the position, shape, depth, and registration date and time of damage previously sustained by the tire.
  • Tire configuration information includes, for example, the tire type, model number, material properties, tread pattern, belt angle, size, and weight.
  • Information about the vehicle on which the tires are mounted includes the vehicle's identification information, type, model number, engine displacement, number of tires mounted, and number of shafts.
  • the control unit 33 includes one or more processors.
  • the processor may be, for example, a general-purpose processor such as a CPU, or a dedicated processor specialized for specific processing.
  • the control unit 33 is not limited to a processor, and may include one or more dedicated circuits.
  • the dedicated circuits may be, for example, an FPGA or ASIC.
  • the control unit 33 controls each component to realize the functions of the server 30, including the functions of components such as the communication unit 31 and memory unit 32.
  • FIG. 5 is a flowchart showing an example of the operation of the information processing system 1 in Fig. 1.
  • Fig. 5 shows each step of an information processing method executed by a computer.
  • FIG. 5 an example of the flow of processing executed by the control unit 16 of the information processing device 10 or the control unit 33 of the server 30 according to an embodiment of the present disclosure will be mainly described.
  • step S101 the control unit 16 of the information processing device 10 acquires a thermographic image of an object captured by the infrared camera 21 of the imaging device 20.
  • the control unit 16 acquires a thermographic image of the object captured by the infrared camera 21 from the infrared camera 21 of the imaging device 20, which is integrally connected to the information processing device 10 via, for example, a connector.
  • step S102 the control unit 16 of the information processing device 10 identifies the position of the target area on the object based on the thermoimage acquired in step S101.
  • the control unit 16 uses any method such as image analysis to identify the position within the thermoimage of the target area, such as a damaged part of the object, contained in the thermoimage.
  • step S103 the control unit 16 of the information processing device 10 acquires the surface temperature of the target location on the object identified in step S102 based on the thermoimage acquired in step S101.
  • step S104 the control unit 16 of the information processing device 10 acquires the distance from the infrared camera 21 to the object when the thermo image was acquired in step S101.
  • the control unit 16 measures the distance from the information processing device 10 to the object using a ranging module in the acquisition unit 13 of the information processing device 10.
  • the distance from the information processing device 10 to the object will be approximately the same as the distance from the imaging device 20 to the object.
  • the distance from the information processing device 10 to the object will also be approximately the same as the distance from the infrared camera 21 of the imaging device 20 to the object. Therefore, the control unit 16 acquires the distance from the information processing device 10 to the object measured using the acquisition unit 13 as the distance from the imaging device 20, including the infrared camera 21, to the object.
  • step S105 the control unit 16 of the information processing device 10 corrects the surface temperature obtained in step S103 based on the distance obtained in step S104.
  • step S106 the control unit 16 of the information processing device 10 displays the surface temperature corrected in step S105 on the screen of the output unit 15 of the information processing device 10 in real time.
  • step S107 the control unit 33 of the server 30 estimates the state of the target location on the object based on the position of the target location identified by the information processing device 10 in step S102 and the surface temperature corrected by the information processing device 10 in step S105.
  • the control unit 33 of the server 30 receives the position of the target location identified in step S102 and the surface temperature corrected in step S105, along with a thermographic image, from the information processing device 10 via the network 50 and the communication unit 31.
  • the control unit 33 of the server 30 estimates the state of the target location on the object based on the position and surface temperature of the target location acquired as information from the information processing device 10.
  • FIG. 6A is a first schematic diagram illustrating an example of the operation of the information processing device 10 of FIG. 2.
  • FIG. 6A shows multiple images displayed on the screen of the output unit 15 of the information processing device 10, arranged according to the distance from the infrared camera 21 to the object.
  • the image is, for example, an example of a thermographic image obtained by capturing an image of the object S with the infrared camera 21 of the imaging device 20.
  • thermographic image obtained by the imaging device 20 is displayed on the screen of the output unit 15 via a first application of the information processing device 10 linked to the imaging device 20.
  • a user adjusts the position of the information processing device 10 relative to the object S while visually viewing the thermographic image obtained by the imaging device 20 via the first application on the screen of the output unit 15, and performs an imaging operation such as pressing the camera button on the input unit 14.
  • the control unit 16 of the information processing device 10 When the control unit 16 of the information processing device 10 receives a user's imaging operation via the input unit 14, it controls the imaging device 20 via the first application to capture an image of the object S.
  • the imaging device 20 operates the infrared camera 21 based on a control signal acquired from the control unit 16 of the information processing device 10, and acquires a thermographic image of the object S.
  • the imaging device 20 outputs the thermographic image acquired by capturing an image of the object S to the control unit 16 of the information processing device 10.
  • the control unit 16 of the information processing device 10 acquires the thermographic image, as shown in step S101 of FIG. 5.
  • the control unit 16 of the information processing device 10 acquires the distance from the infrared camera 21 to the object S when the thermo image was acquired.
  • the control unit 16 acquires the distance using the AR function of the information processing device 10 to which the infrared camera 21 is attached.
  • the control unit 16 acquires the distance using the ranging module of the acquisition unit 13 via a second application, different from the first application, that provides the AR function of the information processing device 10.
  • the control unit 16 of the information processing device 10 may acquire the distance at a time interval longer than the distance update interval based on the AR function. If the normal distance update interval in the second application that provides the AR function of the information processing device 10 is, for example, 1/60 of a second, the control unit 16 may acquire the distance using the first application in cooperation with the second application at intervals of, for example, 1 second, which is sufficiently longer than 1/60 of a second.
  • the output unit 15 of the information processing device 10 displays a screen of a first application of the information processing device 10 that operates in cooperation with the imaging device 20.
  • the operation screen of a second application that provides the AR function of the information processing device 10 is not displayed on the output unit 15.
  • the second application that provides the AR function of the information processing device 10 operates by background processing.
  • the control unit 16 of the information processing device 10 may, for example, display the surface temperature of the damaged portion C11 of the object S in image IM4 on the screen of the output unit 15 in real time.
  • the control unit 16 may additionally display the surface temperature of the damaged portion C11 of the object S on the screen by displaying a maximum temperature value such as "***°C" adjacent to the damaged portion C11.
  • FIG. 6B is a second schematic diagram illustrating an example of the operation of the information processing device 10 of FIG. 2.
  • FIG. 6B is a graph plotting the surface temperature for each of the damaged portions C11 and C12 for each distance corresponding to images IM1, IM2, IM3, and IM4 shown in FIG. 6A.
  • the vertical axis of the graph in FIG. 6B indicates the maximum surface temperature for each of the damaged portions C11 and C12.
  • the horizontal axis of the graph in FIG. 6B indicates the distance corresponding to images IM1, IM2, IM3, and IM4 shown in FIG. 6A.
  • step S105 of the flowchart shown in FIG. 5 the control unit 16 of the information processing device 10 corrects the surface temperature based on the distance from the infrared camera 21 to the target object.
  • control unit 16 may correct the surface temperature using machine learning.
  • the control unit 16 may acquire in advance training data for at least one of a correction coefficient and a correction term to be added to the surface temperature depending on the distance, and construct a learning model.
  • the control unit 16 may input the distance measured using the acquisition unit 13 into the input layer of the constructed learning model, and derive at least one of the correction coefficient and the correction term.
  • the control unit 16 may correct the surface temperature without using machine learning.
  • the control unit 16 may correct the surface temperature using at least one of a correction coefficient and a correction term determined based on a function that includes distance as a variable, for example.
  • "function" includes any function, such as a linear function or a nonlinear function.
  • FIG. 7A is a third schematic diagram for explaining an example of the operation of the information processing device 10 of FIG. 2.
  • FIG. 7A shows multiple images displayed on the screen of the output unit 15 of the information processing device 10, arranged according to the distance from the infrared camera 21 to the object.
  • the image in question is, for example, an example of a thermographic image obtained by capturing an image of the object S with the infrared camera 21 of the imaging device 20.
  • FIG. 7A differs from FIG. 6A only in the image sample, and the same explanation as above applies to the points in common with FIG. 6A. The points that differ from FIG. 6A will mainly be explained.
  • the control unit 16 of the information processing device 10 may, for example, display the surface temperature of each of the damaged portions C21, C22, and C23 of the object S in image IM6 in real time on the screen of the output unit 15.
  • the control unit 16 may additionally display the surface temperature of each of the damaged portions C21, C22, and C23 of the object S on the screen by displaying a maximum temperature value such as "***°C" adjacent to each damaged portion.
  • FIG. 7B is a fourth schematic diagram illustrating an example of the operation of the information processing device 10 of FIG. 2.
  • FIG. 7B is a graph plotting the surface temperature for each of damaged portions C21, C22, and C23 for each distance corresponding to images IM5 and IM6 shown in FIG. 7A.
  • the vertical axis of the graph in FIG. 7B indicates the maximum surface temperature for each of damaged portions C21, C22, and C23.
  • the horizontal axis of the graph in FIG. 7B indicates the distance corresponding to images IM5 and IM6 shown in FIG. 7A.
  • step S105 of the flowchart shown in Figure 5 the control unit 16 of the information processing device 10 corrects the surface temperature based on the distance from the infrared camera 21 to the target object.
  • the specific details of the correction process are the same as those explained using Figure 6B.
  • the information processing device 10 and information processing method according to the embodiment described above can improve the accuracy of a technique for determining the state of an object using an image of the object.
  • the information processing device 10 corrects the surface temperature of a target location on the object based on the acquired distance. This allows the information processing device 10 to accurately measure the surface temperature of the target location based on the acquired distance, independent of the distance. This allows the information processing device 10 to accurately identify the surface temperature of the target location in a thermographic image at various positions relative to the object. This improves the accuracy of determining the state of the object at the target location using a thermographic image.
  • the information processing device 10 can automatically perform the above-described surface temperature correction and display processes in real time, all by itself.
  • the information processing device 10 can accurately identify the surface temperature of the damaged portion of the tire on a thermal image. Therefore, the server 30, which acquires the thermal image along with the corrected surface temperature from the information processing device 10, can use the acquired thermal image and corrected surface temperature to accurately estimate the depth of the damaged portion of the tire, thereby improving the accuracy of tire failure detection.
  • the server 30 estimates the condition of the target location based on the position of the target location identified by the information processing device 10 and the corrected surface temperature. This improves the accuracy of determining the condition of the object at the target location using a thermal image.
  • the target location includes the damaged portion of the object.
  • the condition of the target location includes the depth of the damaged portion. This allows the information processing device 10 to accurately identify the surface temperature of the damaged portion of the object on the thermographic image. Therefore, the server 30, which acquires the thermographic image along with the corrected surface temperature from the information processing device 10, can use the acquired thermographic image and corrected surface temperature to accurately estimate the depth of the damaged portion of the object, improving the accuracy of fault detection for the object.
  • the information processing device 10 corrects the surface temperature using machine learning. This allows the information processing device 10 to correct the surface temperature with greater accuracy.
  • the information processing device 10 corrects the surface temperature using at least one of a correction coefficient and a correction term determined based on a function that includes distance as a variable. This allows the information processing device 10 to reduce the computational processing load required for surface temperature correction processing compared to when machine learning is used.
  • the information processing device 10 acquires the distance using the AR function of the information processing device 10 to which the infrared camera 21 is attached. This allows the information processing device 10 to accurately measure the distance from the infrared camera 21 to the target object using the functions that the information processing device 10 itself has.
  • the information processing device 10 acquires distances at intervals longer than the intervals between distance updates based on the AR function. This allows the information processing device 10 to reduce the load of calculations related to the acquired distances.
  • the information processing device 10 displays the corrected surface temperature in real time on the screen of the output unit 15 of the information processing device 10. This allows the information processing device 10 to complete the correction process and display process related to the surface temperature independently, automatically and in real time.
  • the target object is a rubber product, such as a tire or crawler. This allows the information processing device 10 to display a thermographic image of the rubber product as the target object, in which the surface temperature of the target location on the target object has been accurately corrected.
  • any method can be used to output tire damage information as the target object.
  • the control unit 33 of the server 30 may send a request to display tire damage information to the information processing device 10 as a terminal device via the communication unit 31.
  • the information processing device 10 can display tire damage information via the display of the output unit 15, etc., based on the request received from the server 30.
  • Tire damage information includes, for example, the depth of the damaged portion of the tire.
  • tire damage information is not limited to the depth of the damaged portion of the tire, and may include any information, such as the location and number of damaged portions, and warning messages.
  • a user of the information processing system 1 as a tire failure determination system can easily grasp the depth of the damaged portion on the outer surface of the tire, and can plan tire inspection, repair, replacement, etc. before the tire fails.
  • tires When tires are replaced, they may be replaced with different tires depending on the tire damage information. For example, if the surface temperature of the damaged portion of the tire is higher than the temperature limit set for the tire, the tire may be replaced with a different type of tire that is more heat resistant. Alternatively, if the number of damaged portions of the tire is greater than a predetermined number, the tire may be replaced with a different type of tire that is less susceptible to damaged portions. In this way, users of the tire failure determination system can select tires that are suitable for use at mining sites based on the tire damage information.
  • the server 30 can motivate the user to inspect more thoroughly those damaged areas of the tire in the thermal image that have particularly high surface temperatures. Conversely, the server 30 can also encourage the user to simplify or skip inspections of those damaged areas of the tire in the thermal image that have low surface temperatures. Therefore, the information processing system 1 can also improve the usefulness of technology for determining tire faults.
  • a general-purpose computer functions as the information processing device 10 according to the above-described embodiment.
  • a program describing the processing content that realizes each function of the information processing device 10 according to the above-described embodiment is stored in the memory of the general-purpose computer, and the program is read and executed by a processor. Therefore, the present disclosure can also be realized as a program executable by a processor, or a non-transitory computer-readable medium that stores the program.
  • Non-transitory computer-readable media include, for example, magnetic recording devices, optical discs, magneto-optical recording media, and semiconductor memories.
  • the server 30 may perform the series of processes shown in the flowchart of FIG. 5.
  • the server 30 may be the "information processing device” described in the claims.
  • the server 30 may transmit a thermographic image together with the surface temperature corrected by the server 30 to the information processing device 10, and display the corrected surface temperature together with the thermographic image on the screen of the output unit 15 of the information processing device 10 in real time.
  • At least some of the processing operations performed by the server 30 in the above embodiment may be performed by the information processing device 10.
  • the information processing device 10 instead of the server 30, the information processing device 10 itself may function as a tire malfunction determination device.
  • the information processing device 10 may also perform a series of processes related to the tire malfunction determination described above, and this series of processes may also be completed by the information processing device 10 itself.
  • the information processing system 1 has been described as having a server 30 and a measuring device 40 in addition to the information processing device 10 and the imaging device 20, but this is not limited to this.
  • the information processing system 1 does not have to have at least one of the server 30 and the measuring device 40.
  • the information processing system 1 may be composed of only the information processing device 10 and the imaging device 20, without having both the server 30 and the measuring device 40.
  • the server 30 was described as estimating the state of the target location based on the identified target location's position and the corrected surface temperature, but this is not limited to this. As described above, the information processing device 10 may also perform this estimation process.
  • the information processing device 10 corrects the surface temperature using at least one of a correction coefficient and a correction term determined based on machine learning or a function that includes distance as a variable, but this is not limited to this.
  • the information processing device 10 may also perform the surface temperature correction process based on the distance from the infrared camera 21 to the target object using any other method.
  • the information processing device 10 was described as acquiring distance using the AR function of the information processing device 10 to which the infrared camera 21 is attached, but this is not limited to this.
  • the information processing device 10 may acquire distance using any other method.
  • the information processing device 10 may acquire distance based on any other distance measurement function different from the AR function of the information processing device 10.
  • the information processing device 10 may acquire distance using an independent module with distance measurement function that is additionally attached to the imaging device 20, instead of or in addition to a distance measurement module such as the acquisition unit 13 that is provided in the information processing device 10.
  • the information processing device 10 was described as acquiring distances at time intervals longer than the intervals at which distances are updated based on the AR function, but this is not limited to this.
  • the information processing device 10 may acquire distances at time intervals shorter than or equal to the intervals at which distances are updated based on the AR function.
  • the information processing device 10 was described as displaying the corrected surface temperature in real time on the screen of the output unit 15 of the information processing device 10, but this is not limited to this.
  • the information processing device 10 does not have to display the corrected surface temperature in real time on the screen of the output unit 15 of the information processing device 10.
  • the information processing device 10 may display the corrected surface temperature in real time on the screen of a device other than the information processing device 10.
  • the target object is described as a rubber product including a tire or a crawler, but is not limited to this.
  • the target object may also include any other object for which the information processing system 1 is to estimate the state of a target location.
  • This disclosure provides an information processing method and information processing device that improves the accuracy of technology that determines the state of an object using an image of the object.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Radiation Pyrometers (AREA)
  • Tires In General (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)

Abstract

本開示に係る情報処理方法は、コンピュータが実行する情報処理方法であって、赤外線カメラ２１で対象物Ｓを撮像したサーモ画像を取得することと、取得されたサーモ画像に基づいて、対象物Ｓにおける対象箇所の位置を特定することと、取得されたサーモ画像に基づいて、対象箇所の表面温度を取得することと、赤外線カメラ２１から対象物Ｓまでの距離を取得することと、取得された距離に基づいて、表面温度を補正することと、を含む。

Description

情報処理方法及び情報処理装置
　本開示は、情報処理方法及び情報処理装置に関する。
　従来、対象物を撮像した画像を用いて対象物の状態を判定する技術が知られている。例えば、タイヤの故障を判定する技術が知られている。例えば、特許文献１には、リムホイールに組み付けられたタイヤの画像データに基づいて、リムホイールの径を基準としたタイヤの外傷部分のサイズを検出するタイヤ外傷検出システムが開示されている。
特開２０１９－２０２７２９
　しかしながら、対象物を撮像した画像を用いて対象物の状態を判定する技術の精度のさらなる向上が求められている。例えば、タイヤの故障を判定する技術の精度のさらなる向上が求められている。例えば、鉱山サイトにおいて利用される鉱山車両では、突発的なタイヤの故障が生じると、鉱山車両の運搬及びタイヤ交換などの作業の発生により、生産性が低下する。また、突発的な故障を予防するために作業員により定期的なタイヤの検品を行うことは、コスト面で負担となっている。そのため、タイヤの故障判定をより精度良く行うことが求められている。
　かかる事情に鑑みてなされた本開示の目的は、対象物を撮像した画像を用いて対象物の状態を判定する技術の精度を向上させる情報処理方法及び情報処理装置を提供することにある。
　〔１〕本開示の一実施形態に係る情報処理方法は、コンピュータが実行する情報処理方法であって、赤外線カメラで対象物を撮像したサーモ画像を取得することと、取得された前記サーモ画像に基づいて、前記対象物における対象箇所の位置を特定することと、取得された前記サーモ画像に基づいて、前記対象箇所の表面温度を取得することと、前記赤外線カメラから前記対象物までの距離を取得することと、取得された前記距離に基づいて、前記表面温度を補正することと、を含む。
　〔２〕本開示の一実施形態に係る情報処理方法は、上記〔１〕に記載の情報処理方法であって、特定された前記対象箇所の位置と補正された前記表面温度とに基づいて、前記対象箇所の状態を推定することをさらに含んでもよい。
　〔３〕本開示の一実施形態に係る情報処理方法は、上記〔２〕に記載の情報処理方法であって、前記対象箇所は、前記対象物における損傷部分を含み、前記対象箇所の状態は、前記損傷部分の深さを含んでもよい。
　〔４〕本開示の一実施形態に係る情報処理方法は、上記〔１〕乃至〔３〕のいずれか１つに記載の情報処理方法であって、前記表面温度を補正することは、機械学習を用いて前記表面温度を補正することを含んでもよい。
　〔５〕本開示の一実施形態に係る情報処理方法は、上記〔１〕乃至〔４〕のいずれか１つに記載の情報処理方法であって、前記表面温度を補正することは、前記距離を変数として含む関数に基づき定められる補正係数及び補正項の少なくとも一方を用いて前記表面温度を補正することを含んでもよい。
　〔６〕本開示の一実施形態に係る情報処理方法は、上記〔１〕乃至〔５〕のいずれか１つに記載の情報処理方法であって、前記距離を取得することは、前記赤外線カメラが取り付けられた情報処理装置のＡＲ機能を用いて前記距離を取得することを含んでもよい。
　〔７〕本開示の一実施形態に係る情報処理方法は、上記〔６〕に記載の情報処理方法であって、補正された前記表面温度を前記情報処理装置の画面にリアルタイムに表示することをさらに含んでもよい。
　〔８〕本開示の一実施形態に係る情報処理方法は、上記〔１〕乃至〔７〕のいずれか１つに記載の情報処理方法であって、前記対象物は、タイヤ又はクローラを含むゴム製品であってもよい。
　〔９〕本開示の一実施形態に係る情報処理装置は、制御部を備え、前記制御部は、赤外線カメラで対象物を撮像したサーモ画像を取得し、取得された前記サーモ画像に基づいて、前記対象物における対象箇所の位置を特定し、取得された前記サーモ画像に基づいて、前記対象箇所の表面温度を取得し、前記赤外線カメラから前記対象物までの距離を取得し、取得された前記距離に基づいて、前記表面温度を補正する。
　本開示によれば、対象物を撮像した画像を用いて対象物の状態を判定する技術の精度を向上させる情報処理方法及び情報処理装置を提供することができる。
本開示の一実施形態に係る情報処理システムの概略構成の一例を示すブロック図である。 図１の情報処理装置の概略構成の一例を示すブロック図である。 図１の撮像装置の概略構成の一例を示すブロック図である。 図１のサーバの概略構成の一例を示すブロック図である。 図１の情報処理システムの動作の一例を示すフローチャートである。 図２の情報処理装置の動作の一例を説明するための第１模式図である。 図２の情報処理装置の動作の一例を説明するための第２模式図である。 図２の情報処理装置の動作の一例を説明するための第３模式図である。 図２の情報処理装置の動作の一例を説明するための第４模式図である。
　以下、本開示の一実施形態に係る情報処理システム１について、図面を参照して説明する。各図において共通する構成部及び部位には同一の符号を付している。図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意されたい。
（情報処理システム１の構成）
　図１を参照しながら、本開示の一実施形態に係る情報処理システム１の概要について説明する。図１は、本開示の一実施形態に係る情報処理システム１の概略構成の一例を示すブロック図である。図１に示されるように、情報処理システム１は、情報処理装置１０と、撮像装置２０と、サーバ３０と、計測装置４０と、を有する。
　図１では、説明の簡便のため、情報処理装置１０、撮像装置２０、サーバ３０、計測装置４０の各々について1つのみ図示しているが、情報処理システム１が有する各装置の数は１つに限定されない。情報処理システム１は、例えば、複数の情報処理装置１０を有してもよい。情報処理システム１は、例えば、複数の撮像装置２０を有してもよい。情報処理システム１は、例えば、複数のサーバ３０を有してもよい。情報処理システム１は、例えば、複数の計測装置４０を有してもよい。
　情報処理装置１０、サーバ３０、及び計測装置４０の各々は、例えばネットワーク５０と通信可能に接続されている。撮像装置２０は、情報処理装置１０を介して間接的にネットワーク５０と通信可能に接続されていてもよいし、情報処理装置１０を介さずに直接的にネットワーク５０と通信可能に接続されていてもよい。
　情報処理装置１０と撮像装置２０とは、例えば、コネクタなどを介して互いに接続されている。情報処理装置１０は、撮像装置２０が撮像する対象物と撮像装置２０との間の距離を、情報処理装置１０の機能によって正確に測定するために、撮像装置２０と一体的に接続されている。これに限定されず、情報処理装置１０は、撮像装置２０から対象物までの距離を取得可能であれば、撮像装置２０と一体的に接続されていなくてもよい。
　本開示において、「対象物」は、例えば、対象物の対象箇所の状態を推定する対象となる任意の物を含む。例えば、対象物は、タイヤ及びクローラなどを含むゴム製品である。「対象物の対象箇所」は、例えば、対象物における損傷部分を含む。「対象箇所の状態」は、例えば、対象物における損傷部分の深さを含む。情報処理装置１０は、一例として、タイヤの故障判定においてタイヤの損傷部分の深さがサーバ３０などで推定されるときの推定精度を向上させるために、前処理として後述する表面温度の補正処理を実行する。
　情報処理装置１０は、例えば、スマートフォン、タブレットＰＣ（Personal Computer）、スマートウォッチなどのウエアラブルデバイス、及びＰＣなどを含む任意の汎用の電子機器を含む。これらに限定されず、情報処理装置１０は、情報処理システム１に専用の他の電子機器を含んでもよい。一例として、情報処理装置１０は、サーバ３０に対する端末装置として機能する。情報処理装置１０は、対象物の対象箇所の状態をサーバ３０により推定したいと望むユーザによって使用される。
　撮像装置２０は、１つ以上のカメラを含むコンピュータで構成されている。撮像装置２０は、例えば、サーモ画像を取得可能である。撮像装置２０が取得する画像は、写真などの静止画であってもよく、動画であってもよい。撮像装置２０は、タイヤなどの対象物を撮像したサーモ画像を生成し、情報処理装置１０に送信する。一実施形態において、タイヤを撮像したサーモ画像には、タイヤの少なくとも一部が写されている。
　撮像装置２０は、上述したとおり、一例として情報処理装置１０に接続され、ユーザにより情報処理装置１０と共に携帯可能な装置である。撮像装置２０は、これに限定されず、情報処理装置１０と撮像装置２０とが互いに一体的に接続されていない場合、例えば、鉱山サイトにおける車両の走行経路に設置された固定式の装置であってもよい。これにより、撮像装置２０は、走行経路を走行中の車両を撮像することができ、車両の稼働率及び鉱山における生産性を低下させにくい。又は、撮像装置２０は、ドローンに搭載された装置であってもよい。
　サーバ３０は、１つ以上のコンピュータで構成されている。一実施形態では、サーバ３０は、１つのコンピュータで構成されているとして説明する。しかしながら、サーバ３０は、クラウドコンピューティングシステムなど、複数のコンピュータによって構成されていてもよい。本開示において、サーバ３０は、例えば、タイヤ故障判定装置として機能する。
　計測装置４０は、１つ以上のセンサを含むコンピュータで構成されている。センサは、デジタルタコグラフ、タイヤ空気圧監視システム（ＴＰＭＳ：Tire Pressure Monitoring System）、ＥＣＵ（Electronic Control Unit）、又はカーナビゲーション装置であるが、これらに限られない。計測装置４０は、車両に装着されたタイヤに関する時系列データを取得し、サーバ３０に送信する。そのため、計測装置４０は、車両又はタイヤに設置されていてもよい。
　車両に装着されたタイヤに関する時系列データは、タイヤに関する計測値とその計測日時などを含む。例えば計測装置４０がタイヤに設置されたＴＰＭＳを含む場合、タイヤに関する計測値は、タイヤの内圧（空気圧）、内腔温度、及び熱履歴などの、タイヤのタイヤ状態情報を含み得る。タイヤの熱履歴は、タイヤの使用に伴いタイヤに加えられた熱の履歴である。タイヤの熱履歴は、タイヤを使い始めてからタイヤにどのくらいのエネルギーが加えられたかを評価するために用いられる。一般的に、熱履歴が大きくなるほど、タイヤの劣化が進む。熱履歴は、例えば、タイヤの内腔温度をアレニウスの式に適用することで算出され得る。また例えば計測装置４０が車両に設置されたデジタルタコグラフを含む場合、タイヤに関する計測値は、車両の走行時間、走行距離、速度、加速度、及びタイヤの回転数などの、車両の走行情報を含み得る。
　ネットワーク５０は、情報処理装置１０、撮像装置２０、サーバ３０、及び計測装置４０が相互に通信可能な、任意の通信網である。一実施形態におけるネットワーク５０は、例えばインターネット、移動体通信網、ＬＡＮ（Local Area Network）、又はこれらの組み合わせであってもよい。
　情報処理システム１は、タイヤ故障判定装置としてのサーバ３０を中心としたタイヤ故障判定システムとして機能してもよい。このとき、情報処理システム１は、１つ以上のタイヤの故障を判定するために用いられる。情報処理システム１において、サーバ３０は、例えば撮像装置２０により撮像され、情報処理装置１０により損傷部分の表面温度が補正されたタイヤのサーモ画像を情報処理装置１０から取得する。サーバ３０は、当該サーモ画像に基づいて、タイヤの少なくとも１つの損傷部分に対し表面温度を取得する。
　サーバ３０は、計測装置４０から、タイヤの内腔温度の時系列データを取得する。サーバ３０は、サーモ画像におけるタイヤの少なくとも１つの損傷部分の表面温度と、サーモ画像が取得されたときの内腔温度とに基づいて、少なくとも１つの損傷部分に対し深さを推定する。このように、情報処理システム１によれば、サーモ画像におけるタイヤの少なくとも１つの損傷部分の表面温度に加えて、タイヤの内腔温度を用いることで、より精度よく損傷部分の深さを推定することができる。
　本開示において、タイヤは、特に限定されないが、鉱山サイトなどにおいて利用される運搬車両、建設車両、工事車両、及び重機車両などの鉱山車両に装着されるＯＲ（Off The Road）タイヤであってもよい。ただし、タイヤは、ＯＲタイヤ以外のタイヤであってもよい。
　本開示において、車両は、例えば、鉱山サイトなどにおいて利用される鉱山車両である。ただし、車両は、上述した鉱山車両に限定されず、例えば、運搬車両、建設車両、工事車両、及び重機車両、並びにバス、乗用車、バイク、自転車、及び飛行機など、タイヤを装着可能な任意の車両であってもよい。
　図２は、図１の情報処理装置１０の概略構成の一例を示すブロック図である。図２を参照しながら、情報処理装置１０の構成の一例について主に説明する。情報処理装置１０は、通信部１１と、記憶部１２と、取得部１３と、入力部１４と、出力部１５と、制御部１６と、を有する。情報処理装置１０において、通信部１１、記憶部１２、取得部１３、入力部１４、出力部１５、及び制御部１６は、有線又は無線で互いに通信可能に接続されている。
　通信部１１は、ネットワーク５０に接続するための通信モジュールを含む。通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）などの移動体通信規格に対応した通信モジュールである。通信モジュールは、例えば有線ＬＡＮ及び無線ＬＡＮなどの規格に対応した通信モジュールであってもよい。通信モジュールは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は赤外線通信などの近距離無線通信規格に対応した通信モジュールであってもよい。一実施形態において、情報処理装置１０は、通信部１１を介してネットワーク５０に通信可能に接続される。これによって、情報処理装置１０は、サーバ３０、計測装置４０、及び他のコンピュータなどと通信可能である。
　記憶部１２は、例えば半導体メモリ、磁気メモリ、及び光メモリなどを含む。記憶部１２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部１２は、情報処理装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア、及びデータベースなどを記憶する。記憶部１２に記憶された情報は、例えば通信部１１を介してネットワーク５０から取得される情報で更新可能であってもよい。
　取得部１３は、情報処理装置１０と撮像装置２０によって撮像される対象物との間の距離を測定して、撮像装置２０から対象物までの距離を取得するセンサを含む。センサは、例えば、情報処理装置１０から対象物までの距離を測定可能な測距モジュールを含む。測距モジュールは、例えば、ＬｉＤＡＲ（Light Detection And Ranging）及び複数個の超音波素子を用いた超音波素子アレイなどを含む。
　入力部１４は、ユーザ入力を検出して、ユーザの操作に基づく入力情報を取得する１つ以上の入力インタフェースを含む。入力インタフェースは、物理キー、静電容量キー、出力部１５のディスプレイと一体的に設けられたタッチスクリーン、カメラなどの撮像モジュール、及び音声入力を受け付けるマイクロフォンなどを含む。
　出力部１５は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。出力インタフェースは、情報を画像で視覚的に出力するディスプレイ、情報を音で聴覚的に出力するスピーカ、及び情報を振動で触覚的に出力するバイブレータなどを含む。
　制御部１６は、１つ以上のプロセッサを含む。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）などの汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってもよい。制御部１６は、プロセッサに限定されず、１つ以上の専用回路を含んでもよい。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、又はＡＳＩＣ（Application Specific Integrated Circuit）であってもよい。制御部１６は、通信部１１、記憶部１２、取得部１３、入力部１４、及び出力部１５などの構成部の機能を含む、情報処理装置１０の機能を実現させるために、各構成部を制御する。
　図３は、図１の撮像装置２０の概略構成の一例を示すブロック図である。図３を参照しながら、撮像装置２０の構成の一例について主に説明する。撮像装置２０は、赤外線カメラ２１を有する。
　赤外線カメラ２１は、例えば、遠赤外線を検出することで対象物の温度を検知するサーマルカメラを含む。サーマルカメラは、熱を検知し、温度を可視化する。本開示において、サーマルカメラで対象物を撮像した画像をサーモ画像と呼ぶ。サーモ画像では、通常、温度が高い部分は赤く、低い部分は青く表示される。これに限定されず、赤外線カメラ２１は、光源としての役割を果たす近赤外線ＬＥＤ（Light Emitting Diode）を搭載して、対象物に照射して反射した近赤外線を検出してもよい。このような赤外線カメラ２１は、サーマルカメラと同様に赤外線を用いているが、赤外線の波長帯域に含まれる全く異なる波長の光を用い、異なる構成を有する。
　赤外線カメラ２１は、サーモ画像を取得可能である。赤外線カメラ２１が取得するサーモ画像は、写真などの静止画であってもよく、動画であってもよい。赤外線カメラ２１は、タイヤなどの対象物を撮像したサーモ画像を生成し、情報処理装置１０に送信する。一実施形態において、タイヤを撮像したサーモ画像には、タイヤの少なくとも一部が写されている。
　以上に限定されず、撮像装置２０は、可視光カメラなどの任意の他のカメラを有してもよい。可視光カメラは、例えば、可視光を検出することで対象物の視覚情報を検知する。本開示において、可視光カメラで対象物を撮像した画像をＲＧＢ画像と呼ぶ。可視光カメラは、ＲＧＢ画像を取得可能である。可視光カメラが取得するＲＧＢ画像は、写真などの静止画であってもよく、動画であってもよい。可視光カメラは、タイヤなどの対象物を撮像したＲＧＢ画像を生成し、情報処理装置１０に送信してもよい。一実施形態において、タイヤを撮像したＲＧＢ画像には、タイヤの少なくとも一部が写されている。
　図４は、図１のサーバ３０の概略構成の一例を示すブロック図である。図４を参照しながら、サーバ３０の構成の一例について主に説明する。サーバ３０は、通信部３１と、記憶部３２と、制御部３３と、を有する。サーバ３０において、通信部３１、記憶部３２、及び制御部３３は、有線又は無線で互いに通信可能に接続されている。
　通信部３１は、ネットワーク５０に接続するための通信モジュールを含む。通信モジュールは、例えば４Ｇ及び５Ｇなどの移動体通信規格に対応した通信モジュールである。通信モジュールは、例えば有線ＬＡＮ及び無線ＬＡＮなどの規格に対応した通信モジュールであってもよい。通信モジュールは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は赤外線通信などの近距離無線通信規格に対応した通信モジュールであってもよい。一実施形態において、サーバ３０は、通信部３１を介してネットワーク５０に通信可能に接続される。これによって、サーバ３０は、情報処理装置１０、計測装置４０、及び他のコンピュータなどと通信可能である。
　記憶部３２は、例えば半導体メモリ、磁気メモリ、及び光メモリなどを含む。記憶部３２は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部３２は、サーバ３０の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、システムプログラム、アプリケーションプログラム、組み込みソフトウェア、及びデータベースなどを記憶する。記憶部３２に記憶された情報は、例えば通信部３１を介してネットワーク５０から取得される情報で更新可能であってもよい。
　例えば、記憶部３２は、故障判定の対象となる１つ以上のタイヤのタイヤ識別情報を記憶していてもよい。本開示において、タイヤ識別情報は、タイヤＩＤ（Identifier）ともいう。タイヤのタイヤ識別情報は、タイヤを一意に識別可能な情報である。タイヤのタイヤ識別情報は、例えば、サーバ３０によって一意に払い出されるが、これに限定されず、タイヤの製造番号、或いは、タイヤを装着する車両の車両番号などであってもよい。さらに、記憶部３２は、タイヤのタイヤ識別情報と関連付けて、タイヤに関する情報を記憶していてもよい。
　タイヤに関する情報は、タイヤに関する任意の情報を含む。タイヤに関する情報は、例えば、上述したタイヤに関する時系列データ、タイヤの損傷情報、タイヤの構成情報、タイヤを装着する車両の情報、或いは車両におけるタイヤが装着されている位置情報を含み得る。タイヤの損傷情報は、例えば、タイヤが過去に負った損傷の位置、形状、深さ、及び登録日時などを含む情報であってもよい。タイヤの構成情報は、例えば、タイヤの種類、型番、材料物性、トレッドパターン、ベルト角度、サイズ、及び重量などを含む。タイヤを装着する車両の情報は、車両の識別情報、種類、型番、排気量、装着タイヤ数、及びシャフト数などを含む。
　制御部３３は、１つ以上のプロセッサを含む。プロセッサは、例えば、ＣＰＵなどの汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってもよい。制御部３３は、プロセッサに限定されず、１つ以上の専用回路を含んでもよい。専用回路は、例えば、ＦＰＧＡ又はＡＳＩＣであってもよい。制御部３３は、通信部３１及び記憶部３２などの構成部の機能を含む、サーバ３０の機能を実現させるために、各構成部を制御する。
（情報処理装置１０の動作）
　図５は、図１の情報処理システム１の動作の一例を示すフローチャートである。図５は、コンピュータが実行する情報処理方法の各ステップを示す。図５を参照しながら、本開示の一実施形態に係る情報処理装置１０の制御部１６又はサーバ３０の制御部３３によって実行される処理の流れの一例について主に説明する。
　ステップＳ１０１では、情報処理装置１０の制御部１６は、撮像装置２０の赤外線カメラ２１で対象物を撮像したサーモ画像を取得する。制御部１６は、例えばコネクタなどを介して情報処理装置１０と一体的に接続されている撮像装置２０の赤外線カメラ２１から、赤外線カメラ２１により撮像された対象物のサーモ画像を取得する。
　ステップＳ１０２では、情報処理装置１０の制御部１６は、ステップＳ１０１において取得されたサーモ画像に基づいて、対象物における対象箇所の位置を特定する。例えば、制御部１６は、任意の画像解析などの手法を用いて、サーモ画像に含まれる、対象物における損傷部分などの対象箇所のサーモ画像内での位置を特定する。
　ステップＳ１０３では、情報処理装置１０の制御部１６は、ステップＳ１０１において取得されたサーモ画像に基づいて、ステップＳ１０２において特定された、対象物における対象箇所の表面温度を取得する。
　ステップＳ１０４では、情報処理装置１０の制御部１６は、ステップＳ１０１においてサーモ画像を取得したときの、赤外線カメラ２１から対象物までの距離を取得する。例えば、制御部１６は、情報処理装置１０の取得部１３における測距モジュールを用いて情報処理装置１０から対象物までの距離を測定する。
　例えば、撮像装置２０がコネクタなどを介して情報処理装置１０と一体的に接続されていると、情報処理装置１０から対象物までの距離は、撮像装置２０から対象物までの距離と略同一になる。情報処理装置１０から対象物までの距離は、撮像装置２０の赤外線カメラ２１から対象物までの距離と略同一になる。したがって、制御部１６は、取得部１３を用いて測定した情報処理装置１０から対象物までの距離を、赤外線カメラ２１を含む撮像装置２０から対象物までの距離として取得する。
　ステップＳ１０５では、情報処理装置１０の制御部１６は、ステップＳ１０４において取得された距離に基づいて、ステップＳ１０３において取得された表面温度を補正する。
　ステップＳ１０６では、情報処理装置１０の制御部１６は、ステップＳ１０５において補正された表面温度を情報処理装置１０の出力部１５の画面にリアルタイムに表示させる。
　ステップＳ１０７では、サーバ３０の制御部３３は、ステップＳ１０２において情報処理装置１０により特定された対象箇所の位置とステップＳ１０５において情報処理装置１０により補正された表面温度とに基づいて、対象物における対象箇所の状態を推定する。例えば、サーバ３０の制御部３３は、ステップＳ１０２において特定された対象箇所の位置とステップＳ１０５において補正された表面温度とを、ネットワーク５０及び通信部３１を介して情報処理装置１０からサーモ画像と共に受信する。サーバ３０の制御部３３は、情報処理装置１０から情報として取得した対象箇所の位置及び表面温度に基づいて、対象物における対象箇所の状態を推定する。
　以下では、図６Ａ乃至図７Ｂを参照しながら、図５に示すフローチャートを用いて上述した情報処理装置１０の動作の一例について、出力部１５の画面に表示される画像のイメージ図を基により詳細に説明する。以下では、情報処理装置１０と撮像装置２０とは、コネクタなどを介して互いに一体的に接続されていると想定する。
　図６Ａは、図２の情報処理装置１０の動作の一例を説明するための第１模式図である。図６Ａは、情報処理装置１０の出力部１５の画面に表示される画像のイメージ図を、赤外線カメラ２１から対象物までの距離に応じて複数並べたものである。当該画像は、例えば、撮像装置２０の赤外線カメラ２１が対象物Ｓを撮像して得られたサーモ画像の一例である。
　例えば、出力部１５の画面には、撮像装置２０と連携した、情報処理装置１０の第１アプリケーションを介して、撮像装置２０により得られるサーモ画像が表示されている。例えば、ユーザは、第１アプリケーションを介して撮像装置２０より得られたサーモ画像を出力部１５の画面上で視認しながら対象物Ｓに対する情報処理装置１０の位置を調整し、入力部１４においてカメラボタンを押下するなどの撮像操作を行う。
　情報処理装置１０の制御部１６は、ユーザの撮像操作を入力部１４で受け付けると、第１アプリケーションを介して撮像装置２０を制御し、対象物Ｓを撮像させる。撮像装置２０は、情報処理装置１０の制御部１６から取得した制御信号に基づいて赤外線カメラ２１を動作させ、対象物Ｓのサーモ画像を取得する。撮像装置２０は、対象物Ｓを撮像して得られたサーモ画像を、情報処理装置１０の制御部１６に出力する。これにより、情報処理装置１０の制御部１６は、図５のステップＳ１０１に示されるように、サーモ画像を取得する。
　その後の図５のステップＳ１０４に示されるように、情報処理装置１０の制御部１６は、サーモ画像を取得したときの、赤外線カメラ２１から対象物Ｓまでの距離を取得する。例えば、制御部１６は、赤外線カメラ２１が取り付けられた情報処理装置１０のＡＲ機能を用いて距離を取得する。制御部１６は、例えば、情報処理装置１０のＡＲ機能を提供する、第１アプリケーションとは異なる第２アプリケーションを介して、取得部１３の測距モジュールを用いながら距離を取得する。
　情報処理装置１０の制御部１６は、ＡＲ機能に基づく距離の更新時間の間隔よりも長い時間間隔で距離を取得してもよい。制御部１６は、情報処理装置１０のＡＲ機能を提供する第２アプリケーションにおいて距離の通常の更新時間の間隔が例えば１／６０秒であるとすると、１／６０秒よりも十分に長い１秒などの間隔で、第２アプリケーションと協働しながら第１アプリケーションにより距離を取得してもよい。
　図６Ａに示されるように、情報処理装置１０の出力部１５には、一例として、撮像装置２０と協働して動作する情報処理装置１０の第１アプリケーションの画面が表示されている。一方で、情報処理装置１０のＡＲ機能を提供する第２アプリケーションの操作画面は、出力部１５には表示されない。情報処理装置１０のＡＲ機能を提供する第２アプリケーションは、バックグラウンド処理によって動作している。
　図６Ａにおいて左から右に向かうほど、赤外線カメラ２１から対象物Ｓまでの距離は近くなる。出力部１５の画面に表示されるサーモ画像の対象物Ｓも、距離が遠くから近くへ変化するにつれて拡大されている。４つの画像ＩＭ１、ＩＭ２、ＩＭ３、及びＩＭ４のうち、距離が比較的近い画像ＩＭ３において、２つの損傷部分Ｃ１１及びＣ１２がタイヤ上で明瞭に視認可能となる。距離が最も近い画像ＩＭ４において、損傷部分Ｃ１２が視野から外れて損傷部分Ｃ１１のみが大きく拡大されて表示されている。
　情報処理装置１０の制御部１６は、例えば画像ＩＭ４において、対象物Ｓの損傷部分Ｃ１１の表面温度を出力部１５の画面にリアルタイムに表示させてもよい。制御部１６は、対象物Ｓの損傷部分Ｃ１１の表面温度を、「＊＊＊℃」などの最大温度の数値で損傷部分Ｃ１１に近接させて画面上で付加的に示してもよい。
　図６Ｂは、図２の情報処理装置１０の動作の一例を説明するための第２模式図である。図６Ｂは、図６Ａに示される画像ＩＭ１、ＩＭ２、ＩＭ３、及びＩＭ４に対応する距離ごとに、損傷部分Ｃ１１及びＣ１２の各々に対し表面温度をプロットしたグラフ図である。図６Ｂのグラフの縦軸は、損傷部分Ｃ１１及びＣ１２の各々に対する表面温度の最大値を示す。図６Ｂのグラフの横軸は、図６Ａに示される画像ＩＭ１、ＩＭ２、ＩＭ３、及びＩＭ４に対応する距離を示す。
　一般的に、遠赤外線などの光は、発生源からの距離の２乗に比例して減衰する。遠赤外線などの光は、空気の状態などの大気中の環境要因も含めると、発生源から遠くなるほどさらに減衰する。図６Ｂのグラフにも示されるとおり、距離が近いときの画像ＩＭ４でのプロットから距離が遠いときの画像ＩＭ１でのプロットへと横軸を移動するに従って、表面温度が若干低下している。したがって、距離が遠くなるほど、対象物Ｓにおける対象箇所の表面温度は、実際の値に対して見かけ上低くなる。
　したがって、情報処理装置１０の制御部１６は、図５に示されるフローチャートのステップＳ１０５において、赤外線カメラ２１から対象物までの距離に基づいて表面温度を補正する。
　このとき、制御部１６は、機械学習を用いて表面温度を補正してもよい。例えば、制御部１６は、距離に応じて表面温度に付加する補正係数及び補正項の少なくとも一方の教師データを予め取得して学習モデルを構築してもよい。制御部１６は、構築された学習モデルの入力層に、取得部１３を用いて測定された距離を入力して、補正係数及び補正項の少なくとも一方を導き出してもよい。
　制御部１６は、機械学習を用いずに表面温度を補正してもよい。このとき、制御部１６は、例えば、距離を変数として含む関数に基づき定められる補正係数及び補正項の少なくとも一方を用いて表面温度を補正してもよい。本開示において、「関数」は、例えば、線形関数及び非線形関数などの任意の関数を含む。
　図７Ａは、図２の情報処理装置１０の動作の一例を説明するための第３模式図である。図７Ａは、情報処理装置１０の出力部１５の画面に表示される画像のイメージ図を、赤外線カメラ２１から対象物までの距離に応じて複数並べたものである。当該画像は、例えば、撮像装置２０の赤外線カメラ２１が対象物Ｓを撮像して得られたサーモ画像の一例である。図７Ａは、図６Ａと比較して画像のサンプルが異なっているのみであり、図６Ａと共通する点については、上記と同様の説明が当てはまる。図６Ａと異なる点について主に説明する。
　図７Ａにおいて左から右に向かうほど、赤外線カメラ２１から対象物Ｓまでの距離は近くなる。出力部１５の画面に表示されるサーモ画像の対象物Ｓも、距離が遠くから近くへ変化するにつれて拡大されている。２つの画像ＩＭ５及びＩＭ６のうち、距離が最も近い画像ＩＭ６において、３つの損傷部分Ｃ２１、Ｃ２２、及びＣ２３がタイヤ上で明瞭に視認可能となる。
　情報処理装置１０の制御部１６は、例えば画像ＩＭ６において、対象物Ｓの損傷部分Ｃ２１、Ｃ２２、及びＣ２３の各々の表面温度を出力部１５の画面にリアルタイムに表示させてもよい。制御部１６は、対象物Ｓの損傷部分Ｃ２１、Ｃ２２、及びＣ２３の各々の表面温度を、「＊＊＊℃」などの最大温度の数値で各損傷部分に近接させて画面上で付加的に示してもよい。
　図７Ｂは、図２の情報処理装置１０の動作の一例を説明するための第４模式図である。図７Ｂは、図７Ａに示される画像ＩＭ５及びＩＭ６に対応する距離ごとに、損傷部分Ｃ２１、Ｃ２２、及びＣ２３の各々に対し表面温度をプロットしたグラフ図である。図７Ｂのグラフの縦軸は、損傷部分Ｃ２１、Ｃ２２、及びＣ２３の各々に対する表面温度の最大値を示す。図７Ｂのグラフの横軸は、図７Ａに示される画像ＩＭ５及びＩＭ６に対応する距離を示す。
　図６Ｂと同様に、図７Ｂのグラフにおいても、距離が近いときの画像ＩＭ６でのプロットから距離が遠いときの画像ＩＭ５でのプロットへと横軸を移動するに従って、表面温度が若干低下している。したがって、距離が遠くなるほど、対象物Ｓにおける対象箇所の表面温度は、実際の値に対して見かけ上低くなる。したがって、情報処理装置１０の制御部１６は、図５に示されるフローチャートのステップＳ１０５において、赤外線カメラ２１から対象物までの距離に基づいて表面温度を補正する。補正処理に関する具体的な内容は、図６Ｂを用いて説明した内容と同様である。
（効果）
　以上のような一実施形態に係る情報処理装置１０及び情報処理方法によれば、対象物を撮像した画像を用いて対象物の状態を判定する技術の精度を向上させることが可能である。情報処理装置１０は、取得された距離に基づいて、対象物における対象箇所の表面温度を補正する。これにより、情報処理装置１０は、取得された距離に基づいて、対象箇所の表面温度を距離に依存せずに精度良く測定可能である。これにより、情報処理装置１０は、対象物に対する様々な位置で、対象箇所の表面温度をサーモ画像において精度良く識別可能である。したがって、対象箇所における対象物の状態を、サーモ画像を用いて判定するときの精度が向上する。情報処理装置１０は、以上のような表面温度に関する補正処理及び表示処理を、情報処理装置１０単体で完結させて、自動でリアルタイムに実行可能である。
　例えば、対象物の対象箇所がタイヤの損傷部分を含むとき、情報処理装置１０は、タイヤの損傷部分の表面温度をサーモ画像上で精度良く識別可能である。したがって、補正された表面温度と共に当該サーモ画像を情報処理装置１０から取得したサーバ３０は、取得されたサーモ画像と補正された表面温度とを用いて、タイヤの損傷部分の深さを精度良く推定し、タイヤの故障判定における判定精度を向上させることが可能である。
　サーバ３０は、情報処理装置１０において特定された対象箇所の位置と補正された表面温度とに基づいて、対象箇所の状態を推定する。これにより、対象箇所における対象物の状態を、サーモ画像を用いて判定するときの精度が向上する。
　対象箇所は、対象物における損傷部分を含む。対象箇所の状態は、損傷部分の深さを含む。これにより、情報処理装置１０は、対象物の損傷部分の表面温度をサーモ画像上で精度良く識別可能である。したがって、補正された表面温度と共に当該サーモ画像を情報処理装置１０から取得したサーバ３０は、取得されたサーモ画像と補正された表面温度とを用いて、対象物の損傷部分の深さを精度良く推定し、対象物の故障判定における判定精度を向上させることが可能である。
　情報処理装置１０は、機械学習を用いて表面温度を補正する。これにより、情報処理装置１０は、表面温度をより精度良く補正することができる。
　情報処理装置１０は、距離を変数として含む関数に基づき定められる補正係数及び補正項の少なくとも一方を用いて表面温度を補正する。これにより、情報処理装置１０は、機械学習を用いる場合と比較して、表面温度の補正処理に必要となる演算処理の負荷を軽減することができる。
　情報処理装置１０は、赤外線カメラ２１が取り付けられた情報処理装置１０のＡＲ機能を用いて距離を取得する。これにより、情報処理装置１０は、赤外線カメラ２１から対象物までの距離を、情報処理装置１０自体が有する機能を用いて精度良く測定可能である。
　情報処理装置１０は、ＡＲ機能に基づく距離の更新時間の間隔よりも長い時間間隔で距離を取得する。これにより、情報処理装置１０は、取得された距離に関連する演算処理の負荷を軽減可能である。
　情報処理装置１０は、補正された表面温度を情報処理装置１０の出力部１５の画面にリアルタイムに表示する。これにより、情報処理装置１０は、表面温度に関する補正処理及び表示処理を、情報処理装置１０単体で完結させて、自動でリアルタイムに実行可能である。
　対象物は、タイヤ又はクローラを含むゴム製品である。これにより、情報処理装置１０は、対象物における対象箇所の表面温度が精度良く補正されたサーモ画像を、対象物としてのゴム製品に対して表示可能である。
　例えば、対象物としてのタイヤの損傷情報の出力には、任意の手法が採用可能である。例えば、サーバ３０の制御部３３は、通信部３１を介して、タイヤの損傷情報を表示させる要求を、端末装置としての情報処理装置１０に送信してもよい。かかる場合、情報処理装置１０は、サーバ３０から受信した要求に基づいて、出力部１５のディスプレイなどを介して、タイヤの損傷情報を表示することができる。
　タイヤの損傷情報は、例えば、タイヤの損傷部分の深さを含む。ただし、タイヤの損傷情報は、タイヤの損傷部分の深さに限定されず、損傷部分の位置、数、及び警告メッセージなど、任意の情報を含んでもよい。その結果、タイヤ故障判定システムとしての情報処理システム１のユーザは、タイヤの外表面上における損傷部分の深さの程度を容易に把握することができ、タイヤが故障する前に、タイヤの検査、補修、交換などを計画することもできる。
　タイヤの交換が行われる際には、タイヤは、タイヤの損傷情報に応じて異なるタイヤに交換されてもよい。例えば、タイヤは、損傷部分の表面温度がタイヤに設定された耐久可能温度よりも高い場合には、より耐熱性の高い別の種類のタイヤに交換されてもよい。或いは、タイヤは、損傷部分の数が所定の数よりも多い場合には、より損傷部分が入りにくい他の種類のタイヤに交換されてもよい。このようにして、タイヤ故障判定システムのユーザは、タイヤの損傷情報に基づいて、鉱山サイトでの利用に適したタイヤを採用することができる。
　サーバ３０は、サーモ画像におけるタイヤの複数の損傷部分のうち特に表面温度が高い損傷部分についてはより入念に点検を行う動機をユーザに与えることができる。逆に、サーバ３０は、サーモ画像におけるタイヤの複数の損傷部分のうち表面温度が低い損傷部分については点検の簡素化又は省略をユーザに促すこともできる。したがって、情報処理システム１は、タイヤの故障を判定する技術の有用性を向上させることもできる。
（変形例）
　本開示を諸図面及び実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに留意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各実施形態に含まれる構成及び機能などは論理的に矛盾しないように再配置可能である。また、各実施形態に含まれる構成及び機能などは、他の実施形態に組み合わせて用いることができ、複数の構成及び機能などを１つに組み合わせたり、分割したり、或いは一部を省略したりすることが可能である。
　例えば、汎用のコンピュータを、上述した実施形態に係る情報処理装置１０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る情報処理装置１０の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ読取可能な媒体としても実現可能である。非一時的なコンピュータ読取可能な媒体には、例えば、磁気記録装置、光ディスク、光磁気記録媒体、及び半導体メモリなどが含まれる。
　上記実施形態において情報処理装置１０により実行される少なくとも一部の処理動作がサーバ３０により実行されてもよい。例えば、情報処理装置１０に代えて、サーバ３０が、図５のフローチャートに示される一連の処理を実行してもよい。すなわち、サーバ３０が、請求の範囲に記載の「情報処理装置」であってもよい。このとき、サーバ３０は、図５のフローチャートに示されるステップＳ１０６に対応する処理として、サーバ３０が補正した表面温度と共にサーモ画像を情報処理装置１０に送信し、情報処理装置１０の出力部１５の画面に、補正された表面温度をサーモ画像と共にリアルタイムに表示させてもよい。
　上記実施形態においてサーバ３０により実行される少なくとも一部の処理動作が情報処理装置１０により実行されてもよい。例えば、サーバ３０に代えて、情報処理装置１０自体がタイヤ故障判定装置として機能してもよい。情報処理装置１０は、上述したタイヤ故障判定に関連する一連の処理も実行し、当該一連の処理も情報処理装置１０自体で完結させてもよい。
　上記実施形態では、情報処理システム１は、情報処理装置１０及び撮像装置２０に加えて、サーバ３０及び計測装置４０を有すると説明したが、これに限定されない。情報処理システム１は、サーバ３０及び計測装置４０の少なくとも一方を有さなくてもよい。例えば、情報処理システム１は、サーバ３０及び計測装置４０の両方を有さずに、情報処理装置１０及び撮像装置２０のみで構成されてもよい。
　上記実施形態では、サーバ３０は、特定された対象箇所の位置と補正された表面温度とに基づいて、対象箇所の状態を推定すると説明したが、これに限定されない。上述したとおり、情報処理装置１０が、このような推定処理を実行してもよい。
　上記実施形態では、情報処理装置１０は、機械学習又は距離を変数として含む関数に基づき定められる補正係数及び補正項の少なくとも一方を用いて表面温度を補正すると説明したが、これに限定されない。情報処理装置１０は、任意の他の方法で、赤外線カメラ２１から対象物までの距離に基づく表面温度の補正処理を実行してもよい。
　上記実施形態では、情報処理装置１０は、赤外線カメラ２１が取り付けられた情報処理装置１０のＡＲ機能を用いて距離を取得すると説明したが、これに限定されない。情報処理装置１０は、任意の他の方法で距離を取得してもよい。例えば、情報処理装置１０は、情報処理装置１０のＡＲ機能とは異なる任意の他の測距機能に基づいて距離を取得してもよい。例えば、情報処理装置１０は、取得部１３のような情報処理装置１０に備わっている測距モジュールに代えて、又は加えて、撮像装置２０に付加的に取り付けられ、測距機能を有する、独立したモジュールを用いて距離を取得してもよい。
　上記実施形態では、情報処理装置１０は、ＡＲ機能に基づく距離の更新時間の間隔よりも長い時間間隔で距離を取得すると説明したが、これに限定されない。情報処理装置１０は、ＡＲ機能に基づく距離の更新時間の間隔よりも短い、又は同一の時間間隔で距離を取得してもよい。
　上記実施形態では、情報処理装置１０は、補正された表面温度を情報処理装置１０の出力部１５の画面にリアルタイムに表示すると説明したが、これに限定されない。情報処理装置１０は、補正された表面温度を情報処理装置１０の出力部１５の画面にリアルタイムに表示しなくてもよい。又は、情報処理装置１０は、補正された表面温度を情報処理装置１０とは異なる他の装置の画面にリアルタイムに表示させてもよい。
　上記実施形態では、対象物は、タイヤ又はクローラを含むゴム製品であると説明したが、これに限定されない。対象物は、情報処理システム１による対象箇所の状態の推定対象となる任意の他の物を含んでもよい。
　本開示によれば、対象物を撮像した画像を用いて対象物の状態を判定する技術の精度を向上させる情報処理方法及び情報処理装置を提供することができる。
　１　　　情報処理システム
　１０　　情報処理装置
　１１　　通信部
　１２　　記憶部
　１３　　取得部
　１４　　入力部
　１５　　出力部
　１６　　制御部
　２０　　撮像装置
　２１　　赤外線カメラ
　３０　　サーバ
　３１　　通信部
　３２　　記憶部
　３３　　制御部
　４０　　計測装置
　５０　　ネットワーク
　Ｃ１１、Ｃ１２、Ｃ２１、Ｃ２２、Ｃ２３　損傷部分
　ＩＭ１、ＩＭ２、ＩＭ３、ＩＭ４、ＩＭ５、ＩＭ６　画像
　Ｓ　　　対象物
 

Claims (9)

  1. 　コンピュータが実行する情報処理方法であって、
    　赤外線カメラで対象物を撮像したサーモ画像を取得することと、
    　取得された前記サーモ画像に基づいて、前記対象物における対象箇所の位置を特定することと、
    　取得された前記サーモ画像に基づいて、前記対象箇所の表面温度を取得することと、
    　前記赤外線カメラから前記対象物までの距離を取得することと、
    　取得された前記距離に基づいて、前記表面温度を補正することと、
    　を含む、
    　情報処理方法。
  2. 　請求項１に記載の情報処理方法であって、
    　特定された前記対象箇所の位置と補正された前記表面温度とに基づいて、前記対象箇所の状態を推定することをさらに含む、
    　情報処理方法。
  3. 　請求項２に記載の情報処理方法であって、
    　前記対象箇所は、前記対象物における損傷部分を含み、
    　前記対象箇所の状態は、前記損傷部分の深さを含む、
    　情報処理方法。
  4. 　請求項１乃至３のいずれか１項に記載の情報処理方法であって、
    　前記表面温度を補正することは、機械学習を用いて前記表面温度を補正することを含む、
    　情報処理方法。
  5. 　請求項１乃至３のいずれか１項に記載の情報処理方法であって、
    　前記表面温度を補正することは、前記距離を変数として含む関数に基づき定められる補正係数及び補正項の少なくとも一方を用いて前記表面温度を補正することを含む、
    　情報処理方法。
  6. 　請求項１乃至３のいずれか１項に記載の情報処理方法であって、
    　前記距離を取得することは、前記赤外線カメラが取り付けられた情報処理装置のＡＲ機能を用いて前記距離を取得することを含む、
    　情報処理方法。
  7. 　請求項６に記載の情報処理方法であって、
    　補正された前記表面温度を前記情報処理装置の画面にリアルタイムに表示することをさらに含む、
    　情報処理方法。
  8. 　請求項１乃至３のいずれか１項に記載の情報処理方法であって、
    　前記対象物は、タイヤ又はクローラを含むゴム製品である、
    　情報処理方法。
  9. 　情報処理装置であって、
    　制御部を備え、前記制御部は、
    　赤外線カメラで対象物を撮像したサーモ画像を取得し、
    　取得された前記サーモ画像に基づいて、前記対象物における対象箇所の位置を特定し、
    　取得された前記サーモ画像に基づいて、前記対象箇所の表面温度を取得し、
    　前記赤外線カメラから前記対象物までの距離を取得し、
    　取得された前記距離に基づいて、前記表面温度を補正する、
    　情報処理装置。
PCT/JP2025/017773 2024-06-25 2025-05-15 情報処理方法及び情報処理装置 Pending WO2026004385A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024102336A JP2026004110A (ja) 2024-06-25 2024-06-25 情報処理方法及び情報処理装置
JP2024-102336 2024-06-25

Publications (1)

Publication Number Publication Date
WO2026004385A1 true WO2026004385A1 (ja) 2026-01-02

Family

ID=98221562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/017773 Pending WO2026004385A1 (ja) 2024-06-25 2025-05-15 情報処理方法及び情報処理装置

Country Status (2)

Country Link
JP (1) JP2026004110A (ja)
WO (1) WO2026004385A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106639A1 (ja) * 2009-03-17 2010-09-23 西日本高速道路エンジニアリング四国株式会社 構造物の損傷深さ判定方法とその装置及び構造物の損傷処置判定方法とその装置
KR20160101768A (ko) * 2015-02-17 2016-08-26 넥센타이어 주식회사 공기압 타이어의 실내주행 시험장치 및 그 시험측정 방법
JP2022118511A (ja) * 2021-02-02 2022-08-15 オムロン株式会社 表面温度測定システム及び表面温度測定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010106639A1 (ja) * 2009-03-17 2010-09-23 西日本高速道路エンジニアリング四国株式会社 構造物の損傷深さ判定方法とその装置及び構造物の損傷処置判定方法とその装置
KR20160101768A (ko) * 2015-02-17 2016-08-26 넥센타이어 주식회사 공기압 타이어의 실내주행 시험장치 및 그 시험측정 방법
JP2022118511A (ja) * 2021-02-02 2022-08-15 オムロン株式会社 表面温度測定システム及び表面温度測定方法

Also Published As

Publication number Publication date
JP2026004110A (ja) 2026-01-14

Similar Documents

Publication Publication Date Title
JP6369654B2 (ja) 検知装置および路面情報システム、並びに車両
WO2020203233A1 (ja) 演算モデル生成システム、摩耗量推定システムおよび演算モデル生成方法
WO2020049737A1 (ja) 運転技能評価システム、方法及びプログラム
JP2017053777A (ja) 路面測定システム及び路面測定方法
KR20200044164A (ko) 주행 보조 장치 및 이미지 처리 방법
JP2019196036A (ja) 診断装置、診断システム、及び診断方法
JP7013993B2 (ja) 診断装置及び診断方法
WO2024122189A1 (ja) タイヤ残存耐久性予測装置、タイヤ残存耐久性予測方法及びプログラム
JP2026004110A (ja) 情報処理方法及び情報処理装置
WO2024247316A1 (ja) タイヤ故障判定方法及びタイヤ故障判定装置
WO2026004386A1 (ja) 情報処理方法及び情報処理装置
WO2024142678A1 (ja) タイヤ摩耗モニタリング装置及びタイヤ摩耗モニタリング方法
JP7609176B2 (ja) 車載装置、路面画像の送信方法及びプログラム
JP7515189B2 (ja) 深層人工ニューラルネットワークを用いたタイヤトレッド面摩耗判断システム及び方法
WO2024142700A1 (ja) タイヤ外傷モニタリング装置及びタイヤ外傷モニタリング方法
CN117053749A (zh) 卡车转向角检测设备、方法和装置
WO2024247312A1 (ja) タイヤ故障判定方法及びタイヤ故障判定装置
JP2020175862A (ja) 測定方法、測定装置、及びプログラム
WO2024127852A1 (ja) タイヤ外傷モニタリング装置、タイヤ外傷モニタリング方法、及びプログラム
JP6394223B2 (ja) タイヤ状態評価システムおよびタイヤ状態評価方法
JP2025180298A (ja) タイヤ異常判定装置、プログラム及びタイヤ異常判定方法
AU2023451005A1 (en) Information processing method and information processing device
CA3268185A1 (en) Tire external-scratch monitoring device, tire external-scratch monitoring method, and program
WO2023223427A1 (ja) 道路異状推定システム、道路異状推定方法、およびプローブ車両
WO2024122190A1 (ja) タイヤ摩耗状態予測装置、タイヤ摩耗状態予測方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25825756

Country of ref document: EP

Kind code of ref document: A1