WO2023095195A1 - 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム - Google Patents

点検支援システム、携帯端末、点検支援方法、および点検支援プログラム Download PDF

Info

Publication number
WO2023095195A1
WO2023095195A1 PCT/JP2021/042952 JP2021042952W WO2023095195A1 WO 2023095195 A1 WO2023095195 A1 WO 2023095195A1 JP 2021042952 W JP2021042952 W JP 2021042952W WO 2023095195 A1 WO2023095195 A1 WO 2023095195A1
Authority
WO
WIPO (PCT)
Prior art keywords
illuminance
unit
information
reference value
determination
Prior art date
Application number
PCT/JP2021/042952
Other languages
English (en)
French (fr)
Inventor
景介 井上
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022517488A priority Critical patent/JP7098086B1/ja
Priority to PCT/JP2021/042952 priority patent/WO2023095195A1/ja
Publication of WO2023095195A1 publication Critical patent/WO2023095195A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an inspection support system, a mobile terminal, an inspection support method, and an inspection support program for detecting the state of one or more parts in equipment to be inspected.
  • a luminance threshold is set based on the illuminance detected by the illuminance sensor, and based on the result of comparison between the set luminance threshold and the luminance value of the lamp in the image of the lamp, To automatically detect whether a lamp is on or off.
  • the present disclosure has been made in view of the above, and aims to obtain an inspection support system capable of improving the efficiency of detection processing.
  • the inspection support system of the present disclosure includes a mobile terminal and a server.
  • the portable terminal comprises an imaging unit and an illuminance determination unit, and includes information on a captured image of one or more parts obtained by imaging equipment to be inspected, which has one or more physically changing parts, by the imaging unit.
  • Information on the illuminance determined by the illuminance determining unit is transmitted.
  • the server determines the state of one or more parts based on the captured image information and the illuminance information transmitted from the mobile terminal.
  • the mobile terminal includes a reference value determination section, a tolerance determination section, and a transmission processing section.
  • the reference value determination unit determines the reference value of the illuminance based on the past illuminance determination result by the illuminance determination unit.
  • the allowable determination unit determines whether or not the illuminance determined by the illuminance determination unit is within an allowable range set based on the reference value determined by the reference value determination unit.
  • the transmission processing unit transmits the information of the captured image and the information of the illuminance to the server when the allowable determination unit determines that the illuminance determined by the illuminance determination unit is within the allowable range.
  • the server includes a reception processing section and a state detection section.
  • the reception processing unit receives captured image information and illuminance information transmitted from the mobile terminal.
  • the state detection unit detects the state of one or more parts based on the captured image information and the illuminance information received by the reception processing unit.
  • FIG. 1 is a diagram showing an example configuration of an inspection support system according to a first embodiment
  • FIG. 4 is a sequence diagram showing an example of the flow of processing by the inspection support system according to the first embodiment
  • FIG. 1 is a diagram showing an example of a configuration of a mobile terminal according to a first embodiment
  • FIG. 1 is a diagram showing an example of a configuration of an illuminance determination unit of a mobile terminal according to Embodiment 1
  • FIG. FIG. 5 is a diagram showing an example of a method for determining the reference value of illuminance when the reference value determination unit of the mobile terminal according to the first embodiment is in the first determination mode
  • FIG. 1 is a diagram showing an example configuration of an inspection support system according to a first embodiment
  • FIG. 4 is a sequence diagram showing an example of the flow of processing by the inspection support system according to the first embodiment
  • FIG. 1 is a diagram showing an example of a configuration of a mobile terminal according to a first embodiment
  • FIG. 1 is a diagram showing an example
  • FIG. 10 is a diagram showing an example of a method for determining the reference value of illuminance at the time of initial inspection when the reference value determination unit of the mobile terminal according to the first embodiment is in the second determination mode
  • FIG. 11 is a diagram showing an example of a method for determining the reference value of illuminance at the time of the second inspection when the reference value determination unit of the mobile terminal according to the first embodiment is in the second determination mode
  • FIG. 5 is a diagram showing an example of a method for determining a reference value of illuminance when the reference value determination unit of the mobile terminal according to Embodiment 1 is switched from the first determination mode to the third determination mode;
  • FIG. 5 is a diagram showing an example of an inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment
  • FIG. 8 is a diagram showing another example of the inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment
  • FIG. 5 is a diagram showing an example of an inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment
  • FIG. 8 is a diagram showing another example of the inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment
  • FIG. 2 is a diagram showing an example of the configuration of a server according to the first embodiment
  • FIG. FIG. 4 is a diagram showing an example of a part information table including information of each part stored in the part information storage unit of the server according to the first embodiment
  • FIG. 4 is a diagram showing an example of a state detection result table including information of each part stored in the detection result storage unit of the server according to the first embodiment
  • FIG. FIG. 4 is a diagram showing an example of switches and levers whose states are detected by the inspection support system according to the first embodiment
  • 4 is a flowchart showing an example of processing by a processing unit of the server according to the first embodiment
  • FIG. 2 shows an example of hardware configuration of each of the mobile terminal and the server according to the first embodiment
  • Embodiment 1. 1 is a diagram illustrating an example of a configuration of an inspection support system according to a first embodiment; FIG.
  • an inspection support system 100 according to the first embodiment includes a mobile terminal 1 and a server 2, and supports an inspection operator's inspection work of the equipment 4 with the equipment 4 as the object of inspection.
  • the inspection support system 100 can make each of a plurality of facilities 4 to be inspected.
  • the mobile terminal 1 is, for example, a mobile phone, a smart phone, a tablet, a notebook PC (Personal Computer), or a dedicated terminal, which is a device that is configured and used to be portable.
  • the mobile terminal 1 includes an imaging unit and an illuminance determination unit (not shown), and information of captured images of one or more parts obtained by imaging the facility 4 having one or more physically changing parts with the imaging unit. Information on the illuminance determined by the illuminance determining unit is obtained.
  • a part to be imaged by the imaging unit is, for example, a lamp, a lever, or a switch.
  • the mobile terminal 1 transmits the captured image information and the illuminance information to the server 2 via the network 3 .
  • the network 3 is, for example, a WAN (Wide Area Network) such as the Internet, but may also be a LAN (Local Area Network).
  • the server 2 detects the states of multiple parts based on the captured image information and the illuminance information transmitted from the mobile terminal 1 via the network 3 .
  • the server 2 generates document information indicating the inspection results of the facility 4 based on the detected states of the plurality of parts.
  • FIG. 2 is a sequence diagram showing an example of the flow of processing by the inspection support system according to the first embodiment.
  • the user of the mobile terminal 1 operates the mobile terminal 1 to select the target facility, which is the facility 4 to be inspected (step S200).
  • An inspection support program for supporting inspection of the equipment 4 is installed in the mobile terminal 1, and the user of the mobile terminal 1 operates the mobile terminal 1 to display a list of the equipment 4 as candidates for inspection on the mobile terminal. 1 and select the equipment of interest from such a list.
  • the user of the mobile terminal 1 may be simply referred to as the user.
  • the mobile terminal 1 transmits target facility specification information including information for specifying the target facility selected by the user to the server 2 via the network 3 (step S201).
  • the server 2 When the server 2 receives the target facility specifying information from the mobile terminal 1, it searches for information on the target facility specified by the target facility specifying information (step S202), and acquires information on the target facility (step S203).
  • the information on the target facility includes information for supporting inspection of the target facility and information that can be used by the inspection support program of the mobile terminal 1 .
  • the server 2 transmits the acquired information on the target equipment to the mobile terminal 1 via the network 3 (step S204).
  • the mobile terminal 1 When receiving the information on the target facility from the server 2, the mobile terminal 1 displays the information on the target facility acquired from the server 2 (step S205).
  • the user operates the mobile terminal 1 based on the information of the target facility displayed on the mobile terminal 1 to cause the mobile terminal 1 to perform acquisition processing for acquiring the captured image and the illuminance of one or more parts of the target facility.
  • the captured image is an image captured by an imaging unit (not shown) in the mobile terminal 1
  • the illuminance is determined by an illuminance determination unit (not shown) in the mobile terminal 1 .
  • the mobile terminal 1 transmits the captured image acquired in step S206 and the state detection information including the illuminance information to the server 2 via the network 3 (step S207). If the illuminance acquired in step S206 is not within an allowable range, which will be described later, the mobile terminal 1 does not perform the processing in step S207, and discards the captured image and illuminance information acquired in step S206 without transmitting them to the server 2. and prompts the user to perform an operation for executing the acquisition process described above. For example, the user changes the imaging angle of the mobile terminal 1 with respect to one or more parts of the target equipment by changing the orientation of the mobile terminal 1, and causes the mobile terminal 1 to perform the process of step S206 again.
  • the mobile terminal 1 when the illuminance is not within the allowable range, the mobile terminal 1 does not transmit the captured image and the illuminance information to the server 2 . It is possible to prevent the data from being transmitted from and analyzed by the server 2.
  • the inspection support system 100 can improve the efficiency of the detection process, which is the process of detecting the state of the parts of the equipment 4 .
  • the part of the equipment 4 is a lamp
  • the captured image in which the state of the part is difficult to detect is, for example, a captured image in which the surroundings of the equipment 4 are too bright and the lamp state is difficult to detect.
  • the part of the equipment 4 is a switch or lever
  • the imaged image in which the state of the part is difficult to detect is, for example, the imaged image in which the surroundings of the equipment 4 are too dark and the state of the switch or lever is difficult to detect.
  • the mobile terminal 1 can be forced to transmit the state detection information to the server 2 .
  • the server 2 When the server 2 acquires the captured image and the illuminance information from the mobile terminal 1, it detects the state of one or more parts whose images are included in the captured image based on the captured image and the illuminance information (step S208). For example, if the part of the equipment 4 is a lamp, the server 2 detects whether the lamp is on or off. Moreover, when the part of the equipment 4 is a switch or lever, the server 2 detects the position or angle of the switch and the position or angle of the lever.
  • the server 2 transmits to the portable terminal 1 via the network 3 a part state detection result indicating the result of detecting the state of one or more parts whose images are included in the captured image (step S209).
  • the server 2 cannot detect the state of even one of the states of one or more parts whose images are included in the captured image, the part including undetectable information indicating that the state of the one or more parts cannot be detected.
  • a state detection result is transmitted to the mobile terminal 1 .
  • the mobile terminal 1 When the mobile terminal 1 receives the part state detection result transmitted from the server 2, it displays the received part state detection result (step S210). When the detected load information is included in the received part state detection result, the portable terminal 1 prompts the user to perform an operation for re-imaging one or more parts whose state has not been detected, and performs the processes of steps S206 and S207. repeat.
  • steps S206 to S209 For the inspection of the facility 4, the processing of steps S206 to S209 is repeated until the portable terminal 1 acquires the site state detection results for all the sites to be inspected in the facility 4.
  • the mobile terminal 1 transmits inspection end information indicating the end of the inspection to the server 2 via the network 3 (step S211).
  • the server 2 When the server 2 receives the inspection end information from the mobile terminal 1, it creates information on a form including the state detection results for all parts of the facility 4 to be inspected (step S212), and performs the process shown in FIG. exit.
  • the configuration and processing of each of the mobile terminal 1 and the server 2 will be described in more detail below. First, the configuration and processing of the mobile terminal 1 will be described. In the following description, the equipment 4 to be inspected may be simply referred to as an inspection target or target equipment.
  • FIG. 3 is a diagram showing an example of the configuration of the mobile terminal according to the first embodiment.
  • the mobile terminal 1 includes a communication section 10 , a display section 11 , an input section 12 , an imaging section 13 , an illuminance determination section 14 , a storage section 15 and a processing section 16 .
  • the inspection support program described above is installed in the mobile terminal 1 .
  • the communication unit 10 is communicably connected to the server 2 via the network 3, and transmits and receives information to and from the server 2 via the network 3.
  • the input unit 12 includes, for example, a keyboard, mouse, keypad, or touch panel, and is operated by the user.
  • the display unit 11 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the imaging unit 13 includes, for example, an imaging element such as a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor and a lens. Based on the imaging request from the processing unit 16 , the imaging unit 13 captures an image in front of the mobile terminal 1 and outputs information of the captured image, which is the captured image, to the processing unit 16 .
  • the captured image information output from the imaging unit 13 is still image information, but may be moving image information.
  • the illuminance determination unit 14 determines the illuminance around the mobile terminal 1 when the imaging unit 13 captures one or more parts of the facility 4 .
  • the illuminance determination unit 14 has, for example, an illuminance sensor, and determines the illuminance output from the illuminance sensor at the time of imaging by the imaging unit 13 as the illuminance around the mobile terminal 1 .
  • FIG. 4 is a diagram illustrating an example of the configuration of the illuminance determination unit of the mobile terminal according to the first embodiment;
  • the illuminance determination unit 14 shown in FIG. 4 includes an illuminance sensor 25 and a determination processing unit 26 .
  • the illuminance determination unit 14 determines the illuminance around the mobile terminal 1 in a mode selected by the user or set by the server 2 from among the first determination mode, the second determination mode, and the third determination mode. Note that the illuminance determination unit 14 selects one of the first determination mode, the second determination mode, and the third determination mode based on environmental information, which will be described later, or the detection result of the state of the part in the server 2. You can also choose to work.
  • the illuminance sensor 25 detects illuminance when the imaging unit 13 takes an image
  • the determination processing unit 26 detects the illuminance output from the illuminance sensor 25 to the mobile terminal 1. is determined as the ambient illuminance.
  • the determination processing unit 26 determines the environment at the time of imaging by the imaging unit 13, the installation location of the inspection target, the orientation of the inspection target, the orientation of the mobile terminal 1, and the captured image.
  • the illuminance around the mobile terminal 1 is determined based on at least one of a plurality of factors such as the brightness of a region other than one or more parts of the .
  • the environment at the time of imaging by the imaging unit 13 is, for example, the date and time, the weather, and the like.
  • the amount of light irradiated to the facility 4 varies depending on the environment such as the date and weather and the direction of the inspection target. different.
  • the amount of sunlight incident on the imaging unit 13 changes depending on the orientation of the mobile terminal 1
  • the brightness of regions other than one or more parts in the captured image changes depending on the amount of light irradiated to the facility 4 .
  • the determination processing unit 26 performs the determination processing described above when the determination mode is the second determination mode, so that the illuminance of the light irradiated from the outside to one or more regions imaged by the imaging unit 13 is can be estimated as the illuminance around the mobile terminal 1 .
  • the determination processing unit 26 determines the illuminance around the mobile terminal 1 by using different factors depending on whether the equipment 4 is installed outdoors or when the equipment 4 is installed indoors and sunlight hits the equipment 4. can judge.
  • the determination processing unit 26 determines the illuminance detected by the illuminance sensor 25 during imaging by the imaging unit 13, the environment during imaging by the imaging unit 13, The illuminance around the mobile terminal 1 based on at least one of the installation location to be inspected, the orientation of one or more parts, the orientation of the mobile terminal 1, and the brightness of the area other than the one or more parts in the captured image judge.
  • the environment at the time of imaging by the imaging unit 13 is, for example, the date and time, the weather, and the like.
  • the determination process in the third determination mode further uses the illuminance detected by the illuminance sensor 25 .
  • the illuminance of the emitted light can be accurately estimated as the illuminance around the mobile terminal 1 .
  • the processing unit 16 acquires information such as the environment at the time of imaging by the imaging unit 13, the installation location of the inspection target, and the orientation of the inspection target from, for example, an external device or the server 2, and determines the illuminance of the acquired information. Output to the unit 14 .
  • the illuminance determination unit 14 can perform the above-described estimation processing based on the information acquired from the processing unit 16 and the like.
  • the determination processing unit 26 determines whether the equipment 4 to be inspected is installed indoors and is not exposed to sunlight.
  • the illuminance around 1 is determined as the preset illuminance.
  • the determination processing unit 26 may be configured to perform only the first determination mode without performing the above-described estimation processing, or may be configured to perform only the second determination mode without having the illuminance sensor 25. There may be. Further, the mobile terminal 1 may have a configuration in which the processing section 16 is provided with functions other than the illuminance sensor 25 among the functions of the determination processing section 26 .
  • the orientation of the mobile terminal 1 is determined, for example, based on a signal output from an inertial sensor built into the mobile terminal 1, but is not limited to this example.
  • the orientation of the mobile terminal 1 at the time of imaging by the imaging unit 13 differs depending on attributes such as height, age, and sex of the user. Therefore, the determination processing unit 26 can determine the illuminance around the mobile terminal 1 based on attributes such as height, age, and sex of the user, instead of the signal output from the inertial sensor.
  • the storage unit 15 stores, for example, the information of the target equipment transmitted from the server 2 and received by the processing unit 16 via the communication unit 10, the information of the captured image output from the imaging unit 13, and the information output from the illuminance determination unit 14. It stores information such as the illuminance that is displayed.
  • the storage unit 15 also stores, for example, the part state detection result transmitted from the server 2 and received by the processing unit 16 via the communication unit 10 .
  • the processing unit 16 includes a reception processing unit 20, a reference value determination unit 21, a tolerance determination unit 22, a transmission processing unit 23, and a display processing unit 24.
  • the reception processing unit 20 receives the information on the target equipment transmitted from the server 2 via the communication unit 10 and stores the received information on the target equipment in the storage unit 15 . Further, the reception processing unit 20 receives the part state detection result transmitted from the server 2 via the communication unit 10 and causes the storage unit 15 to store the received part state detection result.
  • the reference value determination unit 21 determines the reference value of illuminance based on the past illuminance determination result by the illuminance determination unit 14 .
  • the reference value of illuminance is used to determine whether or not to transmit the information of the image captured by the imaging unit 13 from the mobile terminal 1 to the server 2 .
  • the reference value determining unit 21 determines the reference value of illuminance in the mode selected by the user or the mode set by the server 2 among the first determination mode, second determination mode, and third determination mode.
  • the reference value determination unit 21 determines the reference value of illuminance based on the past illuminance information stored in the storage unit 15 .
  • the past illuminance information used to determine the illuminance reference value is determined by the illuminance determination unit 14 when the imaging unit 13 captures an image in which the server 2 can detect the states of all the included parts. This is illuminance information.
  • the past illuminance information stored in the storage unit 15 is information for each facility 4 , and for example, each facility 4 is associated with unique identification information.
  • the reference value determination unit 21 determines the reference value of illuminance based on past illuminance information stored in the storage unit 15 in association with the facility 4 for which the reference value of illuminance is to be set.
  • the reference value determination unit 21 determines the illuminance based on the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image before the previous time in the current inspection work on the inspection target. Determine the reference value.
  • the reference value determination unit 21 determines the average illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image before the previous inspection in the current inspection work for the inspection target as the reference value of the illuminance. .
  • FIG. 5 is a diagram showing an example of a method for determining the reference value of illuminance when the reference value determination unit of the mobile terminal according to Embodiment 1 is in the first determination mode.
  • FIG. 5 shows a method of determining the reference value of illuminance when the front panel of the equipment 4 shown in FIG. 1 is divided into four areas and the images are taken four times.
  • the reference value of the illuminance when the first area is imaged by the imaging unit 13 is described as the reference value for the first sheet, and the second area is imaged by the imaging unit 13.
  • the reference value of the illuminance at that time is described as the reference value for the second sheet.
  • Each of the first and second regions includes six physically changing parts, specifically two round lamps and four square lamps.
  • the reference value of the illuminance at the time of imaging is described as the reference value for the fourth image.
  • the third area contains 6 parts, specifically 6 round lamps.
  • each of the fourth regions includes ten physically changing parts, specifically two round lamps and eight square lamps.
  • the equipment 4 is imaged by the imaging unit 13 in the order of the first area, the second area, the third area, and the fourth area.
  • the illuminance determination unit 14 determines Since there is no determined illuminance, the illuminance reference value has not been determined, and there is no reference value for the first sheet.
  • the illuminance determination unit 14 determines the illuminance when the imaging unit 13 captures the first region.
  • the server 2 can detect the states of the six parts from the image of the first region captured by the image capturing unit 13, the reference value determination unit 21 determines the illuminance determination unit 14 when the image capturing unit 13 captures the first region. determines the illuminance as a reference value for the first sheet.
  • “illuminance of the first sheet” is the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captures the first area.
  • the illuminance determination unit 14 determines the illuminance when the imaging unit 13 captures the image of the second region.
  • the server 2 is able to detect the states of the six regions from the image captured by the imaging unit 13 in the second area
  • the reference value determination unit 21 determines the first area and the second area by the imaging unit 13
  • the average value of the illuminance is determined as the reference value for the third image by the illuminance determination unit 14 at the time of imaging.
  • “average illuminance of the first and second images” is the illuminance determined by the illuminance determining unit 14 when the imaging unit 13 captures the first area and the second area.
  • the illuminance determination unit 14 determines the illuminance when the imaging unit 13 captures the third region.
  • the server 2 can detect the states of the six parts from the image of the third region captured by the imaging unit 13, the reference value determination unit 21 determines the first to third regions captured by the imaging unit 13. At times, the illuminance determination unit 14 determines the average value of illuminance as the reference value for the fourth sheet.
  • the “average illuminance of the first to third images” is the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captures the first to third areas.
  • the reference value determination unit 21 determines the value in the current inspection work based on the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image of the inspection target in the previous inspection work. Determine the illuminance reference value to be used.
  • the reference value determination unit 21 determines the average value of the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image during the previous inspection work on the inspection target as the illuminance reference value.
  • FIG. 6 is a diagram showing an example of a method for determining the reference value of illuminance at the time of initial inspection when the reference value determination unit of the mobile terminal according to the first embodiment is in the second determination mode
  • FIG. FIG. 10 is a diagram showing an example of a method of determining the reference value of illuminance at the time of the second inspection when the reference value determination unit of the portable terminal according to the first embodiment is in the second determination mode
  • FIGS. 6 and 7 show a method of determining the reference value of illuminance when the image of the equipment 4 is imaged by the imaging unit 13 in the same manner as in FIG.
  • the reference value determination unit 21 determines the reference value by the same determination method as in the first determination mode when the equipment 4 is first inspected. Further, as shown in FIG. 7 , in the second determination mode, the reference value determination unit 21 determines that the illuminance determination unit 14 determines the Based on the determined illuminance, the illuminance reference value used in the second operation is determined.
  • the illuminance at the time of the first inspection shown in FIG. 6 is, for example, the average value of the illuminance determined by the illuminance determining unit 14 when the image capturing unit 13 captures images in the previous inspection work.
  • the reference value determination unit 21 determines that the illumination determined by the illumination determination unit 14 at the time of imaging by the imaging unit 13 in the current inspection work for the inspection object is The illuminance determined by the illuminance determining unit 14 when the image capturing unit 13 captures images in the work can also be added to the calculation of the average value of the illuminance.
  • the reference value determination unit 21 discards the determined reference value of illuminance when there is a determined reference value of illuminance. That is, the reference value determination unit 21 determines that there is no reference value for illuminance when the determination mode is the third determination mode.
  • FIG. 8 is a diagram showing an example of a method for determining the reference value of illuminance when the reference value determination unit of the mobile terminal according to Embodiment 1 is switched from the first determination mode to the third determination mode.
  • FIG. 8 shows a method of determining the illuminance reference value when the equipment 4 is imaged in the same manner as in FIG.
  • the first decision mode is switched to the third decision mode before the imaging unit 13 captures an image of the fourth area. Therefore, the reference value determination unit 21 discards the illuminance reference value determined in the first determination mode before the fourth region is captured by the imaging unit 13, and the fourth region is captured by the imaging unit 13. , there is no reference value for the fourth image.
  • the imaging angle of the mobile terminal 1 is, for example, the angle between the vertical direction and the imaging direction of the imaging unit 13 .
  • the illuminance used for determining the illuminance reference value among the illuminances determined by the illuminance determination unit 14 is 2 is the illuminance determined by the illuminance determining unit 14 when the captured image detected in 2 is captured by the imaging unit 13 .
  • the allowable determination unit 22 sets the allowable range based on the illuminance reference value determined by the reference value determination unit 21 .
  • the allowable determination unit 22 sets, for example, a preset range around the reference value of the illuminance as the allowable range.
  • the allowable range is a range in which an illuminance higher by a first value than a reference value of illuminance is an upper limit value and an illuminance lower by a second value than the reference value of illuminance is a lower limit value.
  • the first value and the second value are the same value, but may be different values. Also, the first value and the second value may be fixed values or variable values according to the reference value of illuminance.
  • the reference value determination unit 21 determines the minimum and maximum illuminance values determined by the illuminance determination unit 14 when the imaging unit 13 captures an image in which the state of one or more parts is detected by the server 2.
  • the above-mentioned first and second values can be determined based on the average value. For example, a value obtained by multiplying the difference between the maximum value and the average value of illuminance by a coefficient may be set as the first value, and a value obtained by multiplying the difference between the minimum value and the average value of illuminance by a coefficient may be set as the second value. can.
  • the allowable determination unit 22 determines whether the illuminance determined by the illuminance determination unit 14 is within the allowable range described above. If the allowable determination unit 22 determines that the illuminance determined by the illuminance determination unit 14 is within the allowable range, or if there is no reference value for illuminance, the transmission processing unit 23 includes the captured image information and the illuminance information. The information for state detection is transmitted to the server 2 via the communication unit 10 and the network 3 .
  • the transmission processing unit 23 transmits target equipment identification information including information for identifying the target equipment selected by the user to the server 2 via the network 3 .
  • the display processing unit 24 causes the display unit 11 to display inspection work support information for assisting the user's inspection work based on the information of the target equipment and the detection result of the part state transmitted from the server 2 .
  • the display processing unit 24 displays, for example, information for assisting the user in specifying a part to be inspected in the equipment 4, the state of the part to be inspected determined by the server 2, etc. as inspection work support information on the display unit 11. display.
  • the display processing unit 24 determines that the illuminance is not within the allowable range. Then, the user deletes from the storage unit 15 the captured image obtained by the imaging unit 13 and the information on the illuminance determined to be outside the allowable range by the allowable determination unit 22, and performs an operation for imaging one or more parts. display on the display unit 11 a message prompting to
  • the display processing unit 24 displays the captured image and the illuminance information corresponding to the undetectable information. is deleted from the storage unit 15, and the display unit 11 displays a message prompting the user to perform an operation for imaging one or more regions.
  • FIG. 9 is a diagram illustrating an example of an inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment; FIG. The inspection support screen 60 shown in FIG. 9 is displayed on the display unit 11 in step S6 in FIG. 2, for example.
  • an inspection support screen 60 displayed on the display unit 11 by the display processing unit 24 includes an inspection target information display area 61, an area selection button group 62, an imaged image display area 63, an imaging button 64, and a cancel button. 65, a registration button 66, an inspection result display area 67, and the like.
  • the inspection target information display area 61 information indicating the facility and location to be inspected is displayed.
  • the name of the facility 4 to be inspected is facility 001, and the facility 4 to be inspected is installed in the A building 1F.
  • the area selection button group 62 is a button for selecting an imaging target area in the equipment 4 to be inspected.
  • a button is included to select the eye region.
  • the captured image display area 63 is an area where the captured image of the imaging unit 13 is displayed.
  • a diagram of an area corresponding to a button selected by the user among the plurality of buttons included in the area selection button group 62 is displayed on the captured image of the imaging unit 13.
  • a past captured image of the area corresponding to the selected button may be displayed on the captured image of the imaging unit 13 with transparency.
  • a button selected by the user from among the plurality of buttons included in the area selection button group 62 may be referred to as a selected button.
  • the imaging button 64 is a button for provisionally registering an image captured by the imaging unit 13 .
  • the display processing unit 24 displays the information of the captured image, which is the image captured by the imaging unit 13 at the time the imaging button 64 is selected, corresponding to the selected button.
  • the information of the captured image is stored in the storage unit 15 as the information of the captured image, and the information of the captured image is provisionally registered. Temporary registration is performed, for example, by attaching a temporary registration flag to the information of the captured image in the storage unit 15 .
  • the information of a captured image to be temporarily registered is information of one captured image, but may be information of a plurality of captured images obtained by continuously capturing images.
  • the cancel button 65 is a button for deleting from the storage unit 15 the information of the captured image temporarily registered in the storage unit 15 .
  • the display processing unit 24 displays the captured image temporarily registered in the storage unit 15 . is deleted from the storage unit 15.
  • the registration button 66 officially registers the information of the captured image temporarily registered in the storage unit 15 .
  • the display processing unit 24 displays the captured image temporarily registered in the storage unit 15 .
  • register the information of The main registration is performed, for example, by adding a main registration flag to the captured image information in the storage unit 15 .
  • the information of the officially registered captured image is transmitted to the server 2 as state detection information together with the information of the illuminance determined by the illuminance determination unit 14 when the officially registered captured image was captured by the transmission processing unit 23. .
  • the inspection result display area 67 displays the inspection results of multiple parts included in areas corresponding to the buttons selected from among the multiple buttons included in the area selection button group 62 .
  • a lamp that lights up when the pump is operating a lamp that lights up when there is an abnormality in the pump, and a lamp that lights up when the pressure gauges 1 to 4 are normal.
  • a frame is shown in which the inspection results of the four pumps that are lit are displayed.
  • the display processing unit 24 displays information on the officially registered captured image to the server 2, and based on the part state detection result transmitted from the server 2, displays the selected button in the inspection result display area 67. Display the inspection results of multiple parts included in the area to be displayed.
  • 10 is a diagram illustrating another example of the inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment; FIG.
  • the inspection support screen 60 shown in FIG. 9 Compared to the inspection support screen 60 shown in FIG. 9, the inspection support screen 60 shown in FIG. The user can easily grasp the inspection result from the inspection result display area 67 of the inspection support screen 60 .
  • the display processing unit 24 deletes the captured image and the illuminance information corresponding to the undetectable information from the storage unit 15. Then, the display unit 11 displays a message prompting the user to perform an operation for imaging one or more regions corresponding to the undetectable information.
  • FIG. 11 is a diagram showing still another example of the inspection support screen displayed on the display unit by the display processing unit of the mobile terminal according to the first embodiment.
  • the inspection support screen 60 shown in FIG. 11 includes a message 68 prompting the user to perform an operation for imaging the part corresponding to the undetectable information.
  • a message 68 is a character string "Please reshoot in a bright environment.”, but is not limited to this example.
  • the inspection support screen 60 includes one determination mode out of the above-described first determination mode, second determination mode, and third determination mode.
  • a decision mode selection area may be provided for selecting the .
  • the determination mode selection area for example, a pull-down menu or radio button that allows the user to select one determination mode from the first determination mode, the second determination mode, and the third determination mode is arranged. Thereby, the user can select an appropriate decision mode according to the imaging environment, for example.
  • the display processing unit 24 provides the above-described decision mode selection area on the inspection support screen 60, or sets the decision mode to the third mode.
  • a button or the like for setting the decision mode may be provided.
  • the display processing unit 24 causes the display unit 11 to display the inspection support screen 60 including information indicating the information on the illuminance at the time of imaging and the information on the allowable range when the illuminance at the time of imaging is not within the allowable range. can also Thereby, the user can easily grasp how much the illuminance at the time of imaging is insufficient.
  • the display processing unit 24 displays the inspection support screen 60 including information indicating illuminance information repeatedly determined by the illuminance determination unit 14 and information indicating the allowable range. It can also be displayed on the unit 11 . Thereby, the user can easily move the orientation of the mobile terminal 1 while viewing the inspection support screen 60 so that the illuminance determined by the illuminance determination unit 14 is within the allowable range.
  • the display processing unit 24 A message such as “Press the image capture button” may be displayed on the display unit 11 .
  • the display processing unit 24 determines that " Please change the imaging direction.” can also be displayed on the display unit 11 .
  • FIG. 12 is a flowchart illustrating an example of processing by the mobile terminal according to the first embodiment
  • the processing unit 16 of the mobile terminal 1 determines whether or not the user has selected target equipment (step S10).
  • the processing unit 16 determines that the target facility is selected (step S10: Yes)
  • the processing unit 16 transmits the target facility specifying information including information for specifying the target facility selected by the user to the server 2 via the network 3.
  • Send (step S11).
  • the processing unit 16 receives information on the target equipment from the server 2 (step S12). Then, the processing unit 16 causes the display unit 11 to display the inspection support screen 60 based on the information of the target equipment acquired in step S12 (step S13).
  • step S13 When the processing of step S13 is completed, or when it is determined that there is no selection of target equipment (step S10: No), the processing unit 16 determines whether or not the reference value has been determined (step S14). When determining that the reference value has been determined (step S14: Yes), the processing unit 16 executes reference value determination processing (step S15).
  • the process of step S15 is the process of steps S30 to S34 shown in FIG. 13, and will be described in detail later.
  • step S15 determines whether or not the target equipment has been imaged (step S16).
  • step S16 the processing unit 16 determines that the target facility has been imaged, for example, when the registration button 66 is selected after the imaging button 64 shown in FIG. 9 is selected.
  • step S17 executes state detection information transmission processing.
  • the process of step S17 is the process of steps S60 to S66 shown in FIG. 16, and will be described in detail later.
  • step S17 determines whether or not the part state detection result has been acquired from the server 2 (step S18).
  • step S18 determines whether or not the part state detection result has been acquired from the server 2 (step S18).
  • step S18 determines whether or not the part state detection result has been acquired from the server 2 (step S18).
  • step S19 adds the part state detection result to the inspection support screen 60 (step S19).
  • step S20 determines whether or not it is time to end the operation. For example, when the processing unit 16 determines that the power supply (not shown) of the mobile terminal 1 is turned off or determines that an operation end operation has been performed on the input unit 12, it determines that the operation end timing has come. .
  • step S20 If the processing unit 16 determines that it is not time to end the operation (step S20: No), the process proceeds to step S10. 12 ends.
  • step S30 determines whether or not the first determination mode is set.
  • step S31 executes a first reference value determination process.
  • the process of step S31 is the process of steps S40 to S42 shown in FIG. 14, and will be described in detail later.
  • step S30 determines whether the second determination mode is set (step S32).
  • step S32 determines whether the second determination mode is set (step S32).
  • step S33 executes a second reference value determination process (step S33).
  • the process of step S33 is the process of steps S50 to S54 shown in FIG. 15, and will be described in detail later.
  • step S34 the processing unit 16 discards the determined reference value of illuminance, for example, if there is a reference value of illuminance determined last time.
  • the processing unit 16 ends the process shown in FIG. 13 when the process of step S31 ends, when the process of step S33 ends, or when the process of step S34 ends.
  • FIG. 14 is a flowchart illustrating an example of first reference value determination processing by the processing unit of the mobile terminal according to the first embodiment; FIG. As shown in FIG. 14, the processing unit 16 determines whether or not the target equipment has been imaged in the current inspection work (step S40).
  • step S40 If the processing unit 16 determines that the target equipment has been imaged in the current inspection work (step S40: Yes), the processing unit 16 determines the illuminance is determined (step S41).
  • step S40 determines that the target equipment has not been imaged in the current inspection work (step S40: No)
  • the processing unit 16 ends the process shown in FIG. 14 when the process of step S41 ends or when the process of step S42 ends.
  • FIG. 15 is a flowchart illustrating an example of second reference value determination processing by the processing unit of the mobile terminal according to the first embodiment; FIG. Note that the processing of steps S52 to S54 in FIG. 15 is the same as the processing of steps S40 to S42 shown in FIG.
  • the processing unit 16 determines whether or not there was previous inspection work for the target equipment (step S50). When the processing unit 16 determines that there is previous inspection work for the target equipment (step S50: Yes), the processing unit 16 sets the reference value for the previous inspection work for the target equipment as the reference value for illuminance (step S51). If the processing unit 16 determines that there is no previous inspection work (step S50: No), the process proceeds to step S52. When the processes of steps S51, S53, and S54 are finished, the processing unit 16 finishes the process shown in FIG.
  • FIG. 16 is a flowchart illustrating an example of state detection information transmission processing by the processing unit of the mobile terminal according to the first embodiment; FIG. As shown in FIG. 16, the processing unit 16 acquires information on the captured image from the imaging unit 13 (step S60).
  • step S61 the processing unit 16 causes the illuminance determination unit 14 to execute illuminance determination processing.
  • step S61 is the process of steps S70 to S74 shown in FIG. 17, and will be described in detail later.
  • the processing unit 16 determines whether or not there is a reference value for illuminance (step S62). If the processing unit 16 determines that there is a reference value for illuminance (step S62: Yes), it determines whether the illuminance at the time of imaging is within the allowable range (step S63).
  • the illuminance at the time of imaging is the illuminance determined by the illuminance determination unit 14 when the image of the target equipment is captured by the imaging unit 13, and the allowable range is a range set based on the reference value of illuminance as described above. be.
  • step S63 When the processing unit 16 determines that the illuminance at the time of imaging is not within the allowable range (step S63: No), it causes the display unit 11 to display a message prompting re-imaging (step S64). In the processing of step S64, the processing unit 16 causes the display unit 11 to display, for example, a message 68 shown in FIG. Then, the processing unit 16 deletes the information of the captured image of the imaging unit 13 (step S65), and shifts the processing to step S60.
  • step S62 determines that there is no illuminance reference value (step S62: No), or if it determines that the illuminance at the time of imaging is within the allowable range (step S63: Yes), the captured image information and the captured image The state detection information including information on the illuminance at that time is transmitted to the server 2 (step S66), and the processing shown in FIG. 16 is terminated.
  • the process of step S66 is executed, for example, when the registration button 66 shown in FIG. 9 is selected, but may be executed without selecting the registration button 66.
  • FIG. 17 is a flowchart illustrating an example of illuminance determination processing by the illuminance determination unit of the mobile terminal according to Embodiment 1.
  • FIG. 17 the illuminance determination unit 14 determines whether or not the first determination mode is set (step S70).
  • the illuminance determination unit 14 determines that the first determination mode is set (step S70: Yes)
  • the illuminance determination unit 14 performs a first illuminance determination process for determining the illuminance detected by the illuminance sensor 25 as the illuminance at the time of imaging (step S71).
  • step S70 determines whether or not the second determination mode is set (step S72). If the illuminance determination unit 14 determines that the second determination mode is set (step S72: Yes), it performs a second illuminance determination process (step S73).
  • the process of step S73 is the process of steps S80 to S86 shown in FIG. 18, and will be described in detail later.
  • step S74 When the illuminance determination unit 14 determines that the second determination mode is not set (step S72: No), it performs a third illuminance determination process (step S74).
  • the process of step S74 is the process of steps S90 to S97 shown in FIG. 19, and will be described in detail later.
  • the illuminance determination unit 14 ends the process shown in FIG. 17 when the process of step S71 ends, when the process of step S73 ends, or when the process of step S74 ends.
  • FIG. 18 is a flowchart illustrating an example of second illuminance determination processing by the illuminance determination unit of the mobile terminal according to Embodiment 1.
  • the illuminance determination unit 14 acquires environment information, which is environment information such as date and time and weather (step S80).
  • the illuminance determination unit 14 acquires the brightness of the non-target region, which is the region other than the target site, from the processing unit 16 (step S81). For example, when the part to be inspected included in the captured image is a lamp, the illuminance determination unit 14 acquires the brightness of the area other than the lamp in the captured image.
  • the illuminance determination unit 14 determines whether or not the object to be inspected is installed outdoors (step S82). When the illuminance determination unit 14 determines that the inspection target is installed outdoors (step S82: Yes), the environment information, the orientation of the facility 4 to be inspected, the orientation of the mobile terminal 1, and the brightness of the non-target area Based on this, the illuminance around the mobile terminal 1 is estimated (step S83).
  • step S84 determines whether the inspection target is installed indoors and there is sunlight.
  • step S ⁇ b>84 for example, when the equipment 4 to be inspected is installed indoors and sunlight hits the equipment 4 , the illuminance determination unit 14 determines that the inspection object is installed indoors and has sunlight.
  • the illuminance determination unit 14 determines that the inspection target is installed indoors and there is sunlight (step S84: Yes).
  • the illuminance determination unit 14 determines the illuminance based on the environmental information, the orientation of the equipment 4 to be inspected, and the brightness of the non-target area. Estimate (step S85).
  • the illuminance determination unit 14 determines that the inspection target is installed indoors and there is no sunlight (step S84: No).
  • the illuminance determination unit 14 determines that the illuminance around the mobile terminal 1 is the preset illuminance (step S86).
  • the illuminance determination unit 14 ends the process shown in FIG. 18 when the process of step S83 ends, when the process of step S85 ends, or when the process of step S86 ends. Note that the processing unit 16 may not perform the processing of step S81. In this case, the illuminance determination unit 14 does not use the brightness of the non-target area for illuminance estimation in steps S83 and S85.
  • FIG. 19 is a flowchart illustrating an example of third illuminance determination processing by the illuminance determination unit of the mobile terminal according to Embodiment 1.
  • FIG. 19 The processes of steps S90, S92, S93, S95, and S97 shown in FIG. 19 are the same as the processes of steps S80 to S82, S84, and S86 shown in FIG. 18, so description thereof will be omitted.
  • the illuminance determination unit 14 acquires the illuminance detected by the illuminance sensor 25 (step S91).
  • the illuminance determination unit 14 determines that the inspection target is installed outdoors (step S93: Yes)
  • the illuminance detected by the illuminance sensor 25 the environmental information, the orientation of the facility 4 to be inspected, and the orientation of the mobile terminal 1 , and the brightness of the non-target area
  • the illuminance around the mobile terminal 1 is estimated (step S94).
  • the illuminance determination unit 14 determines that the inspection target is installed indoors and there is sunlight (step S95: Yes)
  • the illuminance detected by the illuminance sensor 25 the environmental information, the orientation of the facility 4 to be inspected, and the target Illuminance is estimated based on the brightness of the outer region (step S96).
  • the illuminance determination unit 14 ends the process shown in FIG.
  • FIG. 20 is a diagram illustrating an example of a configuration of a server according to Embodiment 1; FIG.
  • the server 2 includes a communication section 30 , a storage section 31 and a processing section 32 .
  • the communication unit 30 is communicably connected to the mobile terminal 1 via the network 3 and transmits and receives information to and from the mobile terminal 1 via the network 3 .
  • the storage unit 31 includes a facility information storage unit 40, a part information storage unit 41, a detection result storage unit 42, and a form information storage unit 43.
  • the equipment information storage unit 40 stores information about the equipment 4 to be inspected.
  • the information of the equipment 4 stored in the equipment information storage unit 40 includes, for example, the installation location of the equipment 4, the orientation of the equipment 4, information displayed on the mobile terminal 1 during inspection work, and the like.
  • the part information storage unit 41 stores information on the part of the equipment 4 that is subject to state detection and that is subject to state detection.
  • 21 is a diagram showing an example of a part information table including information of each part stored in a part information storage unit of the server according to Embodiment 1.
  • FIG. 21 is a diagram showing an example of a part information table including information of each part stored in a part information storage unit of the server according to Embodiment 1.
  • the site information table shown in FIG. 21 includes "equipment ID (IDentifier)", “site ID”, “site name”, “coordinates", "width”, and “height” for each state detection target site.
  • Equipment ID is identification information unique to each facility 4 that includes a state detection target portion.
  • site ID is identification information specific to each state detection target site.
  • Part name is the name of the state detection target part.
  • Coordinates is information indicating the coordinates of the state detection target part in the equipment 4, and the coordinates of this part are, for example, the upper right coordinates of the state detection target part or the center coordinates of the state detection target part.
  • Width is information indicating the width of the state detection target part.
  • Height is information indicating the height of the state detection target portion.
  • the state detection target part with the part ID "LA001” has a name of "pump operation”, coordinates of "150, 50", a width of "80", and a height of "80".
  • the state detection target part with the part ID "LA002” has a name of "pump abnormality", coordinates of "250, 50", a width of "80", and a height of "80".
  • the state detection target portion with the portion ID “LA003” has the name “pressure gauge 1 normal”, the coordinates “125, 160”, the width “85”, and the height “100”. be.
  • the state detection target portion with the portion ID “LA004” has the name “pressure gauge 2 normal”, the coordinates “210, 160”, the width “85”, and the height “100”.
  • the detection result storage unit 42 stores a state detection result table containing the state detection results of the state detection target parts detected by the processing unit 32 .
  • 22 is a diagram of an example of a state detection result table including information of each part stored in a detection result storage unit of the server according to Embodiment 1; FIG.
  • the state detection result table shown in FIG. 21 includes "site ID”, “average brightness”, “illuminance”, and “state” for each state detection target site.
  • Part ID is the same as the part ID shown in FIG.
  • Average luminance is information indicating the average luminance value in the captured image of the imaging unit 13 for the state detection target part. contains the average luminance of
  • Illuminance is information indicating the illuminance determined by the illuminance determination unit 14 when the image capturing unit 13 captures an image of the state detection target part.
  • State is information indicating the state of the state detection target portion, “0” indicates that the state detection target portion is the lamp in the off state, and “1” indicates that the state detection target portion is in the on state. Indicates a lamp.
  • the "state” includes, for example, information indicating the position or angle of the lever, and if the state detection target part is a switch, the "state" contains, for example, information indicating the position or angle of the switch.
  • the processing unit 32 shown in FIG. 20 includes a reception processing unit 50, an image extraction unit 51, a state detection unit 52, a form creation unit 53, and a transmission processing unit .
  • the reception processing unit 50 receives information such as the target facility identification information or the information for state detection from the mobile terminal 1 via the network 3 and the communication unit 30 .
  • the reception processing unit 50 also receives inspection end information indicating that the inspection work has ended from the portable terminal 1 via the network 3 and the communication unit 30 .
  • the image extraction unit 51 extracts the captured image included in the state detection information based on the information on the state detection target region stored in the region information storage unit 41. information is analyzed, and the image of the target site for state detection is extracted.
  • the state detection unit 52 compares the image of the state detection target site extracted by the image extraction unit 51 with the illuminance indicated by the state detection information received by the reception processing unit 50. Based on this, it is detected whether the lamp, which is the state detection target portion, is in the off state or the on state.
  • the state detection unit 52 detects the average brightness of the image of the state detection target site extracted by the image extraction unit 51, and turns on based on the illuminance indicated by the state detection information received by the reception processing unit 50. determine the brightness threshold used to detect whether or not
  • the state detection unit 52 compares the average brightness of the image of the state detection target portion with the brightness threshold value to detect whether the lamp, which is the state detection target portion, is in the off state or the on state. For example, if the average brightness of the image of the state detection target site is equal to or greater than the brightness threshold, the state detection unit 52 detects that the lamp, which is the state detection target site, is in a lighting state. It detects that the lamp, which is the target part, is in the off state.
  • the state detection unit 52 detects the position or angle of the switch as the switch state when the state detection target portion is a switch, and detects the lever position or angle as the lever state when the state detection target portion is the lever. Detect as The state detection unit 52 detects the position or angle of the switch, the position or angle of the lever, or the like by pattern matching technology, for example.
  • FIG. 23 is a diagram showing an example of switches and levers whose states are detected by the inspection support system according to the first embodiment.
  • the switches and levers whose states are detected by the inspection support system 100 include slide switches, knob switches, linear levers, rotary levers, and the like.
  • the state detection unit 52 can also detect the state of the state detection target part using a learning model generated by machine learning.
  • the state detection unit 52 is a learning model that inputs the captured image and the illuminance and outputs information indicating the state of the state detection target part.
  • a learning model is a neural network such as a convolutional neural network or a recurrent neural network, and is generated by deep learning.
  • the learning model may be a network model other than a neural network, or a computational model generated by machine learning other than deep learning, such as linear regression or logistic regression.
  • the form creation unit 53 shown in FIG. 20 creates information on a form including information indicating the state of the state detection target site detected by the state detection unit 52 .
  • the form information is information indicating the inspection results of the facility 4 to be inspected, and can also be called report information indicating the inspection results.
  • the information on the form includes information indicating the name of the part and information indicating the state of the part, and may further include information on the captured image.
  • the transmission processing unit 54 shown in FIG. 20 acquires information on the target equipment specified by the target equipment specifying information from the equipment information storage unit 40, Equipment information is transmitted via the communication unit 30 and the network 3 .
  • the transmission processing unit 54 transmits, via the communication unit 30 and the network 3, the part state detection result including the information indicating the state of the state detection target part detected by the state detection unit 52. Further, when the state detection unit 52 cannot detect the state of one or more parts among the plurality of state detection target parts included in the captured image, the transmission processing unit 54 detects that the state of the one or more parts cannot be detected. Disabled information is transmitted via the communication unit 30 and the network 3 .
  • the transmission processing unit 54 can also transmit the information of the form created by the form creation unit 53 via the communication unit 30 and the network 3 .
  • FIG. 24 is a flowchart illustrating an example of processing by a processing unit of the server according to the first embodiment
  • the processing unit 32 of the server 2 determines whether or not the target equipment specifying information has been acquired from the mobile terminal 1 (step S100). If the processing unit 32 determines that the target equipment specifying information has been acquired (step S100: Yes), the processing unit 32 acquires information on the target equipment specified by the target equipment specifying information from the storage unit 31 (step S101), Information on the facility is transmitted to the mobile terminal 1 via the communication unit 30 and the network 3 (step S102).
  • step S102 When the process of step S102 is completed, or when it is determined that the target equipment specifying information has not been acquired (step S100: No), the processing unit 32 determines whether or not the state detection information has been acquired from the mobile terminal 1. Determine (step S103).
  • the processing unit 32 determines that the state detection information has been acquired (step S103: Yes)
  • it extracts the image of the state detection target part from the captured image indicated by the state detection information (step S104).
  • the processing unit 32 detects the state of the state detection target site based on the image of the state detection target site and the illuminance indicated by the state detection information (step S105).
  • the processing unit 32 transmits a part state detection result indicating the state of the detected state detection target part to the portable terminal 1 via the communication unit 30 and the network 3 (step S106).
  • step S106 determines whether inspection end information has been acquired from the mobile terminal 1. (step S107). If the processing unit 32 determines that the inspection end information has been acquired (step S107: Yes), based on the state of each state detection target portion determined in step S105, the processing unit 32 generates the information of the form indicating the inspection result of the equipment 4. Create (step S108).
  • step S108 When the processing of step S108 is finished, or when it is determined that the inspection end information has not been acquired (step S107: No), the processing unit 32 finishes the processing shown in FIG.
  • the reference value determining unit 21 can, for example, correct the illuminance reference value determined by the method described above according to the orientation of the mobile terminal 1 .
  • the reference value determination unit 21 determines the illuminance determined as described above. Perform correction to reduce the reference value.
  • the reference value determination unit 21 determines the illuminance determined as described above. Perform correction to increase the reference value.
  • Information such as the direction in which the imaging unit 13 can obtain a captured image from which the server 2 can easily detect the state of the part is included in the equipment information transmitted from the server 2, for example, and the reference value determination unit 21 and determining whether or not the orientation of the portable terminal 1 is such that the imaging unit 13 can obtain an image that allows the server 2 to easily detect the state of the site, based on the information about the facility transmitted from the server 2. do.
  • the reference value determination unit 21 can change the first value and the second value that define the allowable range according to the orientation of the mobile terminal 1, for example. For example, when the orientation of the portable terminal 1 is such that the image pickup unit 13 can obtain a picked-up image from which the server 2 can easily detect the state of the part, the reference value determination unit 21 determines the first A correction that widens the allowable range is performed by changing at least one of the value and the second value. Further, when the mobile terminal 1 is oriented in such a direction that the imaging unit 13 can obtain only a captured image in which the server 2 is difficult to detect the state of the part, the reference value determination unit 21 determines the first value that defines the allowable range. Correction for narrowing the allowable range is performed by changing at least one of the value and the second value.
  • the illuminance reference value is determined for each facility 4, but the reference value determination unit 21 can also determine the illuminance reference value for each part or for each group of two or more parts. .
  • each of mobile terminal 1 and server 2 includes a computer having processor 101 , memory 102 , communication device 103 , input device 104 , display device 105 and bus 106 .
  • the processor 101, the memory 102, the communication device 103, the input device 104, and the display device 105 can transmit and receive information to and from each other via the bus 106, for example.
  • Storage units 15 and 31 are implemented by memory 102 .
  • the communication units 10 and 30 are implemented by the communication device 103 .
  • the input unit 12 is implemented by the input device 104 .
  • the display unit 11 is implemented by the display device 105 .
  • the processor 101 reads the information processing program from the recording medium set in the recording medium drive and installs the read information processing program in the memory 102 .
  • the recording medium drive is, for example, a CD (Compact Disc)-ROM drive, a DVD (Digital Versatile Disc)-ROM drive, or a USB drive, and the recording medium is, for example, a CD-ROM, a DVD-ROM, or a non-volatile Such as semiconductor memory.
  • the processor 101 executes the functions of the processing units 16 and 32 by reading and executing programs stored in the memory 102 .
  • the processor 101 is an example of a processing circuit, for example, and includes one or more of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a system LSI (Large Scale Integration).
  • the memory 102 includes one or more of RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (registered trademark) (Electrically Erasable Programmable Read Only Memory).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM registered trademark
  • Each of the mobile terminal 1 and the server 2 may include integrated circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field Programmable Gate Array).
  • the server 2 may be composed of two or more devices, for example, it may be composed of a processing server and a data server. In this case, each of the two or more devices has the hardware configuration shown in FIG. 25, for example. Note that communication between two or more devices is performed via the communication device 103 .
  • the inspection support system 100 includes the mobile terminal 1 and the server 2.
  • the mobile terminal 1 includes an imaging unit 13 and an illuminance determination unit 14, and includes one or more parts that physically change, and the one or more parts obtained by imaging the facility 4 to be inspected by the imaging unit 13.
  • Information on the captured image and information on the illuminance determined by the illuminance determination unit 14 are transmitted.
  • the server 2 determines the state of one or more parts based on the captured image information and the illuminance information transmitted from the mobile terminal 1 .
  • the mobile terminal 1 includes a reference value determination section 21 , a tolerance determination section 22 and a transmission processing section 23 .
  • the reference value determining unit 21 determines the reference value of illuminance based on the past illuminance determination result by the illuminance determining unit 14 .
  • the allowable determination unit 22 determines whether or not the illuminance determined by the illuminance determination unit 14 is within the allowable range set based on the reference value determined by the reference value determination unit 21 .
  • the transmission processing unit 23 transmits the captured image information and the illuminance information to the server 2 when the allowable determination unit 22 determines that the illuminance determined by the illuminance determination unit 14 is within the allowable range.
  • the server 2 includes a reception processing section 50 , a state detection section 52 and a transmission processing section 54 .
  • the reception processing unit 50 receives the information of the captured image and the information of the illuminance transmitted from the mobile terminal 1 .
  • the state detection unit 52 detects the state of one or more parts based on the captured image information and the illuminance information received by the reception processing unit 50 .
  • the inspection support system 100 when the illuminance is not within the allowable range, the captured image and the illuminance information are not transmitted to the server 2. It is possible to prevent the data from being transmitted from and analyzed by the server 2. Therefore, in the inspection support system 100, it is possible to improve the efficiency of the detection process, which is the process of detecting the state of one or more parts.
  • the reference value determination unit 21 determines the reference value based on the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image before the previous inspection in the current inspection work for the inspection target.
  • the inspection support system 100 can improve the detection accuracy for the state of one or more parts even when the inspection target is inspected for the first time.
  • the reference value determination unit 21 determines the reference value used in the current inspection work based on the average value of the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured images before the previous time in the current inspection work for the inspection target. determine the value.
  • the inspection support system 100 can further improve the detection accuracy for the state of one or more parts even when the inspection target is inspected for the first time.
  • the reference value determination unit 21 determines the reference value used in the current inspection work based on the illuminance determined by the illuminance determination unit 14 when the imaging unit 13 captured an image of the object to be inspected in the previous inspection work.
  • the inspection support system 100 uses the illuminance at the time of the previous inspection of the object to be inspected, so that the detection accuracy for the state of one or more parts can be further improved.
  • the illuminance determination unit 14 also has an illuminance sensor 25 that detects illuminance. As a result, the mobile terminal 1 can accurately detect the illuminance of the surroundings.
  • the illuminance determination unit 14 determines the environment at the time of imaging by the imaging unit 13, the installation location of the inspection target, the orientation of the inspection target, the orientation of the mobile terminal 1, and the luminance of areas other than one or more parts of the captured image. Illuminance is determined by estimating illuminance based on at least one of them.
  • the mobile terminal 1 can accurately detect, for example, the illuminance of light applied from the outside to one or more parts imaged by the imaging unit 13 as the illuminance around the mobile terminal 1. It is possible to further improve the detection accuracy for the state of one or more parts.
  • the illuminance determination unit 14 also includes an illuminance sensor 25 that detects illuminance and a determination processing unit 26 .
  • the determination processing unit 26 determines one or more of the illuminance detected by the illuminance sensor 25, the environment at the time of imaging by the imaging unit 13, the installation location of the inspection target, the orientation of the inspection target, the orientation of the mobile terminal 1, and the captured image.
  • the illuminance is determined based on at least one of the brightnesses of the regions other than the part of the .
  • the mobile terminal 1 can accurately detect, for example, the illuminance of light applied from the outside to one or more parts imaged by the imaging unit 13 as the illuminance around the mobile terminal 1. It is possible to further improve the detection accuracy for the state of one or more parts.
  • the inspection support system 100 also includes a form creation unit 53 that creates form information including information indicating the state of the part detected by the state detection unit 52 . Thereby, the inspection support system 100 can provide the information indicating the state of the part detected by the state detection unit 52 as the information of the form.

Abstract

点検支援システムは、携帯端末（１）と、サーバとを備える。携帯端末（１）は、基準値決定部（２１）と、許容判定部（２２）と、送信処理部（２３）とを備える。基準値決定部（２１）は、照度判定部（１４）による過去の照度の判定結果に基づいて、照度の基準値を決定する。許容判定部（２２）は、照度判定部（１４）によって判定された照度が、基準値決定部（２１）で決定された基準値に基づいて設定される許容範囲内であるか否かを判定する。送信処理部（２３）は、照度判定部（１４）によって判定された照度が許容範囲内であると許容判定部（２２）によって判定された場合、撮像画像の情報および照度の情報をサーバへ送信する。サーバは、携帯端末（１）から送信される撮像画像の情報および照度の情報に基づいて、１以上の部位の状態を判定する。

Description

点検支援システム、携帯端末、点検支援方法、および点検支援プログラム
　本開示は、点検対象となる設備における１以上の部位の状態を検出する点検支援システム、携帯端末、点検支援方法、および点検支援プログラムに関する。
　従来、ビル、施設、およびプラントなどの点検業務では、点検対象となる設備において点検対象の稼働状態を示すランプ、スイッチ、またはレバーなどの部位の状態を点検する作業などが行われている。一般に各部位の状態の点検は目視で行われているが、点検作業の効率化を図るため、各部位の状態を自動で点検することが望まれる。
　そこで、特許文献１に記載の技術を用いてランプの点灯状態と消灯状態とを自動的に検出することが考えられる。特許文献１に記載の技術では、照度センサによって検出された照度に基づいて輝度閾値を設定し、設定した輝度閾値とランプを撮像した画像のうちのランプの輝度値との比較結果に基づいて、ランプが点灯状態であるのか消灯状態であるのかを自動的に検出する。
特開２０１５－２３２８４６号公報
　しかしながら、携帯端末で撮像画像の情報と照度の情報とを取得し、携帯端末から送信される撮像画像の情報と照度の情報とから点検対象の部位の状態をサーバで検出する点検支援システムに特許文献１に記載の技術を適用する場合、検出処理の効率化の観点から、改善の余地がある。
　本開示は、上記に鑑みてなされたものであって、検出処理の効率化を図ることができる点検支援システムを得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示の点検支援システムは、携帯端末と、サーバとを備える。携帯端末は、撮像部と照度判定部とを備え、物理的に変化する１以上の部位を備え且つ点検対象となる設備を撮像部によって撮像して得られる１以上の部位の撮像画像の情報と照度判定部によって判定された照度の情報とを送信する。サーバは、携帯端末から送信される撮像画像の情報および照度の情報に基づいて１以上の部位の状態を判定する。携帯端末は、基準値決定部と、許容判定部と、送信処理部とを備える。基準値決定部は、照度判定部による過去の照度の判定結果に基づいて、照度の基準値を決定する。許容判定部は、照度判定部によって判定された照度が、基準値決定部で決定された基準値に基づいて設定される許容範囲内であるか否かを判定する。送信処理部は、照度判定部によって判定された照度が許容範囲内であると許容判定部によって判定された場合、撮像画像の情報および照度の情報をサーバへ送信する。サーバは、受信処理部と、状態検出部とを備える。受信処理部は、携帯端末から送信される撮像画像の情報および照度の情報を受信する。状態検出部は、受信処理部によって受信された撮像画像の情報および照度の情報に基づいて、１以上の部位の状態を検出する。
　本開示によれば、検出処理の効率化を図ることができる、という効果を奏する。
実施の形態１にかかる点検支援システムの構成の一例を示す図 実施の形態１にかかる点検支援システムによる処理の流れの一例を示すシーケンス図 実施の形態１にかかる携帯端末の構成の一例を示す図 実施の形態１にかかる携帯端末の照度判定部の構成の一例を示す図 実施の形態１にかかる携帯端末の基準値決定部が第１決定モードである場合の照度の基準値の決定方法の一例を示す図 実施の形態１にかかる携帯端末の基準値決定部が第２決定モードである場合の初回点検時の照度の基準値の決定方法の一例を示す図 実施の形態１にかかる携帯端末の基準値決定部が第２決定モードである場合の２回目点検時の照度の基準値の決定方法の一例を示す図 実施の形態１にかかる携帯端末の基準値決定部が第１決定モードから第３決定モードに切り替えられた場合の照度の基準値の決定方法の一例を示す図 実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面の一例を示す図 実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面の他の例を示す図 実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面のさらに他の例を示す図 実施の形態１にかかる携帯端末による処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の処理部による基準値決定処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の処理部による第１基準値決定処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の処理部による第２基準値決定処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の処理部による状態検出用情報送信処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の照度判定部による照度判定処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の照度判定部による第２照度判定処理の一例を示すフローチャート 実施の形態１にかかる携帯端末の照度判定部による第３照度判定処理の一例を示すフローチャート 実施の形態１にかかるサーバの構成の一例を示す図 実施の形態１にかかるサーバの部位情報記憶部に記憶される各部位の情報を含む部位情報テーブルの一例を示す図 実施の形態１にかかるサーバの検出結果記憶部に記憶される各部位の情報を含む状態検出結果テーブルの一例を示す図 実施の形態１にかかる点検支援システムによって状態が検出されるスイッチおよびレバーの一例を示す図 実施の形態１にかかるサーバの処理部による処理の一例を示すフローチャート 実施の形態１にかかる携帯端末およびサーバの各々のハードウェア構成の一例を示す図
　以下に、実施の形態にかかる点検支援システム、携帯端末、点検支援方法、および点検支援プログラムを図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる点検支援システムの構成の一例を示す図である。図１に示すように、実施の形態１にかかる点検支援システム１００は、携帯端末１と、サーバ２とを備え、設備４を点検対象として、点検作業者による設備４の点検作業を支援する。なお、図１では、設備４が１つしか図示されていないが、点検支援システム１００では、複数の設備４の各々を点検対象とすることができる。
　携帯端末１は、例えば、携帯電話、スマートフォン、タブレット、ノートＰＣ（Personal　Computer）、または専用端末などのように持ち運び可能に構成されて使用される機器である。携帯端末１は、不図示の撮像部と照度判定部とを備え、物理的に変化する１以上の部位を備える設備４を撮像部によって撮像して得られる１以上の部位の撮像画像の情報と照度判定部によって判定された照度の情報とを取得する。撮像部による撮像対象となる部位は、例えば、ランプ、レバー、またはスイッチなどである。
　携帯端末１は、ネットワーク３を介して撮像画像の情報および照度の情報をサーバ２に送信する。ネットワーク３は、例えば、インターネットなどのＷＡＮ（Wide　Area　Network）であるが、ＬＡＮ（Local　Area　Network）であってもよい。
　サーバ２は、ネットワーク３を介して携帯端末１から送信される撮像画像の情報および照度の情報に基づいて複数の部位の状態を検出する。サーバ２は、検出した複数の部位の状態に基づいて、設備４の点検結果を示す帳票の情報を生成する。
　図２は、実施の形態１にかかる点検支援システムによる処理の流れの一例を示すシーケンス図である。図２に示すように、携帯端末１のユーザが、携帯端末１を操作して点検対象にする設備４である対象設備を選択する（ステップＳ２００）。
　携帯端末１には、設備４の点検を支援するための点検支援プログラムがインストールされており、携帯端末１のユーザは、携帯端末１を操作して、点検対象候補の設備４のリストを携帯端末１に表示させ、かかるリストから対象設備を選択することができる。以下、携帯端末１のユーザを単にユーザと記載する場合がある。
　携帯端末１は、ユーザによって対象設備が選択された場合、ユーザによって選択された対象設備を特定するための情報を含む対象設備特定情報をサーバ２にネットワーク３を介して送信する（ステップＳ２０１）。
　サーバ２は、携帯端末１から対象設備特定情報を受信した場合、対象設備特定情報で特定される対象設備の情報を検索し（ステップＳ２０２）、対象設備の情報を取得する（ステップＳ２０３）。対象設備の情報には、対象設備の点検を支援するための情報であって携帯端末１の点検支援プログラムによって使用可能な情報が含まれる。サーバ２は、取得した対象設備の情報を携帯端末１にネットワーク３を介して送信する（ステップＳ２０４）。
　携帯端末１は、サーバ２から対象設備の情報を受信した場合、サーバ２から取得した対象設備の情報を表示する（ステップＳ２０５）。ユーザは、携帯端末１に表示されている対象設備の情報に基づいて携帯端末１を操作して、対象設備の１以上の部位の撮像画像および照度を取得する取得処理を携帯端末１に実行させる（ステップＳ２０６）。撮像画像は、携帯端末１における不図示の撮像部によって撮像された画像であり、照度は、携帯端末１における不図示の照度判定部によって判定された照度である。
　携帯端末１は、ステップＳ２０６で取得した撮像画像および照度の情報を含む状態検出用情報をサーバ２にネットワーク３を介して送信する（ステップＳ２０７）。携帯端末１は、ステップＳ２０６で取得した照度が後述する許容範囲内ではない場合、ステップＳ２０７の処理を行わずに、ステップＳ２０６で取得した撮像画像および照度の情報をサーバ２に送信せずに破棄し、上述した取得処理を実行させるための操作をユーザに促す。ユーザは、例えば、携帯端末１の向きを変えることで対象設備の１以上の部位に対する携帯端末１の撮像角度を変えて、ステップＳ２０６の処理を携帯端末１に再度実行させる。
　このように、携帯端末１は、照度が許容範囲内ではない場合には、撮像画像および照度の情報をサーバ２に送信しないため、設備４の部位の状態の検出が難しい撮像画像が携帯端末１から送信されてサーバ２で解析されてしまうことを防止することができる。
　これにより、点検支援システム１００は、設備４の部位の状態を検出する処理である検出処理の効率化を図ることができる。設備４の部位がランプである場合、部位の状態の検出が難しい撮像画像は、例えば、設備４の周囲が明るすぎてランプの状態の検出が難しい撮像画像などである。また、設備４の部位がスイッチまたはレバーである場合、部位の状態の検出が難しい撮像画像は、例えば、設備４の周囲が暗すぎてスイッチまたはレバーの状態の検出が難しい撮像画像などである。
　なお、ユーザは、例えば、携帯端末１の撮像角度を変えるなどしても、ステップＳ２０６で取得された照度が許容範囲内にならずに状態検出用情報が携帯端末１からサーバ２へ送信されない場合、携帯端末１を操作することで、携帯端末１からサーバ２へ状態検出用情報を強制的に送信させることもできる。
　サーバ２は、携帯端末１から撮像画像および照度の情報を取得した場合、撮像画像および照度の情報に基づいて、撮像画像に画像が含まれる１以上の部位の状態を検出する（ステップＳ２０８）。例えば、サーバ２は、設備４の部位がランプである場合、ランプが点灯状態および消灯状態のいずれであるのかを検出する。また、サーバ２は、設備４の部位がスイッチまたはレバーである場合、スイッチの位置または角度、レバーの位置または角度を検出する。
　サーバ２は、撮像画像に画像が含まれる１以上の部位の状態を検出した結果を示す部位状態検出結果を携帯端末１にネットワーク３を介して送信する（ステップＳ２０９）。サーバ２は、撮像画像に画像が含まれる１以上の部位の状態のうち１つの部位でも状態の検出ができていない場合、１以上の部位の状態が検出できないことを示す検出不可情報を含む部位状態検出結果を携帯端末１に送信する。
　携帯端末１は、サーバ２から送信される部位状態検出結果を受信した場合、受信した部位状態検出結果を表示する（ステップＳ２１０）。携帯端末１は、受信した部位状態検出結果に検出負荷情報が含まれる場合、状態の検出ができていない１以上の部位を再度撮像するための操作をユーザに促し、ステップＳ２０６，Ｓ２０７の処理を繰り返す。
　設備４の点検は、設備４において点検対象となる全ての部位についての部位状態検出結果が携帯端末１で取得されるまで、ステップＳ２０６～Ｓ２０９の処理が繰り返される。携帯端末１は、設備４の点検が終了した場合、点検終了を示す情報である点検終了情報をサーバ２にネットワーク３を介して送信する（ステップＳ２１１）。
　サーバ２は、携帯端末１から点検終了情報を受信した場合、点検対象となる設備４の全ての部位についての状態の検出結果を含む帳票の情報を作成し（ステップＳ２１２）、図２に示す処理を終了する。以下、携帯端末１およびサーバ２の各々の構成および処理についてさらに具体的に説明する。まず、携帯端末１の構成および処理について説明する。なお、以下において、点検対象となる設備４を単に点検対象または対象設備と記載する場合がある。
　図３は、実施の形態１にかかる携帯端末の構成の一例を示す図である。図３に示すように、携帯端末１は、通信部１０と、表示部１１と、入力部１２と、撮像部１３と、照度判定部１４と、記憶部１５と、処理部１６とを備える。携帯端末１には、上述した点検支援プログラムがインストールされている。
　通信部１０は、ネットワーク３を介しサーバ２に通信可能に接続されており、サーバ２との間でネットワーク３を介して情報の送受信を行う。入力部１２は、例えば、キーボード、マウス、キーパッド、またはタッチパネルなどを含み、ユーザによって操作される。表示部１１は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイである。
　撮像部１３は、例えば、ＣＭＯＳ（Complementary　Metal-Oxide-Semiconductor）イメージセンサといった撮像素子およびレンズを備える。撮像部１３は処理部１６からの撮像要求に基づいて、携帯端末１の前方の画像を撮像し、撮像した画像である撮像画像の情報を処理部１６へ出力する。撮像部１３から出力される撮像画像の情報は、静止画像の情報であるが、動画像の情報であってもよい。
　照度判定部１４は、設備４の１以上の部位に対する撮像部１３の撮像時における携帯端末１の周囲の照度を判定する。照度判定部１４は、例えば、照度センサを有し、撮像部１３の撮像時において照度センサから出力される照度を携帯端末１の周囲の照度として判定する。
　図４は、実施の形態１にかかる携帯端末の照度判定部の構成の一例を示す図である。図４に示す照度判定部１４は、照度センサ２５と、判定処理部２６とを備える。照度判定部１４は、第１判定モード、第２判定モード、および第３判定モードのうちユーザによって選択されたモードまたはサーバ２によって設定されたモードで、携帯端末１の周囲の照度を判定する。なお、照度判定部１４は、後述する環境情報またはサーバ２での部位の状態の検出結果などに基づいて、第１判定モード、第２判定モード、および第３判定モードの中から１つのモードを選択して動作することもできる。
　照度判定部１４の判定モードが第１判定モードである場合、撮像部１３の撮像時において照度センサ２５が照度を検出し、判定処理部２６は、照度センサ２５から出力される照度を携帯端末１の周囲の照度として判定する。
　また、判定処理部２６は、判定モードが第２判定モードである場合、撮像部１３による撮像時の環境、点検対象の設置場所、点検対象の向き、携帯端末１の向き、および撮像画像のうちの１以上の部位以外の領域の輝度などの複数の要素のうちの少なくとも１つの要素に基づいて携帯端末１の周囲の照度を判定する。撮像部１３による撮像時の環境は、例えば、日時および天気などである。
　設備４が屋外に設置されている場合または設備４が屋内に設置され且つ太陽光が設備４に当たる場合、日時および天気などの環境および点検対象の向きなどによって設備４へ照射される光の量が異なる。また、携帯端末１の向きによって撮像部１３に入射する太陽光の量が変わり、撮像画像のうちの１以上の部位以外の領域の輝度は、設備４へ照射される光の量によって変わる。
　そこで、判定処理部２６は、判定モードが第２判定モードである場合に上述した判定処理を行うことで、撮像部１３によって撮像される１以上の部位に対して外部から照射される光の照度を携帯端末１の周囲の照度として推定することができる。なお、判定処理部２６は、設備４が屋外に設置されている場合と設備４が屋内に設置され且つ太陽光が設備４に当たる場合とで互いに異なる要素を用いて携帯端末１の周囲の照度を判定することができる。
　また、照度判定部１４の判定モードが第３判定モードである場合、判定処理部２６は、撮像部１３の撮像時において照度センサ２５によって検出された照度と、撮像部１３による撮像時の環境、点検対象の設置場所、１以上の部位の向き、携帯端末１の向き、および撮像画像のうちの１以上の部位以外の領域の輝度のうちの少なくとも１つとに基づいて携帯端末１の周囲の照度を判定する。撮像部１３による撮像時の環境は、例えば、日時および天気などである。
　第３判定モードの判定処理では、第２判定モードでの判定処理に比べ、照度センサ２５によって検出された照度をさらに用いることから、撮像部１３によって撮像される１以上の部位に対して外部から照射される光の照度を携帯端末１の周囲の照度として精度よく推定することができる。
　なお、処理部１６は、撮像部１３による撮像時の環境、点検対象の設置場所、および点検対象の向きなどの情報は、例えば、外部装置またはサーバ２などから取得し、取得した情報を照度判定部１４に出力する。照度判定部１４は、処理部１６から取得した情報などに基づいて、上述した推定処理を行うことができる。
　また、点検対象の設備４が屋内に設置され且つ太陽光が当たらない設備である場合、環境や太陽光の影響を受けない場合が多い。そこで、判定処理部２６は、照度判定部１４の判定モードが第３判定モードである場合において、点検対象の設備４が屋内に設置され且つ太陽光が当たらない設備である場合、例えば、携帯端末１の周囲の照度を予め設定された照度と判定する。
　また、判定処理部２６は、上述した推定処理を行わずに、第１判定モードだけを行う構成であってもよく、また、照度センサ２５を有せずに第２判定モードだけを行う構成であってもよい。また、携帯端末１は、判定処理部２６の機能のうち照度センサ２５以外の機能を処理部１６に持たせた構成であってもよい。
　携帯端末１の向きは、例えば、携帯端末１に内蔵された慣性センサから出力される信号に基づいて判定されるが、かかる例に限定されない。例えば、ユーザの身長、年齢、性別などの属性によって撮像部１３による撮像時の携帯端末１の向きなどが異なる。そのため、判定処理部２６は、例えば、慣性センサから出力される信号に代えて、ユーザの身長、年齢、性別などの属性に基づいて、携帯端末１の周囲の照度を判定することもできる。
　記憶部１５は、例えば、サーバ２から送信され通信部１０を介して処理部１６で受信される対象設備の情報、撮像部１３から出力される撮像画像の情報、および照度判定部１４から出力される照度の情報などを記憶する。また、記憶部１５は、例えば、サーバ２から送信され通信部１０を介して処理部１６で受信される部位状態検出結果なども記憶する。
　処理部１６は、受信処理部２０と、基準値決定部２１と、許容判定部２２と、送信処理部２３と、表示処理部２４とを備える。受信処理部２０は、サーバ２から送信され通信部１０を介して対象設備の情報を受信し、受信した対象設備の情報を記憶部１５に記憶させる。また、受信処理部２０は、サーバ２から送信され通信部１０を介して部位状態検出結果を受信し、受信した部位状態検出結果を記憶部１５に記憶させる。
　基準値決定部２１は、照度判定部１４による過去の照度の判定結果に基づいて、照度の基準値を決定する。照度の基準値は、撮像部１３の撮像画像の情報を携帯端末１からサーバ２へ送信するか否かを判定するために用いられる。
　基準値決定部２１は、第１決定モード、第２決定モード、および第３決定モードのうちユーザによって選択されたモードまたはサーバ２によって設定されたモードで、照度の基準値を決定する。
　基準値決定部２１は、決定モードが第１決定モードまたは第２決定モードである場合、記憶部１５に記憶されている過去の照度の情報に基づいて、照度の基準値を決定する。照度の基準値の決定に用いられる過去の照度の情報は、含まれるすべての部位の状態がサーバ２で検出できた撮像画像が撮像部１３で撮像されたときに照度判定部１４によって判定された照度の情報である。なお、記憶部１５に記憶されている過去の照度の情報は、設備４単位の情報であり、例えば、設備４毎に固有の識別情報が関連付けられている。基準値決定部２１は、照度の基準値の対象となる設備４に関連付けられて記憶部１５に記憶されている過去の照度の情報に基づいて、照度の基準値を決定する。
　基準値決定部２１は、決定モードが第１決定モードである場合、点検対象に対する今回の点検作業における前回以前の撮像部１３の撮像時に照度判定部１４によって判定された照度に基づいて、照度の基準値を決定する。
　例えば、基準値決定部２１は、点検対象に対する今回の点検作業における前回以前の撮像部１３の撮像時に照度判定部１４によって判定された照度の平均値である平均照度を照度の基準値として決定する。
　図５は、実施の形態１にかかる携帯端末の基準値決定部が第１決定モードである場合の照度の基準値の決定方法の一例を示す図である。図５では、図１に示す設備４の前面パネルを４つの領域に分けて４回に分けて撮像した場合における照度の基準値の決定方法が示されている。
　図５を含む複数の図では、１つ目の領域を撮像部１３で撮像したときの照度の基準値を１枚目の基準値と記載し、２つ目の領域を撮像部１３で撮像したときの照度の基準値を２枚目の基準値と記載している。１つ目の領域と２つ目の領域の各々には、物理的に変化する６つの部位、具体的には、２つの丸いランプと４つの四角いランプとが含まれている。
　また、図５を含む複数の図では、３つ目の領域を撮像部１３で撮像したときの照度の基準値を３枚目の基準値と記載し、４つ目の領域を撮像部１３で撮像したときの照度の基準値を４枚目の基準値と記載している。３つ目の領域には、６つの部位、具体的には、６つの丸いランプが含まれている。また、４つ目の領域の各々には、物理的に変化する１０の部位、具体的には、２つの丸いランプと８つの四角いランプとが含まれている。また、図５に示す例では、設備４は、１つ目の領域、２つ目の領域、３つ目の領域、および４つ目の領域の順で撮像部１３によって撮像される。
　図５に示すように、第１決定モードにおいて、今回の設備４に対する点検作業において、１つ目の領域が撮像部１３で撮像される前には、撮像部１３の撮像時に照度判定部１４によって判定された照度がないため、照度の基準値が決定されておらず、１枚目の基準値はない。
　１つ目の領域が撮像部１３で撮像された場合、１つ目の領域の撮像部１３による撮像時に照度判定部１４によって照度が判定される。基準値決定部２１は、撮像部１３による１つ目の領域の撮像画像からサーバ２が６つの部位の状態を検出できた場合、１つ目の領域の撮像部１３による撮像時に照度判定部１４によって照度を、１枚目の基準値として決定する。図５において、「１枚目の照度」は、１つ目の領域の撮像部１３による撮像時に照度判定部１４によって判定された照度である。
　２つ目の領域が撮像部１３で撮像された場合、２つ目の領域の撮像部１３による撮像時に照度判定部１４によって照度が判定される。基準値決定部２１は、撮像部１３による２つ目の領域の撮像画像からサーバ２が６つの部位の状態を検出できた場合、１つ目の領域と２つ目の領域の撮像部１３による撮像時に照度判定部１４によって照度の平均値を、３枚目の基準値として決定する。図５において、「１，２枚目の平均照度」は、１つ目の領域および２つ目の領域の撮像部１３による撮像時に照度判定部１４によって判定された照度である。
　３つ目の領域が撮像部１３で撮像された場合、３つ目の領域の撮像部１３による撮像時に照度判定部１４によって照度が判定される。基準値決定部２１は、撮像部１３による３つ目の領域の撮像画像からサーバ２が６つの部位の状態が検出できた場合、１つ目から３つ目までの領域の撮像部１３による撮像時に照度判定部１４によって照度の平均値を、４枚目の基準値として決定する。図５において、「１～３枚目の平均照度」は、１つ目から３つ目までの領域の撮像部１３による撮像時に照度判定部１４によって判定された照度である。
　基準値決定部２１は、決定モードが第２決定モードである場合、点検対象に対する前回の点検作業における撮像部１３による撮像時に照度判定部１４によって判定された照度に基づいて、今回の点検作業で用いられる照度の基準値を決定する。
　例えば、基準値決定部２１は、点検対象に対する前回の点検作業における撮像部１３の撮像時に照度判定部１４によって判定された照度の平均値を照度の基準値として決定する。
　図６は、実施の形態１にかかる携帯端末の基準値決定部が第２決定モードである場合の初回点検時の照度の基準値の決定方法の一例を示す図であり、図７は、実施の形態１にかかる携帯端末の基準値決定部が第２決定モードである場合の２回目点検時の照度の基準値の決定方法の一例を示す図である。図６および図７では、設備４を図５と同様に撮像部１３で撮像した場合における照度の基準値の決定方法が示されている。
　図６に示すように、基準値決定部２１は、第２決定モードにおいて、設備４の初回点検時においては、第１決定モードと同様の決定方法によって、基準値を決定する。また、図７に示すように、基準値決定部２１は、第２決定モードにおいて、設備４の２回目点検時においては、設備４の初回点検時において撮像部１３による撮像時に照度判定部１４によって判定された照度に基づいて、２回目の作業で用いられる照度の基準値を決定する。図６に示す初回点検時の照度は、例えば、前回の点検作業における撮像部１３の撮像時に照度判定部１４によって判定された照度の平均値である。
　なお、基準値決定部２１は、決定モードが第２決定モードである場合、点検対象に対する今回の点検作業において撮像部１３の撮像時に照度判定部１４によって判定された照度がある場合、今回の点検作業において撮像部１３の撮像時に照度判定部１４によって判定された照度も照度の平均値の算出に加えることもできる。
　基準値決定部２１は、決定モードが第３決定モードである場合、決定された照度の基準値がある場合には、決定された照度の基準値を破棄する。すなわち、基準値決定部２１は、決定モードが第３決定モードである場合、照度の基準値がないと決定する。
　図８は、実施の形態１にかかる携帯端末の基準値決定部が第１決定モードから第３決定モードに切り替えられた場合の照度の基準値の決定方法の一例を示す図である。図８では、設備４を図５と同様に撮像した場合における照度の基準値の決定方法が示されている。
　図８に示す例では、４つ目の領域が撮像部１３で撮像される前に、第１決定モードから第３決定モードに切り替えられている。そのため、基準値決定部２１は、４つ目の領域が撮像部１３で撮像される前に、第１決定モードで決定された照度の基準値を破棄し、４つ目の領域が撮像部１３で撮像されるときには、４枚目の基準値はない状態になる。
　ユーザは、例えば、携帯端末１の撮像角度を変えても、照度判定部１４によって判定された照度と照度の基準値との差が大きく、照度判定部１４によって判定された照度が許容範囲内にならない場合などにおいて、判定モードを第３判定モードに切り替えることで、撮像画像および照度の情報がサーバ２に送信されない状況を回避することができる。携帯端末１の撮像角度は、例えば、垂直方向と撮像部１３の撮像方向との角度である。
　なお、第１決定モード、第２決定モード、および第３決定モードにおいて、照度判定部１４によって判定された照度のうち照度の基準値の決定に用いられる照度は、１以上の部位の状態がサーバ２で検出された撮像画像が撮像部１３で撮像されたときに照度判定部１４によって判定された照度である。
　許容判定部２２は、基準値決定部２１によって決定された照度の基準値に基づいて、許容範囲を設定する。許容判定部２２は、例えば、照度の基準値を中心として予め設定された範囲を許容範囲として設定する。例えば、許容範囲は、照度の基準値から第１の値だけ高い照度を上限値とし、照度の基準値から第２の値だけ低い照度を下限値とする範囲である。
　第１の値および第２の値は、互いに同じ値であるが、互いに異なる値であってもよい。また、第１の値および第２の値は、固定値であってもよく、照度の基準値に応じた可変値であってもよい。
　例えば、基準値決定部２１は、１以上の部位の状態がサーバ２で検出された撮像画像が撮像部１３で撮像されたときに照度判定部１４によって判定された照度の最小値と最大値と平均値とに基づいて、上述した第１の値および第２の値を決定することができる。例えば、照度の最大値と平均値との差に係数を乗じた値を第１の値とし、照度の最小値と平均値との差に係数を乗じた値を第２の値とすることができる。
　許容判定部２２は、照度判定部１４によって判定された照度が、上述した許容範囲内であるか否かを判定する。送信処理部２３は、照度判定部１４によって判定された照度が許容範囲内であると許容判定部２２によって判定された場合または照度の基準値がない場合、撮像画像の情報および照度の情報を含む状態検出用情報を通信部１０およびネットワーク３を介してサーバ２へ送信する。
　また、送信処理部２３は、ユーザによる対象設備の選択があった場合、ユーザによって選択された対象設備を特定するための情報を含む対象設備特定情報をサーバ２にネットワーク３を介して送信する。
　表示処理部２４は、サーバ２から送信される対象設備の情報および部位状態検出結果などの情報に基づいて、ユーザの点検作業を支援するための点検作業支援情報を表示部１１に表示させる。表示処理部２４は、例えば、設備４のうち点検対象となる部位のユーザによる特定を支援する情報、サーバ２によって判定された点検対象となる部位の状態などを点検作業支援情報として表示部１１に表示させる。
　また、表示処理部２４は、照度判定部１４によって判定された照度が許容範囲内ではないと許容判定部２２によって判定された場合、許容範囲内ではない照度が照度判定部１４によって判定されたときに撮像部１３によって得られた撮像画像と許容判定部２２によって許容範囲内ではないと判定された照度の情報とを記憶部１５から削除して、１以上の部位を撮像するための操作をユーザに促すメッセージを表示部１１に表示させる。
　また、表示処理部２４は、サーバ２から送信される部位状態検出結果が１以上の部位の状態が検出できないことを示す検出不可情報を含む場合、検出不可情報に対応する撮像画像および照度の情報を記憶部１５から削除して、１以上の部位を撮像するための操作をユーザに促すメッセージを表示部１１に表示させる。
　ここで、表示処理部２４によって表示部１１に表示される情報について説明する。図９は、実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面の一例を示す図である。図９に示す点検支援画面６０は、例えば、図２におけるステップＳ６で表示部１１に表示される。
　図９に示すように、表示処理部２４によって表示部１１に表示される点検支援画面６０では、点検対象情報表示領域６１、領域選択ボタン群６２、撮像画像表示領域６３、撮像ボタン６４、取消ボタン６５、登録ボタン６６、および点検結果表示領域６７などが含まれる。
　点検対象情報表示領域６１では、点検対象の設備および場所を示す情報が示される。図９に示す例では、点検対象情報表示領域６１において、点検対象の設備４の名称が設備００１であり、点検対象の設備４がＡ棟１Ｆに設置されていることが示されている。
　領域選択ボタン群６２は、点検対象の設備４における撮像対象の領域を選択するためのボタンである。図９に示す例では、例えば、上述した１つ目の領域を選択するボタン、上述した２つ目の領域を選択するボタン、上述した３つ目の領域を選択するボタン、および上述した４つ目の領域を選択するボタンが含まれる。
　撮像画像表示領域６３は、撮像部１３の撮像画像が表示される領域である。かかる領域には、例えば、領域選択ボタン群６２に含まれる複数のボタンのうちユーザによって選択されているボタンに対応する領域の線図が撮像部１３の撮像画像上に表示されるが、ユーザによって選択されているボタンに対応する領域の過去の撮像画像を透過度で撮像部１３の撮像画像上に表示されてもよい。以下において、領域選択ボタン群６２に含まれる複数のボタンのうちユーザによって選択されているボタンを選択中ボタンと記載する場合がある。
　撮像ボタン６４は、撮像部１３の撮像画像を仮登録するためのボタンである。表示処理部２４は、ユーザが入力部１２を操作して撮像ボタン６４を選択した場合、撮像ボタン６４を選択した時点で撮像部１３が撮像した画像である撮像画像の情報を選択中ボタンに対応する撮像画像の情報として記憶部１５に記憶させ、撮像画像の情報を仮登録する。仮登録は、例えば、記憶部１５において撮像画像の情報に仮登録フラグを付すことによって行われる。なお、仮登録される撮像画像の情報は、１つの撮像画像の情報であるが、連続して撮像されて得られる複数の撮像画像の情報であってもよい。
　取消ボタン６５は、記憶部１５に仮登録された撮像画像の情報を記憶部１５から削除するためのボタンである。表示処理部２４は、記憶部１５に撮像画像の情報が仮登録されている場合に、ユーザが入力部１２を操作して取消ボタン６５を選択すると、記憶部１５に仮登録されている撮像画像の情報を記憶部１５から削除する。
　登録ボタン６６は、記憶部１５に仮登録された撮像画像の情報を本登録する。表示処理部２４は、記憶部１５に撮像画像の情報が仮登録されている場合に、ユーザが入力部１２を操作して取消ボタン６５を選択すると、記憶部１５に仮登録されている撮像画像の情報を本登録する。本登録は、例えば、記憶部１５において撮像画像の情報に本登録フラグを付すことによって行われる。なお、本登録された撮像画像の情報は、送信処理部２３によって、本登録された撮像画像の撮像時に照度判定部１４によって判定された照度の情報と共に状態検出用情報としてサーバ２に送信される。
　点検結果表示領域６７は、領域選択ボタン群６２に含まれる複数のボタンのうち選択されたボタンに対応する領域に含まれる複数の部位の点検結果が表示される。図９に示す点検結果表示領域６７では、ポンプが運転している場合に点灯状態になるランプ、ポンプに異常がある場合に点灯状態になるランプ、および圧力計１～４が正常である場合に点灯状態になる４つのポンプの点検結果が表示される枠が示されている。
　表示処理部２４は、例えば、本登録された撮像画像の情報がサーバ２に送信されてサーバ２から送信される部位状態検出結果に基づいて、点検結果表示領域６７に、選択されたボタンに対応する領域に含まれる複数の部位の点検結果を表示する。図１０は、実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面の他の例を示す図である。
　図１０に示す点検支援画面６０は、図９に示す点検支援画面６０に対して、点検結果表示領域６７における点検結果が表示される枠に点灯または消灯の文字が追加されている。ユーザは、点検支援画面６０の点検結果表示領域６７によって容易に点検結果を把握することができる。
　また、表示処理部２４は、上述したように、サーバ２から送信される部位状態検出結果が検出不可情報を含む場合、検出不可情報に対応する撮像画像および照度の情報を記憶部１５から削除して、検出不可情報に対応する１以上の部位を撮像するための操作をユーザに促すメッセージを表示部１１に表示させる。
　図１１は、実施の形態１にかかる携帯端末の表示処理部によって表示部に表示される点検支援画面のさらに他の例を示す図である。図１１に示す点検支援画面６０では、検出不可情報に対応する部位を撮像するための操作をユーザに促すメッセージ６８が含まれる。かかるメッセージ６８は、「明るい環境で撮り直してください。」の文字列であるが、かかる例に限定されない。
　図９～図１１に示す点検支援画面６０には示されていないが、点検支援画面６０には、上述した第１決定モード、第２決定モード、および第３決定モードの中から１つの決定モードを選択するための決定モード選択領域が設けられてもよい。決定モード選択領域には、例えば、第１決定モード、第２決定モード、および第３決定モードの中から１つの決定モードをユーザが選択可能なプルダウンメニューまたはラジオボタンなどが配置される。これにより、ユーザは、例えば、撮像環境に応じた適切な決定モードを選択することができる。
　また、表示処理部２４は、撮像時の照度が許容範囲内にない状態が２回以上連続する場合に、上述した決定モード選択領域を点検支援画面６０に設けたり、または、決定モードを第３決定モードにするためのボタンなどを設けたりしてもよい。
　また、表示処理部２４は、撮像時の照度が許容範囲内にない場合に、撮像時の照度の情報と許容範囲の情報とを示す情報を含む点検支援画面６０を表示部１１に表示させることもできる。これにより、ユーザは、撮像時の照度がどのくらい足りないかを容易に把握することができる。
　また、表示処理部２４は、撮像時の照度が許容範囲内にない場合に、照度判定部１４によって繰り返し判定される照度の情報と許容範囲の情報とを示す情報を含む点検支援画面６０を表示部１１に表示させることもできる。これにより、ユーザは、照度判定部１４によって判定される照度が許容範囲内になるように点検支援画面６０を見ながら携帯端末１の向きを動かすことを容易に行うことができる。
　また、表示処理部２４は、撮像部１３によって繰り返し撮像されている画像が撮像画像表示領域６３に表示されている状態で、照度判定部１４によって判定された照度が許容範囲内になった場合、「撮像ボタンを押してください。」などのメッセージを表示部１１に表示させてもよい。
　また、表示処理部２４は、撮像部１３によって繰り返し撮像されている画像が撮像画像表示領域６３に表示されている状態で、照度判定部１４によって判定された照度が許容範囲内にない場合、「撮像方向を変えてください。」などのメッセージを表示部１１に表示させることもできる。
　つづいて、フローチャートを用いて携帯端末１による処理を説明する。図１２は、実施の形態１にかかる携帯端末による処理の一例を示すフローチャートである。
　図１２に示すように、携帯端末１の処理部１６は、ユーザによる対象設備の選択があるか否かを判定する（ステップＳ１０）。処理部１６は、対象設備の選択があると判定した場合（ステップＳ１０：Ｙｅｓ）、ユーザによって選択された対象設備を特定するための情報を含む対象設備特定情報をサーバ２にネットワーク３を介して送信する（ステップＳ１１）。
　次に、処理部１６は、対象設備の情報をサーバ２から受信する（ステップＳ１２）。そして、処理部１６は、ステップＳ１２で取得した対象設備の情報に基づいて、点検支援画面６０を表示部１１に表示させる（ステップＳ１３）。
　処理部１６は、ステップＳ１３の処理が終了した場合、または対象設備の選択がないと判定した場合（ステップＳ１０：Ｎｏ）、基準値を決定済みであるか否かを判定する（ステップＳ１４）。処理部１６は、基準値を決定済みであると判定した場合（ステップＳ１４：Ｙｅｓ）、基準値決定処理を実行する（ステップＳ１５）。ステップＳ１５の処理は、図１３に示すステップＳ３０～Ｓ３４の処理であり、後で詳述する。
　処理部１６は、ステップＳ１５の処理が終了した場合、または基準値を決定済みではないと判定した場合（ステップＳ１４：Ｎｏ）、対象設備が撮像されたか否かを判定する（ステップＳ１６）。ステップＳ１６の処理において、処理部１６は、例えば、図９に示す撮像ボタン６４が選択された後に登録ボタン６６が選択された場合に、対象設備が撮像されたと判定する。
　処理部１６は、対象設備が撮像されたと判定すると（ステップＳ１６：Ｙｅｓ）、状態検出用情報送信処理を実行する（ステップＳ１７）。ステップＳ１７の処理は、図１６に示すステップＳ６０～Ｓ６６の処理であり、後で詳述する。
　処理部１６は、ステップＳ１７の処理が終了した場合、または対象設備が撮像されていないと判定した場合（ステップＳ１６：Ｎｏ）、サーバ２から部位状態検出結果を取得したか否かを判定する（ステップＳ１８）。処理部１６は、部位状態検出結果を取得したと判定した場合（ステップＳ１８：Ｙｅｓ）、点検支援画面６０に部位状態検出結果を追加する（ステップＳ１９）。
　処理部１６は、ステップＳ１９の処理が終了した場合、または部位状態検出結果を取得していないと判定した場合（ステップＳ１８：Ｎｏ）、動作終了のタイミングになったか否かを判定する（ステップＳ２０）。処理部１６は、例えば、携帯端末１の不図示の電源がオフされたと判定した場合または入力部１２への動作終了の操作が行われたと判定した場合に、動作終了のタイミングになったと判定する。
　処理部１６は、動作終了のタイミングになっていないと判定した場合（ステップＳ２０：Ｎｏ）、処理をステップＳ１０へ移行し、動作終了のタイミングになったと判定した場合（ステップＳ２０：Ｙｅｓ）、図１２に示す処理を終了する。
　図１３は、実施の形態１にかかる携帯端末の処理部による基準値決定処理の一例を示すフローチャートである。図１３に示すように、処理部１６は、第１決定モードに設定されているか否かを判定する（ステップＳ３０）。処理部１６は、第１決定モードに設定されていると判定した場合（ステップＳ３０：Ｙｅｓ）、第１基準値決定処理を実行する（ステップＳ３１）。ステップＳ３１の処理は、図１４に示すステップＳ４０～Ｓ４２の処理であり、後で詳述する。
　処理部１６は、第１決定モードに設定されていないと判定した場合（ステップＳ３０：Ｎｏ）、第２決定モードに設定されているか否かを判定する（ステップＳ３２）。処理部１６は、第２決定モードに設定されていると判定した場合（ステップＳ３２：Ｙｅｓ）、第２基準値決定処理を実行する（ステップＳ３３）。ステップＳ３３の処理は、図１５に示すステップＳ５０～Ｓ５４の処理であり、後で詳述する。
　処理部１６は、第２決定モードに設定されていないと判定した場合（ステップＳ３２：Ｎｏ）、照度の基準値を設定しない（ステップＳ３４）。ステップＳ３４において、処理部１６は、例えば、前回決定された照度の基準値がある場合には、決定された照度の基準値を破棄する。
　処理部１６は、ステップＳ３１の処理が終了した場合、ステップＳ３３の処理が終了した場合、またはステップＳ３４の処理が終了した場合、図１３に示す処理を終了する。
　図１４は、実施の形態１にかかる携帯端末の処理部による第１基準値決定処理の一例を示すフローチャートである。図１４に示すように、処理部１６は、対象設備を今回の点検作業で撮像済みであるか否かを判定する（ステップＳ４０）。
　処理部１６は、対象設備を今回の点検作業で撮像済みであると判定した場合（ステップＳ４０：Ｙｅｓ）、今回の点検作業で以前に撮像部１３で撮像した時に判定した照度に基づいて、照度の基準値を決定する（ステップＳ４１）。
　また、処理部１６は、対象設備を今回の点検作業で撮像済みではないと判定した場合（ステップＳ４０：Ｎｏ）、照度の基準値を設定しない（ステップＳ４２）。処理部１６は、ステップＳ４１の処理が終了した場合、またはステップＳ４２の処理が終了した場合、図１４に示す処理を終了する。
　図１５は、実施の形態１にかかる携帯端末の処理部による第２基準値決定処理の一例を示すフローチャートである。なお、図１５のステップＳ５２～Ｓ５４の処理は、図１４に示すステップＳ４０～Ｓ４２の処理と同じであるため、説明を省略する。
　図１５に示すように、処理部１６は、対象設備に対する前回の点検作業があったか否かを判定する（ステップＳ５０）。処理部１６は、対象設備に対する前回の点検作業があると判定した場合（ステップＳ５０：Ｙｅｓ）、対象設備に対する前回の点検作業時の基準値を照度の基準値に設定する（ステップＳ５１）。処理部１６は、前回の点検作業がないと判定した場合（ステップＳ５０：Ｎｏ）、処理をステップＳ５２に移行する。処理部１６は、ステップＳ５１，Ｓ５３，Ｓ５４の処理が終了した場合、図１５に示す処理を終了する。
　図１６は、実施の形態１にかかる携帯端末の処理部による状態検出用情報送信処理の一例を示すフローチャートである。図１６に示すように、処理部１６は、撮像部１３から撮像画像の情報を取得する（ステップＳ６０）。
　次に、処理部１６は、照度判定処理を照度判定部１４に実行させる（ステップＳ６１）。ステップＳ６１の処理は、図１７に示すステップＳ７０～Ｓ７４の処理であり、後で詳述する。
　次に、処理部１６は、照度の基準値があるか否かを判定する（ステップＳ６２）。処理部１６は、照度の基準値があると判定した場合（ステップＳ６２：Ｙｅｓ）、撮像時の照度が許容範囲内であるか否かを判定する（ステップＳ６３）。撮像時の照度は、撮像部１３によって対象設備が撮像されたときに照度判定部１４によって判定された照度であり、許容範囲は、上述したように照度の基準値に基づいて設定される範囲である。
　処理部１６は、撮像時の照度が許容範囲内ではないと判定した場合（ステップＳ６３：Ｎｏ）、撮像のやり直しを促すメッセージを表示部１１に表示させる（ステップＳ６４）。ステップＳ６４の処理において、処理部１６は、例えば、図１１に示すメッセージ６８を表示部１１に表示させる。そして、処理部１６は、撮像部１３の撮像画像の情報を削除し（ステップＳ６５）、処理をステップＳ６０に移行する。
　処理部１６は、照度の基準値がないと判定した場合（ステップＳ６２：Ｎｏ）、または撮像時の照度が許容範囲内であると判定した場合（ステップＳ６３：Ｙｅｓ）、撮像画像の情報と撮影時の照度の情報とを含む状態検出用情報をサーバ２へ送信し（ステップＳ６６）、図１６に示す処理を終了する。なお、ステップＳ６６の処理は、例えば、図９に示す登録ボタン６６が選択されたときに実行されるが、登録ボタン６６の選択なしに実行されてもよい。
　図１７は、実施の形態１にかかる携帯端末の照度判定部による照度判定処理の一例を示すフローチャートである。図１７に示すように、照度判定部１４は、第１判定モードに設定されているか否かを判定する（ステップＳ７０）。
　照度判定部１４は、第１判定モードに設定されていると判定した場合（ステップＳ７０：Ｙｅｓ）、照度センサ２５で検出される照度を撮像時の照度と判定する第１照度判定処理を行う（ステップＳ７１）。
　照度判定部１４は、第１判定モードに設定されていないと判定した場合（ステップＳ７０：Ｎｏ）、第２判定モードに設定されているか否かを判定する（ステップＳ７２）。照度判定部１４は、第２判定モードに設定されていると判定した場合（ステップＳ７２：Ｙｅｓ）、第２照度判定処理を行う（ステップＳ７３）。ステップＳ７３の処理は、図１８に示すステップＳ８０～８６の処理であり、後で詳述する。
　照度判定部１４は、第２判定モードに設定されていないと判定した場合（ステップＳ７２：Ｎｏ）、第３照度判定処理を行う（ステップＳ７４）。ステップＳ７４の処理は、図１９に示すステップＳ９０～９７の処理であり、後で詳述する。
　照度判定部１４は、ステップＳ７１の処理が終了した場合、ステップＳ７３の処理が終了した場合、またはステップＳ７４の処理が終了した場合、図１７に示す処理を終了する。
　図１８は、実施の形態１にかかる携帯端末の照度判定部による第２照度判定処理の一例を示すフローチャートである。図１８に示すように、照度判定部１４は、日時および天気などの環境の情報である環境情報を取得する（ステップＳ８０）。
　次に、照度判定部１４は、対象部位以外の領域である対象外領域の輝度を処理部１６から取得する（ステップＳ８１）。例えば、照度判定部１４は、撮像画像に含まれている点検対象の部位がランプである場合、撮像画像のうちランプ以外の領域の輝度を取得する。
　次に、照度判定部１４は、点検対象が屋外に設置されているか否かを判定する（ステップＳ８２）。照度判定部１４は、点検対象が屋外に設置されていると判定した場合（ステップＳ８２：Ｙｅｓ）、環境情報、点検対象の設備４の向き、携帯端末１の向き、および対象外領域の輝度に基づいて、携帯端末１の周囲の照度を推定する（ステップＳ８３）。
　照度判定部１４は、点検対象が屋外に設置されていないと判定した場合（ステップＳ８２：Ｎｏ）、点検対象が屋内設置で太陽光があるか否かを判定する（ステップＳ８４）。照度判定部１４は、ステップＳ８４において、例えば、点検対象の設備４が屋内に設置され且つ太陽光が設備４に当たる場合に、点検対象が屋内設置で太陽光があると判定する。
　照度判定部１４は、点検対象が屋内設置で太陽光があると判定した場合（ステップＳ８４：Ｙｅｓ）、環境情報、点検対象の設備４の向き、および対象外領域の輝度に基づいて、照度を推定する（ステップＳ８５）。
　また、照度判定部１４は、点検対象が屋内設置で太陽光がないと判定した場合（ステップＳ８４：Ｎｏ）、携帯端末１の周囲の照度を予め設定された照度と判定する（ステップＳ８６）。
　照度判定部１４は、ステップＳ８３の処理が終了した場合、ステップＳ８５の処理が終了した場合、またはステップＳ８６の処理が終了した場合、図１８に示す処理を終了する。なお、処理部１６は、ステップＳ８１の処理を行わないこともできる。この場合、照度判定部１４は、ステップＳ８３，Ｓ８５において、対象外領域の輝度を照度の推定に用いない。
　図１９は、実施の形態１にかかる携帯端末の照度判定部による第３照度判定処理の一例を示すフローチャートである。図１９に示すステップＳ９０，Ｓ９２，Ｓ９３，Ｓ９５，Ｓ９７の処理は、図１８に示すステップＳ８０～Ｓ８２，Ｓ８４，Ｓ８６の処理と同じであるため、説明を省略する。
　図１９に示すように、照度判定部１４は、照度センサ２５が検出した照度を取得する（ステップＳ９１）。照度判定部１４は、点検対象が屋外に設置されていると判定した場合（ステップＳ９３：Ｙｅｓ）、照度センサ２５が検出した照度、環境情報、点検対象の設備４の向き、携帯端末１の向き、および対象外領域の輝度に基づいて、携帯端末１の周囲の照度を推定する（ステップＳ９４）。
　また、照度判定部１４は、点検対象が屋内設置で太陽光があると判定した場合（ステップＳ９５：Ｙｅｓ）、照度センサ２５が検出した照度、環境情報、点検対象の設備４の向き、および対象外領域の輝度に基づいて、照度を推定する（ステップＳ９６）。照度判定部１４は、ステップＳ９４，Ｓ９６，Ｓ９７の処理が終了した場合、図１９に示す処理を終了する。
　次に、サーバ２の構成および処理について具体的に説明する。図２０は、実施の形態１にかかるサーバの構成の一例を示す図である。図２０に示すように、サーバ２は、通信部３０と、記憶部３１と、処理部３２とを備える。通信部３０は、ネットワーク３を介して携帯端末１に通信可能に接続されており、携帯端末１との間でネットワーク３を介して情報の送受信を行う。
　記憶部３１は、設備情報記憶部４０と、部位情報記憶部４１と、検出結果記憶部４２と、帳票情報記憶部４３とを備える。設備情報記憶部４０は、点検対象となる設備４の情報を記憶する。設備情報記憶部４０に記憶される設備４の情報は、例えば、設備４の設置場所、設備４の向き、点検作業時に携帯端末１に表示される情報などである。
　部位情報記憶部４１は、設備４のうち物理的に変化し且つ状態検出対象となる部位である状態検出対象部位の情報を記憶する。図２１は、実施の形態１にかかるサーバの部位情報記憶部に記憶される各部位の情報を含む部位情報テーブルの一例を示す図である。
　図２１に示す部位情報テーブルは、「設備ＩＤ（IDentifier）」、「部位ＩＤ」、「部位名称」、「座標」、「幅」、および「高さ」を状態検出対象部位毎に含む。「設備ＩＤ」は、状態検出対象部位が含まれる設備４毎に固有の識別情報である。「部位ＩＤ」は、状態検出対象部位毎に固有の識別情報である。「部位名称」は、状態検出対象部位の名称である。
　「座標」は、設備４における状態検出対象部位の座標を示す情報であり、かかる部位の座標は、例えば、状態検出対象部位の右上の座標または状態検出対象部位の中心座標である。「幅」は、状態検出対象部位の幅を示す情報である。「高さ」は、状態検出対象部位の高さを示す情報である。
　図２１に示す例では、設備ＩＤ「Ｍ００１」の設備４の状態検出対象部位の情報が含まれている。部位ＩＤ「ＬＡ００１」の状態検出対象部位は、名称が「ポンプ運転」であり、座標が「１５０，５０」であり、幅が「８０」であり、高さが「８０」である。部位ＩＤ「ＬＡ００２」の状態検出対象部位は、名称が「ポンプ異常」であり、座標が「２５０，５０」であり、幅が「８０」であり、高さが「８０」である。
　また、部位ＩＤ「ＬＡ００３」の状態検出対象部位は、名称が「圧力計１正常」であり、座標が「１２５，１６０」であり、幅が「８５」であり、高さが「１００」である。部位ＩＤ「ＬＡ００４」の状態検出対象部位は、名称が「圧力計２正常」であり、座標が「２１０，１６０」であり、幅が「８５」であり、高さが「１００」である。
　検出結果記憶部４２は、処理部３２によって検出された状態検出対象部位の状態検出結果を含む状態検出結果テーブルを記憶する。図２２は、実施の形態１にかかるサーバの検出結果記憶部に記憶される各部位の情報を含む状態検出結果テーブルの一例を示す図である。
　図２１に示す状態検出結果テーブルは、「部位ＩＤ」、「平均輝度」、「照度」、および「状態」を状態検出対象部位毎に含む。「部位ＩＤ」は、図２１に示す部位ＩＤと同じである。「平均輝度」は、状態検出対象部位に対する撮像部１３の撮像画像における輝度の平均値を示す情報であり、輝度の平均値として、赤色の輝度の平均値、緑色の輝度の平均値、および青色の輝度の平均値を含む。
　「照度」は、状態検出対象部位に対する撮像部１３の撮像時において照度判定部１４によって判定された照度を示す情報である。「状態」は、状態検出対象部位の状態を示す情報であり、「０」は、状態検出対象部位が消灯状態のランプであることを示し、「１」は、状態検出対象部位が点灯状態のランプであることを示す。
　なお、図示していないが、状態検出対象部位がレバーである場合、「状態」は、例えば、レバーの位置または角度を示す情報が含まれ、状態検出対象部位がスイッチである場合、「状態」は、例えば、スイッチの位置または角度を示す情報が含まれる。
　図２０に示す処理部３２は、受信処理部５０と、画像抽出部５１と、状態検出部５２と、帳票作成部５３と、送信処理部５４とを備える。受信処理部５０は、対象設備特定情報または状態検出用情報などの情報を携帯端末１からネットワーク３および通信部３０を介して受信する。また、受信処理部５０は、点検作業が終了したことを示す点検終了情報を携帯端末１からネットワーク３および通信部３０を介して受信する。
　画像抽出部５１は、受信処理部５０によって状態検出用情報が受信された場合、部位情報記憶部４１に記憶されている状態検出対象部位の情報に基づいて、状態検出用情報に含まれる撮像画像の情報を解析し、状態検出対象部位の画像を抽出する。
　状態検出部５２は、状態検出対象部位がランプである場合、画像抽出部５１によって抽出された状態検出対象部位の画像と、受信処理部５０によって受信された状態検出用情報で示される照度とに基づいて、状態検出対象部位であるランプが消灯状態であるか点灯状態であるかを検出する。
　例えば、状態検出部５２は、画像抽出部５１によって抽出された状態検出対象部位の画像の平均輝度を検出し、受信処理部５０によって受信された状態検出用情報で示される照度に基づいて点灯しているか否かを検出するために用いる輝度閾値を決定する。
　そして、状態検出部５２は、状態検出対象部位の画像の平均輝度と輝度閾値とを比較して、状態検出対象部位であるランプが消灯状態であるか点灯状態であることを検出する。例えば、状態検出部５２は、状態検出対象部位の画像の平均輝度が輝度閾値以上であれば、状態検出対象部位であるランプが点灯状態であることを検出し、そうでない場合には、状態検出対象部位であるランプが消灯状態であることを検出する。
　また、状態検出部５２は、状態検出対象部位がスイッチである場合、スイッチの位置または角度をスイッチの状態として検出し、状態検出対象部位がレバーである場合、レバーの位置または角度をレバーの状態として検出する。状態検出部５２は、例えば、パターンマッチング技術によって、スイッチの位置または角度、レバーの位置または角度などを検出する。
　図２３は、実施の形態１にかかる点検支援システムによって状態が検出されるスイッチおよびレバーの一例を示す図である。図２３に示すように、点検支援システム１００によって状態が検出されるスイッチおよびレバーとして、スライド型スイッチ、つまみ型スイッチ、直動型レバー、および回転型レバーなどがある。
　なお、状態検出部５２は、機械学習によって生成された学習モデルを用いて、状態検出対象部位の状態を検出することもできる。例えば、状態検出部５２は、撮像画像と照度とを入力とし、状態検出対象部位の状態を示す情報を出力する学習モデルである。
　学習モデルは、畳み込みニューラルネットワークまたは回帰型ニューラルネットワークなどのニューラルネットワークであり、深層学習（Deep　Learning）によって生成される。なお、学習モデルは、ニューラルネットワーク以外のネットワークモデルであってもよく、線形回帰またはロジスティック回帰などといった深層学習以外の機械学習によって生成される計算モデルであってもよい。
　図２０に示す帳票作成部５３は、状態検出部５２によって検出された状態検出対象部位の状態を示す情報を含む帳票の情報を作成する。帳票の情報は、点検対象である設備４の点検結果を示す情報であり、点検結果を示す報告書の情報ともいうことができる。帳票の情報には、部位の名称を示す情報と部位の状態を示す情報とが含まれるが、さらに、撮像画像の情報が含まれていてもよい。
　図２０に示す送信処理部５４は、受信処理部５０によって対象設備特定情報が受信された場合、対象設備特定情報で特定される対象設備の情報を設備情報記憶部４０から取得し、取得した対象設備の情報を通信部３０およびネットワーク３を介して送信する。
　また、送信処理部５４は、状態検出部５２によって検出された状態検出対象部位の状態を示す情報を含む部位状態検出結果を通信部３０およびネットワーク３を介して送信する。また、送信処理部５４は、撮像画像に含まれる複数の状態検出対象部位のうち１以上の部位の状態が状態検出部５２によって検出できない場合、１以上の部位の状態が検出できないことを示す検出不可情報を通信部３０およびネットワーク３を介して送信する。
　また、送信処理部５４は、帳票作成部５３によって作成された帳票の情報を通信部３０およびネットワーク３を介して送信することもできる。
　つづいて、フローチャートを用いてサーバ２の処理部３２による処理を説明する。図２４は、実施の形態１にかかるサーバの処理部による処理の一例を示すフローチャートである。
　図２４に示すように、サーバ２の処理部３２は、対象設備特定情報を携帯端末１から取得したか否かを判定する（ステップＳ１００）。処理部３２は、対象設備特定情報を取得したと判定した場合（ステップＳ１００：Ｙｅｓ）、対象設備特定情報で特定される対象設備の情報を記憶部３１から取得し（ステップＳ１０１）、取得した対象設備の情報を通信部３０およびネットワーク３を介して携帯端末１に送信する（ステップＳ１０２）。
　処理部３２は、ステップＳ１０２の処理が終了した場合、または対象設備特定情報を取得していないと判定した場合（ステップＳ１００：Ｎｏ）、状態検出用情報を携帯端末１から取得したか否かを判定する（ステップＳ１０３）。
　処理部３２は、状態検出用情報を取得したと判定した場合（ステップＳ１０３：Ｙｅｓ）、状態検出用情報で示される撮像画像から状態検出対象部位の画像を抽出する（ステップＳ１０４）。そして、処理部３２は、状態検出対象部位の画像と状態検出用情報で示される照度とに基づいて、状態検出対象部位の状態を検出する（ステップＳ１０５）。処理部３２は、検出した状態検出対象部位の状態を示す部位状態検出結果を通信部３０およびネットワーク３を介して携帯端末１に送信する（ステップＳ１０６）。
　処理部３２は、ステップＳ１０６の処理が終了した場合、または状態検出用情報を取得していないと判定した場合（ステップＳ１０３：Ｎｏ）、点検終了情報を携帯端末１から取得したか否かを判定する（ステップＳ１０７）。処理部３２は、点検終了情報を取得したと判定した場合（ステップＳ１０７：Ｙｅｓ）、ステップＳ１０５によって判定された各状態検出対象部位の状態に基づいて、設備４の点検結果を示す帳票の情報を作成する（ステップＳ１０８）。
　処理部３２は、ステップＳ１０８の処理が終了した場合、または点検終了情報を取得していないと判定した場合（ステップＳ１０７：Ｎｏ）、図２４に示す処理を終了する。
　なお、基準値決定部２１は、例えば、携帯端末１の向きに応じて上述の方法で決定した照度の基準値を補正することができる。例えば、基準値決定部２１は、携帯端末１の向きが、サーバ２が部位の状態を検出しやすい撮像画像を撮像部１３で得ることができる向きである場合、上述のように決定した照度の基準値を小さくする補正を行う。また、基準値決定部２１は、携帯端末１の向きが、サーバ２が部位の状態を検出しにくい撮像画像しか撮像部１３で得ることができない向きである場合、上述のように決定した照度の基準値を大きくする補正を行う。
　サーバ２が部位の状態を検出しやすい撮像画像を撮像部１３で得ることができる向きなどの情報は、例えば、サーバ２から送信される設備の情報に含まれており、基準値決定部２１は、サーバ２から送信される設備の情報に基づいて、携帯端末１の向きが、サーバ２が部位の状態を検出しやすい撮像画像を撮像部１３で得ることができる向きであるか否かを判定する。
　また、基準値決定部２１は、例えば、携帯端末１の向きに応じて許容範囲を規定する第１の値および第２の値を変更することもできる。例えば、基準値決定部２１は、携帯端末１の向きが、サーバ２が部位の状態を検出しやすい撮像画像を撮像部１３で得ることができる向きである場合、許容範囲を規定する第１の値および第２の値の少なくとも一方を変更することで許容範囲を広げる補正を行う。また、基準値決定部２１は、携帯端末１の向きが、サーバ２が部位の状態を検出しにくい撮像画像しか撮像部１３で得ることができない向きである場合、許容範囲を規定する第１の値および第２の値の少なくとも一方を変更することで許容範囲を狭くする補正を行う。
　なお、上述した例では、照度の基準値が設備４単位で決定されるが、基準値決定部２１は、部位単位または２つ以上の部位のグループ単位で照度の基準値を決定することもできる。
　図２５は、実施の形態１にかかる携帯端末およびサーバの各々のハードウェア構成の一例を示す図である。図２５に示すように、携帯端末１およびサーバ２の各々は、プロセッサ１０１と、メモリ１０２と、通信装置１０３と、入力装置１０４と、表示装置１０５と、バス１０６とを備えるコンピュータを含む。
　プロセッサ１０１、メモリ１０２、通信装置１０３、入力装置１０４、および表示装置１０５は、例えば、バス１０６によって互いに情報の送受信が可能である。記憶部１５，３１は、メモリ１０２によって実現される。通信部１０，３０は、通信装置１０３で実現される。入力部１２は、入力装置１０４によって実現される。表示部１１は、表示装置１０５によって実現される。
　プロセッサ１０１は、記録媒体ドライブにセットされた記録媒体から情報処理プログラムを読み出し、読み出した情報処理プログラムをメモリ１０２にインストールする。記録媒体ドライブは、例えば、ＣＤ（Compact　Disc）－ＲＯＭドライブ、ＤＶＤ（Digital　Versatile　Disc）－ＲＯＭドライブ、またはＵＳＢドライブであり、記録媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または不揮発性の半導体メモリなどである。
　プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、処理部１６，３２の機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、およびシステムＬＳＩ（Large　Scale　Integration）のうち１つ以上を含む。
　メモリ１０２は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically　Erasable　Programmable　Read　Only　Memory）のうち１つ以上を含む。なお、携帯端末１およびサーバ２の各々は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＦＰＧＡ（Field　Programmable　Gate　Array）などの集積回路を含んでいてもよい。
　サーバ２は、２以上の装置で構成されてもよく、例えば、処理サーバと、データサーバとで構成されてもよい。この場合、２以上の装置の各々は、例えば、図２５に示すハードウェア構成を有する。なお、２以上の装置間の通信は、通信装置１０３を介して行われる。
　以上のように、実施の形態１にかかる点検支援システム１００は、携帯端末１と、サーバ２とを備える。携帯端末１は、撮像部１３と照度判定部１４とを備え、物理的に変化する１以上の部位を備え且つ点検対象となる設備４を撮像部１３によって撮像して得られる１以上の部位の撮像画像の情報と照度判定部１４によって判定された照度の情報とを送信する。サーバ２は、携帯端末１から送信される撮像画像の情報および照度の情報に基づいて１以上の部位の状態を判定する。携帯端末１は、基準値決定部２１と、許容判定部２２と、送信処理部２３とを備える。基準値決定部２１は、照度判定部１４による過去の照度の判定結果に基づいて、照度の基準値を決定する。許容判定部２２は、照度判定部１４によって判定された照度が、基準値決定部２１で決定された基準値に基づいて設定される許容範囲内であるか否かを判定する。送信処理部２３は、照度判定部１４によって判定された照度が許容範囲内であると許容判定部２２によって判定された場合、撮像画像の情報および照度の情報をサーバ２へ送信する。サーバ２は、受信処理部５０と、状態検出部５２と、送信処理部５４とを備える。受信処理部５０は、携帯端末１から送信される撮像画像の情報および照度の情報を受信する。状態検出部５２は、受信処理部５０によって受信された撮像画像の情報および照度の情報に基づいて、１以上の部位の状態を検出する。これにより、点検支援システム１００では、照度が許容範囲内ではない場合には、撮像画像および照度の情報をサーバ２に送信しないため、設備４の部位の状態の検出が難しい撮像画像が携帯端末１から送信されてサーバ２で解析されてしまうことを防止することができる。そのため、点検支援システム１００では、１以上の部位の状態を検出する処理である検出処理の効率化を図ることができる。
　また、基準値決定部２１は、点検対象に対する今回の点検作業における前回以前の撮像部１３の撮像時に照度判定部１４によって判定された照度に基づいて、基準値を決定する。これにより、点検支援システム１００では、点検対象に対する初回点検時においても、１以上の部位の状態に対する検出精度を向上させることができる。
　また、基準値決定部２１は、点検対象に対する今回の点検作業における前回以前の撮像部１３の撮像時に照度判定部１４によって判定された照度の平均値に基づいて、今回の点検作業で用いられる基準値を決定する。これにより、点検支援システム１００では、点検対象に対する初回点検時においても、１以上の部位の状態に対する検出精度をより向上させることができる。
　また、基準値決定部２１は、点検対象に対する前回の点検作業における撮像部１３による撮像時に照度判定部１４によって判定された照度に基づいて、今回の点検作業で用いられる基準値を決定する。このように、点検支援システム１００では、点検対象に対する前回点検時の照度を用いることから、１以上の部位の状態に対する検出精度をより向上させることができる。
　また、照度判定部１４は、照度を検出する照度センサ２５を有する。これにより、携帯端末１は、周囲の照度を精度よく検出することができる。
　また、照度判定部１４は、撮像部１３による撮像時の環境、点検対象の設置場所、点検対象の向き、携帯端末１の向き、および撮像画像のうちの１以上の部位以外の領域の輝度のうちの少なくとも１つに基づいて照度を推定することで、照度を判定する。これにより、携帯端末１は、例えば、撮像部１３によって撮像される１以上の部位に対して外部から照射される光の照度を携帯端末１の周囲の照度として精度よく検出することができることから、１以上の部位の状態に対する検出精度をより向上させることができる。
　また、照度判定部１４は、照度を検出する照度センサ２５と、判定処理部２６とを備える。判定処理部２６は、照度センサ２５によって検出された照度と、撮像部１３による撮像時の環境、点検対象の設置場所、点検対象の向き、携帯端末１の向き、および撮像画像のうちの１以上の部位以外の領域の輝度のうちの少なくとも１つとに基づいて照度を判定する。これにより、携帯端末１は、例えば、撮像部１３によって撮像される１以上の部位に対して外部から照射される光の照度を携帯端末１の周囲の照度として精度よく検出することができることから、１以上の部位の状態に対する検出精度をより向上させることができる。
　また、点検支援システム１００は、状態検出部５２によって検出された部位の状態を示す情報を含む帳票の情報を作成する帳票作成部５３を備える。これにより、点検支援システム１００は、状態検出部５２によって検出された部位の状態を示す情報を帳票の情報として提供することができる。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　携帯端末、２　サーバ、３　ネットワーク、４　設備、１０，３０　通信部、１１　表示部、１２　入力部、１３　撮像部、１４　照度判定部、１５，３１　記憶部、１６，３２　処理部、２０，５０　受信処理部、２１　基準値決定部、２２　許容判定部、２３，５４　送信処理部、２４　表示処理部、２５　照度センサ、２６　判定処理部、４０　設備情報記憶部、４１　部位情報記憶部、４２　検出結果記憶部、４３　帳票情報記憶部、５１　画像抽出部、５２　状態検出部、５３　帳票作成部、１００　点検支援システム、１０１　プロセッサ、１０２　メモリ、１０３　通信装置、１０４　入力装置、１０５　表示装置、１０６　バス。

Claims (11)

  1. 　撮像部と照度判定部とを備え、物理的に変化する１以上の部位を備え且つ点検対象となる設備を前記撮像部によって撮像して得られる前記１以上の部位の撮像画像の情報と前記照度判定部によって判定された照度の情報とを送信する携帯端末と、
    　前記携帯端末から送信される前記撮像画像の情報および前記照度の情報に基づいて前記１以上の部位の状態を判定するサーバと、を備え、
    　前記携帯端末は、
    　前記照度判定部による過去の照度の判定結果に基づいて、前記照度の基準値を決定する基準値決定部と、
    　前記照度判定部によって判定された照度が、前記基準値決定部で決定された前記基準値に基づいて設定される許容範囲内であるか否かを判定する許容判定部と、
    　前記照度判定部によって判定された照度が前記許容範囲内であると前記許容判定部によって判定された場合、前記撮像画像の情報および前記照度の情報を前記サーバへ送信する送信処理部と、を備え、
    　前記サーバは、
    　前記携帯端末から送信される前記撮像画像の情報および前記照度の情報を受信する受信処理部と、
    　前記受信処理部によって受信された前記撮像画像の情報および前記照度の情報に基づいて、前記１以上の部位の状態を検出する状態検出部と、を備える
    　ことを特徴とする点検支援システム。
  2. 　前記基準値決定部は、
    　前記点検対象に対する今回の点検作業における前回以前の前記撮像部の撮像時に前記照度判定部によって判定された前記照度に基づいて、前記基準値を決定する
    　ことを特徴とする請求項１に記載の点検支援システム。
  3. 　前記基準値決定部は、
    　前記点検対象に対する今回の点検作業における前回以前の前記撮像部の撮像時に前記照度判定部によって判定された前記照度の平均値に基づいて、前記今回の点検作業で用いられる前記基準値を決定する
    　ことを特徴とする請求項２に記載の点検支援システム。
  4. 　前記基準値決定部は、
    　前記点検対象に対する前回の点検作業における前記撮像部による撮像時に前記照度判定部によって判定された前記照度に基づいて、前記今回の点検作業で用いられる前記基準値を決定する
    　ことを特徴とする請求項２に記載の点検支援システム。
  5. 　前記照度判定部は、
    　前記照度を検出する照度センサを有する
    　ことを特徴とする請求項１から４のいずれか１つに記載の点検支援システム。
  6. 　前記照度判定部は、
    　前記撮像部による撮像時の環境、前記点検対象の設置場所、前記点検対象の向き、前記携帯端末の向き、および前記撮像画像のうちの１以上の部位以外の領域の輝度のうちの少なくとも１つに基づいて前記照度を推定することで、前記照度を判定する
    　ことを特徴とする請求項１から４のいずれか１つに記載の点検支援システム。
  7. 　前記照度判定部は、
    　前記照度を検出する照度センサと、
    　前記照度センサによって検出された照度と、前記撮像部による撮像時の環境、前記点検対象の設置場所、前記点検対象の向き、前記携帯端末の向き、および前記撮像画像のうちの１以上の部位以外の領域の輝度のうちの少なくとも１つとに基づいて前記照度を判定する判定処理部と、を備える
    　ことを特徴とする請求項１から４のいずれか１つに記載の点検支援システム。
  8. 　前記状態検出部によって検出された前記１以上の部位の状態を示す情報を含む帳票の情報を作成する帳票作成部を備える
    　ことを特徴とする請求項１から７のいずれか１つに記載の点検支援システム。
  9. 　点検対象となる設備において物理的に変化する１以上の部位を撮像する撮像部と、
    　前記撮像部の周囲の照度を判定する照度判定部と、
    　前記照度判定部による過去の照度の判定結果に基づいて、前記照度の基準値を決定する基準値決定部と、
    　前記照度判定部によって判定された照度が、前記基準値決定部で決定された前記基準値に基づいて設定される許容範囲内であるか否かを判定する許容判定部と、
    　前記照度判定部によって判定された照度が前記許容範囲内であると前記許容判定部によって判定された場合、前記撮像部の撮像画像の情報および前記照度の情報をサーバへ送信する送信処理部と、を備える
    　ことを特徴とする携帯端末。
  10. 　撮像部と照度判定部とを備える携帯端末が、点検対象となる設備において物理的に変化する１以上の部位を前記撮像部によって撮像する撮像ステップと、
    　前記携帯端末が、前記照度判定部による過去の照度の判定結果に基づいて、前記照度の基準値を決定する基準値決定ステップと、
    　前記携帯端末が、前記照度判定部によって判定された照度が、前記基準値決定ステップで決定された前記基準値に基づいて設定される許容範囲内であるか否かを判定する許容判定ステップと、
    　前記携帯端末が、前記照度判定部によって判定された照度が前記許容範囲内であると前記許容判定ステップによって判定された場合、前記点検対象となる設備を前記撮像部によって撮像して得られる前記点検対象の物理的に変化する１以上の部位の撮像画像の情報および前記照度判定部によって判定された照度の情報を、前記１以上の部位の状態を判定するサーバへ送信する送信処理ステップと、
    　前記サーバが、前記携帯端末から送信される前記撮像画像の情報および前記照度の情報を受信する受信処理ステップと、
    　前記サーバが、前記受信処理ステップによって受信された前記撮像画像の情報および前記照度の情報に基づいて、前記１以上の部位の検出を検出する状態検出ステップと、
    　前記サーバが、前記状態検出ステップによって判定された前記１以上の部位の状態を示す情報を前記携帯端末へ送信する送信処理ステップと、を含む
    　ことを特徴とする点検支援方法。
  11. 　点検対象となる設備において物理的に変化する１以上の部位を撮像部によって撮像する撮像ステップと、
    　前記撮像部の周囲の照度を判定する照度判定ステップと、
    　前記照度判定ステップによる過去の照度の判定結果に基づいて、前記照度の基準値を決定する基準値決定ステップと、
    　前記照度判定ステップによって判定された照度が、前記基準値決定ステップで決定された前記基準値に基づいて設定される許容範囲内であるか否かを判定する許容判定ステップと、
    　前記照度判定ステップによって判定された照度が前記許容範囲内であると前記許容判定ステップによって判定された場合、前記撮像ステップによって撮像された前記１以上の部位の画像である撮像画像の情報および前記照度判定ステップによって判定された照度の情報をサーバへ送信する送信処理ステップと、をコンピュータに実行させる
    　ことを特徴とする点検支援プログラム。
PCT/JP2021/042952 2021-11-24 2021-11-24 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム WO2023095195A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022517488A JP7098086B1 (ja) 2021-11-24 2021-11-24 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム
PCT/JP2021/042952 WO2023095195A1 (ja) 2021-11-24 2021-11-24 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/042952 WO2023095195A1 (ja) 2021-11-24 2021-11-24 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム

Publications (1)

Publication Number Publication Date
WO2023095195A1 true WO2023095195A1 (ja) 2023-06-01

Family

ID=82356927

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042952 WO2023095195A1 (ja) 2021-11-24 2021-11-24 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム

Country Status (2)

Country Link
JP (1) JP7098086B1 (ja)
WO (1) WO2023095195A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078122A (ja) * 2012-10-10 2014-05-01 Hitachi Ltd 点検システム及び点検方法
JP2017117115A (ja) * 2015-12-22 2017-06-29 富士通株式会社 コンテンツ制御プログラム、コンテンツ制御方法、コンテンツ制御装置、及びコンテンツ表示装置
JP2017188049A (ja) * 2016-04-08 2017-10-12 株式会社東芝 点検支援端末、点検支援方法及びプログラム
JP2021124356A (ja) * 2020-02-04 2021-08-30 東京瓦斯株式会社 ガスメータの交換作業支援装置、ガスメータの交換作業支援方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078122A (ja) * 2012-10-10 2014-05-01 Hitachi Ltd 点検システム及び点検方法
JP2017117115A (ja) * 2015-12-22 2017-06-29 富士通株式会社 コンテンツ制御プログラム、コンテンツ制御方法、コンテンツ制御装置、及びコンテンツ表示装置
JP2017188049A (ja) * 2016-04-08 2017-10-12 株式会社東芝 点検支援端末、点検支援方法及びプログラム
JP2021124356A (ja) * 2020-02-04 2021-08-30 東京瓦斯株式会社 ガスメータの交換作業支援装置、ガスメータの交換作業支援方法及びプログラム

Also Published As

Publication number Publication date
JP7098086B1 (ja) 2022-07-08
JPWO2023095195A1 (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
CN107690653B (zh) 获取指纹图像的方法、装置和终端设备
CN105486687B (zh) 触摸面板检查装置和方法
CN108881875B (zh) 图像白平衡处理方法、装置、存储介质及终端
US9256775B1 (en) Image recognition apparatus and commodity information processing apparatus
US8928626B2 (en) Optical navigation system with object detection
CN101918893A (zh) 具有深度图产生的方法和设备
EP2811451A1 (en) Information processing device, method for processing information, and program
CN112672069B (zh) 曝光方法和装置
US20190204880A1 (en) Electronic apparatus and control method thereof
CN104281276A (zh) 信息处理装置、操作输入检测方法、程序和存储介质
KR20140125262A (ko) 영상처리를 이용한 균열 측정장치 및 이를 이용한 균열 측정방법
CN106412457A (zh) 一种图像处理方法及移动终端
CN111556219A (zh) 图像扫描装置及图像扫描方法
CN106954022B (zh) 图像处理方法、装置及终端
WO2023095195A1 (ja) 点検支援システム、携帯端末、点検支援方法、および点検支援プログラム
CN109040729B (zh) 图像白平衡校正方法、装置、存储介质及终端
JPWO2018167974A1 (ja) 画像処理装置、制御方法及び制御プログラム
CN105827987A (zh) 一种图片拍摄方法和移动终端
JP2020008905A (ja) 学習装置、学習システム、及び学習方法
CN116168040B (zh) 元器件的方向检测方法、装置、电子设备及可读存储介质
JP4635651B2 (ja) パターン認識装置およびパターン認識方法
JPWO2019097690A1 (ja) 画像処理装置、制御方法及び制御プログラム
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
KR20100110120A (ko) 면역학적 분석 장치 및 이를 이용한 광학 이미지 상의 표적 영역으로부터의 밝기 값을 결정하는 방법
KR101383827B1 (ko) 인쇄회로기판의 솔더링 영역 자동검출 시스템 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2022517488

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21965569

Country of ref document: EP

Kind code of ref document: A1