WO2022014443A1 - プラント管理方法、プラント管理装置およびプラント管理プログラム - Google Patents

プラント管理方法、プラント管理装置およびプラント管理プログラム Download PDF

Info

Publication number
WO2022014443A1
WO2022014443A1 PCT/JP2021/025641 JP2021025641W WO2022014443A1 WO 2022014443 A1 WO2022014443 A1 WO 2022014443A1 JP 2021025641 W JP2021025641 W JP 2021025641W WO 2022014443 A1 WO2022014443 A1 WO 2022014443A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
plant
plant equipment
image
status
Prior art date
Application number
PCT/JP2021/025641
Other languages
English (en)
French (fr)
Inventor
弘義 橋野
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=79554828&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2022014443(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2022536297A priority Critical patent/JP7260839B2/ja
Publication of WO2022014443A1 publication Critical patent/WO2022014443A1/ja
Priority to JP2023061601A priority patent/JP2023076650A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • the present invention relates to a plant management method, a plant management device and a plant management program.
  • Patent Document 1 discloses a water quality abnormality detecting device of a power plant capable of detecting a water quality abnormality or a sign of the abnormality.
  • This water quality abnormality detection device is provided corresponding to the equipment that composes the power plant, and is a plant model that can calculate water quality information regarding the water quality of the water supply based on the operation data of the power plant and the internal parameters that indicate the internal state of the equipment. And, based on the acquisition unit that acquires the operation data from the power plant and the water quality information calculated from the operation data and the plant model, the internal parameters corresponding to the current internal state of the equipment are calculated and the operation internal parameters are calculated. It is provided with a unit and a determination unit for determining the presence or absence of water quality abnormality or a sign of abnormality based on the reference internal parameter and the operation internal parameter which are the reference in the normal operation state.
  • a 3D model is generated in the virtual space using the design data of the equipment and equipment, and information such as the operating status of the actual equipment and equipment in the real space and environmental information is acquired in real time, and the information is obtained in the virtual space.
  • a technology called a digital twin that enables design improvement, operation instructions according to the environment, failure prediction, etc. by feeding back to a 3D model and performing a simulation is becoming widespread.
  • Patent Document 2 a simulation model of an electric power system including a model that reproduces each partial system is generated based on data of various electric quantities held by a data collection server, and changes in the electrical quantities are obtained.
  • the model By updating the model based on, the technology that faithfully simulates the actual power system is described. It is possible to quantitatively show the stability of the current power system, such as how strong the current power system is against disturbances such as system accidents. Therefore, when strengthening the grid or power equipment, it is possible to present the minimum necessary measures more economically.
  • the digital twin technology when the vibration state and temperature state of the equipment are captured by using the vibration sensor or the temperature sensor, only the information at the measurement point can be acquired.
  • it is desired to acquire a large amount of data it is necessary to arrange a large number of sensors, which is difficult to realize due to an increase in cost and the like.
  • there are few sensors there is a problem that the information obtained is small and it is difficult to improve the accuracy of the simulation.
  • An object of the present invention is to provide a plant management method, a plant management device, and a plant management program capable of improving the accuracy of simulation while suppressing an increase in cost.
  • the plant management method in the present invention is: A 3D model generation step to generate a 3D model of the plant equipment in a virtual space on a computer based on design information about the plant equipment in the real space.
  • a status image acquisition step for acquiring information on the status of the plant equipment as image information
  • a storage step for storing information about the status of the plant equipment acquired as the image information in association with the corresponding portion of the three-dimensional model, and a storage step.
  • the plant management device in the present invention is A generator that generates a three-dimensional model of the plant equipment in a virtual space on a computer based on design information about the plant equipment in the real space.
  • An acquisition unit that acquires information on the status of the plant equipment as image information
  • a storage unit that stores information about the status of the plant equipment acquired as the image information in association with the corresponding portion of the three-dimensional model. To prepare for.
  • the plant management program in the present invention is A process to generate a 3D model of the plant equipment in a virtual space on a computer based on design information about the plant equipment in the real space.
  • FIG. 1 is a diagram schematically showing a configuration of a plant management device 1 according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a situation image displayed superimposed on the image of the three-dimensional model.
  • the information regarding the status of the plant equipment P may be referred to as "status information”.
  • the image information in the situation information may be referred to as a "situation image”.
  • the situation image acquired by the image pickup apparatus may be referred to as a "photographed image”.
  • the plant management device 1 includes an input unit 12, an infrared camera 14 (imaging device), a control unit 20, a storage unit 30, and a display unit 40.
  • the input unit 12 inputs various data (for example, design information and measurement information related to the plant equipment P).
  • the infrared camera 14 captures infrared rays radiated from the plant equipment P and its background.
  • the infrared camera 14 may be installed at a predetermined location in the plant equipment P (installation type), may be arranged so as to be transportable (portable type), or may be mounted on a small unmanned aerial vehicle (drone type). , It may be mounted on a robot that automatically patrols the inside of the plant equipment P (patrol photography robot type).
  • the infrared camera 14 periodically transmits the captured infrared image of the plant equipment P to the control unit 20.
  • the storage unit 30 stores the infrared image and the incidental information attached to the infrared image in the shooting point and shooting direction of the infrared camera 14.
  • the visible light camera 16 captures the visible light reflected from the plant equipment P.
  • the acquisition unit 24 acquires the shooting point and the shooting direction of the visible light camera 16.
  • the visible light camera 16 may be installed at a predetermined location in the plant equipment P (installation type), may be arranged so as to be transportable (portable type), or may be mounted on a small unmanned aerial vehicle (drone type). ), It may be mounted on a robot that automatically patrols the inside of the plant equipment P (patrol photography robot type).
  • the visible light camera 16 periodically transmits the captured visible light image of the plant equipment P to the control unit 20.
  • the storage unit 30 stores the visible image and incidental information attached to the visible image in the shooting point and shooting direction of the visible light camera 16. It is preferable that the visible light camera 16 shoots in the same shooting direction from the same shooting point as the infrared camera 14.
  • the visible light camera 16 and the infrared camera 14 may be integrally configured.
  • the control unit 20 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • the CPU reads a program according to the processing content from the ROM, expands it in the RAM, and centrally controls the operation of each block of the plant management device 1 in cooperation with the expanded program.
  • various data stored in the storage unit 30 are referred to.
  • the storage unit 30 is composed of, for example, a non-volatile semiconductor memory (so-called flash memory) or a hard disk drive.
  • the control unit 20 is connected to various devices (for example, an infrared camera 14 and a visible light camera 16) connected to a communication network such as a LAN (Local Area Network) and a WAN (Widerea Network) via a communication unit. Send and receive data.
  • the control unit 20 realizes each function of the generation unit 22, the acquisition unit 24, the alignment unit 26, and the image generation unit 28, for example, based on various data transmitted from an external device.
  • the generation unit 22 generates a three-dimensional model in a virtual space on a computer based on various data input by the input unit 12.
  • the various data include the arrangement of the plant equipment P as a whole (including the position coordinates), the positions and shapes of the components constituting the plant equipment P, and information on the refined product in the plant equipment P (for example, in the case of gas).
  • the acquisition unit 24 acquires information (status information) regarding the status of the plant equipment P as a status image. For example, when the information regarding the status of the plant equipment P is temperature information or fluid leakage information, the acquisition unit 24 acquires an infrared image (situation image) of the plant equipment P taken by the infrared camera 14. Further, the acquisition unit 24 acquires the shooting point and the shooting direction of the infrared camera 14. Further, the acquisition unit 24 acquires a visible light image (situation image) of the plant equipment P taken by the visible light camera 16. Further, the acquisition unit 24 acquires the shooting point and the shooting direction of the visible light camera 16.
  • information regarding the status of the plant equipment P is temperature information or fluid leakage information
  • the acquisition unit 24 acquires an infrared image (situation image) of the plant equipment P taken by the infrared camera 14. Further, the acquisition unit 24 acquires the shooting point and the shooting direction of the infrared camera 14. Further, the acquisition unit 24 acquires a visible light image (situation image) of the plant equipment P taken by the visible light camera
  • the image processing / analysis unit 25 extracts an image (extracted image) and a temperature image of the gas leakage area by performing image processing on the infrared image taken by the infrared camera 14. Further, the image processing / analysis unit 25 performs image processing and image analysis of the visible light image taken by the visible light camera 16 to obtain an image (extracted image) of a rust area showing a rust generation state of the plant equipment P. An image of a deformed area (extracted image) showing a deformed state of the external shape of the plant equipment P or an image of a vibrating area (extracted image) showing a vibration state of the plant equipment P is extracted.
  • the situation image includes an image (extracted image) of a gas leakage area extracted from an infrared image (original image) and a temperature image by image processing. Further, the situation image includes an image of the rust area (extracted image) extracted from the visible light image (original image), an image of the deformed area (extracted image), or a vibration image of the plant equipment P (extracted image). Is done.
  • the image processing / analysis unit 25 obtains the spatial coordinate information of the gas cloud spreading in the space and the information of the gas leak position (situation information) from the image of the gas leak area.
  • a known method such as the method described in Japanese Patent No. 6620878 can be used.
  • the image processing / analysis unit 25 obtains temperature information (situation information) of components by converting the value of each pixel of the captured infrared image (situation image) based on a predetermined formula.
  • the image processing / analysis unit 25 analyzes the captured visible light image (situation image) to obtain vibration information (amplitude and frequency) of components such as pipes constituting the plant equipment.
  • vibration information amplitude and frequency
  • a method for obtaining vibration information for example, it is described in International Publication WO2018207528.
  • the image processing / analysis unit 25 analyzes the captured visible light image (situation image) to obtain rust information (situation information) regarding the appearance of components such as pipes constituting the plant equipment.
  • rust information situation information
  • the occurrence of rust can be recognized, for example, by using the color information of the image.
  • the image processing / analysis unit 25 analyzes the captured visible light image (situation image) to obtain deformation information (situation information) regarding the appearance of components such as pipes constituting the plant equipment.
  • the occurrence of deformation can be obtained, for example, by comparing the photographed image with the design information of the plant equipment P. Alternatively, it can be obtained by comparing the obtained three-dimensional shape of the photographing target with the design information of the plant equipment P by using a camera capable of acquiring the three-dimensional information of the photographing target.
  • the three-dimensional information can be obtained by using, for example, a distance measurement method based on triangulation or a distance measurement method using the speed of light (time of flight method).
  • the alignment unit 26 associates the position of each pixel of a plurality of types of situation images (image of gas leakage area, image of rust area, etc.) with the position in the coordinates of the three-dimensional model.
  • associating the situation image with the 3D model means associating the position of each pixel of the situation image with the position in the coordinates of the 3D model.
  • the storage unit 30 stores information (status information) regarding the status of the plant equipment P in association with the corresponding portion of the three-dimensional model. Specifically, the storage unit 30 stores the infrared image of the plant equipment P taken by the infrared camera 14 in association with the three-dimensional model. Further, the storage unit 30 stores the visible light image of the plant equipment P taken by the visible light camera 16 in association with the three-dimensional model.
  • FIG. 3 is a diagram showing an example of situation information associated with and stored in the position coordinates of the three-dimensional model.
  • the storage unit 30 stores the shooting date and time as incidental information. Further, the storage unit 30 stores the surface temperature (° C.), the presence / absence of gas leakage, and the presence / absence of rust as status information. As shown in FIG. 3, “20", “40", and “25” in the surface temperature column indicate the surface temperature ° C., and "0" in the gas leak column indicates that there is no gas leak, and "1". "Indicates that there is a gas leak.
  • the spread (spatial coordinates) of the gas cloud in the three-dimensional space is stored in association with the gas leak position (not shown).
  • the spatial coordinates of the gas cloud can be calculated from infrared images taken from multiple positions. If there is only an infrared image from one direction, it may be calculated assuming that the spread in the depth direction is the same as the spread in the left-right direction. Further, an infrared image (including a moving image) taken or an image of a gas cloud extracted by image processing (including a moving image) may be stored in association with the gas leakage position. A “0" in the rust column indicates that there is no rust, and a "1" indicates that there is rust. It may be stored in multiple stages depending on the state of rust.
  • the image generation unit 28 generates an image of the plant equipment P (hereinafter referred to as a plant image) from a predetermined viewpoint based on the three-dimensional model.
  • the display unit 40 superimposes and displays the information possessed by each pixel of the situation image on the corresponding position on the plant image.
  • FIG. 4 is a diagram showing an example in which the information possessed by each pixel of the situation image is superimposed and displayed on the corresponding position on the plant image.
  • the plant image is an image of a gas tank.
  • the situation image is an image showing the state of gas leakage (here, a gas cloud).
  • a CG Computer Graphics
  • a map of plant equipment P plane view of 3D model
  • the viewpoint position of the infrared camera 14 is shown as a black circle in the plan view of the 3D model.
  • a height bar that specifies the height of the viewpoint is displayed on the right side of the plan view of the 3D model.
  • the angle of view range of the plant image from the viewpoint black circle
  • a diagram of a combination of ellipses showing the direction of the viewpoint is displayed.
  • the direction of the viewpoint and the display angle of view can be changed by operating the mouse on the plant image. Alternatively, it may be changed by moving the black circle and the height bar in the plan view.
  • the display angle of view may be changed by the + and-buttons.
  • each configuration of the control unit 20 may be connected by a network, for example, a three-dimensional model may be stored in the cloud. Further, the control unit 20 may also be on the cloud.
  • the control unit 20 may be configured as a plurality of CPUs and may operate integrally by being connected by a network.
  • the storage unit 30 may also be distributed and configured in a plurality of units.
  • the display unit 40 may be arranged in the plant equipment P. Further, the display unit 40 may be arranged in the central monitoring room of the head office or the like to centrally manage the plant equipment P in each place.
  • FIG. 5 is a flowchart showing an example of a plant management method according to an embodiment of the present invention. This flow is started by the CPU expanding the plant management program into RAM. It is assumed that the control unit 20 executes each function of the generation unit 22, the acquisition unit 24, the image processing / analysis unit 25, the alignment unit 26, and the like.
  • the steps from the start of this flow to the storage of the status information will be described with reference to FIG.
  • the situation information an image of the gas leakage leakage area (situation image) will be described as an example.
  • step S100 the control unit 20 generates a three-dimensional model of the plant equipment P in the virtual space on the computer based on at least one of the design information and the measurement information regarding the plant equipment P.
  • the design information includes the three-dimensional shape and position information of the plant equipment P.
  • the measurement information includes the three-dimensional shape and position information of the plant equipment P measured by a three-dimensional measuring device using a laser or the like.
  • step S110 the control unit 20 acquires an infrared image.
  • step S120 the control unit 20 extracts an image (extracted image) of the gas leak area from the infrared image by image processing. Further, the control unit 20 estimates the leak position from the image of the gas leak area.
  • step S130 the control unit 20 associates the image of the gas leak area and the leak position with the three-dimensional model.
  • the shooting point of the infrared camera 14 is acquired by GPS (Global Positioning System), an altitude sensor, or the like.
  • the shooting direction of the infrared camera 14 is acquired by an acceleration sensor, a gyro sensor (angular velocity sensor), a geomagnetic sensor, or the like.
  • the acquired shooting point and shooting direction are applied to the 3D model of the plant equipment P, and based on the angle of view information (focal length and image sensor size information) of the camera, the camera's image is generated from the plant image generated from the 3D model.
  • the angle of view information focal length and image sensor size information
  • the equipment in the photographed image may be recognized by, for example, pattern recognition, from the information of the photographing place and the shape information of the plant equipment P.
  • the information for each pixel extracted from the situation image (information possessed by the pixel of the situation image) can be incorporated into the three-dimensional model as information regarding the situation of the plant equipment P at the position corresponding to the pixel.
  • step S140 the storage unit 30 stores the image of the gas leak area and the leak position in association with the corresponding portion of the three-dimensional model. After that, the flow shown in FIG. 5 ends.
  • FIG. 6 is a flowchart showing another example of the plant management method according to the embodiment of the present invention. This flow is started by the CPU expanding the plant management program into RAM. It should be noted that the control unit 20 will be described as executing the functions of the image generation unit 28 and the like.
  • step S200 the control unit 20 determines whether or not the viewpoint for creating the three-dimensional model is designated.
  • step S210 the control unit 20 reads the data of the three-dimensional model from the storage unit 30, generates a plant image from a designated viewpoint, and displays it on the display unit 40.
  • step 220 the control unit 20 determines which of the status information (surface temperature, gas leak, presence / absence of rust, vibration, etc.) to be superimposed and displayed on the plant image is specified.
  • the status information surface temperature, gas leak, presence / absence of rust, vibration, etc.
  • step S230 the control unit 20 blinks the leak position (red target mark) at the corresponding position of the plant image based on the designated status information (here, gas leak), and displays the gas cloud in the plant image.
  • CG is displayed at the corresponding position of.
  • FIG. 7 is a diagram showing another example of the situation information displayed superimposed on the corresponding position on the image (plant image) of the plant image P from the viewpoint.
  • the plant image from the viewpoint is displayed, and the status information (here, the temperature distribution) is superimposed and displayed on the corresponding position of the plant image.
  • the difference in temperature is represented by the type of hatching.
  • the amount of liquid stored can be recognized by the temperature information (shown in the black area in FIG. 7).
  • each switching button for displaying information on temperature, vibration, rust, and gas leak is displayed. By specifying the information to be displayed, the information can be superimposed and displayed on the plant image.
  • the plant management method in the present embodiment relates to a three-dimensional model generation step of generating a three-dimensional model of the plant equipment in a virtual space on a computer based on design information regarding the plant equipment in the real space, and a situation of the plant equipment. It includes a status image acquisition step for acquiring information as image information, and a storage step for storing information regarding the status of plant equipment acquired as image information in association with a corresponding portion of the three-dimensional model.
  • the plant equipment P is photographed by using a plurality of infrared cameras 14 arranged at different positions, a patrol photography robot, and a drone, so that the plant equipment P can be photographed from many viewpoints. Acquire an infrared image of P. Since infrared images from a plurality of viewpoints can be obtained, information on the plant equipment P can be obtained from various directions. Therefore, information on the plant equipment P can be obtained without omission.
  • the position of the gas leak and the spread of the gas cloud in the three-dimensional space can be calculated from the images from multiple viewpoints, so that the gas leak area of the plant equipment P can be captured three-dimensionally. Is possible.
  • information obtained from many infrared images for example, temperature information, gas leak information
  • information from visible images rust and vibration information
  • Modification 1 Next, a modified example of the present embodiment will be described. In the description of the modification, the configuration different from that of the above embodiment will be mainly described, and the same configuration will be designated by the same reference numerals and the description thereof will be omitted.
  • FIG. 8 is a diagram schematically showing the configuration of the plant management device 1 according to the modified example 1 of the present embodiment.
  • the plant management device 1 according to the first modification is provided with a transmissive eyeglass-type terminal 50 (hereinafter, smart glass) that transmits a scene of plant equipment.
  • the smart glasses 50 transmit / receive data to / from the control unit 20 via a communication line such as a LAN (Local Area Network) or an Internet line.
  • LAN Local Area Network
  • the transmission / reception units provided in the control unit 20 and the smart glasses 50 are omitted.
  • the smart glass 50 includes an area specifying unit 52 and a projection unit 54.
  • the smart glass 50 has a lens portion that transmits the scene of the plant equipment P.
  • the area specifying unit 52 specifies the position of the worker and the direction of the line of sight (that is, the field of view) based on the position coordinates of the smart glasses 50 (lens unit) attached to the worker and the inclination with respect to the coordinate axes.
  • the control unit 20 receives information on the position coordinates of the smart glasses 50 (lens unit) and the inclination with respect to the coordinate axes from the smart glasses 50.
  • the acquisition unit 24 acquires information on the status of the plant equipment in the field of view of the worker as a status image (for example, an infrared image taken by the infrared camera 14).
  • the image processing / analysis unit 25 extracts a gas cloud image showing a gas leak area from the infrared image.
  • the control unit 20 stores the gas cloud image in association with the three-dimensional data of the plant equipment P.
  • the alignment unit 26 generates an image (plant image) of the plant equipment P seen from the smart glass 50 based on the position coordinates of the smart glass 50 (lens unit) and the inclination with respect to the coordinate axis, and the view seen from the plant image and the smart glass. And associate with.
  • the control unit 20 reads out the gas cloud data associated with the three-dimensional data of the plant equipment P from the storage unit 30, associates it with the scene seen from the smart glasses 50, and projects the gas cloud image so as to be projected onto the lens unit.
  • the unit 54 is controlled. Instead of the gas cloud image image, the control unit 20 may control the projection unit 54 so that an image showing a gas leak position, a gas flow rate, and a gas flow direction is projected on the lens unit. ..
  • the plant management device 1 according to the modification 1 is provided with smart glasses 50 that project a gas cloud image image onto a lens portion that transmits a scene of the plant equipment P.
  • a hydrocarbon gas that transmits visible light that cannot be perceived by the naked eye can be visualized through the smart glass 50, so that the gas at risk of explosion can be visually recognized instantly and accurately.
  • the smart glasses 50 may have each function of the control unit 20.
  • FIG. 9 is a diagram schematically showing the configuration of the plant management device according to the first modification of the present embodiment.
  • the configuration different from that of the above embodiment will be mainly described, and the same configuration will be designated by the same reference numerals and the description thereof will be omitted.
  • the plant management device 1 includes a simulation execution unit 66 and a maintenance information creation unit 68 in addition to the configuration of the above embodiment.
  • the simulation execution unit 66 simulates the deterioration of the plant equipment P based on the three-dimensional model and the history and situation information of the situation images continuously stored in the storage unit 30.
  • the deterioration of the plant equipment P means the deterioration of each of the plant equipment P and the constituent parts of the plant equipment P, and includes, for example, metal fatigue, scratches, rust, spread of deformation, failure risk, and the like.
  • the maintenance information creation unit 68 creates maintenance information regarding the location, timing, and content of the plant equipment P where maintenance is required, based on the simulation results.
  • the storage unit 30 stores maintenance information in association with the three-dimensional model.
  • FIG. 10 is a diagram showing an example of maintenance information stored in association with the three-dimensional model.
  • the history of maintenance information such as the time when maintenance is performed on a specific component (for example, pipe 1), the content of maintenance, and the like is stored in the storage unit 30.
  • the schedule of maintenance information such as the next maintenance time and its contents based on simulations is stored.
  • the pipes were replaced on March 5, 2018 and March 10, 2019, and the schedule for replacement is stored in April 2020.
  • the display unit 40 superimposes the maintenance information on the image of the three-dimensional model and displays it. Specifically, as shown in FIG. 2, the display unit 40 displays the maintenance information of the “inspection time 20xx year xx month” on the image of the three-dimensional model.
  • the plant management device 1 includes a simulation execution unit 66 that simulates the deterioration of the plant equipment P based on the three-dimensional model and the history of the situation image and the situation information continuously stored.
  • the simulation execution unit 66 includes temperature information, vibration information, rust information, deformation information and history information of changes stored in the storage unit 30, and measurement information from various sensors arranged in the Planton facility P. From, for example, the degree of metal fatigue is simulated, and the future situation is predicted from the state of the change. For example, in the temperature information, the degree of deterioration is determined in consideration of the location where the abnormal temperature occurs, the number of times the abnormal temperature occurs, the amplitude of the temperature change cycle, and the number of times.
  • the abnormal state and the degree of deterioration are determined from the vibration occurrence location, the vibration amplitude, and the vibration frequency.
  • the degree of deterioration is determined from the state of rust or deformation of the pipe or the like.
  • design information such as the material and thickness of the pipe, and measurement information can be taken into consideration to estimate the progress of deterioration of the pipe. Since the surface condition of the plant equipment P is acquired based on the situation image and the deterioration of the plant equipment is simulated using the information contained in the situation image, it is cheaper than the case of simulating based on the detection results of many sensors. It is possible to obtain simulation results in detail.
  • the plant management device 1 includes a maintenance information creating unit 68 that creates maintenance information related to the plant equipment based on the simulation result.
  • the maintenance information displayed overlaid on the image of the three-dimensional model can be used as an effective judgment material when planning maintenance. Further, as shown in FIG. 2, by displaying the maintenance information on the image of the three-dimensional model, it is possible to easily grasp the part where the risk of failure is small.
  • the plant management device 1 according to the modification 2 may include the smart glasses 50 according to the modification 1 (see FIG. 8).
  • temperature information, vibration information, and the like can be displayed on the smart glass 50 (lens unit) as information regarding the status of the plant equipment P.
  • the performance is based on the result of simulating the deterioration prediction of the plant equipment P, but the present invention is not limited to this, and may be performed by artificial intelligence (AI).
  • AI artificial intelligence
  • deterioration prediction and maintenance information of the plant equipment P are given as information superimposed on the three-dimensional model and displayed.
  • a dangerous place related to deterioration prediction is given. It may be candidate information.
  • the degree of risk due to deterioration or abnormality can be determined. It may be ranked and the degree of risk may be superimposed and displayed on the 3D model.
  • Plant management device 12 Input unit 14
  • Infrared camera 16 Visible light camera 20
  • Control unit 22 Generation unit 24
  • Acquisition unit 25 Image processing / analysis unit 26
  • Alignment unit 28 Image generation unit 30
  • Storage unit 40 Display unit 50 Smart glass 52
  • Area identification unit 54 Projection unit 62
  • Visible light image analysis unit 64 Infrared image analysis unit 66
  • Simulation execution unit 68 Maintenance information creation unit

Abstract

プラント管理方法、プラント管理装置およびプラント管理プログラムは、コストの上昇を抑えつつ、シミュレーションの精度を上げることが可能なものであって、プラント管理方法は、実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間にプラント設備の３次元モデルを生成する３次元モデル生成ステップと、プラント設備の状況に関する情報を画像情報として取得する状況画像取得ステップと、画像情報として取得されたプラント設備の状況に関する情報を、３次元モデルの対応箇所に関連付けて記憶する記憶ステップと、を備える。

Description

プラント管理方法、プラント管理装置およびプラント管理プログラム
　本発明は、プラント管理方法、プラント管理装置およびプラント管理プログラムに関する。
　例えば、特許文献１には、水質異常または異常の兆候を検出することのできる発電プラントの水質異常検出装置が開示されている。この水質異常検出装置は、発電プラントを構成する機器に対応して設けられ、発電プラントの運転データと機器の内部状態を示す内部パラメータとに基づいて給水の水質に関する水質情報が演算可能なプラントモデルと、発電プラントから運転データを取得する取得部と、運転データとプラントモデルより算出した水質情報に基づいて、機器における現在の内部状態に対応する内部パラメータを演算して運転内部パラメータを演算する演算部と、正常運転の状態において基準となる基準内部パラメータと運転内部パラメータとに基づいて、水質異常または異常の兆候の有無を判定する判定部と、を備えている。
　機器や設備の設計データを用いて仮想空間上に３Ｄモデルを生成し、実空間にある現実の機器や設備の稼働状況、環境情報などの情報をリアルタイムで取得し、その情報を仮想空間上の３Ｄモデルにフィードバックしてシミュレーションを実施することで、設計の改善や環境に応じた動作指示、故障予測などを可能にするデジタルツインと呼ばれる技術が広まりつつある。
　例えば、特許文献２には、データ収集サーバーが保持する電気的諸量のデータを基に、各部分系統を再現したモデルを含む電力系統のシミュレーションモデルを生成し、且つ、電気的諸量の変化を基にモデルを更新することで、実際の電力系統を忠実に模擬する技術が記載されている。現在の電力系統がどのくらい系統事故などの外乱に対して強固な構成になっているかなど、現在の電力系統の安定性を定量的に示すことができる。そのため、系統増強や電力機器の増強を行う際に、より経済的に必要最小限の対策を提示することが可能となる。
特開２０１９－１４４７５１号公報 特開２０１９－１５４２０１号公報
　ところで、プラント管理にデジタルツイン技術を用いる場合、例えば機器の振動状態や温度状態を振動センサや温度センサを用いて取り込む場合には、測定点での情報しか取得することができない。多くのデータを取得したい場合には、多数のセンサを配置する必要があり、コストが上昇することなどにより、実現するには困難を伴う。一方、センサが少ない場合には、得られる情報が少なく、シミュレーションの精度を上げるのは困難であるという問題点があった。
　本発明の目的は、コストの上昇を抑えつつ、シミュレーションの精度を上げることが可能なプラント管理方法、プラント管理装置およびプラント管理プログラムを提供することである。
　上記の目的を達成するため、本発明におけるプラント管理方法は、
　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する３次元モデル生成ステップと、
　前記プラント設備の状況に関する情報を画像情報として取得する状況画像取得ステップと、
　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する記憶ステップと、
　を備える。
　本発明におけるプラント管理装置は、
　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する生成部と、
　前記プラント設備の状況に関する情報を画像情報として取得する取得部と、
　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する記憶部と、
　を備える。
　本発明におけるプラント管理プログラムは、
　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する処理と、
　前記プラント設備の状況に関する情報を画像情報として取得する処理と、
　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する処理と、
　をコンピュータに実行させる。
　本発明によれば、コストの上昇を抑えつつ、シミュレーションの精度を上げることができる。
本発明の実施の形態に係るプラント管理装置の構成を概略的に示す図である。 ３次元モデルの画像上に重ねて表示された状況画像の一例を示す図である。 ３次元モデルの位置座標に関連付けられて記憶される状況情報の一例を示す図である。 状況画像の各画素が持つ情報を、プラント画像上の対応位置に重畳して表示する一例を示す図である。 本発明の実施の形態に係るプラント管理方法の一例を示すフローチャートである。 本発明の実施の形態に係るプラント管理方法の他の例を示すフローチャートである。 視点からのプラント画像に重ねて表示される状況情報の一例を示す図である。 本実施の形態の変形例１に係るプラント管理装置の構成を概略的に示す図である。 本実施の形態の変形例２に係るプラント管理装置の構成を概略的に示す図である。 ３次元モデルに関連付けられて記憶されるメンテナンス情報の一例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　図１は、本発明の実施の形態に係るプラント管理装置１の構成を概略的に示す図である。図２は、３次元モデルの画像上に重ねて表示された状況画像の一例を示す図である。以下の説明で、プラント設備Ｐの状況に関する情報を「状況情報」という場合がある。また、状況情報のうちの画像情報を「状況画像」という場合がある。また、撮像装置で取得された状況画像を「撮影画像」という場合がある。
　図１に示すように、プラント管理装置１は、入力部１２と、赤外線カメラ１４（撮像装置）と、制御部２０と、記憶部３０と、表示部４０とを備える。
　入力部１２は、各種データ（例えば、プラント設備Ｐに関する設計情報および計測情報等）を入力する。
　赤外線カメラ１４は、プラント設備Ｐやその背景から放射される赤外線を撮影する。赤外線カメラ１４は、プラント設備Ｐ内の所定の箇所に設置されてもよく（設置型）、搬送可能に配置されてもよく（可搬型）、小型無人機に搭載されてもよく（ドローン型）、プラント設備Ｐ内を自動で巡回するロボットに搭載されてもよい（巡回撮影ロボット型）。
　赤外線カメラ１４は、撮影したプラント設備Ｐの赤外線画像を定期的に制御部２０に送信する。記憶部３０は、赤外線画像、および、赤外線画像に付帯する、赤外線カメラ１４の撮影地点および撮影方向にかかる付帯情報を記憶する。
　可視光カメラ１６は、プラント設備Ｐから反射される可視光を撮影する。取得部２４は、可視光カメラ１６の撮影地点および撮影方向を取得する。可視光カメラ１６は、プラント設備Ｐ内の所定の箇所に設置されてもよく（設置型）、搬送可能に配置されてもよく（可搬型）、小型無人機に搭載されてもよく（ドローン型）、プラント設備Ｐ内を自動で巡回するロボットに搭載されてもよい（巡回撮影ロボット型）。
　可視光カメラ１６は、撮影したプラント設備Ｐの可視光画像を定期的に制御部２０に送信する。記憶部３０は、可視画像、および、可視画像に付帯する、可視光カメラ１６の撮影地点および撮影方向にかかる付帯情報を記憶する。可視光カメラ１６は、赤外線カメラ１４と同じ撮影地点から同じ撮影方向を撮影することが好ましい。可視光カメラ１６と赤外線カメラ１４は一体的に構成されてもよい。
　制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、ＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働してプラント管理装置１の各ブロックの動作を集中制御する。このとき、記憶部３０に記憶されている各種データが参照される。記憶部３０は、例えば不揮発性の半導体メモリ（いわゆるフラッシュメモリ）やハードディスクドライブで構成される。
　制御部２０は、通信部を介して、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide rea Network）等の通信ネットワークに接続された装置（例えば、赤外線カメラ１４、可視光カメラ１６）との間で各種データの送受信を行う。制御部２０は、例えば、外部の装置から送信された各種データに基づいて、生成部２２、取得部２４、位置合わせ部２６および画像生成部２８の各機能を実現する。
　生成部２２は、入力部１２により入力された各種データに基づいて、コンピュータ上の仮想空間に３次元モデルを生成する。ここで、各種データとは、プラント設備Ｐ全体としての配置（位置座標を含む）、プラント設備Ｐを構成する構成部品の位置、形状、プラント設備Ｐにおける精製物の情報（例えば、ガスの場合、種類、配管内での流量、圧力、温度等）、プラント設備Ｐの設計情報、プラント設備Ｐの計測データ（温度、湿度、日照条件、風速、気圧などの環境データ）が含まれる。
　取得部２４は、プラント設備Ｐの状況に関する情報（状況情報）を状況画像として取得する。例えば、プラント設備Ｐの状況に関する情報が温度情報や流体の漏洩情報である場合、取得部２４は、赤外線カメラ１４により撮影されたプラント設備Ｐの赤外線画像（状況画像）を取得する。また、取得部２４は、赤外線カメラ１４の撮影地点および撮影方向を取得する。また、取得部２４は、可視光カメラ１６により撮影されたプラント設備Ｐの可視光画像（状況画像）を取得する。また、取得部２４は、可視光カメラ１６の撮影地点および撮影方向を取得する。
　画像処理・解析部２５は、赤外線カメラ１４により撮影された赤外線画像を画像処理することによって、ガス漏洩エリアの画像（抽出画像）および温度画像を抽出する。また、画像処理・解析部２５は、可視光カメラ１６により撮影された可視光画像を画像処理および画像解析することによって、プラント設備Ｐの錆の発生状況を示す錆エリアの画像（抽出画像）、プラント設備Ｐの外観形状の変形状況を示す変形エリアの画像（抽出画像）、あるいはプラント設備Ｐの振動状況を示す振動エリアの画像（抽出画像）、を抽出する。以下の説明において、状況画像には、画像処理によって、赤外線画像（原画像）から抽出されたガス漏洩エリアの画像（抽出画像）や温度画像が含まれる。また、状況画像には、可視光画像（原画像）から抽出された錆エリアの画像（抽出画像）、変形エリアの画像（抽出画像）、あるいはプラント設備Ｐの振動画像（抽出画像）、が含まれる。
　また、画像処理・解析部２５は、ガス漏洩エリアの画像から、空間に広がるガス雲の空間座標情報、およびガスの漏洩位置の情報（状況情報）を得る。漏洩位置の推定方法は、例えば特許第６６２０８７８号に記載の方法など、公知の手法を用いることができる。
　画像処理・解析部２５は、撮像された赤外線画像（状況画像）の各画素の値を、所定の式に基づき変換することで、構成部品の温度情報（状況情報）を得る。
　画像処理・解析部２５は、撮像された可視光画像（状況画像）を解析することで、プラント設備を構成する配管などの構成部品の振動の情報（振幅および周波数）を得る。振動の情報を得る手法としては、例えば国際公開公報ＷＯ２０１８２０７５２８に記載されている。
　画像処理・解析部２５は、撮像された可視光画像（状況画像）を解析することで、プラント設備を構成する配管などの構成部品の外観に関する錆の情報（状況情報）を得る。錆の発生は、例えば画像の色情報を用いることで、認識できる。
　画像処理・解析部２５は、撮像された可視光画像（状況画像）を解析することで、プラント設備を構成する配管などの構成部品の外観に関する変形情報（状況情報）を得る。変形の発生は、例えば撮影画像とプラント設備Ｐの設計情報とを比較することで得ることができる。あるいは、撮影対象の３次元情報を取得できるカメラを用い、得られた撮影対象の３次元形状と、プラント設備Ｐの設計情報とを比較することで得ることができる。３次元情報は、例えば三角測量に基づく距離測定方法や、光速を利用した距離測定方法（タイムオブフライト方式）を用いて得ることができる。
　位置合わせ部２６は、複数種類の状況画像（ガス漏洩エリアの画像、錆エリアの画像等）の各画素の位置を３次元モデルの座標における位置と関連付ける。以下の説明で、状況画像を３次元モデルと関連付けるとは、状況画像の各画素の位置を３次元モデルの座標における位置と関連付けることを意味する。
　記憶部３０は、プラント設備Ｐの状況に関する情報（状況情報）を、３次元モデルの対応箇所に関連付けて記憶する。具体的には、記憶部３０は、赤外線カメラ１４により撮影されたプラント設備Ｐの赤外線画像を３次元モデルに関連付けて記憶する。また、記憶部３０は、可視光カメラ１６により撮影されたプラント設備Ｐの可視光画像を３次元モデルに関連付けて記憶する。
　図３は、３次元モデルの位置座標に関連付けられて記憶される状況情報の一例を示す図である。図３に示すように、記憶部３０は、撮影日時を付帯情報として記憶する。また、記憶部３０は、状況情報として表面温度（℃）、ガス漏洩の有無、錆の有無を記憶する。図３に示すように、表面温度の列の「２０」、「４０」「２５」は、表面温度℃を示し、ガス漏洩の列の「０」は、ガス漏洩がないことを示し、「１」は、ガス漏洩があることを示す。またガスの漏洩位置と対応づけて、ガス雲の３次元空間における広がり（空間座標）を記憶する（不図示）。ガス雲の空間座標は、複数の位置から撮影された赤外画像から算出できる。一方向からの赤外画像しかない場合は、奥行き方向の広がりを左右方向の広がりと同じだと仮定して算出してもよい。また、ガスの漏洩位置と対応づけて、撮影された赤外画像（動画を含む）あるいは画像処理されて抽出されたガス雲の画像（動画を含む）を記憶してもよい。錆の列の「０」は、錆がないことを示し、「１」は、錆があることを示す。錆の状態に応じて多段階で記憶されてもよい。
　画像生成部２８は、３次元モデルに基づいて、所定の視点からのプラント設備Ｐの画像（以下、プラント画像）を生成する。
　表示部４０は、状況画像の各画素が持つ情報をプラント画像上の対応位置に重畳して表示する。
　図４は、状況画像の各画素が持つ情報を、プラント画像上の対応位置に重畳して表示する一例を示す図である。図４に示す一例では、プラント画像はガスタンクの画像である。また、状況画像は、ガス漏洩の状態を示す画像（ここでは、ガス雲）である。なお、ガス雲は、記憶部３０に記憶されているガス雲の空間座標に基づいて生成されたＣＧ（Computer Graphics）画像が表示される。表示画面の下部にプラント設備Ｐの地図（３Ｄモデルの平面図）が表示される。赤外線カメラ１４の視点位置は黒丸として３Ｄモデルの平面図内に示されている。視点の高さを指定する高さバーは、３Ｄモデルの平面図の右側に表示されている。平面図内には、視点（黒丸）からの、プラント画像の画角範囲が破線で示されている。表示画面の右下部に、視点の向きを示す楕円の組み合わせの図が表示されている。視点の方向と表示画角は、プラント画像に対するマウス操作により変更可能にされる。あるいは平面図内の黒丸および高さバーの移動により変更可能にされてもよい。表示画角は、＋、－ボタンにより変更可能にされてもよい。
　なお、制御部２０の各構成は、ネットワークで繋がれて、例えば、３次元モデルはクラウド上に記憶されてもよい。また、制御部２０もクラウド上にあってもよい。制御部２０は、複数のＣＰＵで構成され、ネットワークで繋がることで一体的に動作してもよい。記憶部３０も、複数で分散されて構成されてもよい。また、表示部４０は、プラント設備Ｐ内に配置されてもよい。また、表示部４０は、本社の中央監視室等に配置され、各地のプラント設備Ｐを集中管理するようにしてもよい。
　次に、本発明の実施の形態にかかるプラント管理方法の一例について説明する。図５は、本発明の実施の形態にかかるプラント管理方法の一例を示すフローチャートである。本フローは、ＣＰＵがプラント管理プログラムをＲＡＭに展開することにより開始される。なお、制御部２０が生成部２２、取得部２４、画像処理・解析部２５、位置合わせ部２６等の各機能を実行するものとして説明する。
　先ず、プラント管理方法の一例として、本フローの開始から状況情報を記憶するまでのステップについて図５を参照して説明する。ここでは、状況情報として、ガス漏漏洩エリアの画像（状況画像）を一例に挙げて説明する。
　ステップＳ１００において、制御部２０は、プラント設備Ｐに関する設計情報および計測情報の少なくとも一つに基づいて、コンピュータ上の仮想空間にプラント設備Ｐの３次元モデルを生成する。設計情報には、プラント設備Ｐの３次元形状および位置情報が含まれる。計測情報は、レーザー等を用いた３次元測定装置により計測された、プラント設備Ｐの３次元形状および位置情報が含まれる。
　次に、ステップＳ１１０において、制御部２０は、赤外線画像を取得する。
　次に、ステップＳ１２０において、制御部２０は、画像処理によって、赤外線画像からガス漏洩エリアの画像（抽出画像）を抽出する。また、制御部２０は、ガス漏洩エリアの画像から漏洩位置を推定する。
　次に、ステップＳ１３０において、制御部２０は、ガス漏洩エリアの画像および漏洩位置を３次元モデルと関連付けする。
　ガス漏れエリアの画像と３次元モデルとの関連付けの方法は、例えば、赤外線カメラ１４の撮影地点は、ＧＰＳ（Global Positioning System）、高度センサ等で取得する。赤外線カメラ１４の撮影方向は、加速度センサ、ジャイロセンサ（角速度センサ）、地磁気センサ等で取得する。取得した撮影地点および撮影方向をプラント設備Ｐの３次元モデルに適用し、カメラの画角情報（焦点距離とイメージセンササイズの情報）に基づいて、３次元モデルから生成されたプラント画像からカメラの画角範囲を切り取ることで、撮影画像と同じ視点かつ同じ画角のプラント画像を得る。あるいは、撮影地の情報とプラント設備Ｐの形状情報とから、撮影画像内の設備を、例えばパターン認識等で認識してもよい。これにより、状況画像（撮影画像）の各画素とプラント設備Ｐの３次元モデルとを対応させることが可能となる。さらに、状況画像から抽出された画素毎の情報（状況画像の画素が有する情報）を、当該画素と対応する位置におけるプラント設備Ｐの状況に関する情報として３次元モデルに取り込むことが可能となる。
　次に、ステップＳ１４０において、記憶部３０は、ガス漏れエリアの画像および漏洩位置を、３次元モデルの対応箇所に関連付けて記憶する。その後、図５に示すフローは終了する。
　次に、状況情報（ここでは、ガス漏洩エリアの情報）をプラント画像上に表示するまでのステップについて、図６を参照して説明する。図６は、本発明の実施の形態にかかるプラント管理方法の他の例を示すフローチャートである。本フローは、ＣＰＵがプラント管理プログラムをＲＡＭに展開することにより開始される。なお、制御部２０が、画像生成部２８等の機能を実行するものとして説明する。
　ステップＳ２００において、制御部２０は、３次元モデル作成のための視点が指定されたか否かについて判定する。
　ステップＳ２１０において、制御部２０は、３次元モデルのデータを記憶部３０から読み出し、指定された視点からのプラント画像を生成し、表示部４０に表示させる。
　ステップ２２０において、制御部２０は、プラント画像に重ねて表示させる状況情報（表面温度、ガス漏洩、錆の有無、振動等）のいずれが指定されたか否かについて判定する。
　ステップＳ２３０において、制御部２０は、指定された状況情報（ここでは、ガス漏洩）に基づいて、漏洩位置（赤色のターゲットマーク）をプラント画像の対応位置に点滅表示させるとともに、ガス雲をプラント画像の対応位置にＣＧ表示させる。その後、図６に示すフローは終了する。なお、その後、ステップＳ２００の前に戻ってもよい。
　図７は、視点からのプラント画像Ｐの画像（プラント画像）上の対応位置に重ねて表示される状況情報の他の一例を示す図である。図７に示すように、視点からのプラント画像が表示され、プラント画像の対応位置に状況情報（ここでは、温度分布）が重ねて表示される。図７では、温度の違いをハッチングの種類で表している。液体が貯留されている量が、温度情報で認識できる（図７では、黒色の領域で示されている）。また表示画面では、温度、振動、錆、ガス漏洩の情報を表示させるためのそれぞれの切替ボタンが表示されている。表示させたい情報を指定することで、プラント画像上に情報を重畳させて表示することができる。「温度」を指定した場合、測定温度に対応して、低温：紫から高温：赤まで多色表示される。「振動」を指定した場合、例えば、振動が所定値を超えているエリアを点滅表示させる。振動の振幅に応じて多色表示させてもよい。「錆」を指定した場合、例えば、錆あり領域を赤色で点滅表示させる。錆の程度に応じて多色表示させてもよい。「ガス漏洩」を指定した場合、漏洩位置を例えば赤色のターゲットマークで表示し、点滅表示させる。プラント画像上に表示させる情報は複数であってもよい。複数の切替ボタンを指定することで、指定された情報が同時に表示される。
　本実施の形態におけるプラント管理方法は、実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する３次元モデル生成ステップと、プラント設備の状況に関する情報を画像情報として取得する状況画像取得ステップと、画像情報として取得されたプラント設備の状況に関する情報を、３次元モデルの対応箇所に関連付けて記憶する記憶ステップと、を備える。
　上記構成により、プラント設備Ｐの状況に関する情報（状況情報）を状況画像として取得するため、プラント設備Ｐの状況に関する情報を検出する多数のセンサを配置する場合と比較して安価に多くの状況画像を取得することができる。これにより、コストの上昇を抑えることが可能となる。また、一度に多量の状況情報をデータとしてプラントの３次元モデルに取り込むことが可能となり、プラント設備Ｐの運転シミュレーションや劣化シミュレーション等、各種シミュレーションの精度を向上させることができる。
　また、本実施の形態におけるプラント管理方法は、互いに異なる位置に配置された複数の赤外線カメラ１４や、巡回撮影ロボットやドローンを用いてプラント設備Ｐを撮影することで、多数の視点からのプラント設備Ｐの赤外線画像を取得する。複数の視点による赤外線画像が得られるため、プラント設備Ｐに関する様々な方向からの情報を得ることができる。そのため、プラント設備Ｐに関する情報を漏れなく取得できる。また、ガス漏洩を撮影した場合には、複数視点からの画像から、３次元空間上のガス漏洩の位置やガス雲の広がりが算出できるため、プラント設備Ｐのガス漏洩エリアを立体的に捉えることが可能となる。
　また、本実施の形態におけるプラント管理方法は、多くの赤外線画像から得られる情報（例えば、温度情報、ガス漏れ情報）や可視画像からの情報（錆や振動の情報）を３Ｄモデルに入力することができ、プラントの状況のシミュレーションに生かすことができるため、シミュレーションの精度を容易に上げることが可能となる。
（変形例１）
　次に、本実施の形態の変形例について説明する。なお、変形例の説明においては、上記実施の形態と異なる構成について主に説明し、同じ構成については同一符号を付してその説明を省略する。
　先ず、本実施の形態の変形例１について図８を参照して説明する。図８は、本実施の形態の変形例１に係るプラント管理装置１の構成を概略的に示す図である。変形例１に係るプラント管理装置１は、図８に示すように、プラント設備の光景を透過する透過式メガネ型端末５０（以下、スマートグラス）を備えている。スマートグラス５０は、ＬＡＮ（Local Area Network）や、インターネット回線などの通信回線を介して制御部２０とデータを送受信する。なお、図８では、制御部２０およびスマートグラス５０のそれぞれに設けられる送受信部を省略して示す。
　スマートグラス５０は、エリア特定部５２と、投射部５４と、を備えている。スマートグラス５０は、プラント設備Ｐの光景を透過するレンズ部を有する。
　エリア特定部５２は、作業員に装着されるスマートグラス５０（レンズ部）の位置座標および座標軸に対する傾きに基づいて作業員の位置および視線の方向（つまり、視界）を特定する。
　制御部２０は、スマートグラス５０からスマートグラス５０（レンズ部）の位置座標および座標軸に対する傾きに関する情報を受信する。取得部２４は、作業員の視界内におけるプラント設備の状況に関する情報を、状況画像（例えば、赤外線カメラ１４により撮影された赤外線画像）として取得する。
　画像処理・解析部２５は、赤外線画像からガス漏洩エリアを示すガス雲イメージ画像を抽出する。
　制御部２０は、ガス雲イメージ画像をプラント設備Ｐの３次元データと関連付けられて、記憶させる。
　位置合わせ部２６は、スマートグラス５０（レンズ部）の位置座標および座標軸に対する傾きに基づいて、スマートグラス５０から見えるプラント設備Ｐの画像（プラント画像）を生成し、プラント画像とスマートグラスから見える光景とを対応付ける。
　制御部２０は、プラント設備Ｐの３次元データと関連付けられるガス雲データを記憶部３０から読み出し、スマートグラス５０から見える光景と対応付けて、ガス雲イメージ画像がレンズ部に投射されるように投射部５４を制御する。なお、制御部２０は、ガス雲イメージ画像に代えて、ガス漏洩位置、ガスの流量、および、ガスの流れる方向を示す画像がレンズ部に投射されるように投射部５４を制御してもよい。
　変形例１にかかるプラント管理装置１は、プラント設備Ｐの光景を透過するレンズ部にガス雲イメージ画像を投射するスマートグラス５０を備える。これにより、例えば、肉眼では捉えることができない可視光を透過する炭化水素ガスを、スマートグラス５０を通して可視化できるため、爆発の危険があるガスを瞬時にかつ的確に視認することが可能となる。
　なお、変形例１にかかるプラント管理装置１においては、スマートグラス５０が制御部２０の各機能を有してもよい。
（変形例２）
　次に、変形例２にかかるプラント管理装置１について図９を参照して説明する。図９は、本実施の形態の変形例１に係るプラント管理装置の構成を概略的に示す図である。なお、変形例２の説明においては、上記実施の形態と異なる構成について主に説明し、同じ構成については同一符号を付してその説明を省略する。
　変形例２に係るプラント管理装置１は、上記実施の形態の構成に加え、シミュレーション実行部６６と、メンテナンス情報作成部６８と、を備えている。
　シミュレーション実行部６６は、３次元モデルおよび、記憶部３０に連続的に記憶された状況画像の履歴および状況情報に基づいて、プラント設備Ｐの劣化をシミュレーションする。ここで、プラント設備Ｐの劣化とは、プラント設備Ｐおよびプラント設備Ｐの構成部それぞれの劣化をいい、例えば、金属疲労や、傷、錆、変形の広がりや、故障リスクなどが含まれる。
　メンテナンス情報作成部６８は、シミュレーションした結果に基づいて、プラント設備Ｐにおけるメンテナンスの必要な場所、時期、内容に関するメンテナンス情報を作成する。記憶部３０は、メンテナンス情報を３次元モデルに関連付けて記憶する。
　図１０は、３次元モデルに関連付けて記憶されるメンテナンス情報の一例を示す図である。図１０に示すように、特定の部品（例えば、パイプ１）に対して、メンテナンスを行った時期、メンテナンスの内容などのように、メンテナンス情報の履歴が記憶部３０に記憶されている。また、シミュレーション等に基づく次回のメンテナンス時期やその内容などのメンテナンス情報の予定が記憶されている。図１０に示すように、パイプ１に対しては、２０１８年３月５日と２０１９年３月１０日にパイプの交換が行われ、２０２０年４月に交換の予定が記憶されている。
　表示部４０は、メンテナンス情報を３次元モデルの画像に重ねて表示する。具体的には、表示部４０は、図２に示すように、「点検時期２０ｘｘ年ｘｘ月」のメンテナンス情報を３次元モデルの画像に重ねて表示する。
　変形例２にかかるプラント管理装置１は、３次元モデルおよび連続的に記憶された状況画像および状況情報の履歴に基づいて、プラント設備Ｐの劣化をシミュレーションするシミュレーション実行部６６を備える。シミュレーション実行部６６は、記憶部３０に記憶されている温度情報、振動情報、錆の情報、変形の情報やその変化の履歴情報、およびプラントン設備Ｐに配置されている各種センサからの計測情報から、例えば金属疲労の程度をシミュレーションし、またその変化の状況から将来の状況を予測する。例えば温度情報では、異常温度の発生箇所、異常温度が発生した回数、温度変化サイクルの振幅、回数を考慮して劣化度合を判定する。例えば、振動情報では、振動発生箇所、振動の振幅、振動の周波数から異常状態や劣化度合を判定する。また、例えばパイプ等の錆や変形の状態から劣化度合を判定する。これらの外観からの情報に加え、例えばパイプ内を流れる流体の流量、圧力や、パイプの材料、厚さ等の設計情報や計測情報を加味し、パイプの劣化の進行状況を推定できる。プラント設備Ｐの表面状態を状況画像に基づいて取得し、状況画像が有する情報を用いてプラント設備の劣化をシミュレーションするため、多数のセンサの検出結果に基づいてシミュレーションする場合に比較して、安価に緻密にシミュレーション結果を得ることが可能となる。
　また、変形例２にかかるプラント管理装置１は、シミュレーションした結果に基づいて、プラント設備に関するメンテナンス情報を作成するメンテナンス情報作成部６８を備える。これにより、３次元モデルの画像に重ねて表示されるメンテナンス情報を、メンテナンスを計画する際の有効な判断材料とすることができる。また、図２に示すように、メンテナンス情報を３次元モデルの画像に重ねて表示することで、故障リスクが少ない箇所を容易に把握することができる。
　なお、変形例２にかかるプラント管理装置１は、変形例１に係るスマートグラス５０を備えてもよい（図８を参照）。変形例２においては、スマートグラス５０を備えることで、スマートグラス５０（レンズ部）に、プラント設備Ｐの状況に関する情報として温度情報や振動情報などを表示することができる。
　なお、上記実施の形態においては、プラント設備Ｐの劣化予測をシミュレーションした結果に基づいて行ったが、本発明は、これに限らず、人工知能（Artificial Intelligence：ＡＩ）によって行ってもよい。
　また、上記実施の形態では、３次元モデルに重畳して表示する情報として、プラント設備Ｐの劣化予測やメンテナンス情報を挙げているが、本発明の応用例として例えば、劣化予測と関連する危険場所候補の情報でもよい。例えば、配管において、本来温度が高くない場所が高温になっている場合や、錆やへこみ等の変形が発生している場合、破損の危険が有ると判断し、その旨を３次元モデルに重畳して表示してもよい。また、プラント設備Ｐの温度分布、振動分布、漏洩位置、錆の発生位置、設備（例えば、パイプ等）の変形位置、変形量等の様々な情報を用いて、劣化や異常等による危険度をランク付けし、危険度を３次元モデルに重畳して表示してもよい。
　その他、上記実施の形態は、何れも本発明の実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　２０２０年７月１６日出願の特願２０２０－１２２１６５の日本出願に含まれる明細書、図面および要約書の開示内容はすべて本願に援用される。
　１　プラント管理装置
　１２　入力部
　１４　赤外線カメラ
　１６　可視光カメラ
　２０　制御部
　２２　生成部
　２４　取得部
　２５　画像処理・解析部
　２６　位置合わせ部
　２８　画像生成部
　３０　記憶部
　４０　表示部
　５０　スマートグラス
　５２　エリア特定部
　５４　投射部
　６２　可視光画像解析部
　６４　赤外線画像解析部
　６６　シミュレーション実行部
　６８　メンテナンス情報作成部

Claims (12)

  1. 　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する３次元モデル生成ステップと、
    　前記プラント設備の状況に関する情報を画像情報として取得する状況画像取得ステップと、
    　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する記憶ステップと、
    　を備える、プラント管理方法。
  2. 　前記プラント設備の状況に関する情報は、前記プラント設備の温度情報、振動情報および流体の漏洩情報、並びに、前記プラント設備の外観に関する情報の少なくとも１つを含む、
    　請求項１に記載のプラント管理方法。
  3. 　前記状況画像取得ステップにおいて、前記プラント設備の状況に関する情報を、撮像装置を用いて取得する、請求項１または２に記載のプラント管理方法。
  4. 　前記記憶ステップにおいて、
    　前記撮像装置の撮影地点および撮影方向に関する情報を用いて、前記撮像装置で取得された画像上の位置と前記３次元モデルの位置とを対応させ、
    　前記３次元モデルの各位置と対応付けて、対応位置の前記プラント設備の状況に関する情報を記憶する、請求項３に記載のプラント管理方法。
  5. 　前記撮像装置は、赤外線カメラおよび可視光カメラの少なくともいずれかである、
    　請求項３または４に記載のプラント管理方法。
  6. 　記憶されている、前記３次元モデルと、前記３次元モデルの対応箇所と関連づけられている前記プラント設備の状況に関する情報とを取得する関連情報取得ステップと、
    　前記３次元モデルから、所定の視点位置からの前記プラント設備の画像を生成し、前記プラント設備の状況に関する情報を３次元モデル上の対応位置に重ねて表示する表示ステップと、をさらに備える、
    　請求項１から５のいずれか一項に記載のプラント管理方法。
  7. 　前記３次元モデルおよび前記プラント設備の状況に関する情報に基づいて、前記プラント設備の劣化をシミュレーションするステップをさらに備える、
    　請求項１から６のいずれか一項に記載のプラント管理方法。
  8. 　前記シミュレーションした結果に基づいて、前記プラント設備におけるメンテナンスの必要な場所、時期、内容に関するメンテナンス情報を作成するステップと、
    　前記作成された前記メンテナンス情報を前記３次元モデルと関連付けて記憶するステップと、
    　前記メンテナンス情報を前記３次元モデルの対応箇所に表示するステップと、をさらに備える、
    　請求項７に記載のプラント管理方法。
  9. 　前記３次元モデルおよび前記プラント設備の状況に関する情報に基づいて、前記プラント設備の危険度の情報を作成するステップと、
    　前記作成された前記危険度の情報を前記３次元モデルと関連付けて記憶するステップと、
    　前記危険度の情報を前記３次元モデルの対応箇所に表示するステップと、をさらに備える、
    　請求項１から６のいずれか一項に記載のプラント管理方法。
  10. 　前記プラント設備の光景を透過する透過式メガネ型端末のレンズ部に前記プラント設備の状況に関する情報を投射する、投射ステップをさらに備える、
    　請求項１から９のいずれか一項に記載のプラント管理方法。
  11. 　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する生成部と、
    　前記プラント設備の状況に関する情報を画像情報として取得する取得部と、
    　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する記憶部と、
    　を備える、プラント管理装置。
  12. 　実空間のプラント設備に関する設計情報に基づいて、コンピュータ上の仮想空間に前記プラント設備の３次元モデルを生成する処理と、
    　前記プラント設備の状況に関する情報を画像情報として取得する処理と、
    　前記画像情報として取得された前記プラント設備の状況に関する情報を、前記３次元モデルの対応箇所に関連付けて記憶する処理と、
    　をコンピュータに実行させるプラント管理プログラム。
PCT/JP2021/025641 2020-07-16 2021-07-07 プラント管理方法、プラント管理装置およびプラント管理プログラム WO2022014443A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022536297A JP7260839B2 (ja) 2020-07-16 2021-07-07 プラント管理方法、プラント管理装置およびプラント管理プログラム
JP2023061601A JP2023076650A (ja) 2020-07-16 2023-04-05 プラント管理方法、プラント管理装置およびプラント管理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-122165 2020-07-16
JP2020122165 2020-07-16

Publications (1)

Publication Number Publication Date
WO2022014443A1 true WO2022014443A1 (ja) 2022-01-20

Family

ID=79554828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025641 WO2022014443A1 (ja) 2020-07-16 2021-07-07 プラント管理方法、プラント管理装置およびプラント管理プログラム

Country Status (2)

Country Link
JP (2) JP7260839B2 (ja)
WO (1) WO2022014443A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152984A (ja) * 1993-11-30 1995-06-16 Mitsubishi Electric Corp プラント監視方法および装置
JP2012168799A (ja) * 2011-02-15 2012-09-06 Hitachi Ltd プラント監視装置およびプラント監視方法
WO2013030929A1 (ja) * 2011-08-29 2013-03-07 株式会社日立製作所 監視装置、監視システム及び監視方法
WO2017119127A1 (ja) * 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7152984B2 (ja) 2019-05-23 2022-10-13 日本電波工業株式会社 受信回路用基板および受信回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152984A (ja) * 1993-11-30 1995-06-16 Mitsubishi Electric Corp プラント監視方法および装置
JP2012168799A (ja) * 2011-02-15 2012-09-06 Hitachi Ltd プラント監視装置およびプラント監視方法
WO2013030929A1 (ja) * 2011-08-29 2013-03-07 株式会社日立製作所 監視装置、監視システム及び監視方法
WO2017119127A1 (ja) * 2016-01-08 2017-07-13 三菱電機株式会社 作業支援装置、作業学習装置及び作業支援システム

Also Published As

Publication number Publication date
JP7260839B2 (ja) 2023-04-20
JP2023076650A (ja) 2023-06-01
JPWO2022014443A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US10521960B2 (en) System and method for generating three-dimensional robotic inspection plan
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
CN101939765B (zh) 用于远程检查工业过程的由计算机实施的方法和系统
KR102627352B1 (ko) 증강 현실 디바이스를 교정하기 위한 방법
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
JP3274290B2 (ja) 映像表示装置及び映像表示システム
JP7337654B2 (ja) 保全活動サポートシステムおよび保全活動サポート方法
US11237057B2 (en) Temperature processing apparatus and temperature processing method
CN111006646B (zh) 基于无人机倾斜摄影测量技术实现施工进度监测的方法
JP2019148946A (ja) 施工工程管理システム及び施工工程管理方法
US20180204387A1 (en) Image generation device, image generation system, and image generation method
US20160358384A1 (en) Damage detection and repair system and method using enhanced geolocation
KR20180036075A (ko) 구조물 손상 정보가 매핑된 3차원 모델 생성 방법 및 이를 실행시키는 프로그램이 기록된 기록 매체
JP6847712B2 (ja) ３次元位置計測システム及び方法
JP2011095112A (ja) 三次元位置測定装置、飛翔体のマッピングシステム、およびコンピュータプログラム
US20220088783A1 (en) Method and Apparatus for Manufacturing Line Simulation
US20180040138A1 (en) Camera-based method for measuring distance to object (options)
Ibrahim et al. Metrics and methods for evaluating model‐driven reality capture plans
JP6982865B2 (ja) 動画像距離算出装置および動画像距離算出用プログラム
WO2022014443A1 (ja) プラント管理方法、プラント管理装置およびプラント管理プログラム
US20230142960A1 (en) Construction of formwork and scaffolding using mobile devices
CN115797406A (zh) 一种越界告警方法、装置、设备及存储介质
KR0130601B1 (ko) 지상 폭발고도 측정장치 및 방법
JP7471953B2 (ja) 点検システムおよび点検方法
KR20200067275A (ko) 드론과 mr을 이용한 배관 점검 및 보수 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842439

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536297

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21842439

Country of ref document: EP

Kind code of ref document: A1