WO2021241386A1 - 設備温度管理システム、方法及びプログラム - Google Patents
設備温度管理システム、方法及びプログラム Download PDFInfo
- Publication number
- WO2021241386A1 WO2021241386A1 PCT/JP2021/019126 JP2021019126W WO2021241386A1 WO 2021241386 A1 WO2021241386 A1 WO 2021241386A1 JP 2021019126 W JP2021019126 W JP 2021019126W WO 2021241386 A1 WO2021241386 A1 WO 2021241386A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- visible image
- thermal
- equipment
- visible
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000005259 measurement Methods 0.000 claims description 52
- 239000003550 marker Substances 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 claims description 6
- 238000001035 drying Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 239000003973 paint Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0859—Sighting arrangements, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/025—Interfacing a pyrometer to an external device or network; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/0265—Handheld, portable
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/002—Investigating fluid-tightness of structures by using thermal means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Definitions
- the present invention relates to an equipment temperature control system, method and program for controlling the surface temperature of equipment.
- the image captured by the thermo camera is transmitted to the personal computer, and the personal computer confirms the surface temperature based on the image.
- a fixed thermo camera so that the position and angle of the images do not change.
- fixed thermo cameras are relatively expensive.
- the drying furnace extends along the transport direction of the work and has a length of several tens of meters. Therefore, in order to image the entire surface of the drying furnace, it is necessary to install a large number of expensive thermo cameras along the transport direction, which causes a problem that the installation cost becomes large. Further, if a non-fixed thermo camera is used, it is necessary to image the surface of the drying oven at the same position and the same angle each time, so that there is a problem that the workload of the operator is large.
- the present invention has been made in view of the above problems, and an object thereof is an equipment temperature control system, an equipment temperature control method and equipment capable of controlling the surface temperature of equipment at low cost and reducing the work load. To provide a temperature control program.
- the invention according to claim 1 is a system for controlling the surface temperature of equipment, which is a non-fixed image pickup that acquires a visible image and a thermal image by imaging the surface of the equipment.
- the device, the display device for displaying the visible image and the thermal image, the first visible image obtained by imaging a specific measurement point in the facility, and the same measurement point in the facility are imaged at different times.
- the comparison area is set in the same position and the same range in the first visible image and the second visible image, and the second visible image is described.
- the angle of view of the comparative region of these thermal images so that the first thermal image corresponding to one visible image and the second thermal image corresponding to the second visible image can be superimposed.
- the gist thereof is an equipment temperature control system characterized by being provided with an image processing device that corrects a deviation and displays temperature difference information obtained by comparing the corrected thermal images with each other on the display device.
- a non-fixed image pickup device which is relatively cheaper than a fixed one, is used for imaging the surface of the equipment. Moreover, since the image pickup device is non-fixed, one image pickup device can image the entire surface of the equipment, so that it is not necessary to install a large number of image pickup devices in order to image the entire surface of the equipment. Therefore, the cost required for controlling the surface temperature of the equipment can be significantly reduced as compared with the case of using the fixed image pickup device.
- the image processing apparatus sets a comparison area at the same position and in the same range in the first visible image and the second visible image having different imaging times. Then, the image processing device compares these thermal images so that the first thermal image corresponding to the first visible image and the second thermal image corresponding to the second visible image can be superimposed. The deviation of the angle of view for the area is automatically corrected.
- the angle of view of both the first thermal image and the second thermal image may be corrected, or the angle of view of the second thermal image may be adjusted.
- the deviation of the angle of view of the first thermal image can be corrected, and the deviation of the angle of view of the second thermal image can be corrected so as to match the angle of view of the first thermal image.
- the image processing apparatus corrects a deviation in the angle of view of at least one of the first visible image and the second visible image based on the comparison region.
- the gist is to superimpose the temperature difference information on the corresponding portion on the corrected first visible image or the corrected second visible image and display it on the display device.
- the temperature difference information indicating the magnitude of the temperature change is not on the thermal image in which the surface of the equipment is difficult to see, but on the first visible image or the first visible image in which the surface of the equipment is easy to see. It is superimposed on the visible image of No. 2 and displayed on the display device. This allows the operator to accurately recognize which part of the surface of the equipment has a large temperature change.
- the image processing apparatus has the temperature difference information at a corresponding portion on the corrected first thermal image or the corrected second thermal image.
- the gist is to superimpose and display on the display device.
- the temperature difference information indicating the magnitude of the temperature change is displayed superimposed on the first thermal image or the second thermal image indicating the surface temperature of the equipment. This allows the operator to know not only the temperature change but also the temperature of the surface of the equipment.
- the common reference portion has different geometric features for each measurement point and is attached to the surface of the equipment.
- the gist is that it is a dimensional marker.
- the common reference portion is a two-dimensional marker
- the shape information is simpler than when the marker is, for example, three-dimensional.
- the common reference unit since the common reference unit has different geometric features for each measurement point, it is possible to reliably distinguish it from other measurement points. Therefore, the alignment can be controlled accurately.
- the invention according to claim 5 is the invention according to claim 4, wherein the storage unit for storing the visible image and the corresponding thermal image and the second visible image are newly generated at the specific measurement point by the imaging device.
- the storage unit for storing the visible image and the corresponding thermal image and the second visible image are newly generated at the specific measurement point by the imaging device.
- the first visible image captured at the same measurement point in the past and the corresponding first thermal image are selected with reference to the marker, and the past image read from the storage unit is selected.
- the gist is that it is further equipped with a selection section.
- the past image selection unit when a second visible image is newly imaged at a specific measurement point, the past image selection unit is imaged at the same measurement point in the past with reference to the marker.
- the first visible image and the corresponding first thermal image are automatically selected. Therefore, it is not necessary for the worker himself to select a specific image from a plurality of past images. Therefore, the workload of the worker is further reduced.
- the gist of the invention according to claim 6 is that, in any one of claims 1 to 5, the temperature difference information is a color image in which different colors are set according to the level of the temperature difference.
- the temperature difference information is a color image implicitly suggesting the level of the temperature difference
- the degree of the temperature difference is only by the operator looking at the temperature difference information. You can quickly check if.
- the invention according to claim 7 further comprises a warning device according to any one of claims 1 to 6, which issues a warning when the temperature difference obtained by comparing the thermal images exceeds a predetermined threshold value. That is the gist.
- a warning device for example, a light emitting device such as a lamp that warns that the temperature difference exceeds the threshold value by light emission (lighting, blinking, etc.), and a voice (warning sound) that the temperature difference exceeds the threshold value.
- a light emitting device such as a lamp that warns that the temperature difference exceeds the threshold value by light emission (lighting, blinking, etc.), and a voice (warning sound) that the temperature difference exceeds the threshold value.
- audio output devices such as alarms that warn by warning
- display devices such as liquid crystal display devices that warn by displaying (characters, symbols, pictures, etc.) that the temperature difference exceeds the threshold value, and the like.
- the invention according to claim 8 uses a non-fixed image pickup device that captures a visible image and a thermal image by imaging the surface of the equipment, and a display device that displays the visible image and the thermal image.
- the gist is the equipment temperature control method, which is characterized by this.
- the invention according to claim 9 comprises a non-fixed image pickup device that captures a visible image and a thermal image by imaging the surface of the facility, and a display device that displays the visible image and the thermal image.
- the processor that controls the management system has a first visible image obtained by imaging a specific measurement point in the facility and a second visible image obtained by imaging the same measurement point in the facility at different times.
- a comparison area setting step for setting a comparison area at the same position and the same range in the first visible image and the second visible image based on the shape information of a common reference portion existing, and the first visible image.
- the deviation of the angle of view of the comparative region of these thermal images is corrected so that the first thermal image corresponding to the above and the second thermal image corresponding to the second visible image can be superimposed.
- the gist
- the surface temperature of the equipment can be controlled at low cost, and the work load can be reduced.
- the schematic block diagram which shows the equipment temperature control system in 1st Embodiment.
- (A) is a schematic diagram showing a first visible image
- (b) is a schematic diagram showing a second visible image.
- the flowchart which shows the process which controls the surface temperature of a drying oven. Explanatory drawing which shows the determination method of the frame part.
- (A) is a schematic diagram showing a first visible image in which a frame portion is set
- (b) is a schematic diagram showing a second visible image in which a frame portion is set.
- (A) is a photograph showing a first visible image in which a frame portion is set
- (b) is a photograph showing a second visible image in which a frame portion is set.
- (A) is an explanatory diagram showing a method for correcting a first thermal image
- (b) is an explanatory diagram showing a method for correcting a second thermal image.
- the schematic which shows the 2nd visible image which displayed the color image.
- (a) is a schematic view showing a first thermal image
- (b) is a schematic view showing a second thermal image.
- the schematic diagram which shows the 2nd visible image which displayed the color image in 2nd Embodiment.
- the equipment temperature control system 1 of the present embodiment is a system for controlling the surface temperature of the drying oven 10 (equipment).
- the drying furnace 10 is for drying the paint applied to the surface of the work W1 (in the present embodiment, the automobile body) that has passed through the painting booth (not shown).
- the drying furnace 10 is formed in a substantially rectangular parallelepiped shape using a wall material such as an iron plate, and includes a ceiling portion 11, a floor portion 12, and a pair of side walls 13.
- a conveyor 21 is provided on the floor 12 of the drying furnace 10.
- the conveyor 21 is a device that conveys a plurality of carriages 22 on which the work W1 is placed along a conveying direction (right direction in FIG. 1).
- a plurality of markers 33 are provided along the transport direction on the surface 10a (see FIG. 2) of the side wall 13 (drying furnace 10). Each marker 33 is provided for each specific measurement point A0 to A13 in the drying oven 10. Each marker 33 has different geometric features for each of the measurement points A0 to A13, and is a two-dimensional square-shaped sticker attached to the surface 10a.
- the equipment temperature control system 1 includes a thermo camera 30 which is a non-fixed image pickup device.
- the thermo camera 30 simultaneously acquires a visible image 31 (see FIG. 2) and a thermal image 32 (see FIG. 7) by imaging the surface 10a of the drying furnace 10 at each measurement point A0 to A13. Then, the thermo camera 30 outputs the image data of the acquired visible image 31 and thermal image 32.
- the visible image 31 is a color image
- the thermal image 32 is an infrared image.
- the equipment temperature control system 1 includes a personal computer (not shown), and the personal computer includes a control device 40 (processor) that collectively controls the entire system.
- the control device 40 is composed of a well-known computer including a CPU 41 (image processing device), a ROM 42, a RAM 43, and the like.
- a keyboard 44 of a personal computer, a display 45 (display device) of a personal computer, and an alarm 46 are electrically connected to the CPU 41.
- the thermo camera 30 is electrically connected to the CPU 41 by connecting the thermo camera 30 to the control device 40 via a USB (Universal Serial Bus) cable.
- the visible image 31 and the thermal image 32 acquired by the thermo camera 30 are stored in the RAM 43.
- the ROM 42 stores a program (equipment temperature control program) for controlling the equipment temperature control system 1.
- the operator grasps the thermo camera 30 and images the surface 10a of the drying furnace 10 at each measurement point A0 to A13, and acquires a visible image 31 and a thermal image 32 at each of the measurement points A0 to A13. That is, the thermo camera 30 of the present embodiment is a handy type camera, and simultaneously acquires a visible image 31 and a thermal image 32 on a common optical axis. Therefore, if the thermo camera 30 simultaneously acquires the visible image 31 and the thermal image 32, the visible image 31 and the thermal image 32 having the same angle of view can be obtained. Further, the image of each measurement point A0 to A13 by the operator is performed periodically (for example, every month).
- thermo camera 30 connects to the control device 40 of the personal computer by using the USB cable.
- the thermo camera 30 outputs the acquired image data of the visible image 31 and the thermal image 32 to the CPU 41.
- the CPU 41 stores the visible image 31 and the thermal image 32 indicated by the input image data in the RAM 43. That is, the RAM 43 has a function as a "storage unit".
- the visible image 31 stored in the RAM 43 is the first visible image 31a (see FIG. 2A), which is the visible image 31 of the comparison source (source), and the visible image 31 of the comparison destination (target).
- a second visible image 31b (see FIG. 2B) is included.
- the first visible image 31a is a visible image 31 obtained by imaging measurement points A0 to A13 in the past (one month ago in this embodiment), and the second visible image 31b is the same measurement points A0 to A0 to. It is a visible image 31 newly obtained by imaging A13 at a different time (today in this embodiment).
- the thermal image 32 stored in the RAM 43 is a first thermal image 32a corresponding to the first visible image 31a (see FIG. 7A) and a second thermal image corresponding to the second visible image 31b.
- the first thermal image 32a corresponding to the first visible image 31a is an image having the same position and angle of view as the first visible image 31a, and has the same ID number as the first visible image 31a. It is an image including a marker 33.
- the second thermal image 32b corresponding to the second visible image 32b is an image at the same position and the same angle of view as the second visible image 32b, and has the same ID number as the second visible image 32b. It is an image including the marker 33 of.
- the first visible image 31a and the first thermal image 32a are stored in the first storage area of the RAM 43, and the second visible image 31b and the second thermal image 32b are stored in the second storage area of the RAM 43. Has been done.
- the angles of view are different.
- the second thermal image 32a and the second thermal image 32b are images obtained at different times from each other, and therefore have different angles of view.
- the CPU 41 controls to manage the surface temperature of the drying furnace 10 based on the equipment temperature control program stored in the ROM 42. More specifically, in step S1 shown in FIG. 3, the CPU 41 performs processing such as binarization, contour extraction, and calculation of intersections on all visible images 31a and 31b stored in the RAM 43, and each of them is performed. Control is performed to extract the marker 33 in the visible images 31a and 31b. In the following step S2, the CPU 41 calculates the ID number (0 to 13) of the extracted marker 33 from the shape of the marker 33.
- the ID numbers (0 to 13) are numbers associated with each measurement point A0 to A13.
- step S3 the CPU 41 calculates the posture (pitch, yaw and roll) and position of the extracted marker 33 by using an algorithm such as ARToolkit which is well known in the past. Then, in step S4, the CPU 41 has the same ID number (that is, the same measurement point) from the plurality of first visible images 31a and the plurality of second visible images 31b stored in the RAM 43. The first visible image 31a and the second visible image 31b are extracted one by one to form a pair, and the pair is stored in the RAM 43.
- step S5 the CPU 41 selects the second visible image 31b captured at the measurement point A1 and the corresponding second thermal image 32b based on the ID number (1) of the marker 33, and selects the second thermal image 32b from the RAM 43. read out. Further, the CPU 41 selects the first visible image 31a and the corresponding first thermal image 32a captured at the same measurement point A1 in the past (one month ago) based on the ID number (1). Read from RAM 43. That is, the CPU 41 has a function as a "past image selection unit".
- the CPU 41 performs the process of the comparison area setting step, and based on the shape information (posture and position) of the marker 33 which is a common reference portion existing in the read visible images 31a and 31b, in the visible images 31a and 31b.
- the frame portion 34 (see FIGS. 4 and 5), which is a comparison area, is set at the same position and in the same range.
- the CPU 41 performs the process of step S6, and sets the frame portion 34 made of a red straight line in the first visible image 31a selected in step S5.
- the range of the frame portion 34 is the length in the upward direction (top), the downward direction (bottom), the left direction (left), and the right direction (right) with respect to the center C1 of the marker 33.
- the frame portion 34 is set so as not to protrude from the first visible image 31a and to occupy as large an area as possible in the first visible image 31a.
- the frame portion 34 may not be red or may be a broken line.
- the frame portion 34 of the present embodiment is displayed on the display screen of the display 45, it may not be displayed.
- the CPU 41 controls the frame portion 34 in the initial state to be superimposed on the first visible image 31a and displayed on the display 45.
- the frame portion 34 in the initial state is a frame portion having a similar shape to the marker 33.
- the CPU 41 enlarges the frame portion 34 until any one of the four vertices P1 of the frame portion 34 comes into contact with the outer peripheral edge of the first visible image 31a.
- the CPU 41 determines whether or not the frame portion 34 can be stretched along the length direction of the diagonal line passing through the apex P1 in contact with the outer peripheral edge of the two diagonal lines of the frame portion 34.
- the CPU 41 determines that the frame portion 34 can be extended in the diagonal length direction until any one of the remaining three vertices P1 not in contact with the outer peripheral edge contacts the outer peripheral edge. Control is performed to stretch the unit 34. Further, when there are still two vertices P1 that are not in contact with the outer peripheral edge of the first visible image 31a and both vertices P1 are adjacent to each other, the CPU 41 is in a direction orthogonal to the side connecting the two vertices P1. Control is performed to extend the frame portion 34. For example, when the upper left vertex P1 and the upper right vertex P1 are not in contact with the outer peripheral edge of the first visible image 31a, the CPU 41 controls to extend the frame portion 34 upward. Then, at this point, the frame portion 34 is set in the first visible image 31a (see FIGS. 5A and 6A). The frame portion 34 may be set by a method different from the above method.
- the CPU 41 controls to reflect the frame portion 34 set in the first visible image 31a on the second visible image 31b selected in step S5. Specifically, the CPU 41 superimposes the frame portion 34 set on the first visible image 31a on the second visible image 31b on the display 45 with the marker 33 on the second visible image 31b as a reference. Control to display (see FIGS. 5 (b) and 6 (b)). In the present embodiment, since the imaging range of the second visible image 31b is larger than the imaging range of the first visible image 31a, the entire reflected frame portion 34 is contained in the second visible image 31b. Is displayed.
- the CPU 41 controls to reflect the frame portion 34 set in the first visible image 31a on the first thermal image 32a selected in step S5. Specifically, the CPU 41 controls the frame portion 34 set in the first visible image 31a to be superimposed on the first thermal image 32a as it is and displayed on the display 45 (FIG. 7A). reference). Further, the CPU 41 controls to reflect the frame portion 34 reflected in the second visible image 31b on the second thermal image 32b selected in step S5. Specifically, the CPU 41 controls the frame portion 34 set in the second visible image 31b to be superimposed on the second thermal image 32b as it is and displayed on the display 45 (FIG. 7B). reference).
- the CPU 41 controls the frame portion 34 of the first thermal image 32a and the second thermal image 32b to correct the deviation of the angle of view. Specifically, the CPU 41 obtains a perspective transformation matrix of the frame portion 34 displayed on the first thermal image 32a and performs perspective transformation to make the frame portion 34 the same area as the first thermal image 32a. It is corrected to a rectangle having the same shape, and this is used as the corrected first thermal image 32a (see FIG. 7A). Similarly, the CPU 41 obtains a perspective transformation matrix of the frame portion 34 displayed on the second thermal image 32b and performs perspective transformation to make the frame portion 34 the same area and shape as the second thermal image 32b.
- the CPU 41 obtains a perspective transformation matrix of the frame portion 34 displayed on the second visible image 31b and performs perspective transformation, whereby the frame portion 34 has the same area and shape as the second visible image 31b. It is corrected to a rectangle, and this is used as the corrected second visible image 31b. As a result, the deviation of the angle of view of the second visible image 31b is corrected so as to match the angle of view of the thermal images 32a and 32b.
- the CPU 41 performs the process of the temperature difference information acquisition step, compares the corrected thermal images 32a and 32b with each other, and obtains the color image 35 (see FIG. 8) which is the temperature difference information. Specifically, the CPU 41 calculates the difference between the temperature at each position of the first thermal image 32a and the temperature at each position of the second thermal image 32b, and uses the calculated difference as the temperature difference. Then, the CPU 41 sets color images 35 of different colors according to the level (magnitude) of the temperature difference. As shown in FIG. 9, when the temperature indicated by the second thermal image 32b is higher than the temperature indicated by the first thermal image 32a captured in the past, for example, when the temperature rises by 50 ° C. or more. , The red color image 35.
- the orange color image 35 is obtained.
- the temperature shown by the second thermal image 32b is lower than the temperature shown by the first thermal image 32a, for example, when the temperature drops by 10 ° C. or more, the blue color image 35 is obtained.
- the color image 35 is not set when the temperature rises below 10 ° C or when the temperature drops below 10 ° C.
- step S10 temperature difference information display step
- the CPU 41 controls to display the set color image 35 on the display 45. Specifically, the CPU 41 controls to superimpose the color image 35 on the corresponding portion on the corrected second visible image 31b and display it on the display 45 (see FIGS. 8 and 10). As a result, the portion of the surface 10a of the drying furnace 10 where it is determined that the temperature rise or fall is large is displayed in different colors.
- the second visible image 31b is displayed on the upper part of the display 45, and the first thermal image 32a and the second thermal image 32b are displayed on the lower side of the second visible image 31b on the display 45. Are displayed side by side (see FIG. 10).
- a rod-shaped temperature display unit 36 extending in the left-right direction is displayed.
- the temperature display unit 36 shows the relationship between the color displayed on the thermal images 32a and 32b and the temperature.
- the CPU 41 sequentially executes the processes of steps S5 to S10 at the other measurement points A0 and A2 to A13, and calculates the temperature difference between the first thermal image 32a and the second thermal image 32b. Then, when the temperature difference at all the measurement points A0 to A13 is calculated, the CPU 41 determines the temperature difference obtained by comparing the thermal images 32a and 32b at each of the measurement points A0 to A13 as a predetermined threshold value. It is determined whether or not the temperature exceeds (50 ° C. in this embodiment). When it is determined that the temperature difference is higher than the threshold value, the CPU 41 determines that an abnormality has occurred, outputs a drive signal to the alarm 46, and controls to activate the alarm 46, which is a warning device. As a result, the operator is warned that there is a high possibility that hot air in the drying oven 10 is leaking due to the high temperature of the surface 10a of the drying oven 10.
- thermo camera 30 which is relatively cheaper than a fixed one is used to image the surface 10a of the drying furnace 10. Moreover, since the thermo camera 30 is a non-fixed type, one thermo camera 30 can image the entire surface 10a of the drying furnace 10, so that it is not necessary to install a large number of thermo cameras 30 to image the entire surface 10a. I'm done. Therefore, as compared with the case of using a fixed thermo camera, the cost required for controlling the surface temperature of the drying furnace 10 can be significantly reduced.
- the CPU 41 sets the frame portion 34 at the same position and in the same range in the first visible image 31a and the second visible image 31b having different imaging times. Then, the CPU 41 can superimpose the first thermal image 32a corresponding to the first visible image 31a and the second thermal image 32b corresponding to the second visible image 31b. The deviation of the angle of view of the frame portions 34 of 32a and 32b is automatically corrected.
- the thermal images 32a and 32b can be compared with each other, the change in the surface temperature of the drying furnace 10 can be grasped based on the comparison result, and the change in the surface temperature can be obtained in the drying furnace 10. Leakage of hot air can be reliably detected. Further, since the CPU 41 automatically corrects the deviation of the angle of view, the operator does not have to image the surface 10a of the drying furnace 10 at the same position and the same angle each time, which reduces the workload of the operator. be able to. Therefore, it is possible for the operator to grasp the thermo camera 30 and take an image of the measurement points A0 to A13 while walking in the drying furnace 30. It is also possible to image the measurement points A0 to A13 by mounting the thermo camera 30 on a trolley, a drone, or the like and remotely controlling it.
- the color image 35 showing the magnitude of the temperature change is not on the second thermal image 32b where the surface 10a of the drying furnace 10 is difficult to see, but the second surface 10a is easy to see. It is superimposed on the visible image 31b and displayed on the display 45. As a result, the operator can accurately recognize which part of the surface 10a has a large temperature change.
- the CPU 41 is imaged at the same measurement points A0 to A13 in the past with reference to the marker 33.
- the first visible image 31a and the corresponding first thermal image 32a are automatically selected. Therefore, it is not necessary for the worker himself / herself to select a specific image from the plurality of past images 31a and 32a. Therefore, the workload of the worker is further reduced.
- the CPU 41 corrects the second visible image 31b in addition to the first thermal image 32a and the second thermal image 32b. rice field.
- the CPU 41 controls to correct only the first thermal image 51a (see FIG. 11A) and the second thermal image 51b (see FIG. 11B).
- the CPU 41 compares the corrected thermal images 51a and 51b with each other to obtain a color image 52 (see FIG. 12) which is the temperature difference information.
- the color image 52 of the present embodiment is configured by filling the inside of the rectangular white frame 52a with different colors according to the level (magnitude) of the temperature difference. As shown in FIG. 13, when the temperature is lowered by 10 ° C. or more, the inside of the frame body 52a is filled with blue to obtain a color image 52. On the other hand, when the temperature rise is less than 10 ° C, the inside of the frame 52a becomes a color image 52 filled with yellow, and when the temperature rise is 10 ° C or more and less than 50 ° C, the inside of the frame 52a is formed. Is a color image 52 filled with red, and when the temperature rises by 50 ° C. or higher, the inside of the frame 52a is a color image 52 filled with pink.
- the CPU 41 controls to superimpose the color image 52 on the corresponding portion on the corrected second thermal image 51b and display it on the display 45 (see FIG. 12). As a result, the portion of the surface 10a of the drying furnace 10 where it is determined that the temperature rise or fall is large is displayed in different colors.
- the color image 52 showing the magnitude of the temperature change is superimposed and displayed on the second thermal image 51b showing the surface temperature of the drying oven 10 at the present time (today).
- the operator can know not only the temperature change but also the current temperature of the surface 10a of the drying oven 10.
- the color image 52 of the present embodiment is configured by filling the inside of a white frame 52a different from the color of the second thermal image 51b. Therefore, it becomes easy to distinguish the color of the second thermal image 51b from the color in the frame 52a of the color image 52.
- the corrected second second after the CPU 41 corrects the deviation of the angle of view of only the second visible image 31b out of the first visible image 31a and the second visible image 32b, the corrected second second.
- the control was performed to superimpose and display the color image 35 on the visible image 31b.
- the CPU 41 corrects the deviation of the angle of view of only the first visible image 31a instead of the second visible image 32b, and then superimposes the color image 35 on the corrected first visible image 31a. You may control the display.
- the CPU 41 is a color image with respect to the corrected first visible image 31a or the corrected second visible image 31b. Control may be performed to superimpose and display 35.
- the CPU 41 controls to superimpose and display the color image 35 on the first visible image 31a or the second visible image 31b without correcting the deviation of the angle of view of the visible images 31a and 31b. May be done.
- the frame portion 34 set in the first visible image 31a is used as the second visible image 31a.
- the imaging range of the second visible image 31b may be the same as the imaging range of the first visible image 31a, or may be smaller than the imaging range of the first visible image 31a.
- the CPU 41 controls to superimpose the color image 52 on the corresponding portion on the corrected second thermal image 51b and display it on the display 45.
- the CPU 41 may control to superimpose and display the color image 52 on the corresponding portion on the corrected first thermal image 51a.
- the first visible image 31a is an image obtained by imaging the measurement points A0 to A13 one month ago
- the second visible image 31b is the same measurement points A0 to A13. It is an image newly taken and obtained today, and these images 31a and 31b were compared with each other.
- the combination of timings for comparing the visible images 31a and 31b can be changed as appropriate.
- the first visible image 31a is an image obtained by imaging the measurement points A0 to A13, for example, one year ago
- the second visible image 31b is, for example, the measurement points A0 to A13. It may be an image obtained by taking an image 6 months ago.
- the visible image 31 and the thermal image 32 obtained by imaging with the thermo camera 30 are stored in the RAM 43, and in the subsequent correction step (step S9), the thermal image 32 and the visible image 32 read from the RAM 43 are stored.
- the deviation of the angle of view of the image 31 was corrected.
- the visible image 31 and the thermal image 32 obtained by imaging with the thermo camera 30 may be stored in the RAM 43 in a state where the deviation of the angle of view is corrected in advance.
- the square marker 33 is used as a common reference portion existing in the first visible image 31a and the second visible image 31b, but is rectangular, parallel quadrilateral, and diamond.
- a marker such as a shape may be used as a common reference portion. If an algorithm different from ARToolkit, which requires a marker with two opposite sides parallel to each other, is used to calculate the attitude and position of the marker (see step S3 in FIG. 3), the trapezoidal shape, the circular shape, and the like.
- An elliptical marker can be used as a common reference.
- another two-dimensional object such as a picture, a character, or a symbol may be used as a common reference portion.
- three-dimensional parts such as parts existing on the surface of the equipment may be used as a common reference part.
- the temperature difference obtained by comparing the thermal images 32a and 32b (or the thermal images 51a and 51b) exceeds a predetermined threshold value (here, 50 ° C.)
- a predetermined threshold value here, 50 ° C.
- the temperature difference becomes higher.
- the alarm 46 was activated to warn the operator.
- the threshold value for example, ⁇ 10 ° C.
- the alarm 46 may be activated to warn the operator. By doing so, it becomes possible to detect the leakage of the refrigerant in the equipment, for example, in a chemical plant or the like.
- thermo camera 30 that images the surface 10a of the drying oven 10 and simultaneously acquires a visible image 31 and a thermal image 32 is used as an image pickup device.
- the image pickup device is provided separately from the visible image imaging camera (visible image imaging device) that captures the surface 10a of the equipment 10 and acquires the visible image 31, and the visible image imaging camera, and the surface 10a of the equipment 10 is provided separately. It may be composed of a thermal image imaging camera (thermal image imaging device) that captures an image and acquires a thermal image 32. It is preferable that the visible image capturing camera and the thermal image capturing camera are arranged as close to each other as possible.
- thermo camera 30 of each of the above embodiments transmitted image data to the control device 40 via the USB cable
- the image data may be transmitted to the control device 40 using another device.
- the thermo camera 30 may transmit image data to the control device 40 via a communication device such as Bluetooth (Bluetooth SIG, a registered trademark of Incorporated), infrared communication, and an internet line (telephone line, etc.).
- the equipment temperature control system 1 of each of the above embodiments includes a thermo camera 30 and a personal computer having a display device (display 45) and an image processing device (CPU 41).
- the thermo camera may have an image processing device inside, and may superimpose a color image on a corresponding portion in a visible image or a thermal image and display it on the display of the thermo camera.
- the equipment temperature control system 1 of each of the above embodiments was a system for controlling the surface temperature of the drying furnace 10, but it manages the surface temperature of other equipment such as a painting booth for painting the work W1 and a chemical plant. It may be a system.
- the image pickup device is provided separately from the visible image image pickup device for capturing the surface of the equipment and acquiring the visible image and the visible image image pickup device.
- a facility temperature control system comprising an thermal image imaging device that images the surface of the equipment and acquires the thermal image.
- the temperature difference obtained by comparing the corrected thermal images with each other is such that the temperature indicated by the second thermal image is indicated by the first thermal image.
- An equipment temperature control system characterized by a temperature difference calculated when the temperature is higher than the temperature.
- the temperature difference obtained by comparing the corrected thermal images with each other is such that the temperature indicated by the second thermal image is indicated by the first thermal image.
- An equipment temperature control system characterized by a temperature difference calculated when the temperature is lower than the temperature.
- Equipment temperature control system 10 Drying furnace as equipment 10a ... Equipment surface 30 ... Thermo camera as an image pickup device 31 ... Visible image 31a ... First visible image 31b ... Second visible image 32 ... Thermal image 32a, 51a ... First thermal image 32b, 51b ... Second thermal image 33 ... Marker as a common reference part 34 ... Frame as a comparison area 35, 52 ... Color image as temperature difference information 40 ... Control device as a processor 41 ... CPU as an image processing device and a past image selection unit 43 ... RAM as a storage unit 45 ... Display as a display device 46 ... Alarm as a warning device A0 to A13 ... Measurement points
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Radiation Pyrometers (AREA)
- Geometry (AREA)
Abstract
低コストで設備の表面温度を管理でき、かつ作業負荷を軽減できる設備温度管理システムの提供を課題とする。本発明の設備温度管理システムは、非固定式の撮像装置と画像処理装置とを備える。撮像装置は、設備10の表面10aを撮像して可視画像31及び熱画像を取得する。画像処理装置は、第1の可視画像と第2の可視画像31bとに存在する共通の基準部33の形状情報に基づき、第1の可視画像及び第2の可視画像31bにおける同じ位置及び同じ範囲に比較領域を設定する。また、画像処理装置は、第1の熱画像及び第2の熱画像の比較領域についての画角のズレを補正し、補正後の熱画像同士を比較して得た温度差情報35を表示装置に表示する。選択図:図8
Description
本発明は、設備の表面温度を管理する設備温度管理システム、方法及びプログラムに関するものである。
従来、塗装乾燥炉などの設備は、自動車ボディなどのワークに塗布された塗料を乾燥させるために用いられる。このため、乾燥炉には、塗料を確実に乾燥させるために、絶えず熱風が供給されるようになっている。ところが、乾燥炉の劣化などに起因して、乾燥炉に設置された排気ダクト(図示略)や乾燥炉壁面等に亀裂が生じる場合があり、乾燥炉内の熱風が亀裂から外部に漏れることがある。そこで、乾燥炉の表面をサーモカメラで定期的に撮像して表面温度を確認することにより、熱風の漏れを検出する技術が従来提案されている(例えば、特許文献1,2参照)。
ところで、サーモカメラで撮像した画像はパソコンに送信され、パソコンでは、画像に基づく表面温度の確認が行われる。しかし、撮像した画像をパソコンで比較するためには、画像の位置や角度が変化しないように、固定式のサーモカメラを使用する必要がある。ところが、固定式のサーモカメラは比較的高価なものである。また、乾燥炉は、ワークの搬送方向に沿って延びており、数十mの長さを有している。よって、乾燥炉の表面全体を撮像するためには、搬送方向に沿って高価なサーモカメラを多数設置する必要があるため、設置コストが多大なものになるという問題がある。また、仮に非固定式のサーモカメラを使用する場合には、毎回同じ位置、同じ角度で乾燥炉の表面を撮像する必要があるため、作業者の作業負荷が大きいという問題がある。
本発明は上記の課題に鑑みてなされたものであり、その目的は、低コストで設備の表面温度を管理することができ、かつ作業負荷を軽減できる設備温度管理システム、設備温度管理方法及び設備温度管理プログラムを提供することにある。
上記課題を解決するために、請求項1に記載の発明は、設備の表面温度を管理するシステムであって、前記設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、前記可視画像及び前記熱画像を表示する表示装置と、前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定し、前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正し、補正後の前記熱画像同士を比較して得た温度差情報を前記表示装置に表示する画像処理装置とを備えたことを特徴とする設備温度管理システムをその要旨とする。
請求項1に記載の発明では、設備の表面を撮像するにあたり、固定式のものよりも比較的安価な非固定式の撮像装置を用いている。しかも、撮像装置が非固定式であることから、1つの撮像装置で設備の表面全体を撮像できるため、設備の表面全体を撮像するために多数の撮像装置を設置しなくても済む。従って、固定式の撮像装置を用いる場合と比較して、設備の表面温度の管理に必要なコストを大幅に低減することができる。
しかしながら、非固定式の撮像装置を用いる場合には、可視画像及び熱画像の画角が撮像の度に変化してしまうため、撮像時期が異なる画像同士を正確に比較することができず、設備の表面温度の変化を正確に管理することができない。そこで、請求項1では、画像処理装置が、撮像時期が異なる第1の可視画像及び第2の可視画像における同じ位置及び同じ範囲に比較領域を設定している。そして、画像処理装置は、第1の可視画像に対応する第1の熱画像と第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の比較領域についての画角のズレを自動的に補正している。その結果、熱画像同士の比較が可能となるため、設備の表面温度の変化を正確に管理することができる。また、画像処理装置が画角のズレを自動的に補正することから、作業者が毎回同じ位置、同じ角度で設備の表面を撮像しなくても済むため、作業者の作業負荷を軽減することができる。
なお、熱画像の画角のズレを補正する手法としては、第1の熱画像及び第2の熱画像の両方の画角のズレを補正することや、第2の熱画像の画角に合わせるように第1の熱画像の画角のズレを補正することや、第1の熱画像の画角に合わせるように第2の熱画像の画角のズレを補正することなどが挙げられる。
請求項2に記載の発明は、請求項1において、前記画像処理装置は、前記第1の可視画像及び前記第2の可視画像の少なくとも一方の画角のズレを前記比較領域に基づいて補正し、補正後の前記第1の可視画像上または補正後の前記第2の可視画像上における対応した箇所に前記温度差情報を重畳して前記表示装置に表示することをその要旨とする。
請求項2に記載の発明では、温度変化の大きさを示す温度差情報を、設備の表面を視認しにくい熱画像上にではなく、設備の表面を視認しやすい第1の可視画像上または第2の可視画像上に対して重畳し、表示装置に表示している。これにより、作業者は、設備の表面のどの部分の温度変化が大きいのかを、正確に認識することができる。
請求項3に記載の発明は、請求項1において、前記画像処理装置は、補正後の前記第1の熱画像上または補正後の前記第2の熱画像上における対応した箇所に前記温度差情報を重畳して前記表示装置に表示することをその要旨とする。
請求項3に記載の発明では、温度変化の大きさを示す温度差情報が、設備の表面温度を示す第1の熱画像上または第2の熱画像上に重畳して表示される。これにより、作業者は、温度変化だけでなく、設備の表面の温度を知ることができる。
請求項4に記載の発明は、請求項1乃至3のいずれか1項において、前記共通の基準部は、前記測定点ごとに異なる幾何学的特徴を有するとともに前記設備の表面に付される二次元的なマーカーであることをその要旨とする。
請求項4に記載の発明によれば、共通の基準部が二次元的なマーカーであるため、マーカーが例えば三次元的なものである場合よりも形状情報が単純なものとなる。その結果、マーカーの形状情報に基づいた位置合わせの制御が容易になるため、画像処理装置にかかる負担を低減することができる。また、共通の基準部は、測定点ごとに異なる幾何学的特徴を有するため、他の測定点との判別を確実に行うことができる。よって、位置合わせの制御を正確に行うことができる。
請求項5に記載の発明は、請求項4において、前記可視画像及びそれに対応する前記熱画像を保存する記憶部と、前記撮像装置により前記特定の測定点で新たに前記第2の可視画像が撮像された場合、前記マーカーを参照して、過去に同じ測定点で撮像された前記第1の可視画像及びそれに対応する前記第1の熱画像を選択し、前記記憶部から読み出してくる過去画像選択部とをさらに備えたことをその要旨とする。
請求項5に記載の発明によれば、過去画像選択部が、特定の測定点で新たに第2の可視画像が撮像された場合に、マーカーを参照して、過去に同じ測定点で撮像された第1の可視画像及びそれに対応する第1の熱画像を自動的に選択する。このため、作業者自身が複数ある過去の画像の中から特定のものを選択する作業が不要になる。よって、作業者の作業負荷がよりいっそう軽減される。
請求項6に記載の発明は、請求項1乃至5のいずれか1項において、前記温度差情報は、温度差のレベルに応じて異なる色を設定した色画像であることをその要旨とする。
請求項6に記載の発明によれば、温度差情報が、温度差のレベルを暗示的に示唆する色画像であるため、作業者が温度差情報を見るだけで、温度差がどの程度であるかを素早く確認することができる。
請求項7に記載の発明は、請求項1乃至6のいずれか1項において、前記熱画像同士を比較して得た温度差が所定の閾値を超える場合に警告を発する警告装置をさらに備えたことをその要旨とする。
請求項7に記載の発明によれば、温度差が閾値を超えていることを警告するため、設備の表面温度の変化が大き過ぎることを作業者に対して確実に気付かせることができる。その結果、表面温度の異常に対して迅速に対応することが可能となる。
なお、警告装置としては、例えば、温度差が閾値を超えていることを発光(点灯・点滅等)にて警告するランプ等の発光装置、温度差が閾値を超えていることを音声(警告音等)にて警告するアラーム等の音声出力装置、温度差が閾値を超えていることを表示(文字、記号、絵等)にて警告する液晶式表示装置等の表示装置、などが挙げられる。
請求項8に記載の発明は、設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、前記可視画像及び前記熱画像を表示する表示装置とを用いて、前記設備の表面温度を管理する方法であって、前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定する比較領域設定ステップと、前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正する補正ステップと、補正後の前記熱画像同士を比較して温度差情報を得る温度差情報取得ステップと、前記温度差情報を前記表示装置に表示する温度差情報表示ステップとを含むことを特徴とする設備温度管理方法をその要旨とする。
請求項9に記載の発明は、設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、前記可視画像及び前記熱画像を表示する表示装置とを備えた設備温度管理システムを制御するプロセッサに、前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定する比較領域設定ステップと、前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正する補正ステップと、補正後の前記熱画像同士を比較して温度差情報を得る温度差情報取得ステップと、前記温度差情報を前記表示装置に表示する温度差情報表示ステップとを実行させるための設備温度管理プログラムをその要旨とする。
以上詳述したように、請求項1~9に記載の発明によると、低コストで設備の表面温度を管理することができ、かつ作業負荷を軽減できる。
[第1実施形態]
以下、本発明を具体化した第1実施形態を図面に基づき詳細に説明する。
図1に示されるように、本実施形態の設備温度管理システム1は、乾燥炉10(設備)の表面温度を管理するシステムである。乾燥炉10は、塗装ブース(図示略)を通過したワークW1(本実施形態では自動車ボディ)の表面に塗布された塗料を乾燥させるためのものである。また、乾燥炉10は、例えば鉄板などの壁材を用いて略直方体状に形成されており、天井部11、床部12及び一対の側壁13を備えている。さらに、乾燥炉10の床部12にはコンベア21が設けられている。コンベア21は、ワークW1を載置した複数の台車22を搬送方向(図1では右方向)に沿って搬送する装置である。
また、側壁13(乾燥炉10)の表面10a(図2参照)には、複数のマーカー33が搬送方向に沿って設けられている。各マーカー33は、乾燥炉10における特定の測定点A0~A13ごとにそれぞれ設けられている。なお、各マーカー33は、測定点A0~A13ごとに異なる幾何学的特徴を有するとともに、表面10aに貼付される二次元的な正方形状のシールである。
図1に示されるように、設備温度管理システム1は、非固定式の撮像装置であるサーモカメラ30を備えている。サーモカメラ30は、乾燥炉10の表面10aを測定点A0~A13ごとに撮像することにより、可視画像31(図2参照)及び熱画像32(図7参照)を同時に取得する。そして、サーモカメラ30は、取得した可視画像31及び熱画像32の画像データを出力する。なお、可視画像31はカラー画像であり、熱画像32は赤外線画像である。
次に、設備温度管理システム1の電気的構成について説明する。
図1に示されるように、設備温度管理システム1はパソコン(図示略)を備えており、パソコンは、システム全体を統括的に制御する制御装置40(プロセッサ)を備えている。制御装置40は、CPU41(画像処理装置)、ROM42、RAM43等からなる周知のコンピュータにより構成されている。CPU41には、パソコンのキーボード44、パソコンのディスプレイ45(表示装置)及びアラーム46が電気的に接続されている。また、本実施形態では、制御装置40にサーモカメラ30をUSB(Universal Serial Bus)ケーブルを介して接続することにより、CPU41にサーモカメラ30が電気的に接続される。そして、RAM43には、サーモカメラ30が取得した可視画像31及び熱画像32が記憶されるようになっている。また、ROM42には、設備温度管理システム1を制御するためのプログラム(設備温度管理プログラム)が記憶されている。
次に、乾燥炉10の温度管理方法を説明する。
まず、作業者は、サーモカメラ30を把持して乾燥炉10の表面10aを測定点A0~A13ごとに撮像し、各測定点A0~A13のそれぞれにおいて可視画像31及び熱画像32を取得する。即ち、本実施形態のサーモカメラ30は、ハンディタイプのカメラであり、共通の光軸で可視画像31及び熱画像32を同時に取得する。よって、サーモカメラ30が可視画像31及び熱画像32を同時に取得すれば、同じ画角の可視画像31及び熱画像32を得ることができる。また、作業者による各測定点A0~A13の撮像は、定期的(例えば1か月ごと)に行われる。
そして、各測定点A0~A13の撮像が終了する度に、作業者は、USBケーブルを用いてサーモカメラ30をパソコンの制御装置40に接続する。この時点で、サーモカメラ30は、取得した可視画像31及び熱画像32の画像データをCPU41に出力する。そして、CPU41は、入力された画像データが示す可視画像31及び熱画像32をRAM43に記憶する。即ち、RAM43は、『記憶部』としての機能を有している。
なお、RAM43に記憶される可視画像31は、比較元(ソース)の可視画像31である第1の可視画像31a(図2(a)参照)や、比較先(ターゲット)の可視画像31である第2の可視画像31b(図2(b)参照)を含んでいる。第1の可視画像31aは、測定点A0~A13を過去(本実施形態では1か月前)に撮像して得た可視画像31であり、第2の可視画像31bは、同じ測定点A0~A13を異なる時期(本実施形態では今日)に新たに撮像して得た可視画像31である。また、RAM43に記憶される熱画像32は、第1の可視画像31aに対応する第1の熱画像32a(図7(a)参照)や、第2の可視画像31bに対応する第2の熱画像32b(図7(b)参照)を含んでいる。なお、第1の可視画像31aに対応する第1の熱画像32aとは、第1の可視画像31aと同じ位置、同じ画角の画像であり、第1の可視画像31aとID番号が同一のマーカー33を含む画像である。同様に、第2の可視画像32bに対応する第2の熱画像32bとは、第2の可視画像32bと同じ位置、同じ画角の画像であり、第2の可視画像32bとID番号が同一のマーカー33を含む画像である。そして、第1の可視画像31a及び第1の熱画像32aは、RAM43の第1記憶領域に記憶され、第2の可視画像31b及び第2の熱画像32bは、RAM43の第2記憶領域に記憶されている。なお、第1の可視画像31a及び第2の可視画像32bは、互いに異なる時期に撮像して得た画像であるため、画角が異なっている。同様に、第2の熱画像32a及び第2の熱画像32bも、互いに異なる時期に撮像して得た画像であるため、画角が異なっている。
次に、CPU41は、ROM42に記憶されている設備温度管理プログラムに基づいて、乾燥炉10の表面温度を管理する制御を行う。詳述すると、CPU41は、図3に示されるステップS1において、RAM43に記憶されている全ての可視画像31a,31bに対して、2値化、輪郭抽出、交点の算出などの処理を行い、各可視画像31a,31b内のマーカー33を抽出する制御を行う。続くステップS2において、CPU41は、抽出したマーカー33のID番号(0~13)を、マーカー33の形状から算出する。なお、ID番号(0~13)は、測定点A0~A13ごとに対応付けられた番号である。さらに、ステップS3において、CPU41は、従来周知のARToolkit 等のアルゴリズムを用いて、抽出したマーカー33の姿勢(ピッチ、ヨー及びロール)及び位置を算出する。そして、ステップS4において、CPU41は、RAM43に記憶されている複数の第1の可視画像31a及び複数の第2の可視画像31bの中から、ID番号が同一(即ち、測定点が同一)となる第1の可視画像31aと第2の可視画像31bとを1つずつ抜き出してペアにし、そのペアをRAM43に記憶する。
次に、CPU41は、各測定点A0~A13のそれぞれにおいて、乾燥炉10の表面温度の変化を表示する処理を行う。本実施形態では、説明の便宜上、各測定点A0~A13のうち、測定点A1に係る処理について説明する。まず、CPU41は、ステップS5において、マーカー33のID番号(1)に基づいて、測定点A1で撮像された第2の可視画像31b及びそれに対応する第2の熱画像32bを選択し、RAM43から読み出す。さらに、CPU41は、ID番号(1)に基づいて、過去(1か月前)に同じ測定点A1で撮像された第1の可視画像31a及びそれに対応する第1の熱画像32aを選択し、RAM43から読み出す。即ち、CPU41は、『過去画像選択部』としての機能を有している。
次に、CPU41は、比較領域設定ステップの処理を行い、読み出した可視画像31a,31bに存在する共通の基準部であるマーカー33の形状情報(姿勢及び位置)に基づき、可視画像31a,31bにおける同じ位置及び同じ範囲に、比較領域である枠部34(図4,図5参照)を設定する。
具体的に言うと、まず、CPU41は、ステップS6の処理を行い、ステップS5で選択された第1の可視画像31aに赤色の直線からなる枠部34を設定する。図4に示されるように、枠部34の範囲は、マーカー33の中心C1を基準とした上方向(top )、下方向(bottom)、左方向(left)及び右方向(right )の長さによって規定される。また、枠部34は、第1の可視画像31aからはみ出さないように設定されるとともに、第1の可視画像31a内において可能な限り大きな面積を占めるように設定される。なお、枠部34は、赤色でなくてもよいし、破線であってもよい。また、本実施形態の枠部34は、ディスプレイ45の表示画面に表示されるものであるが、表示されなくてもよい。
詳述すると、CPU41は、初期状態の枠部34を、第1の可視画像31aに重畳してディスプレイ45に表示させる制御を行う。なお、初期状態の枠部34は、マーカー33と相似形状となる枠部である。まず、CPU41は、枠部34の4つの頂点P1のうちいずれか1つが第1の可視画像31aの外周縁に接触するまで枠部34を拡大させる。次に、CPU41は、枠部34の2本の対角線のうち、外周縁に接触した頂点P1を通る対角線の長さ方向に沿って、枠部34を引き延ばすことができるか否かを判定する。枠部34の引き延ばしが可能であると判定された場合、CPU41は、外周縁に接触していない残り3つの頂点P1のうちいずれか1つが外周縁に接触するまで、対角線の長さ方向に枠部34を引き延ばす制御を行う。さらに、第1の可視画像31aの外周縁に接触していない頂点P1がまだ2つ存在し、かつ両頂点P1が隣り合っている場合、CPU41は、両頂点P1を繋ぐ辺と直交する方向に枠部34を引き延ばす制御を行う。例えば、左上の頂点P1と右上の頂点P1とが第1の可視画像31aの外周縁に接触していない場合、CPU41は、枠部34を上方向に引き延ばす制御を行う。そして、この時点で、第1の可視画像31aに枠部34が設定される(図5(a),図6(a)参照)。なお、上記の方法とは異なる方法で、枠部34を設定するようにしてもよい。
続くステップS7において、CPU41は、第1の可視画像31aに設定した枠部34を、ステップS5で選択された第2の可視画像31bに反映させる制御を行う。具体的に言うと、CPU41は、第2の可視画像31bにあるマーカー33を基準として、第1の可視画像31aに設定した枠部34を、第2の可視画像31bに重畳してディスプレイ45に表示させる制御を行う(図5(b),図6(b)参照)。なお、本実施形態では、第2の可視画像31bの撮像範囲が第1の可視画像31aの撮像範囲よりも大きいため、反映させた枠部34全体が第2の可視画像31b内に収まるように表示される。
続くステップS8において、CPU41は、第1の可視画像31aに設定した枠部34を、ステップS5で選択された第1の熱画像32aに反映させる制御を行う。具体的に言うと、CPU41は、第1の可視画像31aに設定されている枠部34を、そのまま第1の熱画像32aに重畳してディスプレイ45に表示させる制御を行う(図7(a)参照)。また、CPU41は、第2の可視画像31bに反映された枠部34を、ステップS5で選択された第2の熱画像32bに反映させる制御を行う。具体的に言うと、CPU41は、第2の可視画像31bに設定されている枠部34を、そのまま第2の熱画像32bに重畳してディスプレイ45に表示させる制御を行う(図7(b)参照)。
続くステップS9(補正ステップ)において、CPU41は、第1の熱画像32a及び第2の熱画像32bの枠部34について、画角のズレを補正する制御を行う。具体的に言うと、CPU41は、第1の熱画像32aに表示されている枠部34の透視変換行列を求めて透視変換を行うことにより、枠部34を第1の熱画像32aと同一面積かつ同一形状の長方形に補正し、これを補正後の第1の熱画像32aとする(図7(a)参照)。同様に、CPU41は、第2の熱画像32bに表示されている枠部34の透視変換行列を求めて透視変換を行うことにより、枠部34を第2の熱画像32bと同一面積かつ同一形状の長方形に補正し、これを補正後の第2の熱画像32bとする(図7(b)参照)。その結果、第1の熱画像32aの画角と第2の熱画像32bの画角とが一致するため、第1の熱画像32aと第2の熱画像32bとの重ね合わせが可能となる。さらに、CPU41は、第2の可視画像31bに表示されている枠部34の透視変換行列を求めて透視変換を行うことにより、枠部34を第2の可視画像31bと同一面積かつ同一形状の長方形に補正し、これを補正後の第2の可視画像31bとする。これにより、熱画像32a,32bの画角に合わせるように第2の可視画像31bの画角のズレが補正される。
次に、CPU41は、温度差情報取得ステップの処理を行い、補正後の熱画像32a,32b同士を比較して、温度差情報である色画像35(図8参照)を得る。具体的に言うと、CPU41は、第1の熱画像32aの各位置における温度と第2の熱画像32bの各位置における温度との差分を算出し、算出した差分を温度差とする。そして、CPU41は、温度差のレベル(大きさ)に応じて異なる色の色画像35を設定する。図9に示されるように、第2の熱画像32bが示す温度が過去に撮像された第1の熱画像32aが示す温度よりも高い場合、例えば、50℃以上の温度上昇である場合には、赤色の色画像35となる。また、10℃以上50℃未満の温度上昇である場合には、オレンジ色の色画像35となる。一方、第2の熱画像32bが示す温度が第1の熱画像32aが示す温度よりも低い場合、例えば、10℃以上の温度低下である場合には、青色の色画像35となる。なお、10℃未満の温度上昇である場合や10℃未満の温度低下である場合には、色画像35が設定されることはない。
続くステップS10(温度差情報表示ステップ)において、CPU41は、設定した色画像35をディスプレイ45に表示する制御を行う。具体的に言うと、CPU41は、補正後の第2の可視画像31b上における対応した箇所に色画像35を重畳してディスプレイ45に表示する制御を行う(図8,図10参照)。これにより、乾燥炉10の表面10aにおいて温度上昇や温度低下が大きいと判断された部分が、色分けして表示される。なお、本実施形態では、ディスプレイ45の上部に第2の可視画像31bが表示され、ディスプレイ45における第2の可視画像31bの下側に、第1の熱画像32aと第2の熱画像32bとが左右に並んで表示される(図10参照)。さらに、ディスプレイ45における熱画像32a,32bの下側には、左右方向に延びる棒状の温度表示部36が表示される。温度表示部36は、熱画像32a,32bに表示される色と温度との関係を示している。
その後、CPU41は、他の測定点A0,A2~A13においても、ステップS5~S10の処理を順番に実行させ、第1の熱画像32aと第2の熱画像32bとの温度差を算出する。そして、全ての測定点A0~A13での温度差が算出されると、CPU41は、各測定点A0~A13のそれぞれにおいて、熱画像32a,32b同士を比較して得た温度差が所定の閾値(本実施形態では50℃)を超えて高くなっているか否かを判定する。温度差が閾値よりも高くなっていると判定された場合、CPU41は、異常が発生しているとして、アラーム46に駆動信号を出力し、警告装置であるアラーム46を作動させる制御を行う。これにより、乾燥炉10の表面10aが高温であるために乾燥炉10内の熱風が漏れている可能性が高いことが作業者に警告される。
従って、本実施形態によれば以下の効果を得ることができる。
(1)本実施形態の設備温度管理システム1では、乾燥炉10の表面10aを撮像するにあたり、固定式のものよりも比較的安価な非固定式のサーモカメラ30を用いている。しかも、サーモカメラ30が非固定式であることから、1つのサーモカメラ30で乾燥炉10の表面10a全体を撮像できるため、表面10a全体を撮像するために多数のサーモカメラ30を設置しなくても済む。従って、固定式のサーモカメラを用いる場合と比較して、乾燥炉10の表面温度の管理に必要なコストを大幅に低減することができる。
しかしながら、非固定式のサーモカメラ30を用いる場合には、可視画像31及び熱画像32の画角が撮像の度に変化してしまうため、撮像時期が異なる画像同士を正確に比較することができず、乾燥炉10の表面温度の変化を正確に管理することができない。そこで、本実施形態では、CPU41が、撮像時期が異なる第1の可視画像31a及び第2の可視画像31bにおける同じ位置及び同じ範囲に枠部34を設定している。そして、CPU41は、第1の可視画像31aに対応する第1の熱画像32aと第2の可視画像31bに対応する第2の熱画像32bとの重ね合わせが可能となるように、これら熱画像32a,32bの枠部34についての画角のズレを自動的に補正している。その結果、熱画像32a,32b同士の比較が可能となるため、比較結果に基づいて乾燥炉10の表面温度の変化を把握することができ、表面温度の変化に基づいて、乾燥炉10内の熱風の漏れを確実に検出することができる。また、CPU41が画角のズレを自動的に補正することから、作業者が毎回同じ位置、同じ角度で乾燥炉10の表面10aを撮像しなくても済むため、作業者の作業負荷を軽減することができる。ゆえに、作業者がサーモカメラ30を把持して乾燥炉30内を歩きながら測定点A0~A13を撮像することも可能となる。また、サーモカメラ30を台車やドローン等に搭載して遠隔操作することにより、測定点A0~A13を撮像することも可能である。
(2)本実施形態では、温度変化の大きさを示す色画像35を、乾燥炉10の表面10aを視認しにくい第2の熱画像32b上にではなく、表面10aを視認しやすい第2の可視画像31b上に対して重畳し、ディスプレイ45に表示している。これにより、作業者は、表面10aのどの部分の温度変化が大きいのかを、正確に認識することができる。
(3)本実施形態では、CPU41が、測定点A0~A13で新たに第2の可視画像31bが撮像された場合に、マーカー33を参照して、過去に同じ測定点A0~A13で撮像された第1の可視画像31a及びそれに対応する第1の熱画像32aを自動的に選択する。このため、作業者自身が複数ある過去の画像31a,32aの中から特定のものを選択する作業が不要になる。よって、作業者の作業負荷がよりいっそう軽減される。
[第2実施形態]
以下、本発明を具体化した第2実施形態を図面に基づいて説明する。ここでは、前記第1実施形態と相違する部分を中心に説明する。本実施形態では、乾燥炉10の温度管理方法が前記第1実施形態とは異なっている。
具体的に言うと、上記第1実施形態の補正ステップ(ステップS9)では、CPU41が、第1の熱画像32a及び第2の熱画像32bに加えて第2の可視画像31bの補正も行っていた。しかし、本実施形態の補正ステップでは、CPU41が、第1の熱画像51a(図11(a)参照)及び第2の熱画像51b(図11(b)参照)のみを補正する制御を行う。
そして、CPU41は、温度差情報取得ステップにおいて、補正後の熱画像51a,51b同士を比較して、温度差情報である色画像52(図12参照)を得る。本実施形態の色画像52は、矩形状をなす白色の枠体52aの内部を、温度差のレベル(大きさ)に応じて異なる色で塗り潰すことによって構成される。図13に示されるように、10℃以上の温度低下である場合には、枠体52aの内部が青色で塗り潰された色画像52となる。一方、10℃未満の温度上昇である場合には、枠体52aの内部が黄色で塗り潰された色画像52となり、10℃以上50℃未満の温度上昇である場合には、枠体52aの内部が赤色で塗り潰された色画像52となり、50℃以上の温度上昇である場合には、枠体52aの内部が桃色で塗り潰された色画像52となる。
さらに、CPU41は、温度差情報表示ステップにおいて、補正後の第2の熱画像51b上における対応した箇所に色画像52を重畳してディスプレイ45に表示する制御を行う(図12参照)。これにより、乾燥炉10の表面10aにおいて温度上昇や温度低下が大きいと判断された部分が、色分けして表示される。
従って、本実施形態によれば、温度変化の大きさを示す色画像52が、現時点(今日)での乾燥炉10の表面温度を示す第2の熱画像51b上に重畳して表示される。これにより、作業者は、温度変化だけでなく、乾燥炉10の表面10aの現時点での温度を知ることができる。また、本実施形態の色画像52は、第2の熱画像51bの色とは異なる白色の枠体52aの内部を塗り潰すことにより構成されている。このため、第2の熱画像51bの色と色画像52の枠体52a内の色との判別が容易になる。
なお、上記各実施形態を以下のように変更してもよい。
・上記第1実施形態では、CPU41が、第1の可視画像31a及び第2の可視画像32bのうち第2の可視画像31bのみの画角のズレを補正した後で、補正後の第2の可視画像31b上に色画像35を重畳して表示する制御を行っていた。しかし、CPU41は、第2の可視画像32bではなく、第1の可視画像31aのみの画角のズレを補正した後で、補正後の第1の可視画像31a上に色画像35を重畳して表示する制御を行ってもよい。また、CPU41は、両方の可視画像31a,31bの画角のズレを補正した後で、補正後の第1の可視画像31a上または補正後の第2の可視画像31b上に対して、色画像35を重畳して表示する制御を行ってもよい。さらに、CPU41は、可視画像31a,31bの画角のズレを補正せずに、第1の可視画像31a上または第2の可視画像31b上に対して、色画像35を重畳して表示する制御を行ってもよい。
・上記第1実施形態では、第2の可視画像31bの撮像範囲が第1の可視画像31aの撮像範囲よりも大きくなっていたため、第1の可視画像31aに設定した枠部34を第2の可視画像31bに反映させた際に、枠部34全体が第2の可視画像31b内に収まるように表示されていた(図5(b),図6(b)参照)。しかし、第2の可視画像31bの撮像範囲は、第1の可視画像31aの撮像範囲と同一の大きさであってもよいし、第1の可視画像31aの撮像範囲よりも小さくてもよい。
・上記第2実施形態では、CPU41が、補正後の第2の熱画像51b上における対応した箇所に色画像52を重畳してディスプレイ45に表示する制御を行っていた。しかし、CPU41は、補正後の第1の熱画像51a上における対応した箇所に色画像52を重畳して表示する制御を行ってもよい。
・上記各実施形態では、第1の可視画像31aが、測定点A0~A13を1か月前に撮像して得た画像であり、第2の可視画像31bが、同じ測定点A0~A13を今日新たに撮像して得た画像であり、これら画像31a,31b同士について比較を行っていた。しかし、可視画像31a,31bを比較する時期の組み合わせは、適宜変更可能である。具体的に言うと、第1の可視画像31aが、測定点A0~A13を例えば1年前に撮像して得た画像であって、第2の可視画像31bが、測定点A0~A13を例えば6か月前に撮像して得た画像であってもよい。
・上記各実施形態では、サーモカメラ30で撮像して得た可視画像31及び熱画像32をRAM43に記憶しておき、その後の補正ステップ(ステップS9)において、RAM43から読み出した熱画像32や可視画像31の画角のズレを補正していた。しかし、サーモカメラ30で撮像して得た可視画像31及び熱画像32を、予め画角のズレを補正した状態でRAM43に記憶しておいてもよい。
・上記各実施形態では、正方形状のマーカー33が、第1の可視画像31aと第2の可視画像31bとに存在する共通の基準部として用いられていたが、長方形状、平行四辺形状、菱形状等のマーカーを共通の基準部として用いてもよい。なお、マーカーの姿勢及び位置の算出(図3のステップS3参照)に、向かい合う二辺が平行な形状のマーカーを必須とするARToolkit とは別のアルゴリズムを用いる場合には、台形状、円形状、楕円形状のマーカーを共通の基準部として用いることができる。また、マーカー33の代わりに、絵、文字、記号等の他の二次元的なものを、共通の基準部として用いてもよい。さらに、設備の表面に存在する部品等の三次元的なものを、共通の基準部として用いてもよい。
・上記各実施形態では、熱画像32a,32b同士(または熱画像51a,51b同士)を比較して得た温度差が所定の閾値(ここでは50℃)を超えて高くなっている場合に、アラーム46を作動させて作業者に警告を発していた。しかし、温度差が閾値(例えば-10℃)を超えて低くなっている場合に、アラーム46を作動させて作業者に警告を発するようにしてもよい。このようにすれば、例えば化学プラント等において、設備内の冷媒の漏れを検出することが可能となる。
・上記各実施形態では、乾燥炉10の表面10aを撮像して可視画像31及び熱画像32を同時に取得するサーモカメラ30が、撮像装置として用いられていた。しかし、撮像装置は、設備10の表面10aを撮像して可視画像31を取得する可視画像撮像カメラ(可視画像撮像装置)と、可視画像撮像カメラとは別々に設けられ、設備10の表面10aを撮像して熱画像32を取得する熱画像撮像カメラ(熱画像撮像装置)とからなっていてもよい。なお、可視画像撮像カメラ及び熱画像撮像カメラは、極力近接して配置されることが好ましい。
・上記各実施形態では、全ての測定点A0~A13が、非固定式のサーモカメラ30によって撮像されていたが、各測定点A0~A13の一部を、固定式のサーモカメラで撮像するようにしてもよい。
・上記各実施形態のサーモカメラ30は、USBケーブルを介して画像データを制御装置40に送信していたが、他の装置を用いて画像データを制御装置40に送信してもよい。例えば、サーモカメラ30は、Bluetooth (ブルートゥース エスアイジー,インコーポレイテッドの登録商標)、赤外線通信、インターネット回線(電話回線等)などの通信装置を介して、画像データを制御装置40に送信してもよい。
・上記各実施形態の設備温度管理システム1は、サーモカメラ30と、表示装置(ディスプレイ45)及び画像処理装置(CPU41)を有するパソコンとを備えていた。しかし、サーモカメラは、内部に画像処理装置を有し、可視画像または熱画像における対応した箇所に色画像を重畳してサーモカメラのディスプレイに表示するものであってもよい。
・上記各実施形態の設備温度管理システム1は、乾燥炉10の表面温度を管理するシステムであったが、ワークW1を塗装する塗装ブースや、化学プラント等の他の設備の表面温度を管理するシステムであってもよい。
次に、特許請求の範囲に記載された技術的思想のほかに、前述した実施形態によって把握される技術的思想を以下に列挙する。
(1)請求項1乃至7のいずれか1項において、前記撮像装置は、前記設備の表面を撮像して前記可視画像を取得する可視画像撮像装置と、前記可視画像撮像装置とは別々に設けられ、前記設備の表面を撮像して前記熱画像を取得する熱画像撮像装置とからなることを特徴とする設備温度管理システム。
(2)請求項1乃至7のいずれか1項において、補正後の前記熱画像同士を比較して得た温度差は、前記第2の熱画像が示す温度が前記第1の熱画像が示す温度よりも高い場合に算出される温度差であることを特徴とする設備温度管理システム。
(3)請求項1乃至7のいずれか1項において、補正後の前記熱画像同士を比較して得た温度差は、前記第2の熱画像が示す温度が前記第1の熱画像が示す温度よりも低い場合に算出される温度差であることを特徴とする設備温度管理システム。
1…設備温度管理システム
10…設備としての乾燥炉
10a…設備の表面
30…撮像装置としてのサーモカメラ
31…可視画像
31a…第1の可視画像
31b…第2の可視画像
32…熱画像
32a,51a…第1の熱画像
32b,51b…第2の熱画像
33…共通の基準部としてのマーカー
34…比較領域としての枠部
35,52…温度差情報としての色画像
40…プロセッサとしての制御装置
41…画像処理装置及び過去画像選択部としてのCPU
43…記憶部としてのRAM
45…表示装置としてのディスプレイ
46…警告装置としてのアラーム
A0~A13…測定点
Claims (9)
-
設備の表面温度を管理するシステムであって、
前記設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、
前記可視画像及び前記熱画像を表示する表示装置と、
前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定し、前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正し、補正後の前記熱画像同士を比較して得た温度差情報を前記表示装置に表示する画像処理装置と
を備えたことを特徴とする設備温度管理システム。
-
前記画像処理装置は、前記第1の可視画像及び前記第2の可視画像の少なくとも一方の画角のズレを前記比較領域に基づいて補正し、補正後の前記第1の可視画像上または補正後の前記第2の可視画像上における対応した箇所に前記温度差情報を重畳して前記表示装置に表示することを特徴とする請求項1に記載の設備温度管理システム。
-
前記画像処理装置は、補正後の前記第1の熱画像上または補正後の前記第2の熱画像上における対応した箇所に前記温度差情報を重畳して前記表示装置に表示することを特徴とする請求項1に記載の設備温度管理システム。
-
前記共通の基準部は、前記測定点ごとに異なる幾何学的特徴を有するとともに前記設備の表面に付される二次元的なマーカーであることを特徴とする請求項1乃至3のいずれか1項に記載の設備温度管理システム。
-
前記可視画像及びそれに対応する前記熱画像を保存する記憶部と、
前記撮像装置により前記特定の測定点で新たに前記第2の可視画像が撮像された場合、前記マーカーを参照して、過去に同じ測定点で撮像された前記第1の可視画像及びそれに対応する前記第1の熱画像を選択し、前記記憶部から読み出してくる過去画像選択部と
をさらに備えたことを特徴とする請求項4に記載の設備温度管理システム。
-
前記温度差情報は、温度差のレベルに応じて異なる色を設定した色画像であることを特徴とする請求項1乃至5のいずれか1項に記載の設備温度管理システム。
-
前記熱画像同士を比較して得た温度差が所定の閾値を超える場合に警告を発する警告装置をさらに備えたことを特徴とする請求項1乃至6のいずれか1項に記載の設備温度管理システム。
-
設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、前記可視画像及び前記熱画像を表示する表示装置とを用いて、前記設備の表面温度を管理する方法であって、
前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定する比較領域設定ステップと、
前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正する補正ステップと、
補正後の前記熱画像同士を比較して温度差情報を得る温度差情報取得ステップと、
前記温度差情報を前記表示装置に表示する温度差情報表示ステップと
を含むことを特徴とする設備温度管理方法。
-
設備の表面を撮像して可視画像及び熱画像を取得する非固定式の撮像装置と、前記可視画像及び前記熱画像を表示する表示装置とを備えた設備温度管理システムを制御するプロセッサに、
前記設備における特定の測定点を撮像して得た第1の可視画像と、前記設備における同じ測定点を異なる時期に撮像して得た第2の可視画像とに存在する共通の基準部の形状情報に基づいて、前記第1の可視画像及び前記第2の可視画像における同じ位置及び同じ範囲に比較領域を設定する比較領域設定ステップと、
前記第1の可視画像に対応する第1の熱画像と前記第2の可視画像に対応する第2の熱画像との重ね合わせが可能となるように、これら熱画像の前記比較領域についての画角のズレを補正する補正ステップと、
補正後の前記熱画像同士を比較して温度差情報を得る温度差情報取得ステップと、
前記温度差情報を前記表示装置に表示する温度差情報表示ステップと
を実行させるための設備温度管理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/927,908 US20230204427A1 (en) | 2020-05-28 | 2021-05-20 | Temperature control system, temperature control method and temperature control program for facility equipment |
EP21812559.9A EP4160171A4 (en) | 2020-05-28 | 2021-05-20 | SYSTEM, METHOD AND PROGRAM FOR EQUIPMENT TEMPERATURE MANAGEMENT |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-093377 | 2020-05-28 | ||
JP2020093377A JP2021189001A (ja) | 2020-05-28 | 2020-05-28 | 設備温度管理システム、方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021241386A1 true WO2021241386A1 (ja) | 2021-12-02 |
Family
ID=78744459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/019126 WO2021241386A1 (ja) | 2020-05-28 | 2021-05-20 | 設備温度管理システム、方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230204427A1 (ja) |
EP (1) | EP4160171A4 (ja) |
JP (1) | JP2021189001A (ja) |
WO (1) | WO2021241386A1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06138003A (ja) | 1992-10-27 | 1994-05-20 | Nec San-Ei Instr Co Ltd | プラント温度監視装置 |
JPH10111714A (ja) | 1996-10-04 | 1998-04-28 | Toshiba Corp | プラントの巡視支援システム |
JP2007515621A (ja) * | 2003-06-11 | 2007-06-14 | フリー ブラザーズ エルエルシィ | 赤外線カメラ・システムを用いて検査を実施する及び化学物質漏出を検出するためのシステム及び方法 |
JP2008039656A (ja) * | 2006-08-09 | 2008-02-21 | Chugoku Electric Power Co Inc:The | 過熱診断システム |
JP2009162571A (ja) * | 2007-12-28 | 2009-07-23 | NEC Avio赤外線テクノロジー株式会社 | 熱画像撮影装置 |
JP2012068746A (ja) * | 2010-09-21 | 2012-04-05 | King Jim Co Ltd | 画像処理システムとそれに用いる撮像対象物 |
WO2013174289A1 (zh) * | 2012-05-23 | 2013-11-28 | Wang Hao | 红外拍摄装置和红外拍摄方法 |
JP2015141084A (ja) * | 2014-01-28 | 2015-08-03 | 三菱重工業株式会社 | 画像補正方法、これを用いる検査方法及び検査装置 |
JP2019018999A (ja) * | 2017-07-14 | 2019-02-07 | Jfeスチール株式会社 | ベルトコンベアの管理方法および管理システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5795850B2 (ja) * | 2010-11-02 | 2015-10-14 | 清水建設株式会社 | 画像データ処理システム |
-
2020
- 2020-05-28 JP JP2020093377A patent/JP2021189001A/ja active Pending
-
2021
- 2021-05-20 WO PCT/JP2021/019126 patent/WO2021241386A1/ja unknown
- 2021-05-20 EP EP21812559.9A patent/EP4160171A4/en active Pending
- 2021-05-20 US US17/927,908 patent/US20230204427A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06138003A (ja) | 1992-10-27 | 1994-05-20 | Nec San-Ei Instr Co Ltd | プラント温度監視装置 |
JPH10111714A (ja) | 1996-10-04 | 1998-04-28 | Toshiba Corp | プラントの巡視支援システム |
JP2007515621A (ja) * | 2003-06-11 | 2007-06-14 | フリー ブラザーズ エルエルシィ | 赤外線カメラ・システムを用いて検査を実施する及び化学物質漏出を検出するためのシステム及び方法 |
JP2008039656A (ja) * | 2006-08-09 | 2008-02-21 | Chugoku Electric Power Co Inc:The | 過熱診断システム |
JP2009162571A (ja) * | 2007-12-28 | 2009-07-23 | NEC Avio赤外線テクノロジー株式会社 | 熱画像撮影装置 |
JP2012068746A (ja) * | 2010-09-21 | 2012-04-05 | King Jim Co Ltd | 画像処理システムとそれに用いる撮像対象物 |
WO2013174289A1 (zh) * | 2012-05-23 | 2013-11-28 | Wang Hao | 红外拍摄装置和红外拍摄方法 |
JP2015141084A (ja) * | 2014-01-28 | 2015-08-03 | 三菱重工業株式会社 | 画像補正方法、これを用いる検査方法及び検査装置 |
JP2019018999A (ja) * | 2017-07-14 | 2019-02-07 | Jfeスチール株式会社 | ベルトコンベアの管理方法および管理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP4160171A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4160171A1 (en) | 2023-04-05 |
US20230204427A1 (en) | 2023-06-29 |
EP4160171A4 (en) | 2024-07-10 |
JP2021189001A (ja) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8295588B2 (en) | Three-dimensional vision sensor | |
US20180194008A1 (en) | Calibration device, calibration method, and computer readable medium for visual sensor | |
US20150261899A1 (en) | Robot simulation system which simulates takeout process of workpieces | |
JP3394278B2 (ja) | 視覚センサ座標系設定治具及び設定方法 | |
US20120062621A1 (en) | Brightness adjusting device | |
US10433119B2 (en) | Position determination device, position determining method, and storage medium | |
US20230186680A1 (en) | Information processing device and recognition support method | |
JP2008296330A (ja) | ロボットシミュレーション装置 | |
JP7151873B2 (ja) | 検査装置 | |
CN208366871U (zh) | 检测系统 | |
KR101522312B1 (ko) | Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법 | |
WO2021241386A1 (ja) | 設備温度管理システム、方法及びプログラム | |
JP2011185630A (ja) | シーラー塗布形状監視装置 | |
JP2019051029A (ja) | 遊技釘検査方法 | |
JP6359363B2 (ja) | 容器検査装置および容器検査方法 | |
JP2005337797A (ja) | 表示素子の画素位置取得方法および表示用パネルの検査方法 | |
JP2013142589A (ja) | 被検査体の検査装置及び検査方法 | |
JP6280807B2 (ja) | ワイヤーハーネス外観検査装置 | |
JP7527622B2 (ja) | 画像処理システム及び画像処理方法 | |
KR20220115223A (ko) | 다중 카메라 캘리브레이션 방법 및 장치 | |
TWI470207B (zh) | 灰階-明度對照關係式的建立方法、顯示面板檢測方法、及顯示面板自動檢測系統 | |
JP6780533B2 (ja) | 形状測定システム及び形状測定方法 | |
JP2020094809A (ja) | 留め付け検査システムおよび留め付け検査方法 | |
JP7577568B2 (ja) | 検査支援装置 | |
US10852244B2 (en) | Image processing apparatus, image processing method, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21812559 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021812559 Country of ref document: EP Effective date: 20230102 |