WO2020085303A1 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2020085303A1
WO2020085303A1 PCT/JP2019/041311 JP2019041311W WO2020085303A1 WO 2020085303 A1 WO2020085303 A1 WO 2020085303A1 JP 2019041311 W JP2019041311 W JP 2019041311W WO 2020085303 A1 WO2020085303 A1 WO 2020085303A1
Authority
WO
WIPO (PCT)
Prior art keywords
temperature
thermal image
subject
information processing
display
Prior art date
Application number
PCT/JP2019/041311
Other languages
English (en)
French (fr)
Inventor
岡本 隆一
有作 中村
雅樹 向井
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2020553392A priority Critical patent/JPWO2020085303A1/ja
Publication of WO2020085303A1 publication Critical patent/WO2020085303A1/ja
Priority to US17/233,497 priority patent/US20210231502A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/605Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using visual determination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/0275Control or determination of height or distance or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/08Optical arrangements
    • G01J5/0859Sighting arrangements, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J2005/608Colour temperature of light sources

Definitions

  • the present disclosure relates to an information processing device and an information processing method for capturing and displaying a thermal image indicating the temperature of a subject.
  • a thermal image is an image used to measure the temperature of an object using far infrared rays emitted from the object. Since the temperature of the object can be known from the thermal image, the location of abnormal heat generation in the object, the position of water entering the pipe inside the object, or the defective location such as a cavity in the wall surface can be identified from the location away from the object. It is possible to On the other hand, since it is difficult to specify the actual position only with the thermal image, it has been devised to capture the visible image together with the visible image and display the thermal image and the visible image together.
  • Patent Document 1 discloses a far-infrared image processing apparatus that processes a captured image by detecting far-infrared rays emitted from an object.
  • the far-infrared image processing device includes an image signal receiving unit that receives an image signal indicating a far-infrared image captured by a far-infrared camera, and an area designation receiving unit that receives input of region designation information indicating a specific region in the far-infrared image.
  • a resolution conversion unit that generates resolution-converted image information obtained by converting the resolution of the amount of far-infrared rays with respect to the specific region indicated by the region designation information in the far-infrared image.
  • the present disclosure provides an information processing device and an information processing method that allow a user to intuitively and easily recognize the temperature of a heat source.
  • the information processing device captures and displays a thermal image that shows the temperature of the subject in color.
  • the information processing device includes an infrared camera, a distance sensor, a display, a storage device, and a control device.
  • the infrared camera photographs a subject and generates a thermal image of the subject.
  • the distance sensor detects the distance from the information processing device to each point of the subject.
  • the display displays a thermal image.
  • the storage device stores a temperature / color conversion table indicating a correspondence relationship between the temperature of the subject and the color of the pixel.
  • the control device processes the thermal image based on the temperature / color conversion table and displays it on the display.
  • the control device specifies a region of interest within a predetermined distance from the reference point of the subject based on the distance detected by the distance sensor.
  • the control device sets the lower limit value and the upper limit value of the temperature range based on the temperature of each point included in the region of interest.
  • the control device updates the temperature / color conversion table based on the lower limit value and the upper limit value of the temperature range.
  • the control device regenerates the thermal image based on the updated temperature / color conversion table and displays it on the display.
  • the temperature of the heat source is displayed in a manner that allows intuitive and easy recognition. This makes it easy for the user to intuitively and easily recognize the temperature of the heat source.
  • FIG. 1 is a block diagram showing a configuration of an information processing device 10 according to an embodiment of the present disclosure. It is a figure which shows the external appearance of the information processing apparatus 10 of FIG. It is a figure which shows the external appearance of the information processing apparatus 10 of FIG. It is a flowchart which shows the temperature display process performed by the control apparatus 11 of FIG. 5 is a flowchart showing a subroutine of temperature value window drawing processing in step S3 of FIG. 4. 5 is a flowchart showing a subroutine of temperature range adjustment processing in step S6 of FIG. It is a figure which shows the preview image displayed on the display 13 of FIG. It is a figure which shows an example of the temperature value window WD displayed on the display 13 of FIG.
  • FIG. 2 is a schematic diagram showing an arrangement of the information processing device 10 and the subjects 121 to 123 of FIG. It is an example of the temperature value window WD displayed on the display 13 of FIG. 1, and is a diagram showing a case where it is difficult to identify a change in temperature value. It is an example of the temperature value window WD displayed on the display 13 of FIG. 1, and is a diagram showing a case where the change of the temperature value is improved so as to be easily identified.
  • FIG. 1 is a block diagram showing the configuration of the information processing device 10 according to the embodiment of the present disclosure.
  • the information processing device 10 includes a control device 11, a display 13, a storage device 16, a visible light camera 17, an infrared camera 18, a distance sensor 19, a communication module 21, and a device interface 23.
  • the information processing device 10 captures and displays a thermal image showing the temperature of the subject in color.
  • the control device 11 controls the overall operation of the information processing device 10.
  • the control device 11 includes a CPU and realizes the functions of the information processing device 10 described below by executing a control program. It should be noted that the control device 11 may be realized by only a hardware circuit designed exclusively for realizing a predetermined function.
  • the control device 11 may be configured by various circuits such as MPU, GPU, DSP, FPGA, ASIC, etc., in addition to the CPU.
  • the display 13 displays various information such as a visible image and a thermal image of the subject.
  • the display 13 is, for example, a liquid crystal display or an organic EL display.
  • the touch panel 15 receives user input.
  • the touch panel 15 is an input device that detects a touch operation by a user's finger or a stylus pen.
  • the touch panel 15 is arranged such that its input area overlaps with the display area of the display 13.
  • the information processing device 10 may include, as an input device, a button and / or a slide switch physically provided in the information processing device 10 instead of or in addition to the touch panel 15.
  • the information processing apparatus 10 can display the image on the display 13 by reducing or enlarging the image according to a user operation (for example, pinch-in or pinch-out operation) on the touch panel 15.
  • the storage device 16 is a recording medium that stores data, parameters, control programs, and the like required to realize the functions of the information processing device 10.
  • the storage device 16 stores a thermal image display application 16a (control program) and a temperature / color conversion table 16b for realizing the later-described functions of the information processing device 10.
  • the storage device 16 is, for example, a hard disk (HDD), a semiconductor storage device (SSD), and / or a semiconductor memory (RAM).
  • the temperature / color conversion table 16b shows the correspondence relationship between the temperature of each pixel in the thermal image of the subject generated by the infrared camera 18 and the color of each pixel.
  • the visible light camera 17 is an imaging device that has sensitivity in the wavelength region of visible light and shoots visible light from a subject at a predetermined frame rate to generate an image (hereinafter referred to as “visible image”).
  • the infrared camera 18 has sensitivity in the wavelength region of infrared rays, captures infrared rays from a subject at a predetermined frame rate, and generates an image (hereinafter referred to as “thermal image”) including information indicating the temperature of the subject in each pixel. It is an imaging device.
  • the distance sensor 19 detects the distance from the information processing device 10 to each point of the subject.
  • the distance sensor 19 may be, for example, a distance measuring device using laser or infrared rays, or may be a stereo distance measuring device.
  • the distance sensor 19 is realized by mounting various known technologies such as an active stereo system and a TOF (Time Of Flight) system.
  • the distance sensor 19 includes, for example, an infrared projector and a pair of infrared cameras. The infrared projector irradiates a specific pattern with infrared rays, and the distance from the information processing device 10 to the subject is calculated based on the difference between the images acquired by the pair of infrared cameras.
  • the visible light camera 17, the infrared camera 18, and the distance sensor 19 have substantially the same angle of view, and thus photograph substantially the same subject, and from the information processing device 10 to each point of the same subject. Is arranged to detect the distance of.
  • the communication module 21 is a circuit (module) for connecting to another device via a network, and communicates with another device according to a communication standard such as 3G, 4G, LTE, or WiMAX (registered trademark).
  • the device interface 23 is a circuit (module) for connecting to an external device, and communicates with the external device according to a communication standard such as USB (registered trademark), HDMI (registered trademark), or Bluetooth (registered trademark).
  • FIG. 2 is a diagram showing an appearance of the information processing device 10 of FIG.
  • FIG. 3 is a diagram showing an appearance of the information processing device 10 of FIG.
  • the information processing device 10 is, for example, a tablet terminal device.
  • FIG. 2 is a diagram of the information processing apparatus 10 seen from the back side
  • FIG. 3 is a diagram of the information processing apparatus 10 seen from the front side.
  • the information processing device 10 includes a visible light camera 17, an infrared camera 18, and a distance sensor 19 on the back side thereof.
  • the information processing apparatus 10 includes a display 13 and a touch panel 15 arranged on the front surface of the information processing apparatus 10 so as to overlap the display 13.
  • FIG. 4 is a flowchart showing a temperature display process executed by the control device 11 of FIG. The processing of FIG. 4 (and FIGS. 5 to 6) is executed by the control device 11 executing the thermal image display application 16a.
  • step S1 the control device 11 displays a visible image and a thermal image on the display 13.
  • the information processing apparatus 10 has a function of simultaneously displaying a thermal image captured by the infrared camera 18 and a visible image captured by the visible light camera 17 on the display 13.
  • FIG. 7 is a diagram showing a preview image displayed on the display 13 of FIG.
  • a visible image M1 captured by the visible light camera 17 and a thermal image M2 captured by the infrared camera 18 are displayed side by side.
  • a predetermined color is set in each pixel of the thermal image M2 based on the temperature of the point of the subject corresponding to the pixel, whereby the thermal image M2 shows the temperature distribution of the subject.
  • the personal computer 100 and the two power adapters 111 and 112 are displayed as subjects.
  • buttons are arranged on the right side of the visible image M1 and the left side of the thermal image M2.
  • the button B1 is a temperature value window button for switching to a temperature value display mode for displaying a temperature value window (details will be described later).
  • an indicator S1 indicating the correspondence between the color of the thermal image M2 and the temperature is displayed.
  • the pointer P is displayed on the thermal image M2.
  • “27.2 ° C.” which is the temperature of the pixel designated by the pointer P, is displayed.
  • the pointer P designates the pixel at the center of the temperature value window described later.
  • the position of the pointer P can be freely changed on the thermal image M2 by touch and / or drag operation by the user.
  • a frame F indicating a region of interest within a predetermined distance from the reference point of the subject corresponding to the pointer P is displayed.
  • the visible light camera 17 and the infrared camera 18 have almost the same angle of view and take images of almost the same subject. This allows the user to recognize the temperature distribution of the subject from the thermal image M2 while confirming the subject from the visible image M1.
  • step S2 the control device 11 determines whether or not the button B1 (also referred to as “temperature value window button”) is turned on by the user, and if YES, the process proceeds to step S3, NO If, then step S2 is repeated.
  • step S3 the control device 11 switches the operation mode of the information processing device 10 to the temperature value display mode and executes the temperature value window drawing process.
  • the temperature value window drawing process a temperature value window showing the temperature value of each pixel included in a predetermined range including the pointer P in the thermal image M2 is generated and displayed.
  • FIG. 5 is a flowchart showing a subroutine of the temperature value window drawing process in step S3 of FIG.
  • step S11 the control device 11 determines the range of pixels to be displayed in the temperature value window based on the position of the pointer P.
  • the range of pixels displayed in the temperature value window is, for example, M ⁇ N (M and N are integers) pixels of the thermal image M2 centered on the pixel designated by the pointer P.
  • step S12 the control device 11 extracts the temperature value of each pixel in the determined range of M ⁇ N pixels.
  • the control device 11 In step S13, the control device 11 generates a temperature value window based on the extracted temperature values of M ⁇ N pixels and displays it on the display 13.
  • the temperature value window WD has M ⁇ N cells (for example, a rectangular area) two-dimensionally arranged corresponding to the M ⁇ N pixels of the thermal image M2, and in each cell, , The temperature value of the pixel of the thermal image M2 corresponding to the cell is arranged. Further, the background color of each cell is set to a color corresponding to the temperature value to be arranged in that cell based on the temperature / color conversion table 16b.
  • FIG. 8 is a diagram showing an example of the temperature value window WD displayed on the display 13 of FIG.
  • the temperature value window WD is displayed, for example, by being superimposed on the visible image M1 (or the thermal image M2).
  • the temperature value window WD displays temperature values of 7 ⁇ 7 pixels centered on the pixel designated by the pointer P in the thermal image M2.
  • the temperature (25.0 ° C.) of the pixel designated by the pointer P is displayed.
  • the temperature value window WD has buttons B10, B11, and B12 for the user to operate the temperature value window WD.
  • the temperature value window WD moves on the visible image M1 and the thermal image M2.
  • the temperature value window WD is maximized so as to cover the region of the visible image M1.
  • a temperature range adjustment process described below is executed.
  • step S4 the control device 11 determines whether or not the pointer P has been moved by the user. If YES, the process returns to step S3, and if NO, the process proceeds to step S5.
  • FIG. 9 is a diagram showing another example of the temperature value window WD displayed on the display 13 of FIG. Since the temperature value window WD displays the temperature of a predetermined range based on the position of the pointer P on the thermal image M2, when the position of the pointer P on the thermal image M2 is changed, the content of the temperature value window WD is also changed. To be done. The pointer P is moved by the user touching a point on the thermal image M2 or by a drag operation of the pointer P. In the example of FIG. 9, the temperature value window WD has 7 ⁇ 7 pixels different from the temperature value window WD of FIG. 8 with the pixel designated by the pointer P at a position different from the pointer P of FIG. 8 as the center. Display the temperature value.
  • the temperature (32.6 ° C.) of the pixel designated by the pointer P is displayed. Further, the background color of each cell is set to a color different from the background color of each cell in FIG. 8 and corresponding to the temperature value arranged in that cell.
  • control device 11 executes the temperature value window drawing process again based on the position of the new pointer P.
  • step S5 the control device 11 determines whether or not the user has pressed the button B12 (also referred to as “temperature range adjustment button”) of the temperature value window WD, and when YES, the process proceeds to step S6, and when NO. Proceeds to step S7.
  • step S6 the control device 11 executes the temperature range adjustment processing and returns to step S3. The temperature range adjustment processing will be described later.
  • step S7 the control device 11 determines whether or not the temperature value window button B1 is turned off by the user. If YES, the process proceeds to step S8, and if NO, the process returns to step S4. In step S8, the control device 11 hides the temperature value window and ends the process.
  • FIG. 10 is a diagram for explaining the correspondence relationship between the temperature and the display color displayed on the display 13 of FIG.
  • a predetermined color is set in each pixel of the thermal image M2 based on the temperature of the point of the subject corresponding to the pixel.
  • a predetermined color is set corresponding to each temperature included in the width W of the predetermined temperature range.
  • the color of the pixel changes in 256 steps, for example.
  • the color A corresponding to the lower limit value Tmin of the width W of the temperature range is, for example, “blue”
  • the color B corresponding to the upper limit value Tmax of the width W of the temperature range is, for example, “red”.
  • a predetermined color is set corresponding to each temperature included in the temperature range of 24 to 35 ° C. Comparing the temperature value windows WD of FIGS. 8 and 9, the temperature value range of each cell in the temperature value window WD of FIG. 9 becomes narrower than the temperature value range of each cell of the temperature value window WD of FIG. ing. As a result, changes in the background color of each cell in the temperature value window WD of FIG. 9 are more difficult to identify than changes in the background color of each cell in the temperature value window WD of FIG.
  • the background of each cell in the temperature value window WD can be set by resetting the correspondence between the temperature of each pixel and the color of each pixel according to the temperature range. It is considered that the change in color can be easily identified. In addition, at this time, it is required to automatically reset the correspondence relationship between the temperature of each pixel and the color of each pixel without requiring a complicated operation by the user.
  • FIG. 11 is a schematic diagram showing the arrangement of the information processing device 10 of FIG. 1 and the subjects 121 to 123.
  • the subject 122 has a reference point Pa corresponding to the pointer P set by the user in the information processing device 10. Further, the subject 122 is located at a distance d2 from the information processing device 10, and the other subjects 121 and 122 are located at positions d1 and d2 different from the information processing device 10 and the distance d2.
  • the personal computer 100 and the power supply adapters 111 and 112 are located at different distances from the information processing device 10 (not shown in FIG. 7).
  • the subject of interest to the user to the temperature distribution is considered to be a single heat conducting object, rather than a plurality of thermally separated (ie, non-heat conducting) objects.
  • FIG. 6 is a flowchart showing a subroutine of the temperature range adjustment processing in step S6 of FIG.
  • step S21 the control device 11 identifies the reference point Pa of the subject corresponding to the position of the pointer P.
  • the control device 11 identifies a region of interest within a predetermined distance from the reference point of the subject.
  • the region of interest is set such that the distance from the information processing device 10 is in the range of ⁇ da to + da with respect to the distance d2 from the information processing device 10 to the subject 122.
  • the subjects 121 and 123 are excluded from the region of interest.
  • the region of interest is set such that the distance from the reference point Pa is db or less on a plane perpendicular to the straight line from the information processing device 10 to the reference point Pa.
  • the part of the subject 122 that is farther from the reference point Pa than the distance db is excluded from the region of interest.
  • the visible light camera 17, the infrared camera 18, and the distance sensor 19 have a viewing angle ⁇ 1. Further, the portion included in the region of interest viewed from the information processing device 10 (the portion included in the circle having the radius of the distance db centering on the reference point Pa) has an expected angle ⁇ 2. If the distance d2 from the information processing device 10 to the subject 122 is known by the distance sensor, the angle ⁇ 2 / 2 can be calculated based on the distances d2 and db. Then, the size of the frame F indicating the region of interest in the thermal image M2 can be determined based on the angles ⁇ 1 and ⁇ 2.
  • step S23 the control device 11 resets the lower limit value and the upper limit value of the temperature range based on the temperature of each point included in the region of interest.
  • the lower limit value of the temperature range is set to the lowest temperature value among the temperatures at the respective points within a predetermined distance from the reference point Pa.
  • the upper limit value of the temperature range is set to the highest temperature value among the temperatures at the respective points within a predetermined distance from the reference point Pa.
  • step S24 the control device 11 calculates the width W of the temperature range from the difference between the lower limit value and the upper limit value of the set temperature range and stores it in the storage device 16.
  • step S25 the control device 11 updates the temperature / color conversion table based on the lower limit value and the upper limit value of the temperature range. Specifically, the difference between the lower limit value and the upper limit value of the set temperature range is converted into color information using a palette of 256 gradations prepared in advance, and the temperature / color conversion table 16b is updated.
  • step S26 the control device 11 regenerates a thermal image based on the updated temperature / color conversion table and displays it on the display 13. After that, the process returns to step S3 in FIG.
  • FIG. 12 is an example of the temperature value window WD displayed on the display 13 of FIG. 1, and is a diagram showing a case where it is difficult to identify a change in temperature value.
  • the width W of the temperature range by narrowing the width W of the temperature range, it becomes possible to easily recognize that the temperature of the power adapter 112 is higher than that of the power adapter 111. That is, the temperature difference (color difference) between the power supply adapters 111 and 112 becomes easier to visually distinguish.
  • the information processing apparatus 10 identifies an appropriate region of interest and updates the temperature / color conversion table 16b based on the temperature of each point included in the region of interest.
  • the temperature of each point included in the region of interest can be displayed in an easily distinguishable manner. This allows the user to intuitively and easily recognize the temperature of the subject (heat source).
  • the pixel may be made colorless (for example, set to white or black).
  • the color of the pixel is fixed to the color A corresponding to the lower limit value Tmin and the width of the temperature range W
  • the color of the pixel may be fixed to the color B corresponding to the upper limit value Tmax.
  • the infrared camera 18 may be used as the distance sensor 19. In this case, the infrared camera 18 detects the distance from the information processing device 10 to the subject before capturing the thermal image M2 or in stead of capturing the thermal image M2.
  • the information processing device 10 may include means (user interface or the like) for manually setting the temperature range.
  • the information processing device and the information processing method according to the embodiment of the present disclosure have the following configurations and effects.
  • the information processing apparatus captures and displays a thermal image that shows the temperature of a subject in color.
  • the information processing device 10 includes an infrared camera 18, a distance sensor 19, a display 13, a storage device 16, and a control device 11.
  • the infrared camera 18 photographs a subject and generates a thermal image of the subject.
  • the distance sensor 19 detects the distance from the information processing device 10 to each point of the subject.
  • the display 13 displays a thermal image.
  • the storage device 16 stores a temperature / color conversion table showing a correspondence relationship between the temperature of the subject and the color of the pixel.
  • the control device 11 processes the thermal image based on the temperature / color conversion table and displays it on the display 13.
  • the control device 11 identifies a region of interest within a predetermined distance from the reference point Pa of the subject based on the distance detected by the distance sensor 19.
  • the control device 11 sets the lower limit value and the upper limit value of the temperature range based on the temperature of each point included in the region of interest.
  • the control device 11 updates the temperature / color conversion table based on the lower limit value and the upper limit value of the temperature range.
  • the control device 11 regenerates the thermal image based on the updated temperature / color conversion table and causes the display 13 to display the thermal image.
  • the temperature of each point included in the region of interest is identified by updating the temperature / color conversion table 16b based on the temperature of each point included in the region of interest. It can be displayed easily. This allows the user to intuitively and easily recognize the temperature of the heat source.
  • the control device 11 generates the temperature value window WD indicating the temperature value of each pixel included in the predetermined range including the position specified in the thermal image and displays it on the display 13. You may let me.
  • the temperature value window WD has a plurality of cells that are two-dimensionally arranged corresponding to the pixels in a partial area of the thermal image. A numerical value indicating the temperature is arranged in each cell, and the background color of each cell is , Is set based on the temperature of each cell and the temperature / color conversion table.
  • the information processing device 10 may further include a visible light camera 17 that captures the same subject as the thermal image with visible light to generate a visible image of the subject.
  • the display 13 may further display a visible image side by side with the thermal image.
  • the information processing device may be a tablet terminal device.
  • the information processing method captures and displays a thermal image showing the temperature of the subject in color.
  • the information processing method includes a step of photographing an object by the infrared camera 18 to generate a thermal image of the object, a step of detecting a distance from the infrared camera 18 to each point of the object by the distance sensor 19, a temperature of the object and a pixel.
  • the step of processing the thermal image based on the temperature / color conversion table showing the correspondence relationship with the color of, and the step of displaying the processed thermal image on the display 13.
  • the step of processing the thermal image includes the step of specifying a region of interest within a predetermined distance from the reference point Pa of the subject based on the distance detected by the distance sensor 19, and the steps of determining the points included in the region of interest. Setting the lower and upper limits of the temperature range based on the temperature, updating the temperature / color conversion table based on the lower and upper limits of the temperature range, and based on the updated temperature / color conversion table To regenerate the thermal image.
  • the temperature of each point included in the region of interest is identified by updating the temperature / color conversion table 16b based on the temperature of each point included in the region of interest. It can be displayed easily. This allows the user to intuitively and easily recognize the temperature of the heat source.
  • a tablet terminal device was used as an example of the information processing device, but the idea of the present disclosure can be applied to other types of electronic devices.
  • the idea of the present disclosure can be applied to electronic devices such as smartphones, notebook PCs, and desktop PCs.
  • the values of the number of pixels and the number of gradations shown in the above embodiment are examples, and the values are not limited to the above values.
  • the thermal image display application 16a and the temperature / color conversion table 16b may be installed in the information processing apparatus 10 from a portable recording medium such as an optical disk or a memory card, or may be downloaded from a server via a network.
  • the steps for writing the program recorded on the recording medium are not limited to the processes performed in time series according to the order described, of course, in parallel or individually. It includes the processing executed in.
  • the information processing device can present the temperature of the target object to the user in a manner that is intuitively recognizable. Therefore, the information processing apparatus of the present disclosure is useful as an apparatus that presents the temperature of an object to a user.
  • Control device 11 Control device 13

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radiation Pyrometers (AREA)

Abstract

赤外線カメラ(18)は、被写体を撮影して被写体の熱画像を生成する。距離センサ(19)は、情報処理装置(10)から被写体の各点までの距離を検出する。ディスプレイ(13)は熱画像を表示する。記憶装置(16)は、被写体の温度と画素の色との対応関係を示す温度・色変換テーブルを記憶する。制御装置(11)は、温度・色変換テーブルに基づいて熱画像を処理してディスプレイ(13)に表示させる。制御装置(11)は、距離センサ(19)により検出された距離に基づいて、被写体の基準点(Pa)から所定距離の範囲にある関心対象領域を特定し、関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定し、温度範囲の下限値及び上限値に基づいて温度・色変換テーブルを更新し、更新された温度・色変換テーブルに基づいて、熱画像を再生成してディスプレイ(13)に表示させる。

Description

情報処理装置及び情報処理方法
 本開示は、被写体の温度を示す熱画像を撮影して表示する情報処理装置及び情報処理方法に関する。
 熱画像は、物体から放射される遠赤外線を用いて、物体の温度を計測するために使用される画像である。熱画像によって物体の温度がわかるので、物体において異常発熱を起こしている箇所、物体中のパイプなどに入り込んだ水の位置、又は壁面内における空洞などの欠陥箇所を、物体から離れた位置から特定することが可能である。一方、熱画像だけでは実際の位置を特定することが困難であるので、可視画像と併せて撮影し、熱画像と可視画像とを合わせて表示することが考案されている。
 特許文献1は、物体から放射される遠赤外線を検知することによって撮像された画像の処理を行う遠赤外線画像処理装置を開示する。遠赤外線画像処理装置は、遠赤外線カメラによって撮像された遠赤外線画像を示す画像信号を受け付ける画像信号受付部と、遠赤外線画像のうちの特定の領域を示す領域指定情報の入力を受け付ける領域指定受付手段と、遠赤外線画像における、領域指定情報によって示された特定の領域についての遠赤外線の量の分解能を変換した分解能変換画像情報を生成する分解能変換部と、を有する。この構成によれば、遠赤外線画像のうち特に関心の高い特定の領域の遠赤外線の量の分解能のみを変換可能にすることで、画像全体の分解能を維持しつつ、特定の領域の分解能を適切に設定できる。これによって、画像全体の概要を表現しながら、撮像対象のうち特に関心の高い部分の状態を、より的確に表現することができる。
特開2009-014475号公報
 本開示は、ユーザが熱源の温度を直感的かつ容易に認識することができる情報処理装置及び情報処理方法を提供する。
 本開示の一態様によれば、情報処理装置は、被写体の温度を色で示す熱画像を撮影して表示する。情報処理装置は、赤外線カメラ、距離センサ、ディスプレイ、記憶装置、及び制御装置を備える。赤外線カメラは、被写体を撮影して被写体の熱画像を生成する。距離センサは、情報処理装置から被写体の各点までの距離を検出する。ディスプレイは、熱画像を表示する。記憶装置は、被写体の温度と画素の色との対応関係を示す温度・色変換テーブルを記憶する。制御装置は、温度・色変換テーブルに基づいて熱画像を処理してディスプレイに表示させる。制御装置は、距離センサにより検出された距離に基づいて、被写体の基準点から所定距離の範囲にある関心対象領域を特定する。制御装置は、関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定する。制御装置は、温度範囲の下限値及び上限値に基づいて温度・色変換テーブルを更新する。制御装置は、更新された温度・色変換テーブルに基づいて、熱画像を再生成してディスプレイに表示させる。
 本開示の一態様に係る情報処理装置によれば、熱源の温度を直感的かつ容易に認識することができる態様で表示する。これによりユーザは熱源の温度を直感的かつ容易に認識しやすくなる。
本開示の実施形態に係る情報処理装置10の構成を示すブロック図である。 図1の情報処理装置10の外観を示す図である。 図1の情報処理装置10の外観を示す図である。 図1の制御装置11によって実行される温度表示処理を示すフローチャートである。 図4のステップS3の温度値ウィンドウ描画処理のサブルーチンを示すフローチャートである。 図4のステップS6の温度範囲調整処理のサブルーチンを示すフローチャートである。 図1のディスプレイ13に表示されるプレビュー画像を示す図である。 図1のディスプレイ13に表示される温度値ウィンドウWDの一例を示す図である。 図1のディスプレイ13に表示される温度値ウィンドウWDの他の一例を示す図である。 図1のディスプレイ13に表示される温度と表示色との対応関係を説明する図である。 図1の情報処理装置10と被写体121~123との配置を示す概略図である。 図1のディスプレイ13に表示される温度値ウィンドウWDの一例であって、温度値の変化を識別しにくい場合を示す図である。 図1のディスプレイ13に表示される温度値ウィンドウWDの一例であって、温度値の変化が識別しやすくなるように改善された場合を示す図である。
 以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態)
[1-1.構成]
 図1は、本開示の実施形態に係る情報処理装置10の構成を示すブロック図である。情報処理装置10は、制御装置11、ディスプレイ13、記憶装置16、可視光カメラ17、赤外線カメラ18、距離センサ19、通信モジュール21、及び機器インタフェース23を備える。情報処理装置10は、被写体の温度を色で示す熱画像を撮影して表示する。
 制御装置11は、情報処理装置10の全体の動作を制御する。制御装置11はCPUを含み、制御プログラムを実行することにより以下に説明する情報処理装置10の機能を実現する。なお、制御装置11は、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。制御装置11は、CPU以外に、MPU、GPU、DSP、FPGA、ASIC等の種々の回路で構成されてもよい。
 ディスプレイ13は、被写体の可視画像及び熱画像など、種々の情報を表示する。ディスプレイ13は、例えば、液晶ディスプレイ又は有機ELディスプレイである。
 タッチパネル15は、ユーザ入力を受ける。タッチパネル15は、ユーザの指又はスタイラスペンによるタッチ操作を検出する入力装置である。タッチパネル15は、その入力領域がディスプレイ13の表示領域と重畳するように配置されている。情報処理装置10は、入力装置として、タッチパネル15に代えて、又は、それに加えて、情報処理装置10に物理的に設けられたボタン及び/又はスライドスイッチなどを備えてもよい。情報処理装置10は、タッチパネル15上でのユーザの操作(例えばピンチイン又はピンチアウト操作)に応じて画像を縮小又は拡大してディスプレイ13に表示することができる。
 記憶装置16は、情報処理装置10の機能を実現するために必要なデータ、パラメータ、及び制御プログラム等を記憶する記録媒体である。記憶装置16は、情報処理装置10の後述の機能を実現するための、熱画像表示アプリケーション16a(制御プログラム)と、温度・色変換テーブル16bとを格納する。記憶装置16は、例えば、ハードディスク(HDD)、半導体記憶装置(SSD)、及び/又は半導体メモリ(RAM)である。温度・色変換テーブル16bは、赤外線カメラ18により生成される被写体の熱画像における各画素の温度と、各画素の色との対応関係を示す。
 可視光カメラ17は、可視光の波長領域に感度を持ち、被写体からの可視光を所定のフレームレートで撮影して画像(以下「可視画像」という)を生成する撮像装置である。
赤外線カメラ18は、赤外線の波長領域に感度を持ち、被写体からの赤外線を所定のフレームレートで撮影し、各画素に被写体の温度を示す情報を含む画像(以下「熱画像」という)を生成する撮像装置である。
 距離センサ19は、情報処理装置10から被写体の各点までの距離を検出する。距離センサ19は、例えば、レーザ又は赤外線を用いた測距装置であってもよく、ステレオ測距装置であってもよい。距離センサ19は、アクティブステレオ方式、TOF(Time Of Flight)方式など、各種公知技術を実装することにより実現される。距離センサ19は、例えば、赤外線プロジェクタと、一対の赤外線カメラとを備える。赤外線プロジェクタから特定のパターンを赤外線で照射し、一対の赤外線カメラにより取得された画像の差分に基づいて、情報処理装置10から被写体までの距離を計算する。
 可視光カメラ17、赤外線カメラ18、及び距離センサ19は、互いにほぼ同一の画角を有し、これにより、ほぼ同一の被写体を撮影し、また、情報処理装置10から同一の被写体の各点までの距離を検出するように配置される。
 通信モジュール21は、ネットワークを介して他の装置に接続するための回路(モジュール)であり、3G、4G、LTE、WiMAX(登録商標)といった通信規格に従って他の装置と通信する。機器インタフェース23は、外部機器と接続するための回路(モジュール)であり、USB(登録商標)、HDMI(登録商標)、Bluetooth(登録商標)等の通信規格に従って外部機器と通信する。
 図2は、図1の情報処理装置10の外観を示す図である。図3は、図1の情報処理装置10の外観を示す図である。情報処理装置10は、例えばタブレット端末装置である。図2は情報処理装置10を背面から見た図であり、図3は情報処理装置10を表面から見た図である。情報処理装置10は、その背面側に、可視光カメラ17、赤外線カメラ18、及び距離センサ19を備える。情報処理装置10は、その表面側に、ディスプレイ13と、ディスプレイ13に重畳して配置されたタッチパネル15とを備える。
 [1-2.動作]
 次に、上述のように構成される情報処理装置10の動作について説明する。
[1-2-1.温度表示処理]
 図4は、図1の制御装置11によって実行される温度表示処理を示すフローチャートである。図4(及び図5~図6)の処理は、制御装置11が熱画像表示アプリケーション16aを実行することにより実施される。
 ステップS1において、制御装置11は、可視画像及び熱画像をディスプレイ13に表示する。本実施形態に係る情報処理装置10は、赤外線カメラ18で撮影した熱画像と、可視光カメラ17で撮影した可視画像とを同時にディスプレイ13に表示する機能を有する。
 図7は、図1のディスプレイ13に表示されるプレビュー画像を示す図である。図7に示すように、ディスプレイ13には、可視光カメラ17で撮影された可視画像M1と、赤外線カメラ18で撮影された熱画像M2とが並べて表示される。熱画像M2の各画素には、当該画素に対応する被写体の点の温度に基づいて所定の色が設定され、これにより、熱画像M2は被写体の温度分布を示す。可視画像M1及び熱画像M2において、被写体として、パーソナルコンピュータ100と、2つの電源アダプタ111、112とが表示されている。
 可視画像M1の右方及び熱画像M2の左方には、各種の操作ボタンが配置される。ボタンB1は、温度値ウィンドウ(詳細は後述)を表示する温度値表示モードに切り換えるための温度値ウィンドウボタンである。可視画像M1及び熱画像M2の下方には、熱画像M2の色と温度との対応関係を示すインジケータS1が表示される。
 また、熱画像M2上にポインタPが表示される。ポインタPの近傍に、ポインタPで指定された画素の温度である「27.2°C」が表示される。ポインタPは、後述する温度値ウィンドウの中心の画素を指定する。ポインタPの位置は、ユーザによるタッチ及び/又はドラッグ操作等により熱画像M2上で自由に変更することができる。
 また、ポインタPの周囲において、ポインタPに対応する被写体の基準点から所定距離の範囲にある関心対象領域を示すフレームFが表示される。
 前述のように、可視光カメラ17と赤外線カメラ18はほぼ同じ画角を有し、ほぼ同じ被写体の画像を撮影する。これにより、ユーザは、可視画像M1により被写体を確認しながら、熱画像M2により被写体の温度分布を認識することができる。
 再び図4を参照すると、ステップS2において、制御装置11は、ユーザによりボタンB1(「温度値ウィンドウボタン」ともいう)がオンされたか否かを判断し、YESのときはステップS3に進み、NOのときはステップS2を繰り返す。ステップS3において、制御装置11は、情報処理装置10の動作モードを温度値表示モードに切り換え、温度値ウィンドウ描画処理を実行する。温度値ウィンドウ描画処理では、熱画像M2においてポインタPを含む所定範囲に含まれる各画素の温度値を示す温度値ウィンドウが生成されて表示される。
 図5は、図4のステップS3の温度値ウィンドウ描画処理のサブルーチンを示すフローチャートである。
 ステップS11において、制御装置11は、ポインタPの位置に基づいて、温度値ウィンドウに表示する画素の範囲を決定する。温度値ウィンドウに表示する画素の範囲は、例えば、ポインタPにより指定された画素を中心とする、熱画像M2のM×N個(M及びNは整数)の画素である。
 ステップS12において、制御装置11は、決定されたM×N個の画素の範囲における各画素の温度値を抽出する。
 ステップS13において、制御装置11は、抽出されたM×N個の画素の温度値に基づいて温度値ウィンドウを生成してディスプレイ13に表示する。具体的には、温度値ウィンドウWDは、熱画像M2のM×N個の画素に対応して2次元的に配置されたM×N個のセル(例えば矩形領域)を有し、各セルにおいて、セルに対応する熱画像M2の画素の温度値が配置される。さらに、各セルの背景色は、温度・色変換テーブル16bに基づいて、そのセルに配置する温度値に対応する色に設定される。
 図8は、図1のディスプレイ13に表示される温度値ウィンドウWDの一例を示す図である。温度値ウィンドウWDは、例えば、可視画像M1(又は熱画像M2)に重畳して表示される。例えば、図8の例では、温度値ウィンドウWDは、熱画像M2においてポインタPにより指定された画素を中心として7×7画素分の温度値を表示する。温度値ウィンドウWDの中心のセルCには、ポインタPにより指定された画素の温度(25.0°C)が表示されている。
 図8の例では、温度値ウィンドウWDは、ユーザが温度値ウィンドウWDを操作するためのボタンB10、B11、及びB12を有する。ユーザがボタンB10をドラッグ操作したとき、温度値ウィンドウWDは可視画像M1及び熱画像M2の上で移動する。ユーザがボタンB11をオンしたとき、温度値ウィンドウWDは可視画像M1の領域を覆うように最大化される。ユーザがボタンB12をオンしたとき、後述する温度範囲調整処理が実行される。
 再び図4を参照すると、ステップS4において、制御装置11は、ユーザによりポインタPが移動されたか否かを判断し、YESのときはステップS3に戻り、NOのときはステップS5に進む。
 図9は、図1のディスプレイ13に表示される温度値ウィンドウWDの他の一例を示す図である。温度値ウィンドウWDは、熱画像M2上のポインタPの位置を基準とした所定範囲の温度を表示するので、熱画像M2におけるポインタPの位置が変更されると、温度値ウィンドウWDの内容も変更される。ポインタPは、ユーザが熱画像M2上の一点をタッチすることにより、又は、ポインタPのドラッグ操作により移動される。図9の例では、温度値ウィンドウWDは、図8のポインタPとは異なる位置にあるポインタPにより指定された画素を中心として、図8の温度値ウィンドウWDとは異なる7×7画素分の温度値を表示する。温度値ウィンドウWDの中心のセルCには、ポインタPにより指定された画素の温度(32.6°C)が表示されている。また、各セルの背景色は、図8の各セルの背景色とは異なる、そのセルに配置する温度値に対応する色に設定される。
 図4のステップS4からステップS3に戻ったとき、制御装置11は、新たなポインタPの位置に基づいて温度値ウィンドウ描画処理を再び実行する。
 ステップS5において、制御装置11は、ユーザにより温度値ウィンドウWDのボタンB12(「温度範囲調整ボタン」ともいう)が押下されたか否かを判断し、YESのときはステップS6に進み、NOのときはステップS7に進む。ステップS6において、制御装置11は、温度範囲調整処理を実行してステップS3に戻る。温度範囲調整処理については後述する。
 ステップS7において、制御装置11は、ユーザにより温度値ウィンドウボタンB1がオフされたか否かを判断し、YESのときはステップS8に進み、NOのときはステップS4に戻る。ステップS8において、制御装置11は、温度値ウィンドウを非表示にして、処理を終了する。
[1-2-2.温度範囲調整処理]
 図10は、図1のディスプレイ13に表示される温度と表示色との対応関係を説明する図である。前述のように、熱画像M2の各画素には、当該画素に対応する被写体の点の温度に基づいて所定の色が設定される。ここで、予め決められた温度範囲の幅Wに含まれる各温度に対応して所定の色が設定される。画素の温度が温度範囲の幅Wの下限値Tminから上限値Tmaxへ変化する場合、画素の色を温度に応じて下限値Tminに対応する色Aから上限値Tmaxに対応する色Bへと変化させていく。このとき、画素の色は例えば256段階に変化する。温度範囲の幅Wの下限値Tminに対応する色Aは例えば「青」であり、温度範囲の幅Wの上限値Tmaxに対応する色Bは例えば「赤」である。
 図8及び図9の例は、24~35°Cの温度範囲に含まれる各温度に対応して所定の色が設定される。図8及び図9の温度値ウィンドウWDを比較すると、図9の温度値ウィンドウWDにおける各セルの温度値の範囲は、図8の温度値ウィンドウWDにおける各セルの温度値の範囲よりも狭くなっている。これにより、図9の温度値ウィンドウWDにおける各セルの背景色の変化は、図8の温度値ウィンドウWDにおける各セルの背景色の変化よりも識別しにくくなっている。
 温度値ウィンドウWDにおける各セルの温度値の範囲が狭い場合、温度範囲に応じて、各画素の温度と各画素の色との対応関係を再設定すれば、温度値ウィンドウWDにおける各セルの背景色の変化を識別しやすくなると考えられる。また、このとき、ユーザの複雑な操作を必要とすることなく、各画素の温度と各画素の色との対応関係を自動的に再設定することが求められる。
 図11は、図1の情報処理装置10と被写体121~123との配置を示す概略図である。被写体122は、情報処理装置10においてユーザによって設定されるポインタPに対応する基準点Paを有する。また、被写体122は情報処理装置10から距離d2の位置にあり、他の被写体121,122は、情報処理装置10から、距離d2とは異なる距離d1,d2の位置にある。
 図7を参照すると、パーソナルコンピュータ100及び電源アダプタ111,112は、情報処理装置10(図7には図示せず)から互いに異なる距離の位置にある。一般に、ユーザが温度分布について関心を有する被写体は、熱的に分離した(すなわち、熱が伝導しない)複数の物体ではなく、熱が伝導する単一の物体であると考えられる。言い換えると、図7の例では、ユーザにとって、パーソナルコンピュータ100及び電源アダプタ111,112のうち、単一の物体の温度分布を知ることができれば十分であると考えられる。従って、被写体の基準点から所定距離の範囲にある関心対象領域を特定し、関心対象領域に含まれる各点の温度を識別しやすく表示することが求められる。
 次に、適切な関心対象領域を特定し、関心対象領域に含まれる各点の温度を識別しやすく表示する方法について説明する。
 図6は、図4のステップS6の温度範囲調整処理のサブルーチンを示すフローチャートである。
 ステップS21において、制御装置11は、ポインタPの位置に対応する被写体の基準点Paを特定する。
 ステップS22において、制御装置11は、被写体の基準点から所定距離の範囲にある関心対象領域を特定する。図11を参照すると、関心対象領域は、情報処理装置10からの距離が、情報処理装置10から被写体122までの距離d2に対して-da~+daの範囲になるように設定される。これにより、被写体121,123は、関心対象領域から除外される。また、関心対象領域は、情報処理装置10から基準点Paまでの直線に対して垂直な平面において、基準点Paからの距離がdb以下になるように設定される。これにより、被写体122において、基準点Paから距離dbよりも離れた部分は、関心対象領域から除外される。
 可視光カメラ17、赤外線カメラ18、及び距離センサ19は、視野角θ1を有する。また、情報処理装置10から見て関心対象領域に含まれる部分(基準点Paを中心として距離dbの半径の円に含まれる部分)は、見込みの角度θ2を有する。距離センサにより情報処理装置10から被写体122までの距離d2がわかれば、距離d2及びdbに基づいて角度θ2/2を計算することができる。次いで、角度θ1及びθ2に基づいて、熱画像M2において関心対象領域を示すフレームFの大きさを決めることができる。
 ステップS23において、制御装置11は、関心対象領域に含まれる各点の温度に基づいて、温度範囲の下限値及び上限値を再設定する。ここで、温度範囲の下限値は、基準点Paから所定距離の範囲にある各点の温度のうち、最低の温度値に設定される。また、温度範囲の上限値は、基準点Paから所定距離の範囲にある各点の温度のうち、最高の温度値に設定される。
 ステップS24において、制御装置11は、設定された温度範囲の下限値及び上限値の差分から温度範囲の幅Wを算出し、記憶装置16に保持する。
ステップS25において、制御装置11は、温度範囲の下限値及び上限値に基づいて、温度・色変換テーブルを更新する。具体的には、設定された温度範囲の下限値及び上限値の差を、予め用意された256階調のパレットで色情報に変換し、温度・色変換テーブル16bを更新する。
 ステップS26において、制御装置11は、更新された温度・色変換テーブルに基づいて、熱画像を再生成してディスプレイ13に表示する。その後、処理は、図4のステップS3に戻る。
 図12は、図1のディスプレイ13に表示される温度値ウィンドウWDの一例であって、温度値の変化を識別しにくい場合を示す図である。図13は、図1のディスプレイ13に表示される温度値ウィンドウWDの一例であって、温度値の変化が識別しやすくなるように改善された場合を示す図である。図12は、図6の温度範囲調整処理を実行する前の状態を示し、図13は、図6の温度範囲調整処理を実行した後の状態を示す。すなわち、図12の例では、温度範囲の幅Wを11°C(=35-24°C)に設定していた。これに対して、図13に示すように、温度範囲の幅Wをより狭い2°C(=33-31°C)に変更することができる。図12の例では、電源アダプタ111及び112の温度差(色の差)を視覚的に区別しにくかった。これに対して、図13に示すように、温度範囲の幅Wを狭くすることで、電源アダプタ111よりも電源アダプタ112のほうが温度が高いことを容易に認識することができるようになった。すなわち、電源アダプタ111及び112の温度差(色の差)が視覚的に区別しやすくなった。
 以上に説明したように、本実施形態の情報処理装置10は、適切な関心対象領域を特定し、関心対象領域に含まれる各点の温度に基づいて温度・色変換テーブル16bを更新することにより、関心対象領域に含まれる各点の温度を識別しやすく表示することができる。これにより、ユーザは被写体(熱源)の温度を直感的かつ容易に認識することができる。
 なお、関心対象領域の外部において、画素の温度が下限値Tmin未満である場合、又は、上限値Tmaxより高い場合は、その画素を無色にしてもよい(例えば、白色又は黒色に設定する)。代替として、関心対象領域の外部において、画素の温度が温度範囲の幅Wの下限値Tmin未満である場合、画素の色を下限値Tminに対応する色Aに固定し、温度範囲の幅Wの上限値Tmaxより高い場合、画素の色を上限値Tmaxに対応した色Bに固定してもよい。
 赤外線カメラ18を、距離センサ19として用いてもよい。この場合、赤外線カメラ18は、熱画像M2を撮影する前に、又は、熱画像M2の撮影と交替して、情報処理装置10から被写体までの距離を検出する。
 情報処理装置10は、温度範囲を手動で設定するための手段(ユーザインターフェースなど)を備えてもよい。
 [1-3.効果等]
 本開示の実施形態に係る情報処理装置及び情報処理方法は以下の構成及び効果を有する。
 本開示の実施形態に係る情報処理装置は、被写体の温度を色で示す熱画像を撮影して表示する。情報処理装置10は、赤外線カメラ18、距離センサ19、ディスプレイ13、記憶装置16、及び制御装置11を備える。赤外線カメラ18は、被写体を撮影して被写体の熱画像を生成する。距離センサ19は、情報処理装置10から被写体の各点までの距離を検出する。ディスプレイ13は、熱画像を表示する。記憶装置16は、被写体の温度と画素の色との対応関係を示す温度・色変換テーブルを記憶する。制御装置11は、温度・色変換テーブルに基づいて熱画像を処理してディスプレイ13に表示させる。制御装置11は、距離センサ19により検出された距離に基づいて、被写体の基準点Paから所定距離の範囲にある関心対象領域を特定する。制御装置11は、関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定する。制御装置11は、温度範囲の下限値及び上限値に基づいて温度・色変換テーブルを更新する。制御装置11は、更新された温度・色変換テーブルに基づいて、熱画像を再生成してディスプレイ13に表示させる。
 これにより、適切な関心対象領域を特定し、関心対象領域に含まれる各点の温度に基づいて温度・色変換テーブル16bを更新することにより、関心対象領域に含まれる各点の温度を識別しやすく表示することができる。これにより、ユーザが熱源の温度を直感的かつ容易に認識することができる。
 本開示の実施形態に係る情報処理装置は、制御装置11は、熱画像において指定された位置を含む所定範囲に含まれる各画素の温度値を示す温度値ウィンドウWDを生成してディスプレイ13に表示させてもよい。温度値ウィンドウWDは、熱画像の一部の領域の画素に対応して2次元的に配置された複数のセルを有し、各セルにおいて温度を示す数値が配置され、各セルの背景色は、各セルの温度と温度・色変換テーブルとに基づいて設定される。
 これにより、ユーザが熱源の温度を直感的かつ容易に認識することができる。
 本開示の実施形態に係る情報処理装置は、情報処理装置10は、熱画像と同一の被写体を可視光で撮影して被写体の可視画像を生成する可視光カメラ17をさらに備えてもよい。ディスプレイ13は、熱画像に並べて、可視画像をさらに表示してもよい。
 これにより、熱画像によって表される物体を認識しやすくなる。
 本開示の実施形態に係る情報処理装置は、タブレット端末装置であってもよい。
 これにより、利便性の高い情報処理装置を容易に提供することができる。
 本開示の実施形態に係る情報処理方法は、被写体の温度を色で示す熱画像を撮影して表示する。情報処理方法は、赤外線カメラ18により被写体を撮影して被写体の熱画像を生成するステップと、距離センサ19により赤外線カメラ18から被写体の各点までの距離を検出するステップと、被写体の温度と画素の色との対応関係を示す温度・色変換テーブルに基づいて熱画像を処理するステップと、処理された熱画像をディスプレイ13に表示するステップとを含む。熱画像を処理するステップは、距離センサ19により検出された距離に基づいて、被写体の基準点Paから所定距離の範囲にある関心対象領域を特定するステップと、関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定するステップと、温度範囲の下限値及び上限値に基づいて温度・色変換テーブルを更新するステップと、更新された温度・色変換テーブルに基づいて熱画像を再生成するステップとを含む。
 これにより、適切な関心対象領域を特定し、関心対象領域に含まれる各点の温度に基づいて温度・色変換テーブル16bを更新することにより、関心対象領域に含まれる各点の温度を識別しやすく表示することができる。これにより、ユーザが熱源の温度を直感的かつ容易に認識することができる。
 (他の実施形態)
 以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
 上述の実施形態では、情報処理装置の例としてタブレット端末装置を用いて説明したが、本開示の思想は他の種類の電子機器に対しても適用できる。例えば、本開示の思想は、スマートフォン、ノート型PC、デスクトップ型PCのような電子機器にも適用できる。
 上述の実施形態で示した画素数及び階調数の値は一例であり、上述の値に限定されるものではない。
 熱画像表示アプリケーション16a及び温度・色変換テーブル16bは、光ディスク又はメモリカードのような可搬性の記録媒体から情報処理装置10にインストールしてもよく、ネットワークを介してサーバからダウンロードしてもよい。
 以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面及び詳細な説明を提供した。
 したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
 また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示の態様に係る情報処理装置は、対象物の温度を直感的に認識しやすい方法でユーザに提示することを可能とする。よって、本開示の情報処理装置は、対象物の温度をユーザに提示する装置に有用である。
 10 情報処理装置
 11 制御装置
 13 ディスプレイ
 16 記憶装置
 16a 熱画像表示アプリケーション
 16b 温度・色変換テーブル
 17 可視光カメラ
 18 赤外線カメラ
 19 距離センサ
 B1 温度値ウィンドウボタン
 B12 温度範囲調整ボタン
 M1 可視画像
 M2 熱画像

Claims (5)

  1.  被写体の温度を色で示す熱画像を撮影して表示する情報処理装置であって、
     前記被写体を撮影して前記被写体の熱画像を生成する赤外線カメラと、
     前記情報処理装置から前記被写体の各点までの距離を検出する距離センサと、
     前記熱画像を表示するディスプレイと、
     前記被写体の温度と画素の色との対応関係を示す温度・色変換テーブルを記憶する記憶装置と、
     前記温度・色変換テーブルに基づいて前記熱画像を処理して前記ディスプレイに表示させる制御装置とを備え、
     前記制御装置は、
     前記距離センサにより検出された距離に基づいて、前記被写体の基準点から所定距離の範囲にある関心対象領域を特定し、
     前記関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定し、
     前記温度範囲の下限値及び上限値に基づいて前記温度・色変換テーブルを更新し、
     更新された前記温度・色変換テーブルに基づいて、前記熱画像を再生成して前記ディスプレイに表示させる、
    情報処理装置。
  2.  前記制御装置は、前記熱画像において指定された位置を含む所定範囲に含まれる各画素の温度値を示す温度値ウィンドウを生成して前記ディスプレイに表示させ、
     前記温度値ウィンドウは、前記熱画像の一部の領域の画素に対応して2次元的に配置された複数のセルを有し、各セルにおいて温度を示す数値が配置され、各セルの背景色は、各セルの温度と前記温度・色変換テーブルとに基づいて設定される、
    請求項1記載の情報処理装置。
  3.  前記情報処理装置は、前記熱画像と同一の被写体を可視光で撮影して前記被写体の可視画像を生成する可視光カメラをさらに備え、
     前記ディスプレイは、前記熱画像に並べて、前記可視画像をさらに表示する、
    請求項1又は2記載の情報処理装置。
  4.  タブレット端末装置である、
    請求項1~3のうちの1つに記載の情報処理装置。
  5.  被写体の温度を色で示す熱画像を撮影して表示する情報処理方法であって、
     赤外線カメラにより前記被写体を撮影して前記被写体の熱画像を生成するステップと、
     距離センサにより前記赤外線カメラから前記被写体の各点までの距離を検出するステップと、
     前記被写体の温度と画素の色との対応関係を示す温度・色変換テーブルに基づいて前記熱画像を処理するステップと、
     前記処理された熱画像をディスプレイに表示するステップとを含み、
     前記熱画像を処理するステップは、
     前記距離センサにより検出された距離に基づいて、前記被写体の基準点から所定距離の範囲にある関心対象領域を特定するステップと、
     前記関心対象領域に含まれる各点の温度に基づいて温度範囲の下限値及び上限値を設定するステップと、
     前記温度範囲の下限値及び上限値に基づいて前記温度・色変換テーブルを更新するステップと、
     更新された前記温度・色変換テーブルに基づいて前記熱画像を再生成するステップとを含む、
    情報処理方法。
PCT/JP2019/041311 2018-10-22 2019-10-21 情報処理装置及び情報処理方法 WO2020085303A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020553392A JPWO2020085303A1 (ja) 2018-10-22 2019-10-21 情報処理装置及び情報処理方法
US17/233,497 US20210231502A1 (en) 2018-10-22 2021-04-18 Information processing apparatus for helping intuitive and easy recognition of temperature of heat source

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018198408 2018-10-22
JP2018-198408 2018-10-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/233,497 Continuation US20210231502A1 (en) 2018-10-22 2021-04-18 Information processing apparatus for helping intuitive and easy recognition of temperature of heat source

Publications (1)

Publication Number Publication Date
WO2020085303A1 true WO2020085303A1 (ja) 2020-04-30

Family

ID=70332057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041311 WO2020085303A1 (ja) 2018-10-22 2019-10-21 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20210231502A1 (ja)
JP (1) JPWO2020085303A1 (ja)
WO (1) WO2020085303A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165973A (ja) * 2020-04-08 2021-10-14 三菱電機インフォメーションシステムズ株式会社 画像生成装置、画像生成方法及び画像生成プログラム
WO2022070301A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
TWI808622B (zh) * 2022-01-21 2023-07-11 國立高雄科技大學 溫控式熱源加工系統及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6298227A (ja) * 1985-10-25 1987-05-07 Jeol Ltd サ−モグラフイ装置
JP2005016991A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断システム
US20120075309A1 (en) * 2007-02-08 2012-03-29 Fluke Corporation System And Method For Configuring A Thermal Imaging Instrument
JP2013092403A (ja) * 2011-10-24 2013-05-16 Pasuko:Kk 液状化に伴う変状箇所検出支援装置及び液状化に伴う変状箇所検出支援プログラム
WO2018155267A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6341904A (ja) * 1986-08-08 1988-02-23 Yamatake Honeywell Co Ltd 2線式現場形調節計
JP2011047813A (ja) * 2009-08-27 2011-03-10 Chino Corp 体表面温度チェッカー
WO2012067282A1 (ko) * 2010-11-17 2012-05-24 (주)이지템 체온을 포함하는 휴대용 열화상 온도측정 장치 및 방법
KR20160103466A (ko) * 2015-02-24 2016-09-01 김정훈 적외선 열센서와 스마트기기를 이용한 열화상 카메라
KR20170050954A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
CN209014724U (zh) * 2016-01-11 2019-06-21 菲力尔系统公司 基于交通工具的雷达上采样

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6298227A (ja) * 1985-10-25 1987-05-07 Jeol Ltd サ−モグラフイ装置
JP2005016991A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断システム
US20120075309A1 (en) * 2007-02-08 2012-03-29 Fluke Corporation System And Method For Configuring A Thermal Imaging Instrument
JP2013092403A (ja) * 2011-10-24 2013-05-16 Pasuko:Kk 液状化に伴う変状箇所検出支援装置及び液状化に伴う変状箇所検出支援プログラム
WO2018155267A1 (ja) * 2017-02-23 2018-08-30 パナソニックIpマネジメント株式会社 画像表示装置及び画像表示方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165973A (ja) * 2020-04-08 2021-10-14 三菱電機インフォメーションシステムズ株式会社 画像生成装置、画像生成方法及び画像生成プログラム
WO2022070301A1 (ja) * 2020-09-30 2022-04-07 日本電気株式会社 生体判定システム、生体判定方法、及びコンピュータプログラム
TWI808622B (zh) * 2022-01-21 2023-07-11 國立高雄科技大學 溫控式熱源加工系統及方法

Also Published As

Publication number Publication date
US20210231502A1 (en) 2021-07-29
JPWO2020085303A1 (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
US11874177B2 (en) Image display device and image display method
US10230907B2 (en) Thermal imaging device and normative photographing method for thermal image
WO2020085303A1 (ja) 情報処理装置及び情報処理方法
US10139218B2 (en) Image processing apparatus and image processing method
US10230908B2 (en) Thermal imaging device and thermal image photographing method
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
US11037334B2 (en) Image display device, image display method, and program
US10419742B2 (en) Method and device for capturing image and storage medium
JP2013125270A (ja) 電子ディスプレイ設定を自動的に調整するためのシステム及び方法
TW201344186A (zh) 熱成像裝置、熱成像方法及熱成像控制系統
CN104978077B (zh) 一种交互方法及系统
CN112739976B (zh) 尺寸测量装置以及尺寸测量方法
JP7294343B2 (ja) ガス検出装置、情報処理装置およびプログラム
WO2024051431A1 (zh) 电力设备温度测量方法、装置、存储介质及计算机设备
JP5152317B2 (ja) プレゼンテーション制御装置及びプログラム
JP2018014572A (ja) 情報処理装置、画像処理システム、プログラム
JP6686319B2 (ja) 画像投影装置及び画像表示システム
WO2018103143A1 (zh) 用于虚拟现实设备的成像方法、装置及虚拟现实设备
JP2017125764A (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
JP7189515B2 (ja) 二次元フリッカ測定装置、二次元フリッカ測定方法、および、二次元フリッカ測定プログラム
JP7220343B2 (ja) 画像処理装置
CN110631708B (zh) 分析配置装置和分析配置方法
WO2016209505A1 (en) Technologies for projecting a proportionally corrected image
JP2015219547A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置
JPWO2019065899A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875820

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553392

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19875820

Country of ref document: EP

Kind code of ref document: A1