WO2022130474A1 - 熱画像処理装置、熱画像処理システムおよび熱画像処理方法 - Google Patents

熱画像処理装置、熱画像処理システムおよび熱画像処理方法 Download PDF

Info

Publication number
WO2022130474A1
WO2022130474A1 PCT/JP2020/046620 JP2020046620W WO2022130474A1 WO 2022130474 A1 WO2022130474 A1 WO 2022130474A1 JP 2020046620 W JP2020046620 W JP 2020046620W WO 2022130474 A1 WO2022130474 A1 WO 2022130474A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal image
pixel
threshold value
thermal
air conditioner
Prior art date
Application number
PCT/JP2020/046620
Other languages
English (en)
French (fr)
Inventor
徹 永島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/046620 priority Critical patent/WO2022130474A1/ja
Priority to JP2022569346A priority patent/JPWO2022130474A1/ja
Publication of WO2022130474A1 publication Critical patent/WO2022130474A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to a thermal image processing device, a thermal image processing system, and a thermal image processing method that provide images with protected privacy in electronic devices equipped with a thermal sensor.
  • Patent Document 1 discloses a thermal image processing apparatus that determines a privacy region from a thermal image of a thermal image acquired by a thermal image sensor and corrects the region.
  • the privacy area in the thermal image is defined as a human face
  • the privacy area is detected by using an image processing technique such as face detection, and the detected area is concealed.
  • the technique described in Patent Document 1 can protect privacy information that leads to identification of an individual by concealing a person's face and a person in a thermal image.
  • the present disclosure has been made in view of the above, and an object thereof is to obtain a thermal image processing device capable of protecting privacy information regarding a living space.
  • the thermal image processing apparatus has a temperature threshold within a fixed time for each pixel of a plurality of thermal images in which the same location is imaged at different times.
  • the number of times the threshold is exceeded which indicates the number of times the image is exceeded, is counted, and the result of the judgment by the privacy area calculation unit and the privacy area calculation unit, which determines whether or not the pixel is a pixel requiring correction, is obtained by using the number of times the threshold is exceeded. It is provided with a modified thermal image generation unit for modifying the thermal image.
  • the figure which shows the structural example of the processing circuit of this embodiment The figure which shows the configuration example of the thermal image processing system in the case where the thermal image storage part, the privacy area calculation part, and the correction thermal image generation part which concerns on Embodiment 2 are implemented in the cloud.
  • FIG. 1 is a diagram showing a configuration example of a thermal image processing system according to the first embodiment.
  • the thermal image processing system of the present embodiment includes a thermal sensor 100 that detects heat, a thermal image generation unit 200 that is a thermal image processing device that generates a thermal image based on the heat detected by the thermal sensor 100, and heat. It is provided with a thermal image display device 300 that displays a thermal image generated by the image generation unit 200.
  • the thermal image generation unit 200 sequentially acquires the heat detected by the thermal sensor 100 as a thermal image and temporarily stores the thermal image acquisition unit 210, and the thermal image acquired in chronological order, that is, in chronological order.
  • FIG. 2 is a diagram showing an example of an air conditioner 1 equipped with the thermal image processing device according to the first embodiment.
  • the thermal sensor 100 and the thermal image generation unit 200 are provided in the air conditioner 1, and the thermal image display device 300 is realized by mounting application software on a smartphone.
  • FIG. 2 is an example, and the method of mounting the thermal image processing apparatus of the present embodiment on the air conditioner 1 is not limited to the example shown in FIG. Further, the thermal image processing apparatus of the present embodiment may be mounted on an electronic device other than the air conditioner 1.
  • An example of an electronic device other than the air conditioner 1 is a heat detector.
  • FIG. 3 is a flowchart showing an example of a data processing method of the thermal image acquisition unit 210 according to the first embodiment.
  • the cycle in which the thermal image acquisition unit 210 acquires one thermal image is referred to as a thermal image acquisition cycle r.
  • n be an integer indicating how many times the thermal image acquired by the thermal image acquisition unit 210 is acquired. The initial value of n is 1.
  • the thermal image acquisition unit 210 receives the thermal image acquired from the thermal sensor 100 for the nth time (hereinafter referred to as the nth thermal image) (step S21).
  • the thermal image acquisition unit 210 temporarily stores the nth thermal image received in step S21 (step S22).
  • the thermal image acquisition unit 210 transmits the nth thermal image to the thermal image storage unit 220 (step S23a).
  • the thermal image acquisition unit 210 transmits the nth thermal image to the modified thermal image generation unit 240 (step S23b).
  • the thermal image acquisition unit 210 discards the nth thermal image temporarily stored (step S24). n is updated to the value of n + 1 (step S25), and the processing from step S21 is repeated.
  • FIG. 4 is a flowchart showing an example of the data processing method of the thermal image storage unit 220 according to the first embodiment.
  • the thermal image storage unit 220 receives the nth thermal image transmitted from the thermal image acquisition unit 210 in step S23a described above (step S31).
  • the thermal image storage unit 220 stores the nth thermal image received from the thermal image acquisition unit 210 and the already stored thermal image in chronological order in the order of time received (step S32).
  • FIG. 5 is a conceptual diagram of thermal images accumulated in time series in the thermal image storage unit 220 according to the first embodiment.
  • the thermal image saved in step S32 is called a time-series cumulative thermal image.
  • the thermal image storage unit 220 transmits the time-series cumulative thermal image to the privacy area calculation unit 230 (step S35).
  • the privacy area calculation unit 230 in FIG. 1 will be described in detail.
  • the privacy area calculation unit 230 measures the threshold value exceeding time, which is the time when the pixel value continuously exceeds the temperature threshold value, for each pixel of a plurality of thermal images in which the same location is imaged at different times, and within a certain period of time.
  • the number of times the threshold value is exceeded which indicates the number of times the threshold value is exceeded, is counted, and whether or not the pixel is a pixel requiring correction is determined using the threshold value excess time and the number of times the threshold value is exceeded.
  • FIG. 6 is a flowchart showing an example of the data processing method of the privacy area calculation unit 230 according to the first embodiment.
  • the privacy area calculation unit 230 receives the first to kth time-series cumulative thermal images transmitted from the thermal image storage unit 220 in step S35 (step S41).
  • the privacy area calculation unit 230 measures the threshold value exceeding time and the threshold value exceeding number for each pixel of the time-series cumulative thermal image received from the thermal image storage unit 220 (step S42).
  • the privacy area calculation unit 230 uses the measurement result of step S42 to calculate the correction area information indicating whether or not each pixel needs to be corrected (step S43). Details of the method for measuring the threshold value exceeding time and the number of times the threshold value is exceeded (step S42) and the method for calculating the correction area information (step S43) shown in FIG. 6 will be described later.
  • the privacy area calculation unit 230 stores the correction area information calculated in step S43 in the flag memory described later of the correction area information holding unit 242 of the correction thermal image generation unit 240 (step S44).
  • FIG. 7 is a graph showing an example of a temperature change when the temperature values of arbitrary pixels (x, y) in a thermal image are plotted in time series.
  • the temperature threshold value ⁇ shown in FIG. 7 is a temperature threshold value at which the privacy area calculation unit 230 determines whether or not an arbitrary pixel (x, y) belongs to a region having a heat source of a human or other animal.
  • the privacy area calculation unit 230 compares the temperature of the pixel (x, y) of the first thermal image in the time-series cumulative thermal image with the temperature threshold ⁇ , and when the temperature exceeds the temperature threshold ⁇ , the elapsed time is set by the timer. Start measurement.
  • the privacy area calculation unit 230 sequentially compares the temperature of the pixel (x, y) with the temperature threshold ⁇ for each of the second, third, ..., And kth thermal images, and the temperature is the temperature in the previous comparison. When the temperature is equal to or less than the threshold value ⁇ and the temperature exceeds the temperature threshold value ⁇ this time, the timer measurement is started, and the timer measurement is continued while the temperature continuously exceeds the temperature threshold value ⁇ .
  • the privacy area calculation unit 230 stops the timer measurement when the temperature of the pixel (x, y) becomes equal to or less than the temperature threshold value ⁇ .
  • the time indicated by the timer from the start to the stop of the timer measurement is defined as the threshold excess time ⁇ .
  • the privacy area calculation unit 230 resets the timer measurement every time the process of stopping the timer measurement of the pixel (x, y) is stopped.
  • the initial value of the threshold excess time ⁇ is 0.
  • the privacy area calculation unit 230 measures the threshold value exceeding time ⁇ .
  • the number of times that the temperature threshold ⁇ is exceeded that is, the number of times that the temperature threshold value ⁇ is exceeded is measured.
  • the privacy area calculation unit 230 adds 1 to the value of the number of times the temperature threshold ⁇ is exceeded for each process from the start to the stop of the timer measurement of the pixel (x, y) threshold excess time ⁇ . do.
  • the number of times the temperature threshold ⁇ is exceeded is defined as the number of times the threshold is exceeded N.
  • the initial value of N is 1.
  • the privacy area calculation unit 230 measures the threshold value exceeding time ⁇ and the threshold value exceeding number N for all the pixels of the time-series cumulative thermal image as described above. In this way, the privacy area calculation unit 230 measures the threshold value exceeding time ⁇ and the threshold value exceeding number N for all pixels of the time-series cumulative thermal image.
  • FIG. 8 is a flowchart showing an example of a method of calculating correction area information by the privacy area calculation unit 230 according to the first embodiment.
  • the method of calculating the correction area information described in step S43 will be described in detail with reference to the flowchart of FIG.
  • the pixel determined by the privacy area calculation unit 230 to be uncorrected is referred to as an uncorrected pixel
  • the pixel determined by the privacy area calculation unit 230 to be modified is referred to as a modified pixel.
  • the correction area information holding unit 242 owns a flag memory corresponding to any pixel (x, y) of the thermal image, and the value stored as a flag in the flag memory becomes the correction area information.
  • the privacy area calculation unit 230 selects the pixel to be processed and determines whether the threshold excess number N corresponding to the processing target pixel is less than the number threshold M (step S51).
  • the number threshold value M is a threshold value related to the number of times the threshold value is exceeded N, and the privacy area calculation unit 230 determines whether or not the pixel to be processed is a modified pixel belonging to a region in which a person or other animal rarely appears. It is a threshold value for doing.
  • each flag in the correction area information is a binary value of 0 and 1, and when the flag value (hereinafter referred to as a flag value) is 0, it indicates that the corresponding pixel is a correction pixel. , When the flag value is 1, it indicates that the corresponding pixel is an uncorrected pixel.
  • the privacy area calculation unit 230 stores a value of 1 as a flag in the flag memory corresponding to the pixel (x, y) to be processed by the correction area information holding unit 242 (step S52), and calculates the correction area information. finish.
  • the privacy area calculation unit 230 determines whether the threshold excess time ⁇ of the pixel to be processed is larger than the time lower limit threshold ⁇ and less than the time upper limit threshold ⁇ . Is determined (step S53).
  • the time lower limit threshold value ⁇ and the time upper limit threshold value ⁇ are threshold values with respect to the threshold value excess time ⁇ .
  • the time upper limit threshold value ⁇ is a threshold value for determining whether or not the pixel to be processed is an uncorrected pixel belonging to a region where a heat source other than a person due to home appliances or sunlight exists, and the time lower limit threshold value ⁇ is air.
  • the privacy area calculation unit 230 corrects the pixels to be processed to belong to the area where people frequently appear. Determined as a pixel.
  • the threshold value exceeding time ⁇ is measured a plurality of times during the time length T, the average value and the median value of the plurality of measured threshold value exceeding times ⁇ are used as the threshold value exceeding time ⁇ used in the determination in step S53. , Maximum value, etc. can be used.
  • the privacy area calculation unit 230 stores a value of 0 as a flag in the flag memory corresponding to the pixel to be processed by the correction area information holding unit 242 (step S54), and ends the correction area information calculation process.
  • the privacy area calculation unit 230 is the processing target of the correction area information holding unit 242.
  • the value of 1 is stored as a flag in the flag memory corresponding to the pixel (x, y) of (step S55), and the calculation process of the correction area information is completed.
  • the threshold excess time ⁇ is equal to or greater than the time upper limit threshold ⁇ , it is considered that the pixel (x, y) to be processed belongs to the region where the heat source due to the electric product or sunlight exists, and the threshold excess time ⁇ is the time lower limit threshold. If it is ⁇ or less, it is considered that the temperature change is short including the fluctuation of air. Therefore, in the case of No in step S53, the pixel (x, y) to be processed is regarded as an uncorrected pixel. do.
  • Steps S51 to S55 are repeated until the calculation of the correction area information of all the pixels of the time-series cumulative thermal image and the storage of the correction area information holding unit 242 in the flag memory are completed.
  • the privacy area calculation unit 230 generates the correction area information corresponding to the thermal image received from the thermal image storage unit 220 and stores it in the correction area information holding unit 242.
  • the generation of the correction area information is performed, for example, for each thermal image having a time length T, and the correction area information is updated in the correction area information holding unit 242 for each time length T.
  • the correction area information may be periodically generated in units of a period longer than the time length T, for example, one day or several days.
  • the measured values of both the threshold value exceeding number N and the threshold value exceeding time ⁇ are used, but whether the pixel (x, y) to be processed is an uncorrected pixel or a corrected pixel using only the threshold value exceeding number N. It may be determined whether or not.
  • N there is a method of counting the time until the heat source appears and disappears as one time, and a method of adding the count value each time the heat source is detected independently for each frame in which the heat image is acquired. be.
  • the threshold value exceeding number N is more than the lower limit threshold value and less than the upper limit threshold value, it is determined that the pixel is a corrected pixel, and the threshold value exceeding number N is equal to or less than the lower limit threshold value or greater than or equal to the upper limit threshold value.
  • the correction area information is generated by setting the uncorrected pixel.
  • the value of the threshold value exceeding N is small when a heat source by electronic devices including home appliances is detected for a long time, and the threshold value is exceeded when a short temperature change including air fluctuation is detected.
  • the value of N increases. Therefore, in the case of the former method, the lower threshold value is set to a value that can discriminate between the case where the heat source by electronic devices is detected for a long time and the appearance of humans or other animals, and the upper threshold value is the fluctuation of air. It is set to a value that can distinguish between short fluctuations such as, and the appearance of humans or other animals.
  • the value of the threshold value exceeding N is large when a heat source by electronic devices including home appliances is detected for a long time, and the threshold value is exceeded when a short temperature change including air fluctuation is detected.
  • the value of N decreases. Therefore, in the latter method, the lower threshold is set to a value that can discriminate between short fluctuations such as air fluctuations and the appearance of humans or other animals, and the upper threshold is set to a value that allows the heat source of electronic devices to be used for a long time. It is set to a value that can distinguish between the case of detection and the appearance of a human or other animal.
  • the modified thermal image generation unit 240 in FIG. 1 will be described in detail.
  • the correction thermal image generation unit 240 uses a binary value of 0 or 1 indicating whether or not the pixel is a pixel requiring correction for each of the above-mentioned pixels as a result of determination by the privacy area calculation unit 230. , Correct the thermal image. More specifically, the correction thermal image generation unit 240 corrects the thermal image by using the correction region information indicating the result of the determination regarding all the pixels of the thermal image.
  • FIG. 9 is a flowchart showing an example of a thermal image data processing method of the modified thermal image generation unit 240 according to the first embodiment.
  • the thermal image correction unit 241 of the correction thermal image generation unit 240 receives the nth thermal image from the thermal image acquisition unit 210 (step S61).
  • Step S61 is a process of receiving the nth thermal image transmitted by the thermal image acquisition unit 210 in step S23b.
  • the thermal image correction unit 241 corrects the nth thermal image using the correction area information stored in the correction area information holding unit 242 (step S62).
  • the modified thermal image generation unit 240 transmits the thermal image modified in step S62 (hereinafter referred to as a modified thermal image) to the thermal image display device 300 (step S63).
  • the thermal image correction unit 241 selects an arbitrary pixel (i, j) and sets it as the pixel (i, j) to be processed.
  • FIG. 10 is a conceptual diagram showing an example of correction area information calculated by the privacy area calculation unit 230 according to the first embodiment. As shown in FIG. 10, the thermal image correction unit 241 totals the flag values s ij of the pixels (i, j) to be processed located at the i-th position in the horizontal direction and the j-th position in the vertical direction of the thermal image and the pixels around them. Let be the total value S.
  • the flag value s ij in the present embodiment is the value of the flag corresponding to each pixel in the correction area information.
  • the thermal image correction unit 241 is a total value S of the flag value s ij of the pixel (i, j) to be processed located at the i-th position in the horizontal direction and the j-th position in the vertical direction of the thermal image and the flag value s ij of the pixels around it.
  • An example of the calculation formula for obtaining the total value S is as shown in the formula (1).
  • the total value S is the sum of the flag values of the pixel (i, j) to be processed and the peripheral pixels in contact with the pixel (i, j) to be processed.
  • the threshold value of the total value S that the thermal image correction unit 241 determines whether or not the pixel needs to be corrected is set as the total threshold value Z.
  • the thermal image correction unit 241 corrects the pixels (i, j) to be processed according to, for example, the following mathematical formula (2).
  • the pixel value I'ij indicates the corrected pixel value of the i-th in the horizontal direction and the j-th in the vertical direction of the thermal image.
  • FIG. 11 is a conceptual diagram showing an example of a thermal image correction processing method by the thermal image correction unit 241 according to the first embodiment.
  • the figure on the left side of FIG. 11 shows a thermal image before modification, and the figure on the right side of FIG. 11 shows a modified thermal image which is a thermal image after modification.
  • the thermal image correction unit 241 applies an averaging filter to 9 pixels of 3 ⁇ 3 at the upper right end of the left figure, for example, in the right figure. Calculate the pixel value of the hatched pixel with diagonal lines.
  • the filter used to obtain the corrected pixel value I'ij includes a smoothing filter such as a Gaussian filter in addition to the averaging filter. It is also possible to set the filter size to any size other than 3 ⁇ 3.
  • the thermal image correction unit 241 calculates the sum of the flag values corresponding to the pixel and the pixel adjacent to the pixel for each pixel, and when the sum is equal to or greater than the threshold value, the pixel and the pixel are combined.
  • the thermal image is corrected by smoothing and filtering the pixel values with the adjacent pixels. Further, as an example of correction, in addition to filtering, there is a method of superimposing data used for special processing set in advance on pixels determined to be corrected and blurring them.
  • the privacy area calculation unit 230 stores the result of the determination indicating the necessity of correction for each pixel in the correction area information holding unit 242 as the correction area information, and the correction area information holding unit 242 is the privacy area calculation unit 230. Retains the modified area information before the update until the modified area information is updated by. Then, the correction thermal image generation unit 240 corrects the heat images to be sequentially acquired by using the correction area information held by the correction area information holding unit 242. Therefore, it is not necessary to determine the necessity of the image every time the image is acquired, and the processing load can be suppressed.
  • the thermal image display device 300 in FIG. 1 will be described in detail.
  • the thermal image display device 300 receives the modified thermal image transmitted by the modified thermal image generation unit 240 in step S63.
  • the thermal image display device 300 displays the received modified thermal image on a monitor or a display. In this way, the thermal image display device 300 displays the modified thermal image generated by the thermal image generation unit 200.
  • thermal image display device 300 is an electronic terminal including a smartphone or a monitor.
  • the function of the thermal image display device 300 is realized by a processing circuit and a display means such as a display or a monitor.
  • the processing circuit is a processor such as a CPU ((Central Processing Unit), central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, processor, DSP (Digital Signal Processor)) even if it is dedicated hardware. It may be a control circuit provided with.
  • the processing circuit 400 may be dedicated hardware or a control circuit including a processor such as a CPU.
  • the processing circuit 400 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array) or a combination of these is applicable.
  • the functions of each part of the thermal image generation unit 200 may be realized by different processing circuits 400, or the functions of each part may be collectively realized by one processing circuit 400.
  • FIG. 12 is a diagram showing a configuration example of the processing circuit 400 of the present embodiment.
  • the processing circuit 400 includes a processor 401 and a memory 402.
  • these functions are realized by software, firmware, or a combination of software and firmware.
  • Software and firmware are described as programs and stored in the memory 402.
  • the function of each part is realized by the processor 401 reading and executing the program stored in the memory 402.
  • the processing circuit 400 has a step of acquiring a thermal image, a step of accumulating thermal image information in time series, and a pixel value of a temperature threshold for each pixel of a plurality of thermal images in which the same location is imaged at different times.
  • the threshold exceeding time ⁇ which is the time in which ⁇ is continuously exceeded, is measured, and the threshold exceeding number N indicating the number of times the threshold exceeding time ⁇ is measured within a certain time is counted, and the threshold exceeding time ⁇ and the number of times the threshold is exceeded are counted.
  • a program in which a determination step of determining whether or not the pixel is a pixel requiring modification using N and a modification step of modifying a thermal image using the determination result are eventually executed.
  • a memory 402 for storing the image is provided.
  • the memory is, for example, RAM (Radom Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EPROM (registered trademark), etc. , Non-volatile or volatile semiconductor memory, magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versaille Disc) and the like.
  • each part of the thermal image generation unit 200 and some of the functions of the thermal image display device 300 may be realized by dedicated hardware and some by software or firmware.
  • Embodiment 2 In the above-described first embodiment, as shown in FIG. 1, the thermal image generation unit 200 is processed by the hardware mounted on the air conditioner 1, but the thermal image generation unit 200 is processed by the cloud.
  • the second embodiment will be described. Components having the same functions as those of the first embodiment are designated by the same reference numerals as those of the first embodiment, and duplicate description will be omitted. Hereinafter, the differences from the first embodiment will be mainly described.
  • FIG. 13 is a diagram showing a configuration example of a thermal image processing system when the thermal image storage unit 220, the privacy area calculation unit 230, and the modified thermal image generation unit 240 according to the second embodiment are mounted on the cloud 2.
  • the cloud 2 is composed of, for example, a plurality of computer systems.
  • the connection between the cloud 2 and the air conditioner 1 may be wired or wireless (the same applies to the figure shown below).
  • Each computer system includes a processor 401 and a memory 402, similar to the processing circuit 400 shown in FIG.
  • the function of each part is realized by the processor 401 reading and executing the program stored in the memory 402.
  • the heat sensor 100 mounted on the air conditioner 1 transmits a heat image to the heat image acquisition unit 210.
  • the thermal image storage unit 220 calculates the privacy area on the cloud 2 via a wide area network (Wide Area Network) such as the Internet for a time-series cumulative thermal image composed of a plurality of thermal images corresponding to the time length T. It is transmitted to the unit 230.
  • the privacy area calculation unit 230 calculates the correction area information on the cloud 2 and stores it in the correction area information holding unit 242 (not shown in FIG. 13) of the correction thermal image generation unit 240.
  • the thermal image correction unit 241 (not shown in FIG. 13) of the correction thermal image generation unit 240 performs image processing on the thermal image on the cloud 2 using the correction region information stored in the correction region information holding unit 242, and corrects heat. Create an image.
  • the modified thermal image generation unit 240 transmits the modified thermal image to the thermal image display device 300 via a wide area network such as the Internet, and the thermal image display device 300 displays the modified thermal image on a display or a monitor.
  • the thermal image processing system includes a thermal sensor 100 for acquiring a thermal image, and is air-conditioned to be connected to the cloud 2 which is a computer system via a wide area network such as the Internet. It includes a machine 1 and a thermal image display device 300 which is a terminal.
  • the air conditioner 1 transmits a thermal image to the thermal image processing device, and the cloud 2 has a threshold excess time ⁇ , which is the time when the pixel value continuously exceeds the temperature threshold ⁇ for each of the captured pixels of the plurality of thermal images.
  • the number of times the threshold value has been exceeded ⁇ is counted, and the number of times the threshold value has been exceeded ⁇ has been counted.
  • the cloud 2 corrects the thermal image using the determination result, transmits the corrected thermal image to the thermal image display device 300, and the thermal image display device 300 displays the modified thermal image.
  • the thermal image storage unit 220, the privacy area calculation unit 230, and the correction thermal image generation unit 240 are mounted on the cloud 2, and the main thermal image correction processing is concentrated on the cloud 2, so that air conditioning is performed.
  • the effect of reducing the calculation load on the machine 1 and the thermal image display device 300 can be obtained.
  • FIG. 14 shows a thermal image processing system in which the thermal image storage unit 220 and the privacy area calculation unit 230 according to the second embodiment are mounted on the cloud 2 and the modified thermal image generation unit 240 is mounted on the thermal image display device 300. It is a figure which shows the configuration example.
  • the thermal sensor 100 mounted on the air conditioner 1 sequentially transmits the acquired thermal images to the thermal image acquisition unit 210.
  • the thermal image acquisition unit 210 transmits the acquired thermal image to the thermal image storage unit 220 on the cloud 2 via a wide area network such as the Internet.
  • the thermal image storage unit 220 transmits a time-series cumulative thermal image composed of a plurality of thermal images corresponding to the time length T to the privacy area calculation unit 230 on the cloud 2.
  • the privacy area calculation unit 230 calculates the correction area information on the cloud 2 and transmits the correction area information to the thermal image display device 300.
  • the thermal image display device 300 which is a terminal such as a smartphone, is equipped with the function of the modified thermal image generation unit 240 as application software.
  • the thermal image correction unit 241 (not shown in FIG. 14) of the modified thermal image generation unit 240 mounted on the thermal image display device 300 receives the thermal image from the thermal image acquisition unit 210 via a wide area network such as the Internet.
  • the correction area information holding unit 242 (not shown in FIG. 14) of the correction thermal image generation unit 240 stores the correction area information received from the privacy area calculation unit 230 via a wide area network such as the Internet.
  • the thermal image correction unit 241 performs image processing on the electronic terminal of the thermal image display device 300 using the correction region information to create a correction thermal image.
  • the modified thermal image generation unit 240 transmits information on the modified thermal image via the processing circuit 400 of the thermal image display device 300, and the thermal image display device 300 displays the modified thermal image on a display or a monitor.
  • the thermal image processing system of the example shown in FIG. 14 includes a thermal sensor 100 for acquiring a thermal image, and is an air conditioner connected to the cloud 2 which is a computer system via a wide area network such as the Internet. 1 and a thermal image display device 300, which is a terminal, are provided.
  • the air conditioner 1 transmits a thermal image to the cloud 2 and the thermal image display device 300.
  • the cloud 2 measures the threshold value excess time ⁇ , which is the time when the pixel value continuously exceeds the temperature threshold value ⁇ , for each pixel of the plurality of captured thermal images, and the threshold value excess time ⁇ is measured within a certain period of time.
  • the threshold value exceeding the number N indicating the number of times the pixel has been exceeded is counted, and the threshold value exceeding time ⁇ and the threshold value exceeding number N are used to determine whether or not the pixel is a pixel requiring correction, and the determination result is obtained by the thermal image display device 300.
  • the thermal image display device 300 corrects the received thermal image using the determination result and displays the modified thermal image.
  • FIG. 15 shows a configuration of a thermal image processing system when the thermal image storage unit 220 and the privacy area calculation unit 230 according to the second embodiment are mounted on the cloud 2 and the modified thermal image generation unit 240 is mounted on the air conditioner 1. It is a figure which shows an example.
  • the thermal image acquisition unit 210 sequentially transmits the thermal image received from the thermal sensor 100 mounted on the air conditioner 1 to the thermal image storage unit 220 via a wide area network such as the Internet. As a parallel process, the thermal image acquisition unit 210 transmits the thermal image received from the thermal sensor 100 to the modified thermal image generation unit 240 mounted on the air conditioner 1.
  • the thermal image storage unit 220 transmits a time-series cumulative thermal image composed of a plurality of thermal images corresponding to the time length T to the privacy area calculation unit 230 via the cloud 2.
  • the privacy area calculation unit 230 transmits the correction area information calculated on the cloud 2 to the air conditioner 1, and the air conditioner 1 stores the correction area information in the correction thermal image generation unit 240.
  • the modified thermal image created by the modified thermal image generation unit 240 is transmitted to the thermal image display device 300 via a wide area network such as the Internet, and the thermal image display device 300 displays the modified thermal image on a display or a monitor.
  • the thermal image processing system of the example shown in FIG. 15 includes a thermal sensor 100 for acquiring a thermal image, and is an air conditioner connected to a cloud 2 which is a computer system via a wide area network such as the Internet. 1 and a thermal image display device 300, which is a terminal, are provided.
  • the air conditioner 1 transmits a thermal image to the cloud 2, and the cloud 2 measures the threshold excess time ⁇ , which is the time when the pixel value continuously exceeds the temperature threshold ⁇ for each pixel of the plurality of captured thermal images.
  • the number of times the threshold value is exceeded N indicating the number of times the threshold value exceeding time ⁇ is measured is counted, and whether or not the pixel is a pixel requiring correction using the threshold value exceeding time ⁇ and the number of times the threshold value is exceeded N. Is determined, and the result of the determination is transmitted to the air conditioner 1.
  • the air conditioner 1 corrects the thermal image using the determination result, and transmits the corrected thermal image to the thermal image display device 300.
  • the thermal image display device 300 displays a modified thermal image received from the air conditioner 1.
  • the modified thermal image generation unit 240 is mounted on the air conditioner 1, and after the thermal image is modified in the air conditioner 1, the thermal image is modified in the air conditioner 1 and then via a wide area network such as the Internet. Is transmitted to the thermal image display device 300.
  • the thermal image before modification is transmitted to the thermal image display device 300 via a wide area network such as the Internet as in the configuration of FIG. 14, the thermal image before modification leaks when the cloud 2 is illegally accessed. there is a possibility.
  • the thermal image is corrected in the air conditioner 1 and then transmitted to the thermal image display device 300 via a wide area network such as the Internet, the thermal image is corrected in the line between the air conditioner 1 and the terminal. It is very unlikely that the previous thermal image will be leaked, and the effect of privacy protection can be enhanced.
  • the thermal image is modified by using the thermal image storage unit 220 for storing the time-series cumulative thermal image, the privacy area calculation unit 230 for calculating the correction area information of the time-series cumulative thermal image, and the correction area information.
  • the modified thermal image generation unit 240 By mounting the modified thermal image generation unit 240 in the cloud 2, it is possible to reduce the load on the electronic terminal having few computational resources.
  • the configuration shown in the above embodiments is an example, and can be combined with another known technique, can be combined with each other, and does not deviate from the gist. It is also possible to omit or change a part of the configuration.

Abstract

本開示にかかる熱画像処理装置は、異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行うプライバシー領域算出部（２３０）と、プライバシー領域算出部（２３０）による判定の結果を用いて、熱画像を修正する修正熱画像生成部（２４０）と、を備える。

Description

熱画像処理装置、熱画像処理システムおよび熱画像処理方法
　本開示は、熱センサを搭載した電子機器類においてプライバシーを保護した画像を提供する熱画像処理装置、熱画像処理システムおよび熱画像処理方法に関する。
　従来、熱画像を取得して当該熱画像を用いて空調制御を行う空気調和機が知られている。このような熱画像にはプライバシー保護を行うことが望ましい領域が含まれている場合がある。特許文献１には、熱画像センサで取得された熱画像について、熱画像中からプライバシー領域を判定し、その領域を修正する熱画像処理装置が開示されている。
　特許文献１に記載の技術では熱画像におけるプライバシー領域を人の顔と定義し、顔検出などの画像処理技術を利用してプライバシー領域を検出し、検出した領域を隠蔽している。特許文献１に記載の技術では、熱画像における人の顔および人物を隠蔽することで、個人の特定につながるプライバシー情報を保護できる。
特開２０２０－７９７８４号公報
　しかしながら、上記従来の技術によれば、個人の特定に関するプライバシー保護はできるものの、部屋の様子など生活空間に関するプライバシー情報は保護されない。例えば、ソファまたはベッドなど人が比較的長い時間滞在する生活空間におけるモノの配置、およびその領域における人物の動作に関する情報が保護されないという問題があった。
　本開示は、上記に鑑みてなされたものであって、生活空間に関するプライバシー情報の保護を図ることができる熱画像処理装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示にかかる熱画像処理装置は、異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行うプライバシー領域算出部と、プライバシー領域算出部による判定の結果を用いて、熱画像を修正する修正熱画像生成部と、を備える。
　本開示によれば、生活空間に関するプライバシー情報の保護を図ることができる、という効果を奏する。
実施の形態１にかかる熱画像処理システムの構成例を示す図 実施の形態１にかかる熱画像処理装置を搭載した空気調和機の一例を示す図 実施の形態１にかかる熱画像取得部のデータ処理方法の一例を示すフローチャート 実施の形態１にかかる熱画像蓄積部のデータ処理方法の一例を示すフローチャート 実施の形態１にかかる熱画像蓄積部において時系列に蓄積された熱画像の概念図 実施の形態１にかかるプライバシー領域算出部のデータ処理方法の一例を示すフローチャート 熱画像における任意の画素（ｘ，ｙ）の温度の値を時系列にプロットした時の温度変化の一例を示すグラフ 実施の形態１にかかるプライバシー領域算出部による修正領域情報の算出方法の一例を示すフローチャート 実施の形態１にかかる修正熱画像生成部のデータ処理方法の一例を示すフローチャート 実施の形態１にかかるプライバシー領域算出部が算出した修正領域情報の一例を示す概念図 実施の形態１にかかる熱画像修正部の熱画像の修正処理方法の一例を示す概念図 本実施の形態の処理回路の構成例を示す図 実施の形態２にかかる熱画像蓄積部、プライバシー領域算出部および修正熱画像生成部をクラウドに実装した場合の熱画像処理システムの構成例を示す図 実施の形態２にかかる熱画像蓄積部およびプライバシー領域算出部をクラウドに実装し、修正熱画像生成部を画像表示装置に実装した場合の熱画像処理システムの構成例を示す図 実施の形態２にかかる熱画像蓄積部およびプライバシー領域算出部をクラウドに実装し、修正熱画像生成部を空気調和機に実装した場合の熱画像処理システムの構成例を示す図
　以下に、本開示の実施の形態にかかる熱画像処理装置、熱画像処理システムおよび熱画像処理方法を図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる熱画像処理システムの構成例を示す図である。本実施の形態の熱画像処理システムは、熱を検知する熱センサ１００と、熱センサ１００が検知した熱をもとに熱画像を生成する熱画像処理装置である熱画像生成部２００と、熱画像生成部２００が生成した熱画像を表示する熱画像表示装置３００とを備える。熱画像生成部２００は、熱センサ１００が検知した熱を熱画像として逐次に取得し、一時的に保存する熱画像取得部２１０と、熱画像を取得した時間順すなわち時系列に蓄積する熱画像蓄積部２２０と、生活空間に関するプライバシー情報を含む領域であるプライバシー領域を算出するプライバシー領域算出部２３０と、熱画像を一部修正し再生成する修正熱画像生成部２４０と、を備えている。生活空間に関するプライバシー情報は、ソファまたはベッドなどの配置、部屋の様子などを示す情報である。修正熱画像生成部２４０は、熱画像を修正する熱画像修正部２４１と、プライバシー領域の修正領域情報を保存する修正領域情報保持部２４２を備えている。
　本実施の形態の熱画像処理装置は、例えば、空気調和機１をはじめとした電子機器に搭載される。図２は、実施の形態１にかかる熱画像処理装置を搭載した空気調和機１の一例を示す図である。図２に示した例では、熱センサ１００および熱画像生成部２００は空気調和機１に設けられ、熱画像表示装置３００はスマートフォンにアプリケーションソフトウェアが搭載されることで実現されている。なお、図２は一例であり、本実施の形態の熱画像処理装置の空気調和機１への搭載方法は図２に示した例に限定されない。また、本実施の形態の熱画像処理装置は空気調和機１以外の電子機器に搭載されてもよい。空気調和機１以外の電子機器の例に熱探知機があげられる。
　図１における熱画像取得部２１０について詳細に説明する。図３は、実施の形態１にかかる熱画像取得部２１０のデータ処理方法の一例を示すフローチャートである。以下では、熱画像取得部２１０が１つの熱画像を取得する周期を、熱画像取得周期ｒと呼ぶ。また、熱画像取得部２１０が取得する熱画像が、何回目の取得であるかを示す整数をｎとする。ｎの初期値は１である。
　熱画像取得部２１０が、熱センサ１００からｎ回目に取得された熱画像（以下、ｎ番目の熱画像という）を受信する（ステップＳ２１）。熱画像取得部２１０が、ステップＳ２１において受信したｎ番目の熱画像を一時保存する（ステップＳ２２）。熱画像取得部２１０が、ｎ番目の熱画像を熱画像蓄積部２２０に送信する（ステップＳ２３ａ）。ステップＳ２３ａと並列したステップとして、熱画像取得部２１０がｎ番目の熱画像を修正熱画像生成部２４０に送信する（ステップＳ２３ｂ）。熱画像取得部２１０が、一時保存していたｎ番目の熱画像を破棄する（ステップＳ２４）。ｎが、ｎ＋１の値に更新され（ステップＳ２５）、ステップＳ２１からの処理が繰り返される。
　図１における熱画像蓄積部２２０について詳細に説明する。図４は、実施の形態１にかかる熱画像蓄積部２２０のデータ処理方法の一例を示すフローチャートである。熱画像蓄積部２２０は、上述したステップＳ２３ａで熱画像取得部２１０から送信されたｎ番目の熱画像を受信する（ステップＳ３１）。熱画像蓄積部２２０は熱画像取得部２１０から受信したｎ番目の熱画像およびすでに蓄積されている熱画像を、受信した時間順である時系列に並ぶように保存する（ステップＳ３２）。
　図５は実施の形態１にかかる熱画像蓄積部２２０において時系列に蓄積された熱画像の概念図である。図５に示すように、ステップＳ３２では熱画像蓄積部２２０が、ｎ＝１の熱画像から時系列に並ぶように熱画像を保存する。ステップＳ３２で保存された熱画像を、時系列累積熱画像と呼ぶ。また、熱画像蓄積部２２０がｎ＝１の熱画像の取得の開始からｎ番目の熱画像の取得を終了するまでの時間を、熱画像取得累積時間ｔとする。熱画像取得累積時間ｔは、ｔ＝ｒ×ｎ、で表すことができる。
　次に、熱画像蓄積部２２０が、熱画像取得累積時間ｔがあらかじめ設定した一定時間である時間長Ｔ以上か否かを判断する（ステップＳ３３）。熱画像取得累積時間ｔが時間長Ｔ未満である場合（ステップＳ３３　Ｎｏ）、ｎがｎ＋１に更新され（ステップＳ３４）、ステップＳ３１からステップＳ３４までの処理が繰り返される。
　熱画像取得累積時間ｔが時間長Ｔ以上である場合（ステップＳ３３　Ｙｅｓ）、熱画像蓄積部２２０は、時系列累積熱画像をプライバシー領域算出部２３０に送信する（ステップＳ３５）。熱画像蓄積部２２０は、熱画像取得累積時間ｔが時間長Ｔ以上となると、ｎの値を１に初期化する。このようにして、ｋ＝Ｔ／ｒとするとき、１番目からｋ番目までの熱画像である時系列累積熱画像が、プライバシー領域算出部２３０に送信されることになる。このとき時間長Ｔは、例えば数日程度であり、時間長Ｔの設定値例として、簡易設定の場合は３日間、標準設定の場合は４日間、正確な設定の場合は５日間、といったように複数の設定値を設け、複数の設定値のなかからユーザが選択できるようにしてもよい。
　図１におけるプライバシー領域算出部２３０について詳細に説明する。プライバシー領域算出部２３０は、異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が温度閾値を連続して超過した時間である閾値超過時間を計測するとともに、一定期間内に閾値超過時間が計測された回数を示す閾値超過回数を計数し、閾値超過時間および閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行う。図６は、実施の形態１にかかるプライバシー領域算出部２３０のデータ処理方法の一例を示すフローチャートである。プライバシー領域算出部２３０は、ステップＳ３５で熱画像蓄積部２２０から送信された１番目からｋ番目までの時系列累積熱画像を受信する（ステップＳ４１）。
　次にプライバシー領域算出部２３０は、熱画像蓄積部２２０から受信した時系列累積熱画像の画素ごとに閾値超過時間および閾値超過回数を計測する（ステップＳ４２）。プライバシー領域算出部２３０は、ステップＳ４２の計測結果を用いて、各画素の修正の必要性の有無を示す修正領域情報を算出する（ステップＳ４３）。図６に示す閾値超過時間および閾値超過回数の計測方法（ステップＳ４２）および修正領域情報の算出方法（ステップＳ４３）についての詳細は後述する。プライバシー領域算出部２３０は、ステップＳ４３で算出した修正領域情報を、修正熱画像生成部２４０の修正領域情報保持部２４２の後述するフラグメモリに格納する（ステップＳ４４）。
　ステップＳ４２の閾値超過時間および閾値超過回数の計測方法について、詳細を説明する。図７は、熱画像における任意の画素（ｘ，ｙ）の温度の値を時系列にプロットした時の温度変化の一例を示すグラフである。図７に示した温度閾値θは、プライバシー領域算出部２３０が任意の画素（ｘ，ｙ）を、人またはその他の動物の熱源がある領域に属するか否かを判定する温度の閾値である。
　プライバシー領域算出部２３０は、時系列累積熱画像のうち１番目の熱画像の画素（ｘ，ｙ）の温度と温度閾値θとを比較し、温度が温度閾値θを超えるとタイマで経過時間の計測を開始する。プライバシー領域算出部２３０は、２番目、３番目、・・・、ｋ番目までの各熱画像について、画素（ｘ，ｙ）の温度を順次温度閾値θと比較し、前回の比較で温度が温度閾値θ以下であり、今回温度が温度閾値θを超えたらタイマの計測を開始し、連続して温度が温度閾値θを超えている間はタイマの計測を続ける。
　一方、プライバシー領域算出部２３０は、画素（ｘ，ｙ）の温度が温度閾値θ以下となるとタイマの計測を停止する。タイマの計測の開始から停止までのタイマの示す時間を閾値超過時間τとする。プライバシー領域算出部２３０は、画素（ｘ，ｙ）のタイマの計測を停止する処理毎に、タイマの計測をリセットする。閾値超過時間τの初期値は０である。
　また、閾値超過時間τが１回以上計測された場合、すなわち画素（ｘ，ｙ）の温度が閾値を超過した熱画像が有った場合、プライバシー領域算出部２３０は、閾値超過時間τが計測された回数、すなわち温度閾値θを超過した回数を計測する。具体的には、プライバシー領域算出部２３０は、画素（ｘ，ｙ）の閾値超過時間τのタイマの計測の開始から停止までの処理毎に、温度閾値θを超過した回数の値に１を加算する。１つの時系列累積熱画像において、温度閾値θを超過した回数を閾値超過回数Ｎとする。Ｎの初期値は１である。
　プライバシー領域算出部２３０は、時系列累積熱画像の全ての画素に関して、上記のように閾値超過時間τおよび閾値超過回数Ｎを計測する。このようにして、プライバシー領域算出部２３０は、時系列累積熱画像の全画素に関しての閾値超過時間τおよび閾値超過回数Ｎを計測する。
　図８は、実施の形態１にかかるプライバシー領域算出部２３０による修正領域情報の算出方法の一例を示すフローチャートである。ステップＳ４３で述べた修正領域情報の算出方法について、図８のフローチャートを用いて詳細を説明する。本実施の形態では、プライバシー領域算出部２３０によって修正不要と判定された画素を非修正画素と呼び、プライバシー領域算出部２３０によって修正要と判定された画素を修正画素と呼ぶ。修正領域情報保持部２４２は、熱画像の任意の画素（ｘ，ｙ）にそれぞれ対応するフラグメモリを所有しており、フラグメモリにフラグとして格納される値が修正領域情報となる。
　プライバシー領域算出部２３０が、処理対象の画素を選択し、処理対象の画素に対応する閾値超過回数Ｎが回数閾値Ｍ未満であるかを判定する（ステップＳ５１）。回数閾値Ｍは、閾値超過回数Ｎに関する閾値であって、プライバシー領域算出部２３０が、処理対象の画素が人またはその他の動物が出現する頻度が少ない領域に属する修正画素であるか否かを判定するための閾値である。
　閾値超過回数Ｎが回数閾値Ｍ未満である場合（ステップＳ５１　Ｙｅｓ）、プライバシー領域算出部２３０は、処理対象の画素を人またはその他の動物が出現する頻度が少ない領域に属する非修正画素と判定する。本実施の形態では、修正領域情報における各フラグは０，１の二値であり、フラグの値（以下、フラグ値という）が０である場合は、対応する画素が修正画素であることを示し、フラグ値が１である場合は、対応する画素が非修正画素であることを示す。プライバシー領域算出部２３０は、修正領域情報保持部２４２の処理対象の画素（ｘ，ｙ）に対応するフラグメモリに、フラグとして１の値を格納し（ステップＳ５２）、修正領域情報の算出処理を終了する。
　閾値超過回数Ｎが回数閾値Ｍ以上の場合（ステップＳ５１　Ｎｏ）、プライバシー領域算出部２３０は、処理対象の画素の閾値超過時間τが、時間下限閾値βより大きくかつ時間上限閾値α未満であるかを判定する（ステップＳ５３）。時間下限閾値βおよび時間上限閾値αは、閾値超過時間τに関する閾値である。時間上限閾値αは、処理対象の画素が家電製品または日光による人以外の熱源が存在する領域に属する非修正画素であるか否かを判定するための閾値であり、時間下限閾値βは、空気の揺らぎを含む短い温度変化と人またはその他動物の出現とを区分するための閾値である。また、ユーザが熱画像処理装置を含む電子機器類を使用する時間別または季節別に、時間下限閾値βおよび時間上限閾値αを設定することも可能である。
　閾値超過時間τが、時間下限閾値βより大きくかつ時間上限閾値α未満である場合（ステップＳ５３　Ｙｅｓ）、プライバシー領域算出部２３０は、処理対象の画素を人が出現する頻度が多い領域に属する修正画素と判定する。なお、時間長Ｔの間に、閾値超過時間τが複数回計測された場合には、ステップＳ５３の判定で用いる閾値超過時間τとして、計測された複数の閾値超過時間τの平均値、中央値、最大値などを用いることができる。プライバシー領域算出部２３０が、修正領域情報保持部２４２の処理対象の画素に対応するフラグメモリに、フラグとして０の値を格納し（ステップＳ５４）、修正領域情報の算出処理を終了する。
　閾値超過時間τが時間上限閾値α以上であるか、または閾値超過時間τが時間下限閾値β以下である場合（ステップＳ５３　Ｎｏ）、プライバシー領域算出部２３０は、修正領域情報保持部２４２の処理対象の画素（ｘ，ｙ）に対応するフラグメモリに、フラグとして１の値を格納し（ステップＳ５５）、修正領域情報の算出処理を終了する。閾値超過時間τが時間上限閾値α以上である場合は、処理対象の画素（ｘ，ｙ）が、電気製品または日光による熱源が存在する領域に属すると考えられ、閾値超過時間τが時間下限閾値β以下である場合には、空気の揺らぎを含む短い温度変化であると考えられるため、このように、ステップＳ５３でＮｏの場合には、処理対象の画素（ｘ，ｙ）を非修正画素とする。
　時系列累積熱画像の全ての画素の修正領域情報の算出および修正領域情報保持部２４２のフラグメモリへの格納が終了するまで、ステップＳ５１からステップＳ５５が繰り返される。このようにして、プライバシー領域算出部２３０は、熱画像蓄積部２２０から受信した熱画像に対応する修正領域情報を生成して修正領域情報保持部２４２に格納する。
　この修正領域情報の生成は、例えば、時間長Ｔの熱画像ごとに行われて、時間長Ｔごとに修正領域情報保持部２４２に修正領域情報が更新される。または、時間長Ｔより長い期間例えば１日、数日などといった単位で、周期的に修正領域情報の生成が行われてもよい。
　上述した例では、閾値超過回数Ｎおよび閾値超過時間τの両方の測定値を用いたが、閾値超過回数Ｎのみを用いて処理対象の画素（ｘ，ｙ）が非修正画素であるか修正画素であるかを判定してもよい。閾値超過回数Ｎのみを用いて判定する場合、熱源が出現し消えるまでを１回とカウントする方法、熱画像を取得するフレームごとに独立して熱源を検知する度にカウント値を加算する方法がある。どちらの方法を用いてもよいが、いずれの場合も、閾値超過回数Ｎが下限閾値より多くかつ上限閾値より少ない場合に、修正画素と判定し、閾値超過回数Ｎが下限閾値以下または上限閾値以上の場合に、非修正画素とすることにより、修正領域情報を生成する。
　前者の方法の場合、家電製品を含む電子機器類による熱源が長時間検知されるときの閾値超過回数Ｎの値は少なくなり、空気の揺らぎを含む短い温度変化が検知されるときの閾値超過回数Ｎの値は多くなる。このため、前者の方法の場合、下限閾値は、電子機器類による熱源が長時間検知される場合と人またはその他の動物の出現とを判別可能な値に設定され、上限閾値は、空気の揺らぎなどの短い変動と人またはその他の動物の出現とを判別可能な値に設定される。後者の方法の場合、家電製品を含む電子機器類による熱源が長時間検知されるときの閾値超過回数Ｎの値は多くなり、空気の揺らぎを含む短い温度変化が検知されるときの閾値超過回数Ｎの値は少なくなる。このため、後者の方法の場合、下限閾値は、空気の揺らぎなどの短い変動と人またはその他の動物の出現とを判別可能な値に設定され、上限閾値は、電子機器類による熱源が長時間検知される場合と人またはその他の動物の出現とを判別可能な値に設定される。
　図１における修正熱画像生成部２４０について詳細に説明する。修正熱画像生成部２４０は、プライバシー領域算出部２３０による判定の結果すなわち上述した画素ごとの、当該画素が修正を要する画素であるか否かを０または１の二値で示したフラグを用いて、熱画像を修正する。より具体的には、修正熱画像生成部２４０は、熱画像の全画素に関する判定の結果を示す修正領域情報を用いて熱画像を修正する。図９は、実施の形態１にかかる修正熱画像生成部２４０の熱画像のデータ処理方法の一例を示すフローチャートである。修正熱画像生成部２４０の熱画像修正部２４１が、ｎ番目の熱画像を熱画像取得部２１０から受信する（ステップＳ６１）。ステップＳ６１は、ステップＳ２３ｂで熱画像取得部２１０が送信したｎ番目の熱画像を受信する処理である。
　熱画像修正部２４１は、修正領域情報保持部２４２に格納された修正領域情報を用いて、ｎ番目の熱画像を修正する（ステップＳ６２）。修正熱画像生成部２４０がステップＳ６２で修正した熱画像（以下、修正熱画像という。）を熱画像表示装置３００に送信する（ステップＳ６３）。
　ステップＳ６２における熱画像の修正処理方法について、詳しく説明する。熱画像修正部２４１が任意の画素（ｉ，ｊ）を選択し、処理対象の画素（ｉ，ｊ）とする。図１０は、実施の形態１にかかるプライバシー領域算出部２３０が算出した修正領域情報の一例を示す概念図である。図１０に示すように、熱画像修正部２４１が、熱画像の横方向ｉ番目、縦方向ｊ番目に位置する処理対象の画素（ｉ，ｊ）およびその周辺の画素のフラグ値ｓｉｊの合計を合計値Ｓとする。本実施の形態におけるフラグ値ｓｉｊは、修正領域情報における、各画素に対応するフラグの値である。
　熱画像修正部２４１は、熱画像の横方向ｉ番目、縦方向ｊ番目に位置する処理対象の画素（ｉ，ｊ）のフラグ値ｓｉｊおよびその周辺の画素のフラグ値ｓｉｊの合計値Ｓを求める。合計値Ｓを求める計算式の一例は数式（１）の通りである。数式（１）の計算例では、合計値Ｓは、処理対象の画素（ｉ，ｊ）と処理対象の画素（ｉ，ｊ）に接する周辺画素のフラグ値の合計となる。
Figure JPOXMLDOC01-appb-M000001
　熱画像修正部２４１が、画素の修正が必要であるか否かを判定する合計値Ｓの閾値を合計閾値Ｚとする。合計値Ｓが合計閾値Ｚ未満である場合、熱画像修正部２４１が、処理対象の画素（ｉ，ｊ）を、例えば以下の数式（２）に従って修正する。画素値Ｉ’ｉｊは、熱画像の横方向ｉ番目、縦方向ｊ番目の修正後の画素値を示す。
Figure JPOXMLDOC01-appb-M000002
　図１１は、実施の形態１にかかる熱画像修正部２４１による熱画像の修正処理方法の一例を示す概念図である。図１１の左側の図は修正前の熱画像を示し、図１１の右側の図は修正後の熱画像である修正熱画像を示している。合計値Ｓが合計閾値Ｚ未満である場合、熱画像修正部２４１は、例えば、左側の図の右上端の３×３の９画素に対して平均化フィルタを適用することで、右側の図の斜線でハッチングした画素の画素値を算出する。ただし、修正後の画素値Ｉ’ｉｊを求める際に用いるフィルタは、平均化フィルタ以外にもガウシアンフィルタなどの平滑化フィルタも含むこととする。また、フィルタサイズも３×３以外の任意のサイズに設定することも可能であるとする。
　このように、熱画像修正部２４１は、画素ごとに、当該画素と当該画素に隣接する画素とに対応するフラグ値の総和を計算し、総和が閾値以上の場合に、当該画素と当該画素に隣接する画素との画素値を平滑化フィルタリングすることで熱画像を修正する。また、修正例としてフィルタリング以外に、修正が必要と判定された画素に、予め設定した特殊加工に用いるデータを重畳してぼかす方法があげられる。
　このように、プライバシー領域算出部２３０は、画素ごとの修正の要否を示す判定の結果を修正領域情報として修正領域情報保持部２４２へ格納し、修正領域情報保持部２４２はプライバシー領域算出部２３０によって修正領域情報が更新されるまで更新前の修正領域情報を保持する。そして、修正熱画像生成部２４０は、順次取得する熱画像を、修正領域情報保持部２４２によって保持されている修正領域情報を用いて修正する。このため、画像の取得ごとに、画像の要否の判定を行う必要がなく、処理負荷を抑制することができる。
　図１における熱画像表示装置３００について詳細に説明する。熱画像表示装置３００は、ステップＳ６３で、修正熱画像生成部２４０が送信した修正熱画像を受信する。熱画像表示装置３００は、受信した修正熱画像をモニタまたはディスプレイに表示する。このようにして、熱画像表示装置３００は、熱画像生成部２００が生成した修正熱画像を表示する。
　熱画像表示装置３００の例として、スマートフォンまたはモニタを含む電子端末があげられる。熱画像表示装置３００の機能は、処理回路とディスプレイ、またはモニタなどの表示手段とにより実現される。処理回路は、専用のハードウェアであってもＣＰＵ（（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）などのプロセッサを備える制御回路であってもよい。
　ここで、本実施の形態の熱画像生成部２００のハードウェア構成について説明する。熱画像生成部２００の各部の機能は、処理回路４００により実現される。処理回路４００は、専用のハードウェアであってもＣＰＵなどのプロセッサを備える制御回路であってもよい。
　処理回路４００が専用のハードウェアである場合、処理回路４００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。熱画像生成部２００の各部の機能それぞれを異なる処理回路４００で実現しても良いし、各部の機能をまとめて１つの処理回路４００で実現してもよい。
　図１２は、本実施の形態の処理回路４００の構成例を示す図である。処理回路４００は、プロセッサ４０１およびメモリ４０２を備える。熱画像生成部２００の各部の機能、熱画像表示装置３００の機能の一部が処理回路４００で実現される場合、これらの機能は、ソフトウェア、ファームウェア、またはソフトウェア、ファームウェアの組み合わせにより実現される。ソフトウェア、ファームウェアはプログラムとして記述され、メモリ４０２に格納される。プロセッサ４０１がメモリ４０２に格納されたプログラムを読みだして実行することにより、各部の機能が実現される。すなわち、処理回路４００は、熱画像を取得するステップと、時系列に熱画像の情報を蓄積するステップと、異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が温度閾値θを連続して超過した時間である閾値超過時間τを計測するとともに、一定時間内に閾値超過時間τが計測された回数を示す閾値超過回数Ｎを計数し、閾値超過時間τおよび閾値超過回数Ｎを用いて当該画素が修正を要する画素であるか否かを判定する判定ステップと、判定の結果を用いて、熱画像を修正する修正ステップと、が結果的に実行されることになるプログラムを格納するためのメモリ４０２を備える。
　また、これらのプログラムは、熱画像生成部２００の各部の機能、熱画像表示装置３００における手順または方法を、コンピュータに実行させるものであるともいえる。ここでメモリとは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリー、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ　(登録商標)　（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、熱画像生成部２００の各部の機能、熱画像表示装置３００の一部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。
　以上のように、人またはその他動物が比較的長く滞在する場所をプライバシー領域と定義することで、例えばソファまたはベッドの個人の生活空間に関するプライバシー情報を保護することができる。また、生活空間に関するプライバシー領域を示す修正領域情報を一度算出し、修正領域情報保持部２４２に保存しておくことで、逐次顔検出などの比較的計算負荷の大きい画像処理技術を適用する必要がなくなり、効率よく熱画像を処理することが可能である。
実施の形態２．
　以上の実施の形態１では図１に示す通り、熱画像生成部２００を空気調和機１に搭載したハードウェアにて熱画像を処理する構成であるが、熱画像生成部２００をクラウドにて処理する実施の形態２について説明する。実施の形態１と同様の機能を有する構成要素は実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。
　図１３は、実施の形態２にかかる熱画像蓄積部２２０、プライバシー領域算出部２３０および修正熱画像生成部２４０をクラウド２に実装した場合の熱画像処理システムの構成例を示す図である。クラウド２は、例えば複数のコンピュータシステムにより構成される。クラウド２と空気調和機１の接続は有線であっても無線であってもよい（以下に示す図においても同様とする）。各コンピュータシステムは、図１２に示した処理回路４００と同様に、プロセッサ４０１およびメモリ４０２を備える。プロセッサ４０１がメモリ４０２に格納されたプログラムを読みだして実行することにより、各部の機能が実現される。本実施の形態では、空気調和機１に搭載された熱センサ１００が、熱画像を熱画像取得部２１０へ送信する。次に熱画像蓄積部２２０が、時間長Ｔに対応する複数の熱画像で構成される時系列累積熱画像をインターネットなどのワイドエリアネットワーク（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介してクラウド２上のプライバシー領域算出部２３０に送信する。プライバシー領域算出部２３０は、クラウド２上で、修正領域情報を算出し、修正熱画像生成部２４０の図１３では図示しない修正領域情報保持部２４２に格納する。
　修正熱画像生成部２４０の図１３では図示しない熱画像修正部２４１は、修正領域情報保持部２４２に保存された修正領域情報を用いて、クラウド２上で熱画像に画像処理を施し、修正熱画像を作成する。修正熱画像生成部２４０が修正熱画像を熱画像表示装置３００へインターネットなどのワイドエリアネットワークを介して送信し、熱画像表示装置３００はディスプレイまたはモニタに修正熱画像を表示する。
　このように、図１３に示した例では、熱画像処理システムは、熱画像を取得する熱センサ１００を備え、インターネットなどのワイドエリアネットワークを介してコンピュータシステムであるクラウド２に接続される空気調和機１と、端末である熱画像表示装置３００と、を備える。空気調和機１は熱画像を熱画像処理装置へ送信し、クラウド２は、撮像した複数の熱画像の画素ごとに、画素値が温度閾値θを連続して超過した時間である閾値超過時間τを計測するとともに、一定時間内に閾値超過時間τが計測された回数を示す閾値超過回数Ｎを計数し、閾値超過時間τおよび閾値超過回数Ｎを用いて当該画素が修正を要する画素であるか否かの判定を行う。そして、クラウド２は、判定の結果を用いて熱画像を修正し、修正した熱画像を熱画像表示装置３００へ送信し、熱画像表示装置３００は修正した熱画像を表示する。
　図１３の構成では、熱画像蓄積部２２０とプライバシー領域算出部２３０と修正熱画像生成部２４０をクラウド２に実装し、主要な熱画像の修正処理をクラウド２に集中させているので、空気調和機１および熱画像表示装置３００における計算負荷を軽減する効果が得られる。
　図１４は、実施の形態２にかかる熱画像蓄積部２２０およびプライバシー領域算出部２３０をクラウド２に実装し、修正熱画像生成部２４０を熱画像表示装置３００に実装した場合の熱画像処理システムの構成例を示す図である。空気調和機１に搭載された熱センサ１００が、熱画像取得部２１０に取得した熱画像を順次送信する。熱画像取得部２１０は、取得した熱画像を、インターネットなどのワイドエリアネットワークを介してクラウド２上の熱画像蓄積部２２０に送信する。
　次に熱画像蓄積部２２０が、時間長Ｔに対応する複数の熱画像で構成される時系列累積熱画像をクラウド２上でプライバシー領域算出部２３０に送信する。プライバシー領域算出部２３０が、クラウド２上で、修正領域情報を算出し、修正領域情報を熱画像表示装置３００に送信する。スマートフォンなどの端末である熱画像表示装置３００には、アプリケーションソフトウェアとして修正熱画像生成部２４０の機能が実装されている。
　熱画像表示装置３００に実装された修正熱画像生成部２４０の図１４では図示しない熱画像修正部２４１が、熱画像を熱画像取得部２１０からインターネットなどのワイドエリアネットワークを介して受信する。修正熱画像生成部２４０の図１４では図示しない修正領域情報保持部２４２は、プライバシー領域算出部２３０からインターネットなどのワイドエリアネットワークを介して受信した修正領域情報を格納する。熱画像修正部２４１は、熱画像表示装置３００の電子端末上で修正領域情報を用いて画像処理を施し、修正熱画像を作成する。修正熱画像生成部２４０が熱画像表示装置３００の処理回路４００を介して、修正熱画像の情報を送信し、熱画像表示装置３００はディスプレイまたはモニタに修正熱画像を表示する。
　このように、図１４に示した例の熱画像処理システムは、熱画像を取得する熱センサ１００を備え、インターネットなどのワイドエリアネットワークを介してコンピュータシステムであるクラウド２に接続される空気調和機１と、端末である熱画像表示装置３００と、を備える。空気調和機１は熱画像をクラウド２および熱画像表示装置３００へ送信する。クラウド２は、撮像した複数の熱画像の画素ごとに、画素値が温度閾値θを連続して超過した時間である閾値超過時間τを計測するとともに、一定時間内に閾値超過時間τが計測された回数を示す閾値超過回数Ｎを計数し、閾値超過時間τおよび閾値超過回数Ｎを用いて当該画素が修正を要する画素であるか否かの判定を行い、判定の結果を熱画像表示装置３００へ送信する。熱画像表示装置３００は、判定の結果を用いて受信した熱画像を修正し、修正熱画像を表示する。
　図１４の構成では、修正熱画像生成部２４０を熱画像表示装置３００に実装することで、空気調和機１からインターネットなどのワイドエリアネットワークを介して直接送信された熱画像を、クラウド２上で算出した修正領域情報を用いて、熱画像表示装置３００上の修正熱画像生成部２４０で修正することにより、通信量を抑える効果がある。
　図１５は、実施の形態２にかかる熱画像蓄積部２２０およびプライバシー領域算出部２３０をクラウド２に実装し、修正熱画像生成部２４０を空気調和機１に実装した場合の熱画像処理システムの構成例を示す図である。熱画像取得部２１０が、空気調和機１に搭載された熱センサ１００から受信した熱画像を、熱画像蓄積部２２０へインターネットなどのワイドエリアネットワークを介して順次送信する。並列した処理として、熱画像取得部２１０が、熱センサ１００から受信した熱画像を、空気調和機１に実装された修正熱画像生成部２４０に熱画像を送信する。
　次に熱画像蓄積部２２０は、クラウド２を介して時間長Ｔに対応する複数の熱画像で構成される時系列累積熱画像をプライバシー領域算出部２３０に送信する。プライバシー領域算出部２３０が、クラウド２上で算出した修正領域情報を、空気調和機１に送信し、空気調和機１は修正熱画像生成部２４０内に修正領域情報を格納する。修正熱画像生成部２４０が作成した修正熱画像は、インターネットなどのワイドエリアネットワークを介して熱画像表示装置３００に送信され、熱画像表示装置３００はディスプレイまたはモニタに修正熱画像を表示する。
　このように、図１５に示した例の熱画像処理システムは、熱画像を取得する熱センサ１００を備え、インターネットなどのワイドエリアネットワークを介してコンピュータシステムであるクラウド２に接続される空気調和機１と、端末である熱画像表示装置３００と、を備える。空気調和機１は熱画像をクラウド２へ送信し、クラウド２は、撮像した複数の熱画像の画素ごとに、画素値が温度閾値θを連続して超過した時間である閾値超過時間τを計測するとともに、一定時間内に閾値超過時間τが計測された回数を示す閾値超過回数Ｎを計数し、閾値超過時間τおよび閾値超過回数Ｎを用いて当該画素が修正を要する画素であるか否かの判定を行い、判定の結果を空気調和機１へ送信する。空気調和機１は、判定の結果を用いて熱画像を修正し、修正熱画像を熱画像表示装置３００へ送信する。熱画像表示装置３００は空気調和機１から受信した修正熱画像を表示する。
　図１５の構成では、図１４の構成と違い、修正熱画像生成部２４０を空気調和機１に実装しており、熱画像を空気調和機１内で修正した後にインターネットなどのワイドエリアネットワークを介して熱画像表示装置３００に送信する。図１４の構成のようにインターネットなどのワイドエリアネットワークを介して修正前の熱画像を熱画像表示装置３００に送信する場合、クラウド２に不正アクセスがあった際に修正前の熱画像が流出する可能性がある。しかし、図１５の構成では熱画像を空気調和機１内で修正した後にインターネットなどのワイドエリアネットワークを介して熱画像表示装置３００に送信するため、空気調和機１と端末間との回線で修正前の熱画像が流出する可能性が非常に低く、プライバシー保護の効果を高めることができる。
　図１３～１５の構成では、時系列累積熱画像を保存する熱画像蓄積部２２０および時系列累積熱画像の修正領域情報を算出するプライバシー領域算出部２３０および修正領域情報を用いて熱画像を修正する修正熱画像生成部２４０をクラウド２へ実装することで、計算リソースの少ない電子端末への負荷を軽減することができる。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　空気調和機、２　クラウド、１００　熱センサ、２００　熱画像生成部、２１０　熱画像取得部、２２０　熱画像蓄積部、２３０　プライバシー領域算出部、２４０　修正熱画像生成部、２４１　熱画像修正部、２４２　修正領域情報保持部、３００　熱画像表示装置、４００　処理回路、４０１　プロセッサ、４０２　メモリ。

Claims (10)

  1. 　異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行うプライバシー領域算出部と、
    　前記プライバシー領域算出部による前記判定の結果を用いて、前記熱画像を修正する修正熱画像生成部と、
    　を備える、熱画像処理装置。
  2. 　前記プライバシー領域算出部は、前記複数の熱画像の画素ごとに画素値が温度閾値を連続して超過した時間である閾値超過時間を計測し、前記一定時間内に前記閾値超過時間が計測された回数を前記閾値超過回数として計数し、前記閾値超過時間および前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行う
    　請求項１に記載の熱画像処理装置。
  3. 　前記判定の結果は、前記画素ごとの、当該画素が修正を要する画素であるか否かを０または１の二値で示したフラグである請求項１または２に記載の熱画像処理装置。
  4. 　前記修正熱画像生成部は、前記熱画像の全画素に関する前記判定の結果を示す修正領域情報を保持する修正領域情報保持部を備え、
    　前記プライバシー領域算出部は、前記判定の結果を前記修正領域情報として前記修正領域情報保持部へ格納し、
    　前記修正領域情報保持部は前記プライバシー領域算出部によって前記修正領域情報が更新されるまで更新前の前記修正領域情報を保持し、
    　前記修正熱画像生成部は、順次取得する前記熱画像を、前記修正領域情報保持部によって保持されている前記修正領域情報を用いて修正する
    　請求項３に記載の熱画像処理装置。
  5. 　前記修正熱画像生成部は、前記修正領域情報を前記修正領域情報保持部から読み出し、前記修正領域情報を用いて熱画像を修正する熱画像修正部を備え、
    　前記熱画像修正部は、前記画素ごとに、当該画素と当該画素に隣接する画素とに対応する前記フラグの値の総和を計算し、前記総和が閾値以上の場合に、当該画素と当該画素に隣接する画素との画素値を平滑化フィルタリングすることで前記熱画像を修正する
    　請求項４に記載の熱画像処理装置。
  6. 　請求項１から５のいずれか１つに記載の熱画像処理装置を備える空気調和機と、
    　端末と、
    　を備え、
    　前記空気調和機は、修正した熱画像を前記端末へ送信し、
    　前記端末は前記空気調和機から受信した前記修正した熱画像を表示する
    　熱画像処理システム。
  7. 　熱画像を取得する熱センサを備え、ワイドエリアネットワークを介してコンピュータシステムに接続される空気調和機と、
    　端末と、
    　を備え、
    　前記空気調和機は前記熱画像を前記コンピュータシステムへ送信し、
    　前記コンピュータシステムは、撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行い、前記判定の結果を用いて前記熱画像を修正し、修正した前記熱画像を前記端末へ送信し、
    　前記端末は前記空気調和機から受信した修正した前記熱画像を表示する
    　熱画像処理システム。
  8. 　熱画像を取得する熱センサを備え、ワイドエリアネットワークを介してコンピュータシステムに接続される空気調和機と、
    　端末と、
    　を備え、
    　前記空気調和機は前記熱画像を前記コンピュータシステムおよび前記端末へ送信し、
    　前記コンピュータシステムは、撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行い、前記判定の結果を前記端末へ送信し、
    　前記端末は、前記判定の結果を用いて前記空気調和機から受信した前記熱画像を修正し、修正した熱画像を表示する熱画像処理システム。
  9. 　熱画像を取得する熱センサを備え、ワイドエリアネットワークを介してコンピュータシステムに接続される空気調和機と、
    　端末と、
    　を備え、
    　前記空気調和機は前記熱画像を前記コンピュータシステムへ送信し、
    　前記コンピュータシステムは、撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かの判定を行い、前記判定の結果を前記空気調和機へ送信し、
    　前記空気調和機は、前記判定の結果を用いて前記熱画像を修正し、修正した熱画像を前記端末へ送信し、
    　前記端末は前記空気調和機から受信した前記修正した熱画像を表示する
    　熱画像処理システム。
  10. 　熱画像処理装置における熱画像処理方法であって、
    　異なる時間で同一箇所を撮像した複数の熱画像の画素ごとに、画素値が一定時間内に温度閾値を超過した回数を示す閾値超過回数を計数し、前記閾値超過回数を用いて当該画素が修正を要する画素であるか否かを判定する判定ステップと、
    　前記判定の結果を用いて、前記熱画像を修正する修正ステップと、
    　を含む熱画像処理方法。
PCT/JP2020/046620 2020-12-14 2020-12-14 熱画像処理装置、熱画像処理システムおよび熱画像処理方法 WO2022130474A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/046620 WO2022130474A1 (ja) 2020-12-14 2020-12-14 熱画像処理装置、熱画像処理システムおよび熱画像処理方法
JP2022569346A JPWO2022130474A1 (ja) 2020-12-14 2020-12-14

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/046620 WO2022130474A1 (ja) 2020-12-14 2020-12-14 熱画像処理装置、熱画像処理システムおよび熱画像処理方法

Publications (1)

Publication Number Publication Date
WO2022130474A1 true WO2022130474A1 (ja) 2022-06-23

Family

ID=82057434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046620 WO2022130474A1 (ja) 2020-12-14 2020-12-14 熱画像処理装置、熱画像処理システムおよび熱画像処理方法

Country Status (2)

Country Link
JP (1) JPWO2022130474A1 (ja)
WO (1) WO2022130474A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076424A (ja) * 2007-09-25 2009-04-09 Toshiba Lighting & Technology Corp 負荷制御装置および照明装置
JP2009092282A (ja) * 2007-10-05 2009-04-30 Mitsubishi Electric Corp 空気調和機
JP2010200303A (ja) * 2008-12-16 2010-09-09 Konica Minolta Systems Lab Inc 画素に基づくラスタトラッピングの最適化のシステム及び方法
JP2013167624A (ja) * 2012-01-19 2013-08-29 Ricoh Co Ltd 撮像装置及びこれを備えた車両システム並びに画像処理方法
JP2016065848A (ja) * 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ センシング方法、センシングシステムおよびそれらを備える空調機器
JP2017195454A (ja) * 2016-04-19 2017-10-26 アズビル株式会社 監視装置、監視方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076424A (ja) * 2007-09-25 2009-04-09 Toshiba Lighting & Technology Corp 負荷制御装置および照明装置
JP2009092282A (ja) * 2007-10-05 2009-04-30 Mitsubishi Electric Corp 空気調和機
JP2010200303A (ja) * 2008-12-16 2010-09-09 Konica Minolta Systems Lab Inc 画素に基づくラスタトラッピングの最適化のシステム及び方法
JP2013167624A (ja) * 2012-01-19 2013-08-29 Ricoh Co Ltd 撮像装置及びこれを備えた車両システム並びに画像処理方法
JP2016065848A (ja) * 2014-03-03 2016-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ センシング方法、センシングシステムおよびそれらを備える空調機器
JP2017195454A (ja) * 2016-04-19 2017-10-26 アズビル株式会社 監視装置、監視方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2022130474A1 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
US20110057802A1 (en) Image quality monitor for digital radiography system
JP3453870B2 (ja) 画像処理装置と画像処理装置を用いた応用機器
JP2013255606A5 (ja)
US20130044964A1 (en) Image processing device, image processing method and program
CN109598763B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN109584312B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
JP6383186B2 (ja) 画像処理装置および画像処理方法、画像処理システム
CN113138026A (zh) 一种基于测温系统的测温方法、装置、计算机设备
JP5155110B2 (ja) 監視装置
WO2022130474A1 (ja) 熱画像処理装置、熱画像処理システムおよび熱画像処理方法
JP2019020778A5 (ja)
JP6072088B2 (ja) 放射線撮像システム、放射線撮像方法およびプログラム
US10728476B2 (en) Image processing device, image processing method, and image processing program for determining a defective pixel
CN110542482A (zh) 一种盲元检测方法、装置及电子设备
US20130322596A1 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and storage medium
CN109658459B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN112393804A (zh) 一种图像校正的方法及装置
JP4124915B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
EP2747416A2 (en) Rolling shutter wobble detection and correction
US9992489B2 (en) Image sensor calibration
CN112101104B (zh) 人体存在检测方法及相关装置
JP2010074315A5 (ja)
JP5045449B2 (ja) 画像処理による環境適応型侵入者検知装置
CN112435188B (zh) 基于方向权重的jnd预测方法、装置、计算机设备及存储介质
CN110197228B (zh) 图像校正方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965862

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022569346

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20965862

Country of ref document: EP

Kind code of ref document: A1