WO2024047807A1 - 閾値決定装置、方法及びプログラム - Google Patents

閾値決定装置、方法及びプログラム Download PDF

Info

Publication number
WO2024047807A1
WO2024047807A1 PCT/JP2022/032810 JP2022032810W WO2024047807A1 WO 2024047807 A1 WO2024047807 A1 WO 2024047807A1 JP 2022032810 W JP2022032810 W JP 2022032810W WO 2024047807 A1 WO2024047807 A1 WO 2024047807A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
pixel
thermal image
value
threshold
Prior art date
Application number
PCT/JP2022/032810
Other languages
English (en)
French (fr)
Inventor
泰恵 岸野
良成 白井
伸 水谷
和也 尾原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/032810 priority Critical patent/WO2024047807A1/ja
Publication of WO2024047807A1 publication Critical patent/WO2024047807A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the disclosed technology relates to a technology for acquiring a background difference of a thermal image.
  • Patent Document 1 describes a technique for extracting a heat trace area by performing image processing using background differences between a thermal image and a real object image.
  • a heat trace is a trace of a subject, such as a person, that has touched an object in the past and is identified by the heat left at the place the subject touched.
  • Each pixel value of the thermal image is a value indicating the temperature of each pixel of the thermal image.
  • background difference processing the process of acquiring the background difference of a thermal image (hereinafter also referred to as "background difference processing") is performed when there is a substantial difference in the pixel value of each pixel between the thermal image and the background thermal image.
  • Patent Document 1 states that if the difference in pixel values between the thermal image and the background thermal image is equal to or greater than a certain threshold, it is determined that the pixel is different from the background, and if not, it is determined that the pixel is the same as the background.
  • the background subtraction processing performed is illustrated. That is, in Patent Document 1, the threshold value in background subtraction processing of a thermal image is constant.
  • the threshold value is constant, for example, heat left in a place touched by a person who is sensitive to cold, heat left in a place touched immediately after returning from outside in the cold, etc. can be detected by background subtraction processing of a thermal image. There is a possibility that the pixels will not be extracted successfully as they are different from the background. In other words, if the same threshold value is always used for background subtraction processing of thermal images as in Patent Document 1, depending on the temperature of the subject who touched the object in the background, even though the heat that the subject touched remains, In image background subtraction processing, pixels may not be determined to be different from the background.
  • the purpose of the disclosed technology is to determine a threshold value to increase the accuracy of determining that a pixel that has been touched by a subject and has remaining heat is different from the background in background subtraction processing of a thermal image.
  • One aspect of the disclosed technology is a threshold value determining device that captures a thermal image obtained by photographing a certain imaging range at a target time with a thermal camera, a background thermal image that is a background thermal image of the certain imaging range, and a thermal image obtained by photographing a certain imaging range at a target time with a thermal camera.
  • a threshold value for determining a pixel different from the background in a thermal image using The image forming apparatus includes a threshold value determination unit that determines the absolute value of the threshold value to become a larger value as the difference between the temperature of the subject and the background temperature existing in the certain photographing range becomes larger.
  • FIG. 1 is a diagram showing an example of the functional configuration of the threshold value determining device 2.
  • FIG. 2 is a diagram illustrating an example of a processing procedure of a threshold value determination method and an image processing method.
  • FIG. 3 is a diagram illustrating an example of a procedure in which the threshold value determining device 2 and the image processing device 3 acquire a background thermal image.
  • FIG. 4 is a diagram illustrating an example of a change in temperature at a location where the subject is in contact.
  • FIG. 5 is a diagram illustrating an example of a change in temperature at a location where the subject is in contact.
  • FIG. 6 is a diagram showing an example of the functional configuration of the image processing device 3.
  • FIG. 7 is a diagram showing an example of the functional configuration of the image processing section 31.
  • FIG. 8 is a diagram showing an example of the functional configuration of a computer.
  • the threshold value determination device 2 includes, for example, a thermal image acquisition section 23 and a threshold value determination section 25.
  • the threshold determination device 2 may further include a thermal camera 13, a background thermal image acquisition section 24, a visible light camera 11, and a visible image acquisition section 21, which are indicated by broken lines in FIG.
  • the threshold value determination method is such that each component of the threshold value determination device 2 performs the processes of steps S13, S23, and S25 shown in FIG. This is achieved, for example, by The timing at which the threshold value determination unit 25 performs the threshold value determination process will be described later.
  • the process of acquiring the background thermal image used by the threshold value determination device 2 in the process of step S25 is the process of each component of the threshold value determination device 2 in steps S13, S23, S24-1, and S24-2 shown in FIG. This can be achieved, for example, by performing the following.
  • the thermal camera 13 is a camera that photographs the heat emitted by a real object at each time after the threshold value determining device 2 starts operating.
  • the thermal camera 13 is an image composed of an image of heat emitted by a real object in a certain photographing range, more specifically, an image obtained from the thermal camera 13 side of the heat emitted by a real object existing in the photographing range.
  • a thermal image is taken at each time (step S13). Thermal images taken at each time by the thermal camera 13 are input to the thermal image acquisition unit 23.
  • a real thing is something that has substance. Examples of real objects existing in the imaging range are an object existing as a background within the imaging range, a person within the imaging range, and a person entering the imaging range.
  • the thermal image acquisition unit 23 operates at each time after the threshold value determining device 2 starts operating.
  • the thermal image acquisition unit 23 acquires thermal images taken at each time by the thermal camera 13 (step S23).
  • the acquired thermal images at each time are input to the background thermal image acquisition unit 24 until a predetermined time T1 has elapsed after the start of the operation of the threshold value determination device 2; After time T1 has elapsed, the signal is input to the threshold determining section 25.
  • the background thermal image acquisition unit 24 acquires a background thermal image even after the predetermined time T1 has elapsed since the threshold value determining device 2 starts operating, the background thermal image acquisition unit 24 is required.
  • the thermal image at that time is input to the threshold determination unit 25.
  • the background thermal image acquisition unit 24 operates when a predetermined time T1 has elapsed since the threshold value determining device 2 started operating.
  • the background thermal image acquisition unit 24 acquires the thermal image input from the thermal image acquisition unit 23 when the thermal image inputted from the thermal image acquisition unit 23 has been accumulated for a predetermined time T1, that is, when the predetermined time T1 has elapsed since the threshold value determining device 2 started operating. (YES in step S24-1), a background thermal image, which is a thermal image of the background of the imaging range, is acquired based on the thermal image for a predetermined time T1 inputted from the thermal image acquisition unit 23 (step S24-2 ), output the acquired background thermal image.
  • a thermal image of the background of the shooting range is an image of the heat emitted by an object that exists as a background within the shooting range.More specifically, it is an image of the heat emitted by an object that exists as a background within the shooting range. This is an image composed of images acquired from the thermal camera 13 side. The acquired background thermal image is input to the threshold determination unit 25.
  • the background thermal image acquisition unit 24 may use any method to acquire the background thermal image. For example, the background thermal image acquisition unit 24 sets the pixel value of each pixel to the average value or the median of the pixel values of the corresponding pixels of a plurality of thermal images for a predetermined time T1 after the start of the operation of the threshold value determining device 2. An image that is a value may be acquired as a background thermal image, or, for example, a certain thermal image within a predetermined time T1 from the start of the operation of the threshold value determining device 2 may be acquired as a background thermal image. good. Further, the background thermal image acquisition unit 24 may be determined to be suitable for acquiring a background thermal image even after the predetermined time T1 has elapsed since the threshold value determination device 2 started operating. For example, a background thermal image may be acquired at that point. Note that the background thermal image acquisition unit 24 may receive an input of a background thermal image acquired by a device different from the threshold determination device 2, and may output the input background thermal image.
  • the threshold determining unit 25 operates at each threshold determining time after a predetermined time T1 has elapsed since the threshold determining device 2 started operating.
  • the thermal image obtained by the thermal image acquisition unit 23 is input to the threshold determination unit 25. Further, the background thermal image obtained by the background thermal image acquisition section 24 is input to the threshold value determination section 25 when a predetermined time T1 has elapsed since the operation of the threshold value determination device 2 started. Further, even after the predetermined time T1 has elapsed since the start of the operation of the threshold value determination device 2, when the background thermal image acquisition unit 24 acquires a new background thermal image, the acquired background thermal image is not input. Ru.
  • the thermal image obtained by the thermal image acquisition unit 23 is a thermal image that is an image of the heat emitted by the physical object, which is obtained by photographing a certain shooting range with the thermal camera 13 for photographing the heat emitted by the physical object.
  • the background thermal image obtained by the background thermal image acquisition unit 24 is a background thermal image that is a background thermal image of a certain imaging range.
  • the threshold value determination unit 25 performs thermal analysis using the thermal image and the background thermal image at a time at which background difference processing of the thermal image is performed (hereinafter referred to as "target time") and after the threshold value determination time.
  • a threshold value for determining pixels that are different from the background in an image is a threshold value for the subtraction value of the pixel value between a pixel of a thermal image and a corresponding pixel of the background thermal image that exists in the imaging range at the threshold determination time.
  • the larger the difference between the temperature of the subject and the temperature of the background the larger the absolute value of the threshold value is determined (step S25).
  • the determination of pixels that are different from the background in a thermal image is, for example, as follows. This determination is performed, for example, in the image processing unit 31 shown by the dashed line in FIG. That is, the threshold value output by the threshold value determining device 2 is input to another device including an image processing section 31 that performs image processing. However, as will be described later, the threshold determination device 2 may be included in the image processing device 3, which will be described later.
  • the determination of pixels that are different from the background in a thermal image is as follows: (A) If the temperature of the subject existing in the shooting range at the threshold determination time is higher than the background temperature, (A-1) The pixel of the thermal image When the value obtained by subtracting the pixel value of the corresponding pixel in the background thermal image from the value is greater than or equal to the threshold value, the pixel is determined to be different from the background, or (A-2) background thermal image When the value obtained by subtracting the pixel value of the corresponding pixel of the thermal image from the pixel value of the pixel of the image is smaller than or equal to the threshold value, the pixel is determined to be a different pixel from the background.
  • thermo subject the subject existing in the imaging range at the threshold value determination time.
  • the threshold determining unit 25 determines, for example, a value proportional to the difference between the heat-based temperature and the background temperature as the threshold. More specifically, the threshold value determination unit 25 sets the value defined by the following formula (1), where th is the temperature of the main body of heat, tb is the background temperature, and ⁇ is a positive value, to the value defined by the following formula (1). It may be used as a threshold value for the determination of A-1) and the determination of (B-1).
  • the threshold determining unit 25 may use the value defined by the following equation (2) as the threshold for the above-described determinations (A-2) and (B-2).
  • ⁇ is a constant of proportionality in “a value proportional to the difference between the temperature th of the main body of heat and the background temperature tb”.
  • the threshold value is determined so that the larger the difference between the heat-based temperature and the background temperature, the larger the absolute value of the threshold value.In other words, the smaller the difference between the heat-based temperature and the background temperature, the greater the threshold value.
  • Example 1 of how to determine the heat-based temperature is to find the heat-based temperature from the temperature included in the thermal image at the threshold determination time. More specifically, in Example 1 of how to determine the heat-based temperature, the threshold determining unit 25 calculates the heat-based temperature from the pixel values of pixels included in the heat-based area in the thermal image at the threshold determination time. It is something to be acquired.
  • the threshold value determining unit 25 sets the temperature indicated by the pixel value at a predetermined position within the heat-based region in the thermal image at the threshold value determination time as the heat-based temperature.
  • An example of the predetermined position within the heat-dominant region is one position such as the center of gravity of the heat-dominant region.
  • the predetermined position within the heat-based region may be a plurality of positions around the center of gravity of the heat-based region.
  • An example of the plurality of positions around the center of gravity is a plurality of positions included in a circle centered on the center of gravity and having a radius of a predetermined length.
  • the threshold value determination unit 25 sets the temperature indicated by the representative value of the pixel values of the plurality of positions as the mainly thermal temperature.
  • the representative value is, for example, a value that represents a plurality of values, such as an average value, a median value, and a mode value.
  • the threshold determining unit 25 may determine the temperature indicated by the representative value of the pixel values at a plurality of positions excluding outliers as the mainly heat temperature.
  • An outlier is at least one of a minimum value, a maximum value, and a value that indicates an impossible temperature for a human subject, for example.
  • An example of a value indicating an impossible body temperature of the subject is a value indicating a temperature of 40 degrees or higher.
  • the temperature of the main body of heat can be determined with higher accuracy. Further, by determining the temperature of the main heat source from pixel values at a plurality of positions excluding outliers, the temperature of the main heat source can be determined with higher accuracy.
  • the temperature of the subject of heat is the temperature indicated by the pixel value at a predetermined position in the area where the human skin is exposed in the thermal image. Examples of areas where a person's skin is exposed are a person's face, hands, neck, shoulders, arms, legs, etc.
  • the threshold determination unit 25 may determine the area where the human skin is exposed in the thermal image at the threshold determination time using the thermal image at the threshold determination time or the visible image at the threshold determination time. You may.
  • the threshold determining unit 25 When the threshold determining unit 25 performs processing using a visible image, the visible image is input to the threshold determining unit 25 before performing the processing using the visible image.
  • the threshold determining unit 25 may receive input of a visible image acquired by a device different from the threshold determining device 2, or as shown by a broken line in FIG.
  • the threshold value determining device 2 may further include a visible light camera 11. The visible light camera 11 and the visible image acquisition unit 21 will be described later.
  • the threshold determination unit 25 determines the area where the human skin is exposed using the visible image at the threshold determination time, and uses the visible image at the determined threshold determination time.
  • the area in the thermal image at the threshold determination time corresponding to the area in the image where the human skin is exposed is defined as the area where the human skin is exposed.
  • Determining areas of exposed human skin in a visible image can be performed using existing algorithms. For example, the threshold determination unit 25 determines a connected region of human skin color included in the visible image at the threshold determination time as a region where the human skin is exposed. Further, the threshold determination unit 25 may determine the area where the human skin is exposed using a convolutional neural network that has been learned in advance.
  • the heat-based temperature is obtained from a thermal image included in a predetermined time interval.
  • the threshold value determining unit 25 sets the highest possible temperature of the heat subject (for example, 40°C if the heat subject is a person) as tm, and the threshold value determining unit 25 determines the temperature of the heat subject in a predetermined time interval.
  • the highest temperature below tm is defined as the mainly thermal temperature. This takes advantage of the fact that body temperature, which is mainly caused by heat, can be assumed to be within a predetermined temperature range.
  • the end of the predetermined time interval is the threshold determination time.
  • the starting end of the predetermined time interval is, for example, a time a predetermined amount of time past the end of the predetermined time interval.
  • the predetermined time interval may be the time interval in which the thermal subject appearing in the thermal image at the end of the time interval is assumed to be captured in the thermal image, an example of the predetermined time is several seconds. .
  • the predetermined time may be a sufficiently long time Tc such as one hour.
  • the threshold determination unit 25 also performs threshold determination processing at sufficiently long intervals (for example, Tc).
  • the interval between adjacent threshold value determination times may be a sufficiently long time (for example, Tc).
  • the predetermined time interval can be defined as the time interval in which the thermal subject appearing in the thermal image at the end of the time interval is assumed to be captured in the thermal image
  • the starting point of the predetermined time interval should be the predetermined time interval.
  • the time may be in the past by the amount of time that the thermal image has a difference from the background thermal image, going back from the end of the section.
  • the threshold determining unit 25 determines a predetermined position within a heat-based region in a thermal image at each time in a predetermined time interval using a method similar to the method described in Example 1 of how to determine heat-based temperature.
  • the temperature indicated by the pixel value may be determined, and the representative value of all the determined temperatures may be used as the mainly thermal temperature.
  • the threshold determination unit 25 determines, as the temperature of the background, the temperature indicated by the value of a pixel in the background thermal image that corresponds to a pixel included in a heat-based region in the thermal image at the threshold determination time.
  • the threshold determination unit 25 may perform threshold determination processing at predetermined time intervals.
  • the threshold determination unit 25 may perform threshold determination processing at each time. That is, each threshold value determination time may be a time at each predetermined time interval after a predetermined time T1 has elapsed since the operation of the threshold value determination device 2 started, or a time after the operation of the threshold value determination device 2 started. It may be at each time after a predetermined time T1 has elapsed since then.
  • each time after a predetermined time T1 has elapsed since the start of the operation of the threshold value determination device 2 will be referred to as T2, and the time T3 will be described as a time a predetermined time T interval past time T2.
  • the predetermined time T interval is, for example, several seconds.
  • the predetermined time T interval may be determined as appropriate depending on the usage situation.
  • the threshold value determining unit 25 determines whether a difference has occurred in the visible images.
  • threshold value determination processing may be performed. In other words, when the difference d(I T3 , I T2 ) between the visible image I T3 at past time T3 and the visible image I T2 at time T2 is greater than or equal to the predetermined amount ⁇ 1 , the threshold determining unit 25 , T2 may be set as the threshold value determination time, and the threshold value determination process may be performed.
  • , ⁇ n 1 N
  • 2 may be used as the difference d(P1, P2) between image P1 and image P2.
  • the threshold determining unit 25 may determine whether the difference d(P1, P2) between the image P1 and the image P2 is greater than or equal to a predetermined amount using a deep neural network trained in advance.
  • the threshold value determination unit 25 may perform threshold value determination processing when a difference occurs in the thermal images. In other words, when the difference d(J T3 , J T2 ) between the thermal image J T3 at the past time T3 and the thermal image J T2 at the time T2 is greater than or equal to the predetermined amount ⁇ 2 , the threshold determining unit 25 , T2 may be set as the threshold value determination time, and the threshold value determination process may be performed.
  • the predetermined amounts ⁇ 1 and ⁇ 2 may be determined in advance by, for example, experiments so that desired results can be obtained. This also applies to values such as a predetermined time that needs to be determined in advance.
  • the threshold value determination unit 25 may determine a threshold value for determining pixels different from the background in the thermal image for each partial region obtained by dividing the thermal image using a predetermined region division algorithm. In this case, the image processing unit 31 uses a threshold determined for each partial region in determining which pixels are different from the background in the thermal image.
  • the threshold value determination unit 25 may determine only one threshold value for determining pixels different from the background in the thermal image as a threshold value corresponding to the entire thermal image. In this case, the same threshold value is used for all pixels in the thermal image when the image processing unit 31 determines which pixels are different from the background in the thermal image.
  • the threshold determining unit 25 may determine a threshold for each pixel to determine which pixels are different from the background in the thermal image. In this case, when the image processing unit 31 determines which pixels are different from the background in the thermal image, a threshold determined for each pixel is used.
  • ⁇ About ⁇ >> The absolute value of ⁇ when the thermal image contains an area corresponding to the exposed part of the subject's skin is the absolute value of ⁇ when the thermal image does not include an area corresponding to the exposed part of the subject's skin. May be smaller. The reason for this will be explained below with reference to FIGS. 4 and 5.
  • Figure 4 shows the temperature measurement results of the pixels of the thermal image corresponding to the parts of the door touched by the hand (hereinafter referred to as "contact parts") when a person, who is the main subject, touches the door with his/her hand to open/close the door. show.
  • the solid line in FIG. 4 indicates the temperature of the contact point when a human hand is captured in the thermal image (this case is hereinafter referred to as "the case of heat trace presence 1").
  • the broken line in FIG. 4 indicates the temperature of the contact point when the exposed part of the human skin is not captured in the thermal image (this case is hereinafter referred to as “heat trace presence 2 case”).
  • the dash-dotted line in FIG. 4 indicates the temperature at the contact point when a person does not touch the door (this case is hereinafter referred to as "the case where there is no heat trace”).
  • heat trace presence 1 By photographing people's hands at the contact points, temperatures of up to 33.4 degrees Celsius have been measured at the contact points. Furthermore, when a person leaves the imaging range, the temperature at the point of contact (i.e., the temperature of the heat signature) gradually decreases from 23°C.
  • the temperature of the point of contact i.e., the temperature of the background
  • the case of heat trace presence 2 will be explained.
  • the exposed parts of human skin are not photographed at the point of contact, so even if a person enters the shooting range, the maximum temperature measured at the point of contact is 28.6 degrees Celsius.
  • the temperature at the point of contact i.e., the temperature of the heat signature
  • the temperature of the point of contact i.e., the temperature of the background
  • the absolute value of ⁇ corresponds to the exposed part of the subject's skin in the thermal image used to determine the threshold value. It can be said that it is better to make the absolute value of ⁇ smaller than the absolute value of ⁇ when no area is included.
  • FIG. 5 shows the measurement results of the temperature at the contact point of the door when the main person touches the door with cold hands to open and close the door in a room with a low temperature.
  • FIG. 5 shows the temperature of a contact point when a human hand is captured in a thermal image. By photographing people's hands at the point of contact, temperatures of up to 8.2 degrees Celsius have been measured at the point of contact. Immediately after a person leaves the shooting range, the temperature at the point of contact (that is, the temperature of the heat trace) is measured at 6.1°C. The average temperature at the point of contact (i.e., background temperature) before a person enters the shooting range is 5.7°C.
  • the value of ⁇ does not need to be determined depending on room temperature or temperature, and the thermal image used to determine the threshold value includes an area corresponding to the exposed part of the subject's skin.
  • the absolute value of ⁇ when the threshold value is determined is smaller than the absolute value of ⁇ when the thermal image used to determine the threshold does not include an area corresponding to the exposed skin of the subject. I understand.
  • the threshold determination unit 25 may select one ⁇ from a plurality of predetermined candidate values of ⁇ that are different from each other, and determine the threshold using the selected ⁇ according to equation (1).
  • the threshold determining unit 25 determines, for example, whether the thermal image used for determining the threshold includes an area corresponding to the exposed part of the subject's skin, and If it is determined that the area corresponding to the exposed part of the subject's skin is included, the thermal image used for determining the threshold value will be , a smaller candidate value may be selected as ⁇ used for determining the threshold value.
  • ⁇ is preferably a relatively small value.
  • An example of a material with high thermal conductivity is metal.
  • ⁇ be a relatively large value.
  • materials with low thermal conductivity are paper, wood, and styrofoam.
  • the threshold determination unit 25 determines the substance that the subject touches from the visible image and/or thermal image, assuming that the higher the thermal conductivity of the substance that the subject touches, the smaller the value ⁇ is associated with it. Then, from among a plurality of predetermined mutually different candidate values of ⁇ , a candidate value associated with the determined substance may be selected as ⁇ used for determining the threshold value.
  • the threshold determining unit 25 may determine ⁇ by taking into consideration the size and thickness of the object that the subject touches.
  • the threshold value determination unit 25 may include the visible light camera 11 and the visible image acquisition unit 21, which are shown by broken lines in FIG. Examples of the visible light camera 11 and the visible image acquisition unit 21 will be described below.
  • the visible light camera 11 is a camera for photographing a real object at each threshold value determination time or at each time after a predetermined time T1 has elapsed since the operation of the threshold value determination device 2 started.
  • the visible light camera 11 produces an image of a real object in the same photographing range as that of the thermal camera 13, more specifically, a visible image that is an image composed of an image of the real object existing in the photographing range as seen from the visible light camera 11 side. , is photographed at each threshold value determination time or at each time after a predetermined time T1 has elapsed since the operation of the threshold value determination device 2 started (step S11). Visible images taken by the visible light camera 11 at each threshold determination time or at each time after a predetermined time T1 has elapsed since the threshold determination device 2 started operating are input to the visible image acquisition unit 21.
  • the visible image acquisition unit 21 operates at each threshold value determination time or at each time after a predetermined time T1 has elapsed since the threshold value determination device 2 started operating.
  • the visible image acquisition unit 21 acquires visible images taken by the visible light camera 11 at each threshold determination time or at each time after a predetermined time T1 has elapsed since the operation of the threshold determination device 2 started (step S21). .
  • the acquired visible images at each threshold determination time or each time after a predetermined time T1 has elapsed since the start of the operation of the threshold determination device 2 are input to the threshold determination unit 25.
  • the threshold value determination device 2 Through the processing of the threshold value determination device 2 and method described so far, it is possible to determine a threshold value for increasing the accuracy of determining pixels in which thermal traces are left in a thermal image than before.
  • the image processing device 3 includes, for example, a threshold value determination device 2 and an image processing section 31, as shown in FIG.
  • the image processing device 3 may further include a visible light camera 11 and a thermal camera 13.
  • each component of the image processing device 3 selects each time at which image processing is to be performed after a predetermined time T1 has elapsed since the operation of the image processing device 3 started (hereinafter referred to as image processing target time). This is achieved, for example, by performing steps S13 and S23 shown in FIG. 2 at each threshold determination target time, performing step S25 at each threshold determination target time, and performing step S31 at each image processing target time.
  • the image processing device 3 obtains a background thermal image used in the processing of steps S25 and S31 by having each component perform the processing of steps S13, S23, S24-1, and S24-2 shown in FIG. 3, for example. You may do so.
  • the processing of the threshold value determination device 2 (for example, the processing of steps S13, S23, S24-1, S24-2, and S25) has been described previously, so a redundant explanation will be omitted here.
  • the image processing section 31 includes, for example, a background visible image acquisition section 310, a differential visible image generation section 311, a differential thermal image generation section 312, and a thermal trace extraction section 313.
  • the image processing unit 31 includes a thermal image at the image processing target time acquired by the thermal image acquisition unit 23 of the threshold value determination device 2, a background thermal image acquired by the background thermal image acquisition unit 24 of the threshold value determination device 2, and a threshold determination device. At least the newest threshold among the thresholds determined by the threshold determination unit 25 of the device 2 is input. The image processing unit 31 performs predetermined image processing including at least background subtraction processing of the thermal image using the threshold obtained in step S25.
  • the image processing unit 31 may perform processing other than extracting heat traces.
  • the image processing unit 31 may perform processing other than extracting heat traces.
  • the image processing unit 31 may perform processing other than extracting heat traces.
  • the background visible image acquisition unit 310 operates when a predetermined time T1 has elapsed since the image processing device 3 started operating.
  • the background visible image acquisition unit 310 acquires the visible image inputted from the visible image acquisition unit 21 when the visible image inputted from the visible image acquisition unit 21 is accumulated for a predetermined time T1, that is, when the predetermined time T1 has elapsed since the operation of the image processing device 3 started.
  • a background visible image that is a visible image of the background of the photographing range, and outputs the acquired background visible image.
  • the visible image of the background of the shooting range is an image of an object that exists as a background within the shooting range. More specifically, the visible image of the background of the shooting range is an image of an object that exists as a background within the shooting range from the visible light camera 11 side. It is an image composed of the image seen.
  • the acquired background visible image is input to the differential visible image generation unit 311.
  • the background visible image acquisition unit 310 may use any method to acquire the background visible image.
  • the background visible image acquisition unit 310 sets the pixel value of each pixel to the average value or center of the pixel values of the corresponding pixels of a plurality of visible images for a predetermined time T1 after the start of the operation of the image processing device 3.
  • An image that is a value may be acquired as a background visible image, or, for example, a certain visible image within a predetermined time T1 after the operation of the image processing device 3 starts may be acquired as a background visible image. good.
  • the background visible image acquisition unit 310 may be determined to be suitable for acquiring a background visible image even after the predetermined time T1 has elapsed since the image processing device 3 started operating. For example, a background visible image may be acquired at that point.
  • the background visible image acquisition unit 310 may receive an input of a background visible image acquired by a device different from the image processing device 3, and output the input background visible image.
  • ⁇ Difference visible image generation unit 311 The visible image at the image processing target time acquired by the visible image acquisition unit 21 and the background visible image acquired by the background visible image acquisition unit 310 are input to the differential visible image generation unit 311 . If there are a plurality of background visible images acquired by the background visible image acquisition unit 310, the newest background visible image at the image processing target time is input to the difference visible image generation unit 311.
  • the difference visible image generation unit 311 generates a difference visible image, which is an image of the difference between the visible image at the image processing target time and the newest background visible image at the image processing target time (step S311), and Outputs the difference visible image at the time targeted for image processing.
  • the differential visible image generation unit 311 generates a visible image at the image processing target time, which is an image of a physical object obtained by photographing a certain photographing range with the visible light camera 11 for photographing the physical object, and a visible image at the image processing target time.
  • a difference visible image is generated which is an image of the difference between the background visible image which is the newest background visible image at the image processing target time of the photographing range.
  • the generated differential visible image is input to the thermal trace extraction unit 313.
  • the differential thermal image generation unit 312 includes a thermal image at the image processing target time acquired by the thermal image acquisition unit 23, a background thermal image acquired by the background thermal image acquisition unit 24, and a thermal image determined by the threshold determination unit 25.
  • a threshold value is input. If there are a plurality of background thermal images acquired by the background thermal image acquisition section 24, the newest background thermal image at the image processing target time is input to the differential thermal image generation section 312. Since the threshold value is determined at each threshold value determination time in the threshold value determination unit 25, the newest threshold value at the image processing target time among the threshold values determined by the threshold value determination unit 25 is input to the differential thermal image generation unit 312.
  • the differential thermal image generation unit 312 generates a differential thermal image, which is an image of the difference between the thermal image at the image processing target time and the latest background thermal image at the image processing target time, using the latest threshold value at the image processing target time.
  • the image is generated by the background subtraction processing used (step S312), and the generated differential thermal image at the image processing target time is output.
  • the differential thermal image generation unit 312 generates an image of the heat emitted by a physical object obtained by photographing a certain photographing range with the thermal camera 13 for photographing the heat emitted by the physical object at the time targeted for image processing.
  • a differential thermal image which is an image of the difference between an image and a background thermal image that is the latest background thermal image at the image processing target time of a certain shooting range, is obtained by using the latest threshold value at the image processing target time. Generated by background subtraction processing.
  • the generated differential thermal image is input to the thermal trace extraction unit 313.
  • the background difference processing in step S312 performed by the differential thermal image generation unit 312 is processing for determining pixels that are different from the background in the thermal image. That is, the image processing target time in the differential thermal image generation unit 312 is the time at which background subtraction processing of the thermal image is performed, and is the above-mentioned "target time.”
  • the threshold value determined by the threshold determination unit 25 will be determined at the newest threshold among the threshold values determined by the threshold determination unit 25 (i.e., determined by the threshold determination unit 25 at the latest threshold determination target time among the threshold determination target times past the image processing target time.
  • the temperature of the most recent heat-based temperature among the heat-based temperatures obtained by the threshold determination unit 25 is set as tch.
  • the heat-based temperature obtained by the threshold determination unit 25 at the time is th
  • the temperature of the background is tb
  • the pixel value of a pixel in the thermal image at the time to be image processed is tt
  • the pixel value of the corresponding pixel in the background thermal image is Let the value be t0.
  • the differential thermal image generation unit 312 performs image processing when (A) the temperature th of the main body of heat is higher than the background temperature tb, and (A-1) when tt-t0>tch or tt-t0 ⁇ tch.
  • the pixel of the thermal image at the target time is determined to be a different pixel from the background, or (A-2) When t0-tt ⁇ tch or t0-tt ⁇ tch, the pixel of the thermal image at the target time of image processing is determined to be a different pixel from the background.
  • the pixel in the thermal image at the time to be image processed is determined to be a different pixel from the background, or (B-2) when t0-tt>tch or t0-tt ⁇ tch, The relevant pixel of the thermal image at the time is determined to be a different pixel from the background.
  • a pixel in a thermal image that is different from the background means that the pixel in the thermal image has a substantially different temperature from the background, and the pixel in the thermal image and the corresponding pixel in the background thermal image are different from each other. are substantially different.
  • pixels whose temperature is substantially different from the background in the thermal image at the time subject to image processing are pixels that include a subject whose temperature is different from the background, or pixels that are left behind by a subject that existed in the past. This is a pixel that shows heat.
  • the newest threshold among the thresholds determined by the threshold value determination unit 25 is used for (A-1), (A-2), (B-1), and (B -2) If you do either of the above, you can determine that a pixel in which a subject whose temperature is different from the background is different from the background in the same way as when using a fixed threshold value, and also It is also possible to determine that a pixel in which heat left by a subject that was present in the image is reflected is a pixel that is different from the background with higher accuracy than when a fixed threshold value is used.
  • the background difference processing of the thermal image in step S312 performed by the differential thermal image generation unit 312 at the image processing target time is performed by the threshold determination unit at the latest threshold determination target time among the threshold determination target times past the image processing target time.
  • the absolute value becomes larger as the difference between the temperature of the subject that left a heat trace and the temperature of the background because it existed in the shooting range until the latest threshold determination time is larger.
  • the main part includes a process of determining pixels in which thermal traces are left in the thermal image using the threshold value tch determined as described above.
  • the main part of the background difference processing of the thermal image in step S312, which the differential thermal image generation unit 312 performs at the image processing target time is as follows: (A-1) If the temperature th of the subject is higher than the background temperature tb, the value obtained by subtracting the pixel value t0 of the corresponding pixel in the background thermal image from the pixel value tt of the pixel in the thermal image is less than the threshold tch. If the value is greater than or equal to the value, the pixel is determined to be a pixel with a thermal trace left, or (A-2) the pixel value t0 of the pixel in the background thermal image is determined from the pixel value t0 of the corresponding pixel in the thermal image.
  • the pixel is determined to be a pixel in which a heat trace remains, and (B) the pixel is determined to be a pixel in which a heat trace remains. (B-1) If the temperature th of the subject that left a thermal trace is lower than the background temperature tb, calculate the pixel value t0 of the corresponding pixel in the background thermal image from the pixel value tt of the pixel in the thermal image (B-1).
  • the pixel When the subtracted value is less than or equal to the threshold tch, the pixel is determined to be a pixel with a heat trace left, or (B-2) from the pixel value t0 of the pixel in the background thermal image.
  • the pixel When the value obtained by subtracting the pixel value tt of the corresponding pixel in the thermal image is greater than or equal to the threshold value tch, the pixel is determined to be a pixel in which a thermal trace remains.
  • the differential thermal image generation unit 312 performs the determination of (A-1) or (A-2) assuming only the case where (A) the temperature of the main body of heat is higher than the temperature of the background.
  • (B) the determination of (B-1) or (B-2) may be made assuming only the case where the temperature of the main body of heat is lower than the temperature of the background.
  • the differential thermal image generation unit 312 performs background subtraction processing that assumes both possibilities: (A) the temperature of the main body of heat is higher than the temperature of the background, and (B) the temperature of the main body of heat is lower than the temperature of the background.
  • the image processing unit 31 determines whether (A) the temperature of the main body of heat is higher than the temperature of the background, or (B) the temperature of the main body of heat is lower than the temperature of the background.
  • the heat-based temperature and the background temperature obtained by the threshold determining unit 25 may be input to the image processing unit 31.
  • the thermal trace extraction unit 313 generates a thermal image based on the differential visible image at the image processing target time generated by the differential visible image generating unit 311 and the differential thermal image at the image processing target time generated by the differential thermal image generating unit 312.
  • the area of the heat trace is extracted by removing the area of the physical object from (step S313), and information indicating the extracted area of the heat trace at the image processing target time is output.
  • the thermal trace extraction unit 313 sets each region in the differential visible image that is different from the background visible image as a differential tangible object region, and each region in the differential thermal image that is different from the background thermal image as a differential thermal region, and extracts one or more Among the differential heat regions, a region that is dissimilar to any of the one or more differential physical object regions is extracted as a heat trace region.
  • the heat trace extraction unit 313 may generate a binary image in which the heat trace area is white and the rest is black, and output the generated binary image.
  • the image processing target time may be each time at a predetermined interval, or may be a time specified by an operator of the image processing unit 31 or the like.
  • Each of the above-mentioned devices is, for example, a single hardware entity, and includes an input section capable of inputting a signal from outside the hardware entity, an output section capable of outputting a signal outside the hardware entity, and a communication section external to the hardware entity.
  • a communication unit that can be connected to a communication device (for example, a communication cable), a CPU (Central Processing Unit, which may be equipped with cache memory, registers, etc.) that is an arithmetic processing unit, RAM or ROM that is memory, and a hard disk. It has an external storage device, an input section, an output section, a communication section, a CPU, a RAM, a ROM, and a bus that connects the external storage device so that data can be exchanged therebetween.
  • the hardware entity may be provided with a device (drive) that can read and write a recording medium such as a CD-ROM.
  • a physical entity with such hardware resources includes a general-purpose computer.
  • the external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, when reading the program (It may also be stored in a ROM, which is a dedicated storage device.) Further, data obtained through processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • the data required to process each program are read into memory as necessary, and interpreted and executed and processed by the CPU as appropriate.
  • the CPU realizes a predetermined function (each of the components expressed as . . . above, etc.). That is, each component in the embodiment of the present invention may be configured by a processing circuit.
  • a program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a non-transitory recording medium, specifically a magnetic recording device, an optical disk, or the like.
  • this program is performed, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer into the auxiliary storage unit 1050, which is its own non-temporary storage device. Store. When executing a process, this computer loads a program stored in the auxiliary storage unit 1050, which is its own non-temporary storage device, into the storage unit 1020, and executes the process according to the read program. Further, as another form of execution of this program, the computer may directly load the program from a portable recording medium into the storage unit 1020 and execute processing according to the program. Each time the received program is transferred, processing may be executed in accordance with the received program.
  • ASP Application Service Provider
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer programs from the server computer to this computer, but only realizes processing functions by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the present apparatus is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be implemented in hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

閾値決定装置２は、サーマルカメラ１３で或る撮影範囲を対象時刻に撮影して得た熱画像と、或る撮影範囲の背景の熱画像である背景熱画像とを用いて、熱画像において背景と異なる画素を判定するための閾値であって、熱画像の画素と背景熱画像の対応する画素との画素値の減算値に対する閾値を、対象時刻より過去に撮影範囲に存在していた主体の温度と背景の温度との差分が大きいほど閾値の絶対値が大きな値となるように決定する閾値決定部２５を備えている。

Description

閾値決定装置、方法及びプログラム
　開示の技術は、熱画像の背景差分を取得する技術に関する。
　特許文献１には熱画像と実体物画像のそれぞれの背景差分を用いた画像処理を行うことで熱痕跡の領域を抽出する技術が記載されている。熱痕跡とは、過去に人などの主体が物に触れたことによって、主体が触れた場所に残った熱により特定される主体が触れた痕跡のことである。熱画像の各画素値は、熱画像の各画素の温度を示す値である。熱画像の背景差分を取得する処理（以下、「背景差分処理」ともいう）は、具体的には、熱画像と背景熱画像との間で、各画素の画素値に実質的な差分があるか否かを判定し、各画素の温度に実質的な差分があるか否かを表す情報による画像である差分熱画像を得る処理である。特許文献１には、熱画像と背景熱画像の画素値の差が一定の閾値以上であれば「背景と異なる画素」だと判定され、そうでない場合には「背景と同じ画素」だと判定される背景差分処理が例示されている。すなわち、特許文献１では、熱画像の背景差分処理における閾値は一定である。
国際公開第２０２２／０８０３５０号
　閾値が一定の場合には、例えば、冷え性の人の手で触った場所に残された熱、寒い外から帰ってきてすぐに触れた場所に残された熱等が熱画像の背景差分処理で背景と異なる画素としてうまく抽出されない可能性がある。すなわち、特許文献１のように熱画像の背景差分処理に常に同じ閾値を用いると、背景にある物に触れた主体の温度次第では、主体が触れた熱が残っているにもかかわらず、熱画像の背景差分処理では背景と異なる画素だと判定されない可能性がある。
　開示の技術の目的は、熱画像の背景差分処理において、主体が触れた熱が残っている画素を背景と異なる画素だと判定する精度を高めるための閾値を決定することにある。
　開示の技術の一態様は、閾値決定装置であって、サーマルカメラで或る撮影範囲を対象時刻に撮影して得た熱画像と、或る撮影範囲の背景の熱画像である背景熱画像とを用いて、熱画像において背景と異なる画素を判定するための閾値であって、熱画像の画素と背景熱画像の対応する画素との画素値の減算値に対する閾値を、前記対象時刻より過去に前記或る撮影範囲に存在していた主体の温度と背景の温度との差分が大きいほど閾値の絶対値が大きな値となるように決定する閾値決定部を備えている。
　開示の技術によれば、熱画像の背景差分において、主体が触れた熱が残っている画素を背景と異なる画素だと判定する精度を高めるための閾値を決定することができる。
図１は、閾値決定装置２の機能構成の例を示す図である。 図２は、閾値決定方法及び画像処理方法の処理手続きの例を示す図である。 図３は、閾値決定装置２及び画像処理装置３が背景熱画像を取得する処理の手続きの例を示す図である。 図４は、主体が接触した箇所の温度の変化の例を示す図である。 図５は、主体が接触した箇所の温度の変化の例を示す図である。 図６は、画像処理装置３の機能構成の例を示す図である。 図７は、画像処理部３１の機能構成の例を示す図である。 図８は、コンピュータの機能構成例を示す図である。
　以下、図面を参照して開示の技術の実施形態を説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　[閾値決定装置及び方法]
　閾値決定装置２は、図１に示すように、熱画像取得部２３、閾値決定部２５を例えば備えている。閾値決定装置２は、サーマルカメラ１３、背景熱画像取得部２４、図１に破線で示す、可視光カメラ１１、可視画像取得部２１を更に備えていてもよい。
　閾値決定方法は、閾値決定装置２の各構成部が、閾値決定の処理を行う各タイミング（以下、「閾値決定時刻」ともいう）に図２に示すステップＳ１３、Ｓ２３、Ｓ２５の処理を行うことにより例えば実現される。閾値決定部２５が閾値決定の処理を行うタイミングについては後述する。
　なお、閾値決定装置２がステップＳ２５の処理で用いる背景熱画像を取得する処理は、閾値決定装置２の各構成部が、図３に示すステップＳ１３、Ｓ２３、Ｓ２４－１、Ｓ２４－２の処理を行うことにより例えば実現される。
　以下、閾値決定装置２の各構成部の処理について説明する。
　<サーマルカメラ１３>
　サーマルカメラ１３は、閾値決定装置２の動作開始以降の各時刻に、実体物が発する熱を撮影するカメラである。サーマルカメラ１３は、或る撮影範囲の実体物が発する熱の画像、より詳しくは、当該撮影範囲に存在する実体物が放射した熱をサーマルカメラ１３側から取得した像により構成される画像である熱画像、を各時刻に撮影する（ステップＳ１３）。サーマルカメラ１３で撮影された各時刻の熱画像は、熱画像取得部２３に入力される。実体物は、実体を有するものである。撮像範囲に存在する実体物の例は、撮影範囲の中の背景として存在している物、撮影範囲の中にいる人、及び、撮影範囲の中に入ってきた人である。
　<熱画像取得部２３>
　熱画像取得部２３は、閾値決定装置２の動作開始以降の各時刻に動作する。熱画像取得部２３は、サーマルカメラ１３によって撮影された各時刻の熱画像を取得する（ステップＳ２３）。取得された各時刻の熱画像は、閾値決定装置２の動作が開始してから所定時間T1経過するまでは背景熱画像取得部２４に入力され、閾値決定装置２の動作が開始してから所定時間T1経過した後は閾値決定部２５に入力される。ただし、閾値決定装置２の動作が開始してから所定時間T1経過した後であっても、背景熱画像取得部２４が背景熱画像を取得する場合には、背景熱画像取得部２４が必要とする時刻の熱画像は閾値決定部２５に入力される。
　<背景熱画像取得部２４>
　背景熱画像取得部２４は、閾値決定装置２の動作が開始してから所定時間T1経過したときに動作する。背景熱画像取得部２４は、熱画像取得部２３から入力された熱画像が所定時間T1分蓄積されたときに、すなわち、閾値決定装置２の動作が開始してから所定時間T1経過したときに（ステップＳ２４－１でＹＥＳ）、熱画像取得部２３から入力された所定時間T1分の熱画像に基づいて、撮影範囲の背景の熱画像である背景熱画像を取得して（ステップＳ２４－２）、取得した背景熱画像を出力する。撮影範囲の背景の熱画像とは、撮影範囲の中に背景として存在している物が発する熱の画像であり、より詳しくは、撮影範囲の中に背景として存在している物が発する熱をサーマルカメラ１３側から取得した像により構成される画像である。取得された背景熱画像は、閾値決定部２５に入力される。
　背景熱画像取得部２４は、どのような方法を用いて背景熱画像を取得してもよい。背景熱画像取得部２４は、例えば、各画素の画素値が、閾値決定装置２の動作が開始してから所定時間T1分の複数個の熱画像の対応する画素の画素値の平均値又は中央値である画像を背景熱画像として取得してもよいし、例えば、閾値決定装置２の動作が開始してから所定時間T1内の或る１個の熱画像を背景熱画像として取得してもよい。また、背景熱画像取得部２４は、閾値決定装置２の動作が開始してから所定時間T1経過した後であっても、背景熱画像を取得するのに好適であると判断されることがあれば、その時点で背景熱画像を取得してもよい。なお、背景熱画像取得部２４は、閾値決定装置２とは異なる装置が取得した背景熱画像の入力を受け付けて、入力された背景熱画像を出力するようにしてもよい。
　<閾値決定部２５>
　閾値決定部２５は、閾値決定装置２の動作が開始してから所定時間T1経過した後の各閾値決定時刻に動作する。
　閾値決定部２５には、熱画像取得部２３で得られた熱画像が入力される。また、閾値決定部２５には、閾値決定装置２の動作が開始してから所定時間T1経過したときには、背景熱画像取得部２４で得られた背景熱画像が入力される。また、閾値決定装置２の動作が開始してから所定時間T1経過した後であっても、背景熱画像取得部２４が新たな背景熱画像を取得したときは、取得した背景熱画像が入力される。
　熱画像取得部２３で得られた熱画像は、実体物が発する熱を撮影するためのサーマルカメラ１３で或る撮影範囲を撮影することにより得られる実体物が発する熱の画像である熱画像である。背景熱画像取得部２４で得られた背景熱画像は、或る撮影範囲の背景の熱画像である背景熱画像である。
　閾値決定部２５は、閾値決定時刻において、熱画像の背景差分処理を行う時刻（以下、「対象時刻」という）であって閾値決定時刻以降の時刻の熱画像と背景熱画像とを用いて熱画像において背景と異なる画素を判定するための閾値であって、熱画像の画素と背景熱画像の対応する画素との画素値の減算値に対する閾値を、閾値決定時刻に撮影範囲に存在している主体の温度と背景の温度との差分が大きいほど閾値の絶対値が大きな値となるように決定する（ステップＳ２５）。
　なお、熱画像において背景と異なる画素の判定は、例えば以下のような判定である。この判定は、例えば、図１に一点鎖線で示す画像処理部３１で行われる。すなわち、閾値決定装置２が出力した閾値は、画像処理を行う画像処理部３１を備える別の装置に入力される。ただし、後述するように、閾値決定装置２が後述する画像処理装置３に含まれていてもよい。
　熱画像において背景と異なる画素の判定は、(A)閾値決定時刻に撮影範囲に存在している主体の温度が背景の温度よりも高い場合には、(A-1)熱画像の画素の画素値から背景熱画像の対応する画素の画素値を減算した値が閾値より大きいか以上であるときに、当該画素は背景と異なる画素であると判定するか、または、(A-2)背景熱画像の画素の画素値から熱画像の対応する画素の画素値を減算した値が閾値より小さいか以下であるときに、当該画素は背景と異なる画素であるとする判定である。
　また、熱画像において背景と異なる画素の判定は、(B)閾値決定時刻に撮影範囲に存在している主体の温度が背景の温度よりも低い場合には、(B-1)熱画像の画素の画素値から背景熱画像の対応する画素の画素値を減算した値が閾値より小さいか以下であるときに、当該画素は背景と異なる画素であると判定するか、または、(B-2)背景熱画像の画素の画素値から熱画像の対応する画素の画素値を減算した値が閾値より大きいか以上であるときに、当該画素は背景と異なる画素であるとする判定である。
　この判定の詳細については、後述する。なお、以下では、閾値決定時刻に撮影範囲に存在している主体のことを「熱主体」ともいう。
　閾値決定部２５は、例えば、熱主体の温度と背景の温度との差分に比例する値を閾値として決定する。より具体的には、閾値決定部２５は、熱主体の温度をthとし、背景の温度をtbとし、正の値をαとして、下記の式(1)によって定義される値を、上述した(A-1)の判定と(B-1)の判定における閾値としてもよい。
　α(th - tb)　…(1)
　同様に、閾値決定部２５は、下記の式(2)によって定義される値を、上述した(A-2)の判定と(B-2)の判定の閾値としてもよい。
　α(tb - th)　…(2)
　式(1)と式(2)から分かる通り、αは、「熱主体の温度thと背景の温度tbとの差分に比例する値」における比例の比例定数である。
　熱主体の温度と背景の温度との差分が大きいほど閾値の絶対値が大きな値となるように閾値を決定することで、言い換えれば、熱主体の温度と背景の温度との差分が小さいほど閾値の絶対値が小さな値となるように閾値を決定することで、冷え性の人の手で触った場所に残された熱、寒い外から帰ってきてすぐに触れた場所に残された熱等を熱画像の背景差分処理で背景と異なる画素だと判定する精度を従来よりも高めることが可能となる。
　<<熱主体の温度>>
　以下、熱主体の温度の求め方の例を２つ説明する。
　<<<例１>>>
　熱主体の温度の求め方の例１は、熱主体の温度を、閾値決定時刻の熱画像に含まれる温度から求めるものである。より詳細には、熱主体の温度の求め方の例１は、閾値決定部２５が、熱主体の温度を、閾値決定時刻の熱画像の中の熱主体の領域に含まれる画素の画素値から取得するものである。
　例えば、閾値決定部２５は、閾値決定時刻の熱画像の中の熱主体の領域内の所定の位置の画素値が示す温度を、熱主体の温度とする。
　熱主体の領域内の所定の位置の例は、熱主体の領域の重心等の１つの位置である。
　熱主体の領域内の所定の位置は、熱主体の領域の重心周辺の複数の位置であってもよい。重心周辺の複数の位置の例は、重心を中心とする所定の長さの半径を有する円に含まれる複数の位置である。
　所定の位置が複数の位置である場合には、閾値決定部２５は、複数の位置の画素値の代表値が示す温度を、熱主体の温度とする。代表値は、例えば、平均値、中央値、最頻値等の複数の値を代表する値である。なお、この場合、閾値決定部２５は、複数の位置の画素値から外れ値を除いた値の代表値が示す温度を、熱主体の温度としてもよい。外れ値は、最小値、最大値、例えば人である主体の体温としてあり得ない温度を示す値の少なくとも何れかのことである。主体の体温としてあり得ない温度を示す値の例は、40度以上の温度を示す値である。
　熱主体の温度を複数の位置の画素値から求めることで、熱主体の温度をより高い精度で求めることができる。また、熱主体の温度を複数の位置の画素値のうちの外れ値を除いた値から求めることで、熱主体の温度をより高い精度で求めることができる。
　熱主体が人である場合であれば、熱主体の温度は、熱画像の中の人の肌が露出した領域内の所定の位置の画素値が示す温度である。人の肌が露出した領域の例は、人の顔、手、首、肩、腕、足などである。
　閾値決定部２５は、閾値決定時刻の熱画像の中の人の肌が露出した領域を、閾値決定時刻の熱画像を用いて判定してもよいし、閾値決定時刻の可視画像を用いて判定してもよい。
　閾値決定部２５が、可視画像を用いた処理を行う場合には、可視画像を用いた処理を行う前に、閾値決定部２５に可視画像が入力される。そのために、閾値決定部２５は、閾値決定装置２とは異なる装置が取得した可視画像の入力を受け付けてもよいし、図１に破線で示すように、閾値決定装置２が可視画像取得部２１を備えていてもよいし、閾値決定装置２が可視光カメラ１１を更に備えていてもよい。可視光カメラ１１及び可視画像取得部２１については、後述する。
　閾値決定時刻の可視画像を用いて判定する場合には、閾値決定部２５は、人の肌が露出した領域を閾値決定時刻の可視画像を用いて判定して、判定された閾値決定時刻の可視画像の中の人の肌が露出した領域に対応する閾値決定時刻の熱画像の中の領域を、人の肌が露出した領域とする。
　可視画像の中の人の肌が露出した領域の判定は、既存のアルゴリズムを用いて行うことができる。例えば、閾値決定部２５は、閾値決定時刻の可視画像に含まれる人の肌の色の連結領域を、人の肌が露出した領域とする。また、閾値決定部２５は、予め学習された畳み込みニューラルネットワークを用いて人の肌が露出した領域を判定してもよい。
　<<<例２>>>
　熱主体の温度の求め方の例２は、熱主体の温度を、所定の時間区間に含まれる熱画像から求めるものである。
　例えば、閾値決定部２５は、熱主体の温度としてあり得る最も高い温度（熱主体が人である場合であれば、例えば４０℃）をtmとして、閾値決定部２５は、所定の時間区間に熱画像の各画素値が示す温度の中で、tm以下の最も高い温度を熱主体の温度とする。これは、熱主体の体温が所定の温度の範囲に含まれると想定できることを利用したものである。
　この例のように、tmより大きい温度を除くことで、熱主体が持っている熱い物等の温度を、熱主体の温度として検出することを避けることができる。
　所定の時間区間の終端は、閾値決定時刻である。
　所定の時間区間の始端は、例えば、所定の時間区間の終端から予め定めた時間だけ過去の時刻である。時間区間の終端の熱画像に写っている熱主体が熱画像に写っていると想定される時間区間を所定の時間区間とすればよいことからすると、予め定めた時間の例は、数秒である。ただし、予め定めた時間は、１時間等の十分に長い時間Tcであってもよい。所定の時間区間の始端を、所定の時間区間の終端から時間Tcだけ過去の時刻とした場合には、閾値決定部２５は閾値決定の処理も十分に長い時間（例えば、Tc）間隔毎に行ってもよい、すなわち、隣接する閾値決定時刻の間隔は十分に長い時間（例えば、Tc）であってもよい。
　時間区間の終端の熱画像に写っている熱主体が熱画像に写っていると想定される時間区間を所定の時間区間とすればよいことからすると、所定の時間区間の始端は、所定の時間区間の終端から遡って、熱画像に背景熱画像からの差分がある時間だけ過去の時刻であってもよい。
　なお、閾値決定部２５は、熱主体の温度の求め方の例１で説明した手法と同様の手法により、所定の時間区間の各時刻の熱画像の中の熱主体の領域内の所定の位置の画素値が示す温度を求めて、求まったすべての温度の代表値を、熱主体の温度としてもよい。
　<<背景の温度>>
　閾値決定部２５は、例えば、閾値決定時刻の熱画像の中の熱主体の領域に含まれる画素に対応する背景熱画像の画素の値が示す温度を、背景の温度とする。
　<<閾値決定部２５が閾値決定の処理を行うタイミング>>
　閾値決定部２５は、閾値決定の処理を、所定の時間間隔毎に行ってもよい。例えば、閾値決定部２５は、閾値決定の処理を、各時刻に行ってもよい。すなわち、各閾値決定時刻は、閾値決定装置２の動作が開始してから所定時間T1経過した後の所定の時間間隔毎の各時刻であってもよいし、閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻であってもよい。
　以下の説明では、閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻をT2とし、時刻T2よりも所定時間Tintervalだけ過去の時刻をT3として説明する。所定時間Tintervalは、例えば数秒である。所定時間Tintervalは、利用する状況に応じて適宜定められてもよい。
　閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻の可視画像が閾値決定部２５に入力されている場合には、閾値決定部２５は、可視画像で差分が発生したときに、閾値決定の処理を行ってもよい。言い換えれば、過去の時刻T3の可視画像IT3と時刻T2の可視画像IT2との差分d(IT3,IT2)が所定量ε1より大きいか以上である場合に、閾値決定部２５は、T2を閾値決定時刻として、閾値決定の処理を行ってもよい。
　ある画像P1及びある画像P2がN個の画素から構成されており、画像P1の各画素値をV1n(n=1,…,N)、画像P2の各画素値をV2n(n=1,…,N)と表記する。この場合、画像P1と画像P2との差分d(P1,P2)の例は、Σn=1 N|V1n-V2n|, Σn=1 N|V1n-V2n|2である。もちろん、画像P1と画像P2との差分d(P1,P2)として他の既存の距離尺度の値が用いられてもよい。
　なお、閾値決定部２５は、画像P1と画像P2との差分d(P1,P2)が所定量より大きいか以上であるかを、予め学習されたディープニューラルネットワークを用いて判断してもよい。
　また、閾値決定部２５は、熱画像で差分が発生したときに、閾値決定の処理を行ってもよい。言い換えれば、過去の時刻T3の熱画像JT3と時刻T2の熱画像JT2との差分d(JT3,JT2)が所定量ε2より大きいか以上である場合に、閾値決定部２５は、T2を閾値決定時刻として、閾値決定の処理を行ってもよい。
　なお、所定量ε1,ε2は、所望の結果が得られるように、例えば実験等により予め定めておけばよい。これは、予め定めておく必要がある所定時間等の値についても同様である。
　<<閾値を決定する範囲、閾値が適用される範囲>>
　閾値決定部２５は、熱画像において背景と異なる画素を判定するための閾値を、熱画像を所定の領域分割アルゴリズムによって分割した部分領域毎に決定するとよい。この場合には、画像処理部３１が行う熱画像において背景と異なる画素の判定においては、部分領域毎に決定された閾値が用いられる。
　なお、閾値決定部２５は、熱画像において背景と異なる画素を判定するための閾値を、熱画像全体に対応する閾値として１つだけ決定してもよい。この場合には、画像処理部３１が行う熱画像において背景と異なる画素の判定においては、熱画像の全ての画素に対して同じ閾値が用いられる。
　また、閾値決定部２５は、熱画像において背景と異なる画素を判定するための閾値を、画素毎に決定してもよい。この場合には、画像処理部３１が行う熱画像において背景と異なる画素の判定においては、画素毎に決定された閾値が用いられる。
　<<αについて>>
　熱画像に主体の肌の露出部分に対応する領域が含まれている場合のαの絶対値は、熱画像に主体の肌の露出部分に対応する領域が含まれていない場合のαの絶対値より小さくてもよい。以下、図４及び図５を参照して、その理由を説明する。
　図４に、主体である人が手で扉に触れて扉を開閉したときの扉の手で触れた箇所に対応する熱画像の画素（以下、「接触箇所」という）の温度の計測結果を示す。図４の実線は、人の手が熱画像に写っている場合（この場合を以下「熱痕跡有１の場合」と呼ぶ。）の接触箇所の温度を示す。図４の破線は、人の肌の露出部分が熱画像に写っていない場合（この場合を以下「熱痕跡有２の場合」と呼ぶ。）の接触箇所の温度を示す。図４の一点鎖線は、参考のため、人が扉に触れなかった場合（この場合を以下「熱痕跡無の場合」と呼ぶ。）の接触箇所の温度を示す。
　熱痕跡有１の場合、熱痕跡有２の場合、熱痕跡無の場合の何れにおいても、人が撮影範囲に入ることにより温度が高くなり、主体が撮影範囲から出ると温度が低くなっている。
　まず、熱痕跡有１の場合について説明する。人の手が接触箇所で撮影されることにより、接触箇所では最高で33.4℃が計測されている。また、人が撮影範囲から出ると、接触箇所の温度（すなわち、熱痕跡の温度）は23℃から徐々に下がっている。ここで、人が撮影範囲に入るまでの接触箇所の温度（すなわち、背景の温度）は21℃であるため、人の温度と背景の温度の差分の最大値は12.4℃=33.4℃-21℃である。また、熱痕跡の温度と背景の温度との差分の最大値は2℃=23℃-21℃である。αを0.12とすると、式(1)により決定される閾値は、1.488℃=0.12(33.4℃-21℃)となる。閾値を1.488℃とすることにより、熱痕跡が残されている画素を背景差分処理よって背景と異なる画素として適切に判定することができると考えられる。
　次に、熱痕跡有２の場合について説明する。人の肌の露出部分は接触箇所で撮影されていないため、人が撮影範囲に入っても、接触箇所で計測される温度は最高で28.6℃である。また、人が撮影範囲から出ると、接触箇所の温度（すなわち、熱痕跡の温度）は23℃から徐々に下がっている。ここで、人が撮影範囲に入るまでの接触箇所の温度（すなわち、背景の温度）は21℃であるため、人の温度と背景の温度の差分の最大値は7.6℃=28.6℃-21℃である。また、熱痕跡の温度と背景の温度との差分の最大値は2℃=23℃-21℃である。熱痕跡有１の場合と同様にαを0.12とすると、熱痕跡有２の場合に式(1)により決定される閾値は、0.912℃=0.12(28.6℃-21℃)となる。この閾値0.912℃は、熱痕跡有１の場合の閾値1.488℃よりも低い。ただし、熱痕跡有２の場合でも、熱痕跡有１の場合と同様に熱痕跡が残っていることからすれば、熱痕跡が残されている画素を背景差分処理よって背景と異なる画素だと判定するための閾値は熱痕跡有１の場合と同様であることが望ましい。熱痕跡有２の場合には、αを例えば0.2とすれば、式(1)により決定される閾値は、1.52℃=0.2(28.6℃-21℃)となる。この閾値1.52℃は、熱痕跡有１の場合の閾値1.488℃に十分近い。したがって、熱痕跡有２の場合には、αを0.2として式(1)により閾値を決定することにより、熱痕跡有１の場合と同等の閾値を設定することができる。また、αを0.2として式(1)により閾値を決定することにより、熱痕跡有２の場合も、熱痕跡有１の場合と同様に、熱痕跡が残されている画素を背景差分処理よって背景と異なる画素として適切に判定することができると考えられる。
　すなわち、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれている場合のαの絶対値は、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれていない場合のαの絶対値より小さくするのがよいと言える。
　図５に、温度が低い部屋で主体である人が冷えた手で扉に触れて扉を開閉したときの扉の接触箇所の温度の計測結果を示す。図５は、人の手が熱画像に写っている場合の接触箇所の温度を示す。人の手が接触箇所で撮影されることにより、接触箇所では最高で8.2℃が計測されている。また、人が撮影範囲から出た直後には、接触箇所の温度（すなわち、熱痕跡の温度）として6.1℃が計測されている。人が撮影範囲に入るまでの接触箇所の平均温度（すなわち、背景の温度）は5.7℃である。このため、人の温度と背景の温度の差分の最大値は2.5℃=8.2℃-5.7℃である。また、熱痕跡の温度と背景の温度との差分の最大値は0.4℃=6.1℃-5.7℃である。αを0.12とすると、式(1)により決定される閾値は、0.3℃=0.12(8.2℃-5.7℃)となる。閾値を0.3℃とすることにより、熱痕跡が残されている画素を背景差分処理よって背景と異なる画素として適切に判定することができると考えられる。
　図４及び図５の以上の説明から、αの値は、室温や気温に依存させて決定する必要はなく、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれている場合のαの絶対値が、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれていない場合のαの絶対値より小さくなるようにすればよい、ということが分かる。
　閾値決定部２５は、予め定められた互いに異なる複数のαの候補値から１個のαを選択して、選択されたαを用いて式(1)により閾値を決定してもよい。
　先に述べたように、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれている場合のαの絶対値は、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれていない場合のαの絶対値より小さいほうがよい。このため、閾値決定部２５は、例えば、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれているかを判定して、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれていると判定された場合には、閾値の決定に用いる熱画像に主体の肌の露出部分に対応する領域が含まれていないと判定された場合よりも、小さい候補値を閾値の決定に用いるαとして選択してもよい。
　なお、主体が触れる物質の熱伝導率が高い場合には、主体の熱は、物質中で広がりやすいため、熱痕跡としては残りにくい。このため、主体が触れる物質の熱伝導率が高い場合には、αは比較的小さい値であることが好ましい。熱伝導率が高い物質の例は、金属である。
　一方、主体が触れる物質の熱伝導率が低い場合には、主体の熱は、物質中で広がりづらく、表面にとどまりやすい。このため、主体が触れる物質の熱伝導率が低い場合には、αは比較的大きい値であることが好ましい。熱伝導率が低い物質の例は、紙、木、発砲スチロールである。
　これらのことから、主体が触れる物質の熱伝導率が高いほど小さい値のαが対応付けられているとして、閾値決定部２５は、可視画像及び／又は熱画像から、主体が触れる物質を判定して、予め定められた互いに異なる複数のαの候補値の中から、判定された物質に対応付けられている候補値を閾値の決定に用いるαとして選択してもよい。
　なお、閾値決定部２５は、主体が触れる物の大きさや厚さを考慮して、αを決定してもよい。
　先に述べたように、閾値決定部２５は、図１に破線で示す、可視光カメラ１１及び可視画像取得部２１を備えていてもよい。以下、可視光カメラ１１及び可視画像取得部２１の例について説明する。
　<可視光カメラ１１>
　可視光カメラ１１は、各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻に、実体物を撮影するためのカメラである。可視光カメラ１１は、サーマルカメラ１３と同じ撮影範囲の実体物の画像、より詳しくは、当該撮影範囲に存在する実体物を可視光カメラ１１側から見た像により構成される画像である可視画像、を各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻に撮影する（ステップＳ１１）。可視光カメラ１１で撮影された各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻の可視画像は、可視画像取得部２１に入力される。
　<可視画像取得部２１>
　可視画像取得部２１は、各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻に動作する。可視画像取得部２１は、可視光カメラ１１によって撮影された各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻の可視画像を取得する（ステップＳ２１）。取得された各閾値決定時刻または閾値決定装置２の動作が開始してから所定時間T1経過した後の各時刻の可視画像は、閾値決定部２５に入力される。
　これまで説明してきた閾値決定装置２及び方法の処理により、熱画像において熱痕跡が残されている画素を判定する精度を従来よりも高めるための閾値を決定することができる。
　[画像処理装置及び方法]
　画像処理装置３は、図６に示すように、閾値決定装置２と、画像処理部３１とを例えば備えている。画像処理装置３は、可視光カメラ１１、サーマルカメラ１３を更に備えていてもよい。
　画像処理方法は、画像処理装置３の各構成部が、画像処理装置３の動作が開始してから所定時間T1経過した後の画像処理の対象とする各時刻（以下、画像処理対象時刻）と各閾値決定対象時刻に図２に示すステップＳ１３、Ｓ２３の処理を行い、各閾値決定対象時刻にステップＳ２５を行い、各画像処理対象時刻にステップＳ３１の処理を行うことにより例えば実現される。なお、画像処理装置３は、各構成部が図３に示すステップＳ１３、Ｓ２３、Ｓ２４－１、Ｓ２４－２の処理を例えば行うことにより、ステップＳ２５、Ｓ３１の処理で用いる背景熱画像を得る処理を行ってもよい。
　閾値決定装置２の処理（例えば、ステップＳ１３、Ｓ２３、Ｓ２４－１、Ｓ２４－２、Ｓ２５の処理）は、先に説明したので、ここでは重複説明を省略する。
　<画像処理部３１>
　画像処理部３１は、図７に示すように、背景可視画像取得部３１０、差分可視画像生成部３１１、差分熱画像生成部３１２、熱痕跡抽出部３１３を例えば備えている。
　画像処理部３１には、閾値決定装置２の熱画像取得部２３で取得された画像処理対象時刻の熱画像、閾値決定装置２の背景熱画像取得部２４で取得された背景熱画像、閾値決定装置２の閾値決定部２５で決定された閾値の中で最も新しい閾値が、少なくとも入力される。画像処理部３１は、ステップＳ２５で得た閾値を用いた熱画像の背景差分処理を少なくとも含む所定の画像処理を行う。
　以下、画像処理部３１が熱痕跡の抽出処理を行う場合を例に挙げて説明する。もちろん、画像処理部３１は、熱痕跡の抽出以外の処理を行ってもよい。画像処理部３１が熱痕跡の抽出処理を行う場合には、可視光カメラ１１と可視画像取得部２１は画像処理装置３の動作開始以降の各時刻に動作し、画像処理部３１には可視画像取得部２１で取得された各時刻の熱画像も入力される。
＜背景可視画像取得部３１０＞
　背景可視画像取得部３１０は、画像処理装置３の動作が開始してから所定時間T1経過したときに動作する。背景可視画像取得部３１０は、可視画像取得部２１から入力された可視画像が所定時間T1分蓄積されたときに、すなわち、画像処理装置３の動作が開始してから所定時間T1経過したときに、可視画像取得部２１から入力された所定時間T1分の可視画像に基づいて、撮影範囲の背景の可視画像である背景可視画像を取得して、取得した背景可視画像を出力する。撮影範囲の背景の可視画像とは、撮影範囲の中に背景として存在している物の画像であり、より詳しくは、撮影範囲の中に背景として存在している物を可視光カメラ１１側から見た像により構成される画像である。取得された背景可視画像は差分可視画像生成部３１１に入力される。
　背景可視画像取得部３１０は、どのような方法を用いて背景可視画像を取得してもよい。背景可視画像取得部３１０は、例えば、各画素の画素値が、画像処理装置３の動作が開始してから所定時間T1分の複数個の可視画像の対応する画素の画素値の平均値又は中央値である画像を背景可視画像として取得してもよいし、例えば、画像処理装置３の動作が開始してから所定時間T1内の或る１個の可視画像を背景可視画像として取得してもよい。また、背景可視画像取得部３１０は、画像処理装置３の動作が開始してから所定時間T1経過した後であっても、背景可視画像を取得するのに好適であると判断されることがあれば、その時点で背景可視画像を取得してもよい。なお、背景可視画像取得部３１０は、画像処理装置３とは異なる装置が取得した背景可視画像の入力を受け付けて、入力された背景可視画像を出力するようにしてもよい。
　<差分可視画像生成部３１１>
　差分可視画像生成部３１１には、可視画像取得部２１で取得された画像処理対象時刻の可視画像と、背景可視画像取得部３１０で取得された背景可視画像と、が入力される。背景可視画像取得部３１０で取得された背景可視画像が複数個ある場合には、画像処理対象時刻において最も新しい背景可視画像が差分可視画像生成部３１１に入力される。
　差分可視画像生成部３１１は、画像処理対象時刻の可視画像と画像処理対象時刻において最も新しい背景可視画像との間の差分の画像である差分可視画像を生成して（ステップＳ３１１）、生成した当該画像処理対象時刻の差分可視画像を出力する。要するに、差分可視画像生成部３１１は、実体物を撮影するための可視光カメラ１１で或る撮影範囲を撮影することにより得られる実体物の画像である画像処理対象時刻の可視画像と、当該或る撮影範囲の画像処理対象時刻において最も新しい背景の可視画像である背景可視画像との間の差分の画像である差分可視画像を生成する。生成された差分可視画像は、熱痕跡抽出部３１３に入力される。
　<差分熱画像生成部３１２>
　差分熱画像生成部３１２には、熱画像取得部２３で取得された画像処理対象時刻の熱画像と、背景熱画像取得部２４で取得された背景熱画像と、閾値決定部２５で決定された閾値と、が入力される。背景熱画像取得部２４で取得された背景熱画像が複数個ある場合には、画像処理対象時刻において最も新しい背景熱画像が差分熱画像生成部３１２に入力される。閾値決定部２５では各閾値決定時刻に閾値が決定されているので、閾値決定部２５で決定された閾値のうちの画像処理対象時刻において最も新しい閾値が差分熱画像生成部３１２に入力される。
　差分熱画像生成部３１２は、画像処理対象時刻の熱画像と、画像処理対象時刻において最も新しい背景熱画像との間の差分の画像である差分熱画像を、画像処理対象時刻において最も新しい閾値を用いた背景差分処理によって生成して（ステップＳ３１２）、生成した当該画像処理対象時刻の差分熱画像を出力する。要するに、差分熱画像生成部３１２は、実体物が発する熱を撮影するためのサーマルカメラ１３で或る撮影範囲を撮影することにより得られる実体物が発する熱の画像である画像処理対象時刻の熱画像と、当該或る撮影範囲の画像処理対象時刻において最も新しい背景の熱画像である背景熱画像との間の差分の画像である差分熱画像を、画像処理対象時刻において最も新しい閾値を用いた背景差分処理によって生成する。生成された差分熱画像は、熱痕跡抽出部３１３に入力される。
　差分熱画像生成部３１２が行うステップＳ３１２の背景差分処理が、熱画像において背景と異なる画素を判定する処理である。すなわち、差分熱画像生成部３１２における画像処理対象時刻は、熱画像の背景差分処理を行う時刻であり、上述した「対象時刻」である。
　以下、差分熱画像生成部３１２が行うステップＳ３１２における熱画像において背景と異なる画素の判定について説明する。以下の説明では、閾値決定部２５で決定された閾値の中で最も新しい閾値（すなわち、画像処理対象時刻より過去の閾値決定対象時刻のうちの最も新しい閾値決定対象時刻に閾値決定部２５で決定された閾値）をtchとし、閾値決定部２５で得た熱主体の温度の中で最も新しい熱主体の温度（すなわち、画像処理対象時刻より過去の閾値決定対象時刻のうちの最も新しい閾値決定対象時刻に閾値決定部２５で得た熱主体の温度）をthとし、背景の温度をtbとし、画像処理対象時刻の熱画像の画素の画素値をttとし、背景熱画像の対応する画素の画素値をt0とする。
　差分熱画像生成部３１２は、(Ａ)熱主体の温度thが背景の温度tbよりも高い場合には、(Ａ-1)tt-t0>tch又はtt-t0≧tchのときに、画像処理対象時刻の熱画像の当該画素は背景と異なる画素であると判定するか、または、(Ａ-2)t0-tt<tch又はt0-tt≦tchのときに、画像処理対象時刻の熱画像の当該画素は背景と異なる画素であると判定し、(B)熱主体の温度thが背景の温度tbよりも低い場合には、(B-1)tt-t0<tch又はtt-t0≦tchのときに、画像処理対象時刻の熱画像の当該画素は背景と異なる画素であると判定するか、または、(B-2)t0-tt>tch又はt0-tt≧tchのときに、画像処理対象時刻の熱画像の当該画素は背景と異なる画素であると判定する。
　なお、熱画像の画素が背景と異なる画素であるということは、熱画像において背景との温度が実質的に異なる画素であるということであり、熱画像の画素と背景熱画像の対応する画素とが実質的に異なるということである。
　ここで、画像処理対象時刻の熱画像において背景との温度が実質的に異なる画素は、温度が背景と異なる主体が写っている画素であるか、または、過去に存在していた主体が残した熱が写っている画素である。一定の閾値を用いた熱画像の背景差分処理を行うと、温度が背景と異なる主体が写っている画素については、背景と異なる画素であると判定することができるものの、過去に存在していた主体が残した熱が写っている画素については、背景と異なる画素であると判定できない可能性がある。これに対し、熱画像の背景差分処理として、閾値決定部２５で決定された閾値の中で最も新しい閾値を用いて(A-1)と(A-2)と(B-1)と(B-2)の何れかを行えば、温度が背景と異なる主体が写っている画素については、一定の閾値を用いた場合と同様に背景と異なる画素であると判定することができる上に、過去に存在していた主体が残した熱が写っている画素についても、一定の閾値を用いた場合よりも高精度に、背景と異なる画素であると判定することができる。
　すなわち、差分熱画像生成部３１２が画像処理対象時刻に行うステップＳ３１２の熱画像の背景差分処理は、画像処理対象時刻より過去の閾値決定対象時刻のうちの最新の閾値決定対象時刻に閾値決定部２５で決定された閾値であって、最新の閾値決定時刻まで撮影範囲に存在していたことにより熱痕跡を残した主体の温度と背景の温度との差分が大きいほど絶対値が大きな値となるように決定された閾値である閾値tchを用いて、熱画像において熱痕跡が残されている画素を判定する処理を要部として含んでいる。
　差分熱画像生成部３１２が画像処理対象時刻に行うステップＳ３１２の熱画像の背景差分処理の要部は、より詳しくは、(Ａ)最新の閾値決定時刻まで存在していたことにより熱痕跡を残した主体の温度thが背景の温度tbよりも高い場合には、(Ａ-1)熱画像の画素の画素値ttから背景熱画像の対応する画素の画素値t0を減算した値が閾値tchより大きいか以上であるときに、当該画素は熱痕跡が残されている画素であると判定するか、または、(Ａ-2)背景熱画像の画素の画素値t0から熱画像の対応する画素の画素値ttを減算した値が閾値tchより小さいか以下であるときに、当該画素は熱痕跡が残されている画素であるとする判定であり、(B)最新の閾値決定時刻まで存在していたことにより熱痕跡を残した主体の温度thが背景の温度tbよりも低い場合には、(B-1)熱画像の画素の画素値ttから背景熱画像の対応する画素の画素値t0を減算した値が閾値tchより小さいか以下であるときに、当該画素は熱痕跡が残されている画素であると判定するか、または、(B-2)背景熱画像の画素の画素値t0から熱画像の対応する画素の画素値ttを減算した値が閾値tchより大きいか以上であるときに、当該画素は熱痕跡が残されている画素であるとする判定である。
　なお、差分熱画像生成部３１２は、(Ａ)熱主体の温度が背景の温度よりも高い場合のみを想定して(A-1)の判定または(A-2)の判定を行うものであってもよいし、(Ｂ)熱主体の温度が背景の温度よりも低い場合のみを想定して(B-1)の判定または(B-2)の判定を行うものであってもよい。差分熱画像生成部３１２が(Ａ)熱主体の温度が背景の温度よりも高い場合と(Ｂ)熱主体の温度が背景の温度よりも低い場合の両方の可能性を想定した背景差分処理を行う場合には、(A)熱主体の温度が背景の温度よりも高い場合であるか、(Ｂ)熱主体の温度が背景の温度よりも低い場合であるかを画像処理部３１が判断するために、例えば閾値決定部２５で得られた熱主体の温度及び背景の温度が画像処理部３１に入力されてもよい。
　<熱痕跡抽出部３１３>
　熱痕跡抽出部３１３は、差分可視画像生成部３１１が生成した画像処理対象時刻の差分可視画像と差分熱画像生成部３１２が生成した当該画像処理対象時刻の差分熱画像とに基づいて、熱画像から実体物の領域を取り除くことで、熱痕跡の領域を抽出して（ステップＳ３１３）、抽出した当該画像処理対象時刻の熱痕跡の領域を示す情報を出力する。
　具体的には、熱痕跡抽出部３１３は、差分可視画像における背景可視画像と異なる領域それぞれを差分実体物領域とし、差分熱画像における背景熱画像と異なる領域それぞれを差分熱領域として、１以上の差分熱領域のうち、１以上の差分実体物領域のいずれとも非類似な領域を熱痕跡の領域として抽出する。熱痕跡抽出部３１３は、熱痕跡の領域部分を白とし、それ以外を黒とした２値画像を生成し、生成した２値画像を出力してもよい。画像処理対象時刻は、所定間隔の各時刻であってもよいし、画像処理部３１の運用者等によって指定された時刻であってもよい。
　[プログラム、記録媒体など]
　上述した各装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図８に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０、表示部１０６０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　上述した各装置は、例えば単一のハードウェアエンティティとして、ハードウェアエンティティの外部から信号を入力可能な入力部、ハードウェアエンティティの外部に信号を出力可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、演算処理部であるCPU（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはROMなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行、処理される。その結果、CPUが所定の機能（上記、…部などと表した各構成部）を実現する。つまり、本発明の実施形態の各構成部は、処理回路(Processing Circuitry)により構成されてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（上述した各装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (6)

  1. 　サーマルカメラで或る撮影範囲を対象時刻に撮影して得た熱画像と、前記或る撮影範囲の背景の熱画像である背景熱画像とを用いて、前記熱画像において背景と異なる画素を判定するための閾値であって、前記熱画像の画素と前記背景熱画像の対応する画素との画素値の減算値に対する閾値を、前記対象時刻より過去に前記或る撮影範囲に存在していた主体の温度と前記背景の温度との差分が大きいほど前記閾値の絶対値が大きな値となるように決定する閾値決定部を含む、
    　閾値決定装置。
  2. 　請求項１の閾値決定装置であって、
    　前記判定は、
    　(A)前記主体の温度が前記背景の温度よりも高い場合には、(A-1)前記熱画像の画素の画素値から前記背景熱画像の対応する画素の画素値を減算した値が前記閾値より大きいか以上であるときに、当該画素は背景と異なる画素であると判定するか、または、(A-2)前記背景熱画像の画素の画素値から前記熱画像の対応する画素の画素値を減算した値が前記閾値より小さいか以下であるときに、当該画素は背景と異なる画素であるとする判定であり、
    　(B)前記主体の温度が前記背景の温度よりも低い場合には、(B-1)前記熱画像の画素の画素値から前記背景熱画像の対応する画素の画素値を減算した値が前記閾値より小さいか以下であるときに、当該画素は背景と異なる画素であると判定するか、または、(B-2)前記背景熱画像の画素の画素値から前記熱画像の対応する画素の画素値を減算した値が前記閾値より大きいか以上であるときに、当該画素は背景と異なる画素であるとする判定である、
    　閾値決定装置。
  3. 　請求項１または２の閾値決定装置であって、
    　前記閾値決定部は、前記主体の温度と前記背景の温度との差分に比例する値を前記閾値として決定する、
    　閾値決定装置。
  4. 　請求項３の閾値決定装置であって、
    　前記比例の比例定数は、αであり、
    　前記或る撮影範囲に前記主体が存在していたときの熱画像に前記主体の肌の露出部分に対応する領域が含まれている場合の前記αの絶対値は、前記或る撮影範囲に前記主体が存在していたときの熱画像に前記主体の肌の露出部分に対応する領域が含まれていない場合の前記αの絶対値より小さい、
    　閾値決定装置。
  5. 　サーマルカメラで或る撮影範囲を対象時刻に撮影して得た熱画像と、前記或る撮影範囲の背景の熱画像である背景熱画像とを用いて、前記熱画像において背景と異なる画素を判定するための閾値であって、前記熱画像の画素と前記背景熱画像の対応する画素との画素値の減算値に対する閾値を、前記対象時刻より過去に前記或る撮影範囲に存在していた主体の温度と前記背景の温度との差分が大きいほど前記閾値の絶対値が大きな値となるように決定する閾値決定ステップを含む、
    　閾値決定方法。
  6. 　請求項１又は２の閾値決定装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2022/032810 2022-08-31 2022-08-31 閾値決定装置、方法及びプログラム WO2024047807A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032810 WO2024047807A1 (ja) 2022-08-31 2022-08-31 閾値決定装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032810 WO2024047807A1 (ja) 2022-08-31 2022-08-31 閾値決定装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024047807A1 true WO2024047807A1 (ja) 2024-03-07

Family

ID=90098962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032810 WO2024047807A1 (ja) 2022-08-31 2022-08-31 閾値決定装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024047807A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027210A1 (ja) * 2018-08-03 2020-02-06 日本電信電話株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2021033293A1 (ja) * 2019-08-21 2021-02-25 日本電信電話株式会社 画像処理方法、画像処理装置及びプログラム
WO2022079910A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出方法、熱痕跡領域抽出装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020027210A1 (ja) * 2018-08-03 2020-02-06 日本電信電話株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2021033293A1 (ja) * 2019-08-21 2021-02-25 日本電信電話株式会社 画像処理方法、画像処理装置及びプログラム
WO2022079910A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出方法、熱痕跡領域抽出装置及びプログラム
WO2022080351A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
WO2022080352A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
WO2022080350A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
WO2022080353A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム

Similar Documents

Publication Publication Date Title
CN111426393B (zh) 温度修正方法、装置及系统
US9424464B2 (en) Monitoring system, monitoring method, monitoring program, and recording medium in which monitoring program is recorded
TW201401186A (zh) 人臉判斷系統以及方法
CN111202504A (zh) 一种异常对象管理方法、系统、机器可读介质及设备
CN109916517B (zh) 热影像处理系统及方法
Kuang et al. Assessment of a smartphone‐based application for diabetic foot ulcer measurement
EP3236366B1 (en) Information processing apparatus, information processing method, and storage medium
JP2010108257A (ja) メディア情報の注目度測定装置、メディア情報の注目度測定方法、メディア情報の注目度測定プログラムおよびそのプログラムを記録した記録媒体
JP2019066465A (ja) 光学式気体撮像カメラ用の背景放射輝度推定および気体濃度・長定量の方法
Li et al. Physical password breaking via thermal sequence analysis
JP6216624B2 (ja) 年齢層判定装置および年齢層判定プログラム
WO2024047807A1 (ja) 閾値決定装置、方法及びプログラム
CN108870757B (zh) 一种基于平面手势识别的热水器控制装置及控制方法
JP6464635B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN113792587A (zh) 一种获取及识别图像的方法、装置、存储介质及电子设备
CN110955580B (zh) 壳体温度的获取方法、装置、存储介质和电子设备
JP2018078540A (ja) 画像処理装置、画像処理方法及びプログラム
Jayan et al. Tongue morphometry: Evaluation of morphological variations in ethnic Tamil population
JPWO2022176342A5 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2023063807A (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JPWO2021125268A5 (ja)
JP2017205426A (ja) 心理状態評価用プログラム及び心理状態評価装置
JP7309071B2 (ja) 情報処理装置、通信システム、生成制御方法、及び生成制御プログラム
US11064949B2 (en) Method and apparatus to remove noise from electrocardiography (ECG) sensor signal
JP2006163932A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22957404

Country of ref document: EP

Kind code of ref document: A1