WO2024052973A1 - 背景更新装置、方法及びプログラム - Google Patents

背景更新装置、方法及びプログラム Download PDF

Info

Publication number
WO2024052973A1
WO2024052973A1 PCT/JP2022/033370 JP2022033370W WO2024052973A1 WO 2024052973 A1 WO2024052973 A1 WO 2024052973A1 JP 2022033370 W JP2022033370 W JP 2022033370W WO 2024052973 A1 WO2024052973 A1 WO 2024052973A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
image
thermal image
thermal
target time
Prior art date
Application number
PCT/JP2022/033370
Other languages
English (en)
French (fr)
Inventor
泰恵 岸野
良成 白井
伸 水谷
和也 尾原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/033370 priority Critical patent/WO2024052973A1/ja
Publication of WO2024052973A1 publication Critical patent/WO2024052973A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the disclosed technology relates to a technology for acquiring a background image for acquiring a background difference.
  • Patent Document 1 describes a technique for extracting a heat trace area by performing image processing using background differences between a thermal image and a real object image.
  • a heat trace is a trace of a subject, such as a person, that has touched an object in the past and is identified by the heat left at the place the subject touched.
  • Non-Patent Document 1 There is a technique described in Non-Patent Document 1 as a technique for obtaining a background image of a visible image with high accuracy.
  • Non-Patent Document 1 a background image can be obtained with high precision for a visible image, but there is a problem that the amount of calculation processing is large. Furthermore, in Non-Patent Document 1, it is not assumed that a background image of a thermal image is obtained.
  • the purpose of the disclosed technology is to process at least either a background image (background solid object image) for a real object image such as a visible image or a background image (background thermal image) for a thermal image with a smaller amount of calculation processing than Non-Patent Document 1. It's about getting something.
  • a background image background solid object image
  • a background image background thermal image
  • a background updating device that includes: (A) a thermal camera for photographing heat emitted by a real object that captures heat emitted by a real object obtained by photographing a certain shooting range at a target time; (B) A physical object image that is an image of a physical object obtained by photographing a certain shooting range at a target time with a physical object camera, and (C) Using a background thermal image that is a thermal image of the background of a certain shooting range and (D) a background physical object image that is a background physical object image of a certain shooting range, the target time is determined when predetermined conditions are met.
  • the predetermined condition is that the difference between the thermal image at the target time and the background thermal image is greater than or equal to a first predetermined amount
  • the first condition is that the difference between the real object image at the time and the background real object image is less than or equal to the second predetermined amount.
  • a background updating device that includes: (A) a thermal camera for photographing heat emitted by a real object that captures heat emitted by a real object obtained by photographing a certain shooting range at a target time; (B) A physical object image that is an image of a physical object obtained by photographing a certain shooting range at a target time with a physical object camera, and (C) Using a background thermal image that is a thermal image of the background of a certain shooting range and (D) a background physical object image that is a background physical object image of a certain shooting range, the target time is determined when predetermined conditions are met.
  • a background updating unit that obtains a physical object image as a new background physical object image
  • the predetermined condition is that the difference between the thermal image at the target time and the background thermal image is smaller than or equal to a first predetermined amount
  • the first condition is that the difference between the real object image and the background real object image at the target time is greater than or equal to a second predetermined amount.
  • At least one of a background image (background solid object image) for a real object image such as a visible image and a background image (background thermal image) for a thermal image can be obtained with a smaller amount of calculation processing than Non-Patent Document 1. can be obtained.
  • FIG. 1 is a diagram showing an example of the functional configuration of the background updating device 2.
  • FIG. 2 is a diagram illustrating an example of a processing procedure of a background updating method and an image processing method.
  • FIG. 3 is a diagram illustrating an example of a procedure in which the background updating device 2 and the image processing device 3 acquire an initial image of a background solid object image and an initial image of a background thermal image.
  • FIG. 4 is a diagram illustrating an example of a processing procedure of the background updating unit 25.
  • FIG. 5 is a diagram illustrating an example of (3) background thermal image adjustment processing performed by the background updating unit 25.
  • FIG. 6 is a diagram illustrating an example of a processing procedure of the background updating unit 25.
  • FIG. 1 is a diagram showing an example of the functional configuration of the background updating device 2.
  • FIG. 2 is a diagram illustrating an example of a processing procedure of a background updating method and an image processing method.
  • FIG. 3 is a diagram illustrating an example of a procedure in which the background updating
  • FIG. 7 is a diagram illustrating an example of a processing procedure of the background updating unit 25.
  • FIG. 8 is a diagram illustrating an example of a processing procedure of the background updating unit 25.
  • FIG. 9 is a diagram illustrating an example of the processing procedure of the background updating unit 25.
  • FIG. 10 is a diagram illustrating an example of a processing procedure of the background updating unit 25.
  • FIG. 11 is a diagram for explaining a specific example of the processing of the background updating unit 25.
  • FIG. 12 is a diagram showing an example of the functional configuration of the image processing device 3.
  • FIG. 13 is a diagram showing an example of the functional configuration of the image processing section 31.
  • FIG. 14 is a diagram showing an example of the functional configuration of a computer.
  • the background updating device 2 includes, for example, a physical object image acquisition section 21, an initial background physical object image acquisition section 22, a thermal image acquisition section 23, an initial background thermal image acquisition section 24, and a background updating section 25. ing.
  • the background updating device 2 may further include a physical object camera 11 and a thermal camera 13.
  • the background update method is realized, for example, by each component of the background update device 2 performing the processes of steps S11, S21, S13, S23, and S25 shown in FIG. 2 at each time (hereinafter referred to as "target time”). Ru.
  • the process of acquiring the initial image of the background solid object image and the initial image of the background thermal image used by the background updating device 2 in the process of step S25 is performed by each component of the background updating device 2 in step S11 shown in FIG. This is achieved, for example, by performing the processes of S21, S13, S23, S22-1, S22-2, S24-1, and S24-2.
  • the physical object camera 11 is a camera for photographing a physical object at each time after the background updating device 2 starts operating.
  • the physical object camera 11 captures an image of a physical object in a certain photographing range, more specifically, a physical object image that is an image constituted by an image of the physical object existing in the photographing range as seen from the physical object camera 11 side.
  • a photograph is taken at each time (step S11).
  • the physical object images taken at each time by the physical object camera 11 are input to the physical object image acquisition section 21 .
  • the wavelength band of the electromagnetic waves photographed by the physical object camera 11, in other words, the wavelength band of the electromagnetic waves obtained by the physical object camera 11 may be any wavelength band that can photograph the physical object.
  • the wavelength band of electromagnetic waves obtained by the physical object camera 11 and the wavelength band of electromagnetic waves obtained by the thermal camera 13 are made not to overlap.
  • the wavelength band is a range of wavelengths in which the intensity of electromagnetic waves or visible light is equal to or higher than a predetermined intensity.
  • the wavelength band of electromagnetic waves obtained by the physical camera 11 is in the near-infrared region (for example, from 780 nm to 2500 nm), and the wavelength band of electromagnetic waves obtained by the thermal camera 13 is in the wavelength range of heat rays (far-infrared region).
  • the lower limit of the wavelength band of the electromagnetic waves obtained by the physical object camera 210 may be set to 600 nm, which is the wavelength of visible light, and the wavelength band of the electromagnetic waves obtained by the thermal camera 13 may be set to 8 ⁇ m to 14 ⁇ m.
  • the imaging range may be irradiated with electromagnetic waves in the wavelength band obtained by the physical object camera 11 using the irradiator 12 that irradiates electromagnetic waves in the wavelength band obtained by the physical object camera 11 .
  • a real thing is something that has substance. Examples of real objects existing in the imaging range are an object existing as a background within the imaging range, a person within the imaging range, and a person entering the imaging range.
  • the real object image acquisition unit 21 operates at each time after the background updating device 2 starts operating.
  • the real object image acquisition unit 21 obtains the real object images taken at each time by the real object camera 11 (step S21).
  • the acquired real object images at each time are input to the initial background real object image acquisition section 22 until a predetermined time T1 has elapsed after the operation of the background updating device 2 starts, and then the background updating device 2 starts operating. After a predetermined time T1 has elapsed, the background information is input to the background update section 25.
  • the initial background solid object image acquisition unit 22 operates only when a predetermined time T1 has elapsed since the background updating device 2 started operating.
  • the initial background solid object image acquisition unit 22 is configured to operate the initial background physical object image acquisition unit 22 when the physical object images input from the physical object image acquisition unit 21 have been accumulated for a predetermined time T1, that is, when the background updating device 2 starts operating for a predetermined time T1.
  • a background solid object image which is a background physical object image in the photographing range, is generated based on the solid object images for the predetermined time T1 inputted from the physical object image acquisition unit 21.
  • the image of a physical object in the background of the photographing range is an image of an object existing as a background within the photographing range, and more specifically, an image of an object existing as a background within the photographing range on the side of the physical object camera 11. This is an image composed of images seen from.
  • the acquired background entity image is input to the background updating unit 25 as an initial image of the background entity image.
  • the initial background solid object image acquisition unit 22 may use any method to acquire the background solid object image. For example, the initial background entity image acquisition unit 22 determines that the pixel value of each pixel is the average of the pixel values of corresponding pixels of a plurality of entity images for a predetermined time T1 after the start of the operation of the background updating device 2. An image that is a value or a median value may be acquired as a background substance image, or, for example, a certain substance image within a predetermined time T1 after the operation of the background updating device 2 starts is acquired as a background substance image. It may also be acquired as an image. Further, the initial background entity image acquisition unit 22 may receive an input of a background entity image acquired by a device different from the background updating device 2, and may output the input background entity image.
  • the thermal camera 13 is a camera that photographs heat emitted by a real object at each time after the background updating device 2 starts operating.
  • the thermal camera 13 is configured with an image of heat emitted by a physical object in the same photographing range as that of the physical object camera 11, more specifically, an image obtained from the thermal camera 13 side of heat emitted by a physical object existing in the photographing range.
  • a thermal image is taken at each time (step S13). Thermal images taken at each time by the thermal camera 13 are input to the thermal image acquisition unit 23.
  • the thermal image acquisition unit 23 operates at each time after the background updating device 2 starts operating.
  • the thermal image acquisition unit 23 acquires thermal images taken at each time by the thermal camera 13 (step S23).
  • the acquired thermal images at each time are input to the initial background thermal image acquisition unit 24 until a predetermined time T1 has elapsed after the background updating device 2 starts operating, and after the background updating device 2 starts operating. After the predetermined time T1 has elapsed, it is input to the background update section 25.
  • Each pixel value of the thermal image is a value representing the temperature of each pixel of the thermal image.
  • the initial background thermal image acquisition unit 24 operates only when a predetermined time T1 has elapsed since the background updating device 2 started operating.
  • the initial background thermal image acquisition unit 24 receives the thermal image input from the thermal image acquisition unit 23 when the thermal image input from the thermal image acquisition unit 23 has been accumulated for a predetermined time T1, that is, when the predetermined time T1 has elapsed since the background updating device 2 started operating. (YES in step S24-1), a background thermal image, which is a thermal image of the background of the imaging range, is acquired based on the thermal image for a predetermined time T1 inputted from the thermal image acquisition unit 23 (step S24- 2) Output the acquired background thermal image.
  • a thermal image of the background of the shooting range is an image of the heat emitted by an object that exists as a background within the shooting range.More specifically, it is an image of the heat emitted by an object that exists as a background within the shooting range. This is an image composed of images acquired from the thermal camera 13 side. The acquired background thermal image is input to the background updating section 25.
  • the initial background thermal image acquisition unit 24 may use any method to acquire the background thermal image.
  • the initial background thermal image acquisition unit 24 sets the pixel value of each pixel to the average value of the pixel values of the corresponding pixels of a plurality of thermal images for a predetermined time T1 after the start of the operation of the background updating device 2, for example.
  • An image with the median value may be acquired as the background thermal image, or, for example, a certain thermal image within a predetermined time T1 after the background updating device 2 starts operating may be acquired as the background thermal image.
  • the initial background thermal image acquisition unit 24 may receive an input of a background thermal image acquired by a device different from the background updating device 2, and may output the input background thermal image.
  • the background update unit 25 operates at each target time after a predetermined time T1 has elapsed since the background update device 2 started operating. Considering that each target time can be said to be the current time at the time when the background update unit 25 operates, "target time” in the following explanation may be replaced with “current time”, or “of target time” may be replaced with “target time”. It may also be read as “at the current time” or “currently.”
  • the background update unit 25 receives input of the thermal image at the target time obtained by the thermal image acquisition unit 23 and the physical object image at the target time obtained by the physical object image acquisition unit 21. In addition, when a predetermined time T1 has elapsed since the start of the operation of the background updating device 2, the background updating unit 25 stores an initial image of the background thermal image obtained by the initial background thermal image obtaining unit 24 and an initial background entity object. The initial image of the background solid object image obtained by the image acquisition unit 22 is input.
  • the background update unit 25 performs at least one of (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing for the target time as necessary.
  • (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing are all convenient names given to the processing performed by the background updating unit 25. It is.
  • (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing will be collectively referred to as "background update processing" for convenience. It is sometimes called.
  • the background updating unit 25 updates the background thermal image with a new background thermal image.
  • the new background thermal image is set as a background thermal image for background updating processing so that the background updating unit 25 can use it in background updating processing performed at a subsequent time.
  • the background updating unit 25 outputs a new background thermal image; Instead, the original background thermal image may be set as the background thermal image for background updating processing so that the background updating unit 25 can use it in subsequent background updating processing.
  • the background updating unit 25 When the background updating unit 25 performs (2) background entity image replacement processing at the target time, it outputs a new background entity image, and the background updating unit 25 also outputs a new background entity image.
  • the image is set as a background entity image for background update processing so that it can be used in background update processing performed at subsequent times.
  • the new background thermal image and/or the new background solid object image output by the background updating unit 25 becomes the output of the background updating device 2.
  • the new background thermal image and/or the new background solid object image output by the background updating device 2 are input to another device including an image processing section 31 that performs image processing.
  • the background updating device 2 may be included in the image processing device 3, which will be described later.
  • the obtained new background physical object image and the new background thermal image obtained by (3) background thermal image adjustment processing are input to the image processing unit 31 of the image processing device 3.
  • the image processing section 31 is shown by a broken line.
  • the image processing unit 31 performs predetermined image processing using the newest background solid object image and the newest background thermal image. That is, if the background updating unit 25 has not yet obtained any new background entity images, the background entity image acquired by the initial background entity image acquisition unit 22 (i.e., the initial image of the background entity image) ), if the background updating unit 25 has already obtained one or more new background entity images, the newest background entity image among the new background entity images obtained by the background updating unit 25.
  • the background updating unit 25 uses the newest background thermal image among the new background thermal images obtained. , performs predetermined image processing. The predetermined image processing will be described later.
  • the background update unit 25 performs (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing at the target time.
  • An example of this will be explained with reference to FIG. After that, examples of each of the following processes will be described: (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing.
  • the target time is t2
  • the time t1 is a predetermined time T interval past the target time t2.
  • the background update unit 25 determines that the difference d(I t1 , I t2 ) between the real object image I t1 at past time t1 and the real object image I t2 at target time t2 is smaller than or equal to a predetermined amount ⁇ 1 , and , it is determined whether the difference d(J t1 , J t2 ) between the thermal image J t1 at past time t1 and the thermal image J t2 at target time t2 is less than or equal to a predetermined amount ⁇ 2 (step S251).
  • the predetermined time T interval is, for example, several seconds. The predetermined time T interval may be determined as appropriate depending on the usage situation.
  • , ⁇ n 1 N
  • 2 may be used as the difference d(P1, P2) between image P1 and image P2.
  • the background update unit 25 may use a pre-trained deep neural network to determine whether the difference d(P1, P2) between the image P1 and the image P2 is smaller than or equal to a predetermined amount.
  • step S251 it is determined that the difference d(I t1 , I t2 ) is less than or equal to the predetermined amount ⁇ 1 and the difference d(J t1 , J t2 ) is less than or equal to the predetermined amount ⁇ 2 . (i.e., the difference d(I t1 , I t2 ) is greater than or equal to the predetermined amount ⁇ 1 , and/or the difference d(J t1 , J t2 ) is the predetermined amount ⁇ 2 or more. is larger than ⁇ 2 ), the background updating unit 25 ends the processing at the target time t2 without performing the background updating process.
  • predetermined amounts ⁇ 1 and ⁇ 2 may be determined in advance by, for example, experiments so that desired results can be obtained. This also applies to other predetermined amounts, predetermined times, thresholds, etc. that need to be determined in advance.
  • step S251 it is determined that the difference d(I t1 , I t2 ) is less than or equal to the predetermined amount ⁇ 1 and the difference d(J t1 , J t2 ) is less than or equal to the predetermined amount ⁇ 2 .
  • the background updating unit 25 determines whether the difference d(I b , I t2 ) between the background physical object image I b and the physical object image I t2 at time t2 is smaller than or equal to a predetermined amount ⁇ 3 .
  • a judgment is made (step S252).
  • the background entity image I b is a background entity image for background update processing that is currently set in the background update unit 25, and is the newest background entity image.
  • the background entity image is the background entity image that was acquired by the initial background entity image acquisition section 22 and input to the background update section 25, and the background entity image is If one or more new background entity images have already been obtained, this is the background entity image obtained by the most recent processing among the new background entity images obtained by the background updating unit 25.
  • step S252 if it is not determined that the difference d(I b , I t2 ) is less than or equal to the predetermined amount ⁇ 3 (that is, the difference d(I b , I t2 ) is not less than the predetermined amount ⁇ 3 or ⁇ 3 ), the background update unit 25 determines that the difference d(J b ,J t2 ) between the background thermal image J b and the thermal image J t2 at time t2 is greater than the predetermined amount ⁇ 4 . It is determined whether the value is smaller than or equal to the value (step S253).
  • the background thermal image J b is a background thermal image for background update processing currently set in the background update unit 25, and is the latest background thermal image for background update processing.
  • the background thermal image obtained by the initial background thermal image obtaining unit 24 and input to the background updating unit 25 is the background thermal image.
  • the background update unit 25 has already obtained one or more new background thermal images for the background update process, one of the new background thermal images for the background update process obtained by the background update unit 25. This is a background thermal image for background update processing obtained in a recent process.
  • step S253 If it is determined in step S253 that the difference d(J b , J t2 ) is smaller than or equal to the predetermined amount ⁇ 4 , the background update unit 25 performs (2) a process of replacing the background solid object image. (Step S254).
  • (2) background entity image replacement processing is performed because the cause of the substantial difference between the background entity image I b and the entity image I t2 determined in step S252 is determined in step S253.
  • step S253 if it is not determined that the difference d(J b , J t2 ) is less than or equal to the predetermined amount ⁇ 4 (that is, the difference d(J b , J t2 ) is greater than or equal to the predetermined amount ⁇ 4 ⁇ 4 ), the background updating unit 25 performs (3) adjustment processing of the background thermal image (step S255).
  • (3) performing the background thermal image adjustment process is performed when the background physical object image I b and the physical object image I t2 are substantially different from each other as determined in step S252, and the background thermal image adjustment process is performed in step S253.
  • the cause of the substantial difference between the background thermal image J b and the thermal image J t2 as determined in 2 is that there is a person or a heat trace area in the shooting range at the target time t2.
  • the background of the photographing range between the time when the background thermal image J b was obtained and the target time t2, such as that at the target time t2, the illumination of the photographing range has changed since the time when the background thermal image J b was obtained. This is because it may include differences in thermal radiation.
  • step S252 if it is determined that the difference d(I b , I t2 ) is smaller than or equal to the predetermined amount ⁇ 3 , the background updating unit 25 updates the background thermal image J b and the thermal image J at time t2. It is determined whether the difference d( J b , J t2 ) from t2 is less than or equal to a predetermined amount ⁇ 4 (step S256).
  • step S256 if it is determined that the difference d(J b , J t2 ) is smaller than or equal to the predetermined amount ⁇ 4 , the background update unit 25 performs the process at the target time t2 without performing the background update process. end.
  • the reason why no background update processing is performed in this case is because there is little need to update the background, both from the perspective of the background of the physical object in the shooting range and from the perspective of the background of thermal radiation in the shooting range. be.
  • step S256 if it is not determined that the difference d(J b , J t2 ) is less than or equal to the predetermined amount ⁇ 4 (that is, the difference d(J b , J t2 ) is not less than the predetermined amount ⁇ 4 (or ⁇ 4 ), the background updating unit 25 determines whether the thermal image J t2 includes a heat trace area (step S257).
  • the background update unit 25 performs processing by a differential physical object image generation unit 311, a differential thermal image generation unit 312, and a heat trace extraction unit 313, which will be described later.
  • the region of traces may be extracted. That is, the background updating unit 25 generates a difference entity image that is an image of the difference between the entity image I t2 and the background entity image I b . Further, the background updating unit 25 generates a differential thermal image that is an image of the difference between the thermal image J t2 and the background thermal image J b .
  • the background updating unit 25 extracts the area of the physical object from the thermal image J t2 based on the differential physical object image generated by the differential physical object image generating unit 311 and the differential thermal image generated by the differential thermal image generating unit 312. By removing it, the area of heat traces is extracted.
  • the background updating unit 25 performs (1) a background thermal image replacement process (step S258).
  • (1) the background thermal image replacement process is performed because there is no substantial difference between the background physical object image I b and the physical object image I t2 as determined in step S252.
  • the cause of the substantial difference between the background thermal image J b and the thermal image J t2 is due to calibration, an increase or decrease in the temperature of the imaging range due to temperature changes, etc. This is because it is assumed that there is a difference in the background thermal radiation in the photographing range between the time when the background thermal image J b is acquired and the target time t2.
  • step S257 if it is not determined that the thermal image does not include a heat trace area, in other words, if it is determined that the thermal image includes a heat trace area, the background updating unit 25 performs (3) background thermal image adjustment processing (step S255).
  • (3) adjusting the background thermal image is done because the heat traces are temporary, and replacing the background thermal image with a thermal image that includes such temporary heat traces is not recommended.
  • substantial differences between the background thermal image J b and the thermal image J t2 determined in step S256 include an increase or decrease in the temperature of the imaging range due to calibration, temperature change, etc. This is because there is a possibility that differences in the background thermal radiation in the imaging range between the time when the background thermal image J b was acquired and the target time t2 may be included.
  • the (1) background thermal image replacement process performed by the background update unit 25 is a process of obtaining the thermal image at the target time t2 as a new background thermal image. (Step S258).
  • the (1) background thermal image replacement process performed by the background update unit 25 is a process of replacing the background thermal image with the thermal image at the target time t2.
  • the process of replacing the background thermal image is performed as step S258 after making the judgments in steps S251, S252, S256, and S257, but going through the judgments in the example of FIG. 4 is just an example.
  • the background update unit 25 may perform (1) background thermal image replacement processing at a time when a predetermined condition illustrated below is satisfied.
  • predetermined condition is the first condition described below.
  • the first condition is that the difference between the thermal image at the target time and the background thermal image is greater than or equal to a first predetermined amount, and the difference between the physical object image and the background physical object image at the target time is smaller than a second predetermined amount.
  • the condition is that it is less than or equal to.
  • the part "The difference between the thermal image at the target time and the background thermal image is greater than or equal to the first predetermined amount" in the first condition is the "background thermal image J b and the thermal image at the target time t2" in step S256. This corresponds to "judgment as to whether the difference d(J b , J t2 ) with J t2 is smaller than or equal to the predetermined amount ⁇ 4 ".
  • the first predetermined amount corresponds to the predetermined amount ⁇ 4 .
  • step S256 it is determined in step S256 that the difference d(J b , J t2 ) is not less than or equal to the predetermined amount ⁇ 4 ; in other words, the difference d It is determined that (J b , J t2 ) is equal to or larger than the predetermined amount ⁇ 4 .
  • the part "the difference between the real object image at the target time and the background real object image is smaller than or equal to the second predetermined amount" in the first condition is the "difference between the background solid object image I b and the target time t2" in step S252. This corresponds to “determination as to whether the difference d(I b , I t2 ) with the real object image I t2 is smaller than or equal to a predetermined amount ⁇ 3. " The second predetermined amount corresponds to the predetermined amount ⁇ 3 .
  • step S252 the difference d(I b , I t2 ) between the background physical object image I b and the physical object image I t2 at the target time t2 ) is determined to be less than or equal to the predetermined amount ⁇ 3 .
  • the first condition is satisfied as a premise for performing the background thermal image replacement process.
  • the predetermined condition may be a condition that the first condition described above and the second condition described below are satisfied.
  • the second condition is that the difference between the thermal image at the target time and the thermal image at a time before the target time is less than or equal to the third predetermined amount, and the difference between the thermal image at the target time and the thermal image at a time before the target time is less than or equal to the third predetermined amount.
  • the condition is that the difference between the time and the real object image is smaller than or equal to a fourth predetermined amount.
  • This second condition is set in step S251 as follows: "The difference d(I t1 , I t2 ) between the real object image I t1 at past time t1 and the real object image I t2 at target time t2 is less than or equal to the predetermined amount ⁇ 1 . , and whether the difference d(J t1 , J t2 ) between the thermal image J t1 at past time t1 and the thermal image J t2 at target time t2 is smaller than or equal to a predetermined amount ⁇ 2 Compatible.
  • the third predetermined amount corresponds to the predetermined amount ⁇ 2 .
  • the fourth predetermined amount corresponds to the predetermined amount ⁇ 1 .
  • step S251 the difference d (I t1 , I t2 ) is smaller than or equal to the predetermined amount ⁇ 1 , and the difference d(J t1 , J t2 ) between the thermal image J t1 at past time t1 and the thermal image J t2 at target time t2 is Quantitative ⁇ is determined to be less than or equal to 2 .
  • the second condition is satisfied as a premise for performing the background thermal image replacement process.
  • the predetermined condition may be a condition that the first condition described above and the third condition described below are satisfied.
  • the predetermined condition may be a condition that satisfies the first condition and second condition described above, as well as the third condition described below.
  • the third condition is that the thermal image at the target time does not include a heat trace area.
  • This third condition corresponds to "determining whether the thermal image at the target time does not include a heat trace area" in step S257.
  • (1) as a premise for performing the background thermal image replacement process, it is determined in step S257 that the thermal image at the target time does not include a heat trace area.
  • the third condition is satisfied as a premise for performing the background thermal image replacement process.
  • the (2) background entity image replacement process performed by the background update unit 25 is a process for obtaining the entity image at the target time as a new background entity image (step S254).
  • the background entity image replacement process (2) performed by the background update unit 25 is a process of replacing the background entity image I b with the entity image at the target time t2.
  • the process of replacing the background entity image is performed as step S254 after making the judgments in steps S251, S252, and S253.
  • the updating unit 25 may perform the (2) background solid object image replacement process at a time when a predetermined condition illustrated below is satisfied.
  • predetermined condition is the first condition described below.
  • the first condition is that the difference between the thermal image at the target time and the background thermal image is less than or equal to the first predetermined amount, and the difference between the physical object image and the background physical object image at the target time is greater than the second predetermined amount.
  • the condition is that it is greater than or equal to .
  • the part of the first condition that says "the difference between the real object image at the target time and the background real object image is greater than or equal to the second predetermined amount" is the same as "the difference between the background real object image I b and the target time t2" in step S252. This corresponds to “determination as to whether the difference d(I b , I t2 ) with the real object image I t2 is smaller than or equal to a predetermined amount ⁇ 3. " The second predetermined amount corresponds to the predetermined amount ⁇ 3 .
  • step S252 the difference d (I b , I It is determined that t2 ) is not less than or equal to the predetermined amount ⁇ 3 , in other words, it is determined that the difference d(I b , I t2 ) is greater than or equal to the predetermined amount ⁇ 3 .
  • the part "the difference between the thermal image at the target time and the background thermal image is smaller than or equal to the first predetermined amount" in the first condition is the "background thermal image J b and the thermal image at the target time t2" in step S253. This corresponds to "judgment as to whether the difference d(J b , J t2 ) with J t2 is smaller than or equal to the predetermined amount ⁇ 4 ".
  • the first predetermined amount corresponds to the predetermined amount ⁇ 4 .
  • the first condition is satisfied as a prerequisite for (2) background solid object image replacement processing to be performed.
  • the predetermined condition may be a condition that the first condition described above and the second condition described below are satisfied.
  • the second condition is that the difference between the thermal image at the target time and the thermal image at a time before the target time is less than or equal to the third predetermined amount, and the difference between the thermal image at the target time and the thermal image at a time before the target time is less than or equal to the third predetermined amount.
  • the condition is that the difference between the time and the real object image is smaller than or equal to a fourth predetermined amount.
  • This second condition is set in step S251 as follows: "The difference d(I t1 , I t2 ) between the real object image I t1 at past time t1 and the real object image I t2 at target time t2 is less than or equal to the predetermined amount ⁇ 1 . , and whether the difference d(J t1 , J t2 ) between the thermal image J t1 at past time t1 and the thermal image J t2 at target time t2 is smaller than or equal to a predetermined amount ⁇ 2 Compatible.
  • the third predetermined amount corresponds to the predetermined amount ⁇ 2 .
  • the fourth predetermined amount corresponds to the predetermined amount ⁇ 1 .
  • step S251 the difference d( I t1 , I t2 ) is smaller than or equal to the predetermined amount ⁇ 1 , and the difference d(J t1 , J t2 ) between the thermal image J t1 at past time t1 and the thermal image J t2 at target time t2 is It is determined that the predetermined amount ⁇ is smaller than or equal to 2 .
  • the second condition is satisfied as a prerequisite for (2) background solid object image replacement processing to be performed.
  • Background thermal image adjustment processing performed by the background updating unit 25 assumes that the background area in the thermal image J t2 at target time t2 is the "background area", and when predetermined adjustment requirements are met, the target Thermal image J at time t2 The value obtained by subtracting the representative value T' b of the temperature of the background area of the background thermal image J b from the representative value T' t2 of the temperature of the background area of the thermal image J t2 is calculated as each pixel value of the background thermal image J b . is obtained as a new background thermal image, and when the predetermined adjustment requirements are not satisfied, a new background thermal image is not obtained (step S255).
  • the background updating unit 25 may use the newly obtained background thermal image as the background thermal image to be used in the background updating process of the background updating unit 25 at the next time.
  • the current background thermal image J b itself may be used as the background thermal image used in the background updating process of the background updating unit 25 at the next time.
  • the background updating unit 25 uses the current background thermal image J b itself as the background thermal image to be used in the background updating process of the background updating unit 25 at the next time. do.
  • the predetermined adjustment requirements will be described later.
  • the representative value T' t2 of the temperature of the background region of the thermal image J t2 is a value representative of the temperature of the background region of the thermal image J t2 .
  • the representative value T' t2 of the temperature of the background region of the thermal image J t2 is, for example, the average value of the temperature of pixels included in the background region of the thermal image J t2 , the temperature of the pixels included in the background region of the thermal image J t2 , etc. This is the median value or the mode value of the temperature of pixels included in the background region of the thermal image J t2 .
  • the representative value T' b of the temperature of the background region of the background thermal image J b is a value representative of the temperature of the background region of the background thermal image J b .
  • the representative value T' b of the temperature of the background region of the background thermal image J b is, for example, the average temperature value of the pixels included in the background region of the background thermal image J b , or the temperature of the pixels included in the background region of the background thermal image J b . or the mode of the temperatures of pixels included in the background area of the background thermal image J b .
  • the background update unit 25 first sets the difference
  • the representative value T t2 of the temperature of the thermal image J t2 is a value representative of the temperature of the thermal image J t2 .
  • the representative value T t2 of the temperature of the thermal image J t2 is, for example, the average value of the temperature of the pixels included in the thermal image J t2 , the median value of the temperature of the pixels included in the thermal image J t2 , or the representative value T t2 of the temperature of the pixels included in the thermal image J t2 . This is the mode of temperature of the included pixels.
  • the representative value T b of the temperature of the background thermal image J b is a value representative of the temperature of the background thermal image J b .
  • the representative value T b of the temperature of the background thermal image is, for example, the average value of the temperatures of pixels included in the background thermal image, the median value of the temperatures of pixels included in the background thermal image, or the temperature value of the pixels included in the background thermal image. It is the mode of temperature.
  • the background updating unit 25 ends the (3) background thermal image adjustment process without obtaining a new background thermal image.
  • the background update unit 25 If it is determined that the difference
  • the background update unit 25 generates an image indicating the foreground region by comparing the real object image I t2 at the target time t2 and the background real object image I b , and uses the generated image as a mask image.
  • the background update unit 25 uses the thermal image J t2 at the target time t2, the background thermal image J b , and the mask image to generate a background thermal image from the representative value T' t2 of the temperature of the background region of the thermal image J t2 at the target time t2.
  • the background updating unit 25 sets, for example, a region consisting of pixels of the thermal image J t2 at the target time t2, which corresponds to a pixel whose pixel value is v2 in the mask image, as a background region, and changes the temperature of this background region.
  • the representative value obtained is determined as the representative value T' t2 of the temperature of the background region of the thermal image J t2 at the target time t2.
  • the background updating unit 25 sets, for example, a region consisting of pixels of the background thermal image J b corresponding to a pixel whose pixel value is v2 in the mask image as a background region, and calculates the representative value of the temperature of this background region.
  • the obtained representative value is set as the representative value T' b of the temperature of the background region of the background thermal image J b .
  • the background update unit 25 determines whether the absolute value of dT is greater than or equal to a predetermined second threshold value ⁇ 2 (step S2554). In other words, the background update unit 25 calculates the difference
  • step S2554 if it is not determined that the absolute value of dT is greater than or equal to the predetermined second threshold value ⁇ 2 , the background updating unit 25 performs (3) without obtaining a new background thermal image.
  • the background thermal image adjustment process ends.
  • step S2554 if it is determined that the absolute value of dT is greater than or equal to the predetermined second threshold value ⁇ 2 , the background updating unit 25 adds dT to each pixel value of the background thermal image J b .
  • An image composed of pixels whose pixel values are the values obtained is set as a new background thermal image (step S2555).
  • the background updating unit 25 performs offset adjustment processing on the background thermal image using dT, and sets the background thermal image after the offset adjustment process as a new background thermal image.
  • the background update unit 25 subtracts the representative value T' b of the temperature of the background region of the background thermal image J b from the representative value T' t2 of the temperature of the background region of the thermal image J t2 at the target time t2 as the background.
  • the predetermined adjustment requirements for obtaining a new background thermal image by adding each pixel value of the thermal image J b are the representative temperature T t2 of the thermal image J t2 at the target time t2 and the background thermal image J b .
  • with the representative temperature value T b is greater than or equal to the predetermined first threshold value ⁇ 1 (YES in step S2551), and the background region of the thermal image J t2 at the target time t2
  • the requirement is that the value is greater than or equal to (YES in step S2554).
  • the background updating unit 25 updates the heat trace region extracted up to time t2.
  • the mask image may be generated by taking into consideration the areas where heat still remains.
  • the background update unit 25 determines in step S2552 that the difference between the pixel value of the real object image I t2 at the target time t2 and the corresponding pixel value of the background real object image I b is greater than or equal to a predetermined value.
  • the pixel value corresponding to a certain pixel in other words, the pixel corresponding to the foreground area
  • a mask image is generated by setting the pixel value corresponding to the pixel included in the area to be v1, and the pixel value corresponding to the other pixel to be v2.
  • the temperature of pixels included in this area can be excluded from the calculation of the representative temperature value. can. Thereby, the background thermal image adjustment process can be performed more appropriately.
  • the process of obtaining a background area using a mask image is not limited to the process using a mask image. Other processes may be used to obtain the background area.
  • the background update unit 25 performs (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing with a smaller amount of calculation than in Non-Patent Document 1. , the background solid object image can be replaced, and the background thermal image can be replaced or adjusted.
  • the background update unit 25 performs at least one of (1) background thermal image replacement processing, (2) background solid object image replacement processing, and (3) background thermal image adjustment processing. good. In other words, the background update unit 25 does not need to perform all of the processes from step S251 to step S258. Modifications 1 to 5 will be described below as examples of such a background updating unit 25.
  • the background update unit 25 may perform only (1) a process of replacing the background thermal image.
  • the background update unit 25 does not need to perform the processes from step S253 to step S255 described above. That is, as shown in FIG. 6, if the difference d(I b , I t2 ) is not determined to be smaller than or equal to the predetermined amount ⁇ 3 in step S252, and in step S257 In this case, if it is determined that there is a thermal trace in the thermal image, the background updating unit 25 may end the processing at the target time t2 without performing the background updating processing.
  • step S251 to step S252 and from step S256 to step S258 are the same as the processes described earlier, so a redundant explanation will be omitted.
  • the background update unit 25 may perform only (2) the process of replacing the background solid object image.
  • the background update unit 25 does not need to perform the processes from step S255 to step S258 described above. That is, as shown in FIG. 7, if it is determined in step S252 that the difference d(I b , I t2 ) is less than or equal to the predetermined amount ⁇ 3 , and in step S253 , if the difference d(J b ,J t2 ) is not determined to be smaller than or equal to the predetermined amount ⁇ 4 , the background update unit 25 ends the process at the target time t2 without performing the background update process. You may.
  • step S251 to step S254 The processing from step S251 to step S254 is the same as the processing described above, so a redundant explanation will be omitted.
  • the background update unit 25 may perform only (1) a background thermal image replacement process and (2) a background solid object image replacement process.
  • the background update unit 25 does not need to perform the process of step S255 described above. That is, as shown in FIG. 8, if the difference d(J b , J t2 ) is not determined to be smaller than or equal to the predetermined amount ⁇ 4 in step S253, and in step S257 In this case, if it is determined that there is a thermal trace in the thermal image, the background updating unit 25 may end the processing at the target time t2 without performing the background updating processing.
  • step S251 to step S254 and from step S256 to step S258 are the same as the processes described earlier, so repeated explanation will be omitted.
  • the background update unit 25 may perform only (1) background thermal image replacement processing and (3) background thermal image adjustment processing.
  • the background update unit 25 does not need to perform the process of step S254 described above. That is, as shown in FIG. 9, if it is determined in step S253 that the difference d(J b , J t2 ) is less than or equal to the predetermined amount ⁇ 4 , the background updating unit 25 25 may end the process at target time t2 without performing the background update process.
  • step S251 to step S253 and from step S255 to step S258 are the same as the processes described previously, so a redundant explanation will be omitted.
  • the background update unit 25 may perform only (3) adjustment processing of the background thermal image.
  • the background update unit 25 does not need to perform the processes of step S254 and step S258. That is, as shown in FIG. 10, if it is determined in step S253 that the difference d(J b , J t2 ) is less than or equal to the predetermined amount ⁇ 4 , and in step S257 If it is determined that there is no heat trace in the thermal image, the background updating unit 25 may end the process at the target time t2 without performing the background update process.
  • step S251 to step S253 and from step S255 to step S257 are the same as the processes described earlier, so a redundant explanation will be omitted.
  • the adjusted pixel values of the background thermal image at time 1 are set as the new background thermal image at time 2, and the image at time 3 is Suppose that it becomes a background thermal image. Considering that the temperature of the entire thermal image is higher than that at time 2 due to calibration, it is preferable to update the background thermal image at time 3.
  • step S2 of FIG. 4 NO is determined in step S256, and YES is determined in step S257, and (1) background thermal image replacement processing is performed (step S258 ).
  • the thermal image includes a thermal trace left by a person who entered the imaging area after time 3 but left the imaging area before time 4.
  • (1) background thermal image replacement processing at time 3 is performed, and as a result, the thermal image at time 3 is set as a new background thermal image and becomes the background thermal image at time 4.
  • the overall temperature of the thermal image is lower than that at time 3 due to air conditioning, it is preferable to update the background thermal image at time 4.
  • the heat trace that was present at time 4 has disappeared from the thermal image. It is also assumed that the overall temperature of the thermal image at time 5 is lower than the overall temperature of the thermal image at time 4 due to air conditioning. Furthermore, as a result of (3) adjustment processing of the background thermal image at time 4, the image with adjusted pixel values of the background thermal image at time 3 is set as a new background thermal image at time 4, and the background thermal image at time 5 is Suppose that it becomes a background thermal image. Considering that the overall temperature of the thermal image is lower than that at time 4 due to air conditioning, it is preferable to update the background thermal image at time 5.
  • step S258 the thermal image at time 5 is set as the background thermal image by background thermal image replacement processing. is appropriate. Therefore, at time 5, in the process of the background update unit 25, it is determined that YES is determined in step S252 of FIG. 4, NO is determined in step S256, and YES is determined in step S257, and (1) background thermal image replacement processing is performed (step S258 ).
  • the above process allows the background thermal image to be updated appropriately even if there is a temperature change.
  • the image processing device 3 includes, for example, a background updating device 2 and an image processing section 31, as shown in FIG.
  • the image processing device 3 may further include a physical object camera 11 and a thermal camera 13.
  • each component of the image processing device 3 detects heat trace extraction target times (hereinafter referred to as "thermal trace extraction target times") after a predetermined time T1 has elapsed since the image processing device 3 started operating. ) is realized, for example, by performing steps S11, S21, S13, S23, S25, and S31 shown in FIG. Note that the image processing device 3 performs step S25 by having each component perform steps S11, S21, S13, S23, S22-1, S22-2, S24-1, and S24-2 shown in FIG. Then, a process may be performed to obtain an initial image of the background solid object image and an initial image of the background thermal image used in the process of step S31.
  • the image processing unit 31 performs predetermined image processing using the newest background entity image and the newest background entity image at each heat trace extraction target time. That is, if the background updating unit 25 has not yet obtained any new background entity images, the image processing unit 31 uses the background entity image acquired by the initial background entity image acquisition unit 22 to update the background entity image. If the background update unit 25 has already obtained one or more new background entity images by performing predetermined image processing, the background entity image that is the newest among the new background entity images obtained by the background update unit 25 Predetermined image processing is performed using the object image. Similarly, if the background updating unit 25 has not yet obtained any new background thermal images, the image processing unit 31 uses the background thermal image acquired by the initial background thermal image acquisition unit 24 to update a predetermined background thermal image.
  • the background updating unit 25 When image processing is performed and the background updating unit 25 has already obtained one or more new background thermal images, the latest background thermal image among the new background thermal images obtained by the background updating unit 25 is used. Perform predetermined image processing. That is, the image processing unit 31 performs predetermined image processing using at least the background solid object image and the background thermal image obtained in step S25.
  • the image processing unit 31 may perform processing other than extracting heat traces.
  • the image processing section 31 includes, for example, a differential physical object image generation section 311, a differential thermal image generation section 312, and a thermal trace extraction section 313.
  • ⁇ Difference physical object image generation unit 311> The substantive object image at the heat trace extraction target time acquired by the substantive object image acquisition section 21 is input to the differential substantive object image generation section 311 . Furthermore, if the background updating unit 25 has not yet obtained any new background entity images, the background entity image acquired by the initial background entity image acquisition unit 22 is sent to the difference entity image generation unit 311. If the input is input and the background update unit 25 has already obtained one or more new background entity images, the newest background entity image among the new background entity images obtained by the background update unit 25 is the difference. The image is input to the physical object image generation unit 311 . That is, the newest background solid object image at the heat trace extraction target time is input to the differential physical object image generation unit 311.
  • the differential entity image generation unit 311 generates a differential entity image, which is an image of the difference between the entity image at the heat trace extraction target time and the latest background entity image at the heat trace extraction target time (step S311), the generated differential real object image at the heat trace extraction target time is output.
  • the differential physical object image generation unit 311 generates a physical object image at the thermal trace extraction target time, which is an image of the physical object obtained by photographing a certain shooting range with the physical object camera 11 for photographing the physical object.
  • a difference entity image is generated which is an image of the difference between the background entity image which is the newest background entity image at the heat trace extraction target time in the certain imaging range.
  • the generated differential real object image is input to the thermal trace extraction unit 313.
  • the differential thermal image generation unit 312 receives the thermal image acquired by the thermal image acquisition unit 23 at the heat trace extraction target time. Further, if the background updating unit 25 has not yet obtained any new background thermal images, the background thermal image acquired by the initial background thermal image acquiring unit 24 is input to the differential thermal image generating unit 312, and the background thermal image is input to the differential thermal image generating unit 312. If the updating unit 25 has already obtained one or more new background thermal images, the newest background thermal image among the new background thermal images obtained by the background updating unit 25 is sent to the differential thermal image generating unit 312. input. That is, the newest background thermal image at the time of thermal trace extraction target is input to the differential thermal image generation unit 312.
  • the differential thermal image generation unit 312 generates a differential thermal image that is an image of the difference between the thermal image at the thermal trace extraction target time and the latest background thermal image at the thermal trace extraction target time (step S312), The generated differential thermal image at the heat trace extraction target time is output.
  • the differential thermal image generation unit 312 is an image of the heat emitted by a physical object obtained by photographing the same shooting range as the physical object camera 11 with the thermal camera 13 for photographing the heat emitted by the physical object.
  • a differential thermal image is generated, which is an image of the difference between a thermal image at a heat trace extraction target time and a background thermal image that is the newest background thermal image at the heat trace extraction target time in the certain imaging range.
  • the generated differential thermal image is input to the thermal trace extraction unit 313.
  • the thermal trace extraction unit 313 generates a thermal trace based on the differential physical object image at the thermal trace extraction target time generated by the differential physical object image generating unit 311 and the differential thermal image at the thermal trace extraction target time generated by the differential thermal image generating unit 312. Then, by removing the area of the physical object from the thermal image, a heat trace area is extracted (step S313), and information indicating the extracted heat trace area at the heat trace extraction target time is output.
  • the thermal trace extraction unit 313 sets each region in the differential physical object image different from the background physical object image as a differential physical object region, and each region in the differential thermal image different from the background thermal image as a differential thermal region.
  • a region that is dissimilar to any of the one or more differential physical object regions is extracted as a heat trace region.
  • the heat trace extraction unit 17 may generate a binary image in which the heat trace area is white and the rest is black, and output the generated binary image.
  • the heat trace extraction target time may be each time at a predetermined interval, or may be a time specified by an operator of the image processing unit 31 or the like.
  • Each of the above-mentioned devices is, for example, a single hardware entity, and includes an input section capable of inputting a signal from outside the hardware entity, an output section capable of outputting a signal outside the hardware entity, and a communication section external to the hardware entity.
  • a communication unit that can be connected to a communication device (for example, a communication cable), a CPU (Central Processing Unit, which may be equipped with cache memory, registers, etc.) that is an arithmetic processing unit, RAM or ROM that is memory, and a hard disk. It has an external storage device, an input section, an output section, a communication section, a CPU, a RAM, a ROM, and a bus that connects the external storage device so that data can be exchanged therebetween.
  • the hardware entity may be provided with a device (drive) that can read and write a recording medium such as a CD-ROM.
  • a physical entity with such hardware resources includes a general-purpose computer.
  • the external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, when reading the program (It may also be stored in a ROM, which is a dedicated storage device.) Further, data obtained through processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • the data required to process each program are read into memory as necessary, and interpreted and executed and processed by the CPU as appropriate.
  • the CPU realizes a predetermined function (each of the components expressed as . . . above, etc.). That is, each component in the embodiment of the present invention may be configured by a processing circuit.
  • a program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a non-transitory recording medium, specifically a magnetic recording device, an optical disk, or the like.
  • this program is performed, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded. Furthermore, this program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer into the auxiliary storage unit 1050, which is its own non-temporary storage device. Store. When executing a process, this computer loads a program stored in the auxiliary storage unit 1050, which is its own non-temporary storage device, into the storage unit 1020, and executes the process according to the read program. Further, as another form of execution of this program, the computer may directly load the program from a portable recording medium into the storage unit 1020 and execute processing according to the program. Each time the received program is transferred, processing may be executed in accordance with the received program.
  • ASP Application Service Provider
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer programs from the server computer to this computer, but only realizes processing functions by issuing execution instructions and obtaining results.
  • ASP Application Service Provider
  • the present apparatus is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be implemented in hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

背景更新装置２は、(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで或る撮影範囲を対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)或る撮影範囲の背景の熱画像である背景熱画像と、(D)或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に、対象時刻の熱画像を新たな背景熱画像として得る背景更新部を備えている。所定の条件は、熱画像と背景熱画像の差分が第一所定量より大きいか以上であり、かつ、実体物画像と背景実体物画像の差分が第二所定量より小さいか以下であるという第一条件である。

Description

背景更新装置、方法及びプログラム
　開示の技術は、背景差分を取得するための背景画像を取得する技術に関する。
　特許文献１には、熱画像と実体物画像のそれぞれの背景差分を用いた画像処理を行うことで熱痕跡の領域を抽出する技術が記載されている。熱痕跡とは、過去に人などの主体が物に触れたことによって、主体が触れた場所に残った熱により特定される主体が触れた痕跡のことである。特許文献１のように熱画像と実体物画像のそれぞれの背景差分を用いた画像処理をする技術においては、背景熱画像と背景実体物画像を精度良く得ることが重要である。
　可視画像について背景画像を精度良く得る技術として非特許文献１の技術がある。
国際公開第２０２２／０８０３５０号
土田勝, 川西隆仁, 村瀬洋, 高木茂, 「背景差分法による物体検出を目的とした逐次モンテカルロ法による背景推定」, 電子情報通信学会論文誌 D, Vol.J87-D2, No.5, pp.1062-1070, 2004/05/01
　非特許文献１では、可視画像について背景画像を精度良く得ることができるが、演算処理量が多いという課題がある。また、非特許文献１では、熱画像の背景画像を得ることは想定されていない。
　開示の技術の目的は、非特許文献１よりも少ない演算処理量で、可視画像などの実体物画像について背景画像（背景実体物画像）と熱画像についての背景画像（背景熱画像）の少なくとも何れかを得ることにある。
　開示の技術の一態様は、背景更新装置であって、(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで或る撮影範囲を対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)或る撮影範囲の背景の熱画像である背景熱画像と、(D)或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に対象時刻の熱画像を新たな背景熱画像として得る背景更新部を備えており、所定の条件は、対象時刻の熱画像と背景熱画像の差分が第一所定量より大きいか以上であり、かつ、対象時刻の実体物画像と背景実体物画像の差分が第二所定量より小さいか以下であるという第一条件である。
　開示の技術の一態様は、背景更新装置であって、(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで或る撮影範囲を対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)或る撮影範囲の背景の熱画像である背景熱画像と、(D)或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に対象時刻の実体物画像を新たな背景実体物画像として得る背景更新部を備えており、所定の条件は、対象時刻の熱画像と背景熱画像の差分が第一所定量より小さいか以下であり、かつ、対象時刻の実体物画像と背景実体物画像の差分が第二所定量より大きいか以上であるという第一条件である。
　開示の技術によれば、非特許文献１よりも少ない演算処理量で、可視画像などの実体物画像について背景画像（背景実体物画像）と熱画像についての背景画像（背景熱画像）の少なくとも何れかを得ることができる。
図１は、背景更新装置２の機能構成の例を示す図である。 図２は、背景更新方法及び画像処理方法の処理手続きの例を示す図である。 図３は、背景更新装置２及び画像処理装置３が背景実体物画像の初期画像と背景熱画像の初期画像を取得する処理の手続きの例を示す図である。 図４は、背景更新部２５の処理手続きの例を示す図である。 図５は、背景更新部２５の(3)背景熱画像の調整処理の例を示す図である。 図６は、背景更新部２５の処理手続きの例を示す図である。 図７は、背景更新部２５の処理手続きの例を示す図である。 図８は、背景更新部２５の処理手続きの例を示す図である。 図９は、背景更新部２５の処理手続きの例を示す図である。 図１０は、背景更新部２５の処理手続きの例を示す図である。 図１１は、背景更新部２５の処理の具体例を説明するための図である。 図１２は、画像処理装置３の機能構成の例を示す図である。 図１３は、画像処理部３１の機能構成の例を示す図である。 図１４は、コンピュータの機能構成例を示す図である。
　以下、図面を参照して開示の技術の実施形態を説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　[背景更新装置及び方法]
　背景更新装置２は、図１に示すように、実体物画像取得部２１、初期背景実体物画像取得部２２、熱画像取得部２３、初期背景熱画像取得部２４、背景更新部２５を例えば備えている。背景更新装置２は、実体物カメラ１１、サーマルカメラ１３を更に備えていてもよい。
　背景更新方法は、背景更新装置２の各構成部が、各時刻（以下、「対象時刻」という）において図２に示すステップＳ１１、Ｓ２１、Ｓ１３、Ｓ２３、Ｓ２５の処理を行うことにより例えば実現される。
　また、背景更新装置２がステップＳ２５の処理で用いる背景実体物画像の初期画像と背景熱画像の初期画像を取得する処理は、背景更新装置２の各構成部が、図３に示すステップＳ１１、Ｓ２１、Ｓ１３、Ｓ２３、Ｓ２２－１、Ｓ２２－２、Ｓ２４－１、Ｓ２４－２の処理を行うことにより例えば実現される。
　以下、背景更新装置２の各構成部の処理について説明する。
　<実体物カメラ１１>
　実体物カメラ１１は、背景更新装置２の動作開始以降の各時刻に、実体物を撮影するためのカメラである。実体物カメラ１１は、或る撮影範囲の実体物の画像、より詳しくは、当該撮影範囲に存在する実体物を実体物カメラ１１側から見た像により構成される画像である実体物画像、を各時刻に撮影する（ステップＳ１１）。実体物カメラ１１で撮影された各時刻の実体物画像は、実体物画像取得部２１に入力される。
　実体物カメラ１１が撮影する電磁波の波長帯、言い換えれば実体物カメラ１１で得られる電磁波の波長帯は、実体物を撮影することができる波長帯域であればよい。ただし、実体物カメラ１１で得られる電磁波の波長帯と、サーマルカメラ１３で得られる電磁波の波長帯とは重ならないようにされる。ここで、波長帯とは、電磁波又は可視光の強度が所定の強度以上である波長の範囲である。例えば、実体物カメラ１１で得られる電磁波の波長帯を近赤外領域の波長帯（例えば780nmから2500nm）とし、サーマルカメラ１３で得られる電磁波の波長帯を熱線（遠赤外領域）の波長帯である8μmから14μmとする。また、実体物カメラ２１０で得られる電磁波の波長帯の下限を可視光の波長である600nmとし、サーマルカメラ１３で得られる電磁波の波長帯を8μmから14μmとしてもよい。
　実体物カメラ１１が得る電磁波の波長帯に照明などにより撮影範囲に存在する電磁波の波長帯が含まれない場合には、図１に破線で示すように、照射器１２も備えるようにして、実体物カメラ１１が得る波長帯の電磁波を照射する照射器１２を用いて、実体物カメラ１１が得る波長帯の電磁波を撮影範囲に照射してもよい。実体物は、実体を有するものである。撮像範囲に存在する実体物の例は、撮影範囲の中の背景として存在している物、撮影範囲の中にいる人、及び、撮影範囲の中に入ってきた人である。
　<実体物画像取得部２１>
　実体物画像取得部２１は、背景更新装置２の動作開始以降の各時刻に動作する。実体物画像取得部２１は、実体物カメラ１１によって撮影された各時刻の実体物画像を取得する（ステップＳ２１）。取得された各時刻の実体物画像は、背景更新装置２の動作が開始してから所定時間T1経過するまでは初期背景実体物画像取得部２２に入力され、背景更新装置２の動作が開始してから所定時間T1経過した後は背景更新部２５に入力される。
　<初期背景実体物画像取得部２２>
　初期背景実体物画像取得部２２は、背景更新装置２の動作が開始してから所定時間T1経過したときにのみ動作する。初期背景実体物画像取得部２２は、実体物画像取得部２１から入力された実体物画像が所定時間T1分蓄積されたときに、すなわち、背景更新装置２の動作が開始してから所定時間T1経過したときに（ステップＳ２２－１でＹＥＳ）、実体物画像取得部２１から入力された所定時間T1分の実体物画像に基づいて、撮影範囲の背景の実体物画像である背景実体物画像を取得して（ステップＳ２２－２）、取得した背景実体物画像を出力する。撮影範囲の背景の実体物画像とは、撮影範囲の中に背景として存在している物の画像であり、より詳しくは、撮影範囲の中に背景として存在している物を実体物カメラ１１側から見た像により構成される画像である。取得された背景実体物画像は、背景実体物画像の初期画像として背景更新部２５に入力される。
　初期背景実体物画像取得部２２は、どのような方法を用いて背景実体物画像を取得してもよい。初期背景実体物画像取得部２２は、例えば、各画素の画素値が、背景更新装置２の動作が開始してから所定時間T1分の複数個の実体物画像の対応する画素の画素値の平均値又は中央値である画像を背景実体物画像として取得してもよいし、例えば、背景更新装置２の動作が開始してから所定時間T1内の或る１個の実体物画像を背景実体物画像として取得してもよい。また、初期背景実体物画像取得部２２は、背景更新装置２とは異なる装置が取得した背景実体物画像の入力を受け付けて、入力された背景実体物画像を出力するようにしてもよい。
　<サーマルカメラ１３>
　サーマルカメラ１３は、背景更新装置２の動作開始以降の各時刻に、実体物が発する熱を撮影するカメラである。サーマルカメラ１３は、実体物カメラ１１と同じ撮影範囲の実体物が発する熱の画像、より詳しくは、当該撮影範囲に存在する実体物が放射した熱をサーマルカメラ１３側から取得した像により構成される画像である熱画像、を各時刻に撮影する（ステップＳ１３）。サーマルカメラ１３で撮影された各時刻の熱画像は、熱画像取得部２３に入力される。
　<熱画像取得部２３>
　熱画像取得部２３は、背景更新装置２の動作開始以降の各時刻に動作する。熱画像取得部２３は、サーマルカメラ１３によって撮影された各時刻の熱画像を取得する（ステップＳ２３）。取得された各時刻の熱画像は、背景更新装置２の動作が開始してから所定時間T1経過するまでは初期背景熱画像取得部２４に入力され、背景更新装置２の動作が開始してから所定時間T1経過した後は背景更新部２５に入力される。熱画像の各画素値は、熱画像の各画素の温度を表す値である。
　<初期背景熱画像取得部２４>
　初期背景熱画像取得部２４は、背景更新装置２の動作が開始してから所定時間T1経過したときにのみ動作する。初期背景熱画像取得部２４は、熱画像取得部２３から入力された熱画像が所定時間T1分蓄積されたときに、すなわち、背景更新装置２の動作が開始してから所定時間T1経過したときに（ステップＳ２４－１でＹＥＳ）、熱画像取得部２３から入力された所定時間T1分の熱画像に基づいて、撮影範囲の背景の熱画像である背景熱画像を取得して（ステップＳ２４－２）、取得した背景熱画像を出力する。撮影範囲の背景の熱画像とは、撮影範囲の中に背景として存在している物が発する熱の画像であり、より詳しくは、撮影範囲の中に背景として存在している物が発する熱をサーマルカメラ１３側から取得した像により構成される画像である。取得された背景熱画像は、背景更新部２５に入力される。
　初期背景熱画像取得部２４は、どのような方法を用いて背景熱画像を取得してもよい。初期背景熱画像取得部２４は、例えば、各画素の画素値が、背景更新装置２の動作が開始してから所定時間T1分の複数個の熱画像の対応する画素の画素値の平均値又は中央値である画像を背景熱画像として取得してもよいし、例えば、背景更新装置２の動作が開始してから所定時間T1内の或る１個の熱画像を背景熱画像として取得してもよい。また、初期背景熱画像取得部２４は、背景更新装置２とは異なる装置が取得した背景熱画像の入力を受け付けて、入力された背景熱画像を出力するようにしてもよい。
　<背景更新部２５>
　背景更新部２５は、背景更新装置２の動作が開始してから所定時間T1経過した後の各対象時刻に動作する。各対象時刻は背景更新部２５が動作する時点では現在の時刻だといえることからすれば、以降の説明中の「対象時刻」を「現在の時刻」と読み替えたり、「対象時刻の」を「現在の時刻の」や「現在の」と読み換えたりしてもよい。
　背景更新部２５には、熱画像取得部２３で得られた対象時刻の熱画像と、実体物画像取得部２１で得られた対象時刻の実体物画像とが入力される。また、背景更新部２５には、背景更新装置２の動作が開始してから所定時間T1経過したときには、初期背景熱画像取得部２４で得られた背景熱画像の初期画像と、初期背景実体物画像取得部２２で得られた背景実体物画像の初期画像とが入力される。
　背景更新部２５は、対象時刻について、必要に応じて、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理の少なくとも１つを行う（ステップＳ２５）。なお、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理は何れも、背景更新部２５が行う処理に付した便宜的な呼称である。また、以降では、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理のことを総称して便宜的に「背景更新の処理」とよぶことがある。
　背景更新部２５は、対象時刻に(1)背景熱画像の差し替え処理と(3)背景熱画像の調整処理の何れかを行って新たな背景熱画像を得た場合には、新たな背景熱画像を出力するとともに、新たな背景熱画像を、背景更新部２５が以降の時刻に行う背景更新の処理で用いることが可能となるように、背景更新の処理用の背景熱画像として設定する。ただし、背景更新部２５は、対象時刻に(3)背景熱画像の調整処理を行って新たな背景熱画像を得た場合には、新たな背景熱画像を出力するものの、新たな背景熱画像ではなく元の背景熱画像を、背景更新部２５が以降の背景更新の処理で用いることが可能となるように、背景更新の処理用の背景熱画像として設定してもよい。
　背景更新部２５は、対象時刻に(2)背景実体物画像の差し替え処理を行った場合には、新たな背景実体物画像を出力するとともに、新たな背景実体物画像を、背景更新部２５が以降の時刻に行う背景更新の処理で用いることが可能となるように、背景更新の処理用の背景実体物画像として設定する。
　背景更新部２５が出力した新たな背景熱画像および／または新たな背景実体物画像は、背景更新装置２の出力となる。背景更新装置２が出力した新たな背景熱画像および／または新たな背景実体物画像は、画像処理を行う画像処理部３１を備える別の装置に入力される。ただし、後述するように、背景更新装置２が後述する画像処理装置３に含まれていてもよい。背景更新装置２が後述する画像処理装置３に含まれている場合には、(1)背景熱画像の差し替え処理によって得られた新たな背景熱画像、(2)背景実体物画像の差し替え処理によって得られた新たな背景実体物画像、(3)背景熱画像の調整処理によって得られた新たな背景熱画像は、画像処理装置３の画像処理部３１に入力される。図１に画像処理部３１を破線で示す。
　画像処理部３１は、最も新しい背景実体物画像と最も新しい背景熱画像を用いて所定の画像処理を行う。すなわち、背景更新部２５が新たな背景実体物画像をまだ１個も得ていない場合には、初期背景実体物画像取得部２２が取得した背景実体物画像（すなわち、背景実体物画像の初期画像）を用いて、背景更新部２５が新たな背景実体物画像を既に１個以上得ている場合には、背景更新部２５が得た新たな背景実体物画像のうちの最も新しい背景実体物画像を用いて、また、背景更新部２５が新たな背景熱画像をまだ１個も得ていない場合には、初期背景熱画像取得部２４が取得した背景熱画像（すなわち、背景熱画像の初期画像）を用いて、背景更新部２５が新たな背景熱画像を既に１個以上得ている場合には、背景更新部２５が得た新たな背景熱画像のうちの最も新しい背景熱画像を用いて、所定の画像処理を行う。所定の画像処理については、後述する。
　以下、背景更新部２５が、対象時刻において、どのような場合に、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理を行うのかについての例を、図４を参照して説明する。その後、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理のそれぞれの処理の例について説明する。以下の説明では、対象時刻をt2とし、対象時刻t2よりも所定時間Tinterval過去の時刻をt1として説明する。
　背景更新部２５は、過去の時刻t1の実体物画像It1と対象時刻t2の実体物画像It2との差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、過去の時刻t1の熱画像Jt1と対象時刻t2の熱画像Jt2との差分d(Jt1,Jt2)が所定量ε2より小さいか以下であるかを判断する（ステップＳ２５１）。所定時間Tintervalは、例えば数秒である。所定時間Tintervalは、利用する状況に応じて適宜定められてもよい。
　なお、図４では、記載を簡略化するために、ある値Aとある値Bとの大小関係の比較の演算子として”<”のみを代表して記載する。他の図についても同様に、比較の演算子として”<”, ”>”のみを代表して記載する。
　ある画像P1及びある画像P2がN個の画素から構成されており、画像P1の各画素値をV1n(n=1,…,N)、画像P2の各画素値をV2n(n=1,…,N)と表記する。この場合、画像P1と画像P2との差分d(P1,P2)の例は、Σn=1 N|V1n-V2n|, Σn=1 N|V1n-V2n|2である。もちろん、画像P1と画像P2との差分d(P1,P2)として他の既存の距離尺度の値が用いられてもよい。
　なお、背景更新部２５は、画像P1と画像P2との差分d(P1,P2)が所定量より小さいか以下であるかを、予め学習されたディープニューラルネットワークを用いて判断してもよい。
　ステップＳ２５１において、差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、差分d(Jt1,Jt2)が所定量ε2より小さいか以下であると判断されなかった場合（すなわち、差分d(It1,It2)が所定量ε1以上であるかε1より大きい、および／または、差分d(Jt1,Jt2)が所定量ε2以上であるかε2より大きい、と判断された場合）には、背景更新部２５は背景更新の処理を行なわずに対象時刻t2の処理を終了する。この場合に何れの背景更新の処理も行わないのは、実体物画像又は熱画像に一時的に何かが写り込んでいる可能性があり、一時的に何かが写り込んでいる実体物画像又は熱画像を用いて、背景実体物画像又は背景熱画像を差し替えたり背景熱画像を調整したりすることは適切ではないためである。
　なお、所定量ε1,ε2は、所望の結果が得られるように、例えば実験等により予め定めておけばよい。これは、予め定めておく必要がある、他の所定量、所定時間、閾値等についても同様である。
　ステップＳ２５１において、差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、差分d(Jt1,Jt2)が所定量ε2より小さいか以下であると判断された場合には、背景更新部２５は、背景実体物画像Ibと時刻t2の実体物画像It2との差分d(Ib,It2)が所定量ε3より小さいか以下であるかを判断する（ステップＳ２５２）。背景実体物画像Ibは、背景更新部２５に現在設定されている背景更新の処理用の背景実体物画像であり、最も新しい背景実体物画像であり、具体的には、背景更新部２５が新たな背景実体物画像をまだ１個も得ていない場合には、初期背景実体物画像取得部２２により取得されて背景更新部２５に入力された背景実体物画像であり、背景更新部２５が新たな背景実体物画像を既に１個以上得ている場合には、背景更新部２５が得た新たな背景実体物画像のうちの最近の処理で得られた背景実体物画像である。
　ステップＳ２５２において、差分d(Ib,It2)が所定量ε3より小さいか以下であると判断されなかった場合（すなわち、差分d(Ib,It2)が所定量ε3以上であるかε3より大きいと判断された場合）には、背景更新部２５は、背景熱画像Jbと時刻t2の熱画像Jt2との差分d(Jb,Jt2)が所定量ε4より小さいか以下であるかを判断する（ステップＳ２５３）。背景熱画像Jbは、背景更新部２５に現在設定されている背景更新の処理用の背景熱画像であり、背景更新の処理用の最も新しい背景熱画像であり、具体的には、背景更新部２５が背景更新の処理用の新たな背景熱画像をまだ１個も得ていない場合には、初期背景熱画像取得部２４により取得されて背景更新部２５に入力された背景熱画像であり、背景更新部２５が背景更新の処理用の新たな背景熱画像を既に１個以上得ている場合には、背景更新部２５が得た背景更新の処理用の新たな背景熱画像のうちの最近の処理で得られた背景更新の処理用の背景熱画像である。
　ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断された場合には、背景更新部２５は、(2)背景実体物画像の差し替え処理を行う（ステップＳ２５４）。この場合に(2)背景実体物画像の差し替え処理を行うのは、ステップＳ２５２で判断された背景実体物画像Ibと実体物画像It2との間の実質的な異なりの原因が、ステップＳ２５３による判断の結果、対象時刻t2に撮影範囲に人がいることや、背景熱画像Jbを得たときから撮影範囲の照明の変化が生じていることなどではなく、撮影範囲の実体物についての背景が背景実体物画像Ibを取得した時刻と対象時刻t2との間で異なっていることであると想定されるためである。
　ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断されなかった場合（すなわち、差分d(Jb,Jt2)が所定量ε4以上であるかε4より大きいと判断された場合）には、背景更新部２５は、(3)背景熱画像の調整処理を行う（ステップＳ２５５）。この場合に(3)背景熱画像の調整処理を行うのは、ステップＳ２５２で判断されたように背景実体物画像Ibと実体物画像It2の実質的な異なりを生じさせ、かつ、ステップＳ２５３で判断されたように背景熱画像Jbと熱画像Jt2に実質的な異なりを生じさせる原因が、対象時刻t2に撮影範囲に人がいたり熱痕跡の領域があったりする可能性はあるものの、対象時刻t2においては背景熱画像Jbを得たときから撮影範囲の照明の変化が生じているなどのような背景熱画像Jbを取得した時刻と対象時刻t2の間の撮影範囲の背景の熱放射の異なりを含んでいる可能性があるためである。
　ステップＳ２５２において、差分d(Ib,It2)が所定量ε3より小さいか以下であると判断された場合には、背景更新部２５は、背景熱画像Jbと時刻t2の熱画像Jt2との差分d(Jb,Jt2)が所定量ε4より小さいか以下であるかを判断する（ステップＳ２５６）。
　ステップＳ２５６において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断された場合には、背景更新部２５は背景更新の処理を行なわずに対象時刻t2の処理を終了する。この場合に何れの背景更新の処理も行わないのは、撮影範囲の実体物についての背景の観点からも、撮影範囲の熱放射についての背景の観点からも、背景更新の必要性が低いためである。
　ステップＳ２５６において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断されなかった場合（すなわち、差分d(Jb,Jt2)が所定量ε4以上であるかε4より大きいと判断された場合）には、背景更新部２５は、熱画像Jt2に熱痕跡の領域が含まれていないかを判断する（ステップＳ２５７）。
　熱痕跡の領域が含まれていないかを判断するために、背景更新部２５は、後述する差分実体物画像生成部３１１、差分熱画像生成部３１２及び熱痕跡抽出部３１３の処理を行って熱痕跡の領域を抽出してもよい。すなわち、背景更新部２５は、実体物画像It2と背景実体物画像Ibとの間の差分の画像である差分実体物画像を生成する。また、背景更新部２５は、熱画像Jt2と背景熱画像Jbとの間の差分の画像である差分熱画像を生成する。そして、背景更新部２５は、差分実体物画像生成部３１１が生成した差分実体物画像と差分熱画像生成部３１２が生成した差分熱画像とに基づいて、熱画像Jt2から実体物の領域を取り除くことで、熱痕跡の領域を抽出する。これらの処理の詳細については、差分実体物画像生成部３１１、差分熱画像生成部３１２及び熱痕跡抽出部３１３の説明を参照のこと。
　ステップＳ２５７において、熱画像Jt2に熱痕跡の領域が含まれていないと判断された場合には、背景更新部２５は、(1)背景熱画像の差し替え処理を行う（ステップＳ２５８）。この場合に(1)背景熱画像の差し替え処理を行うのは、ステップＳ２５２で判断されたように背景実体物画像Ibと実体物画像It2の間には実質的な異なりがないものの、ステップＳ２５６で判断されたように背景熱画像Jbと熱画像Jt2の間に実質的な異なりが生じている原因がキャリブレーション、気温変化等により撮影範囲の温度が上昇し又は下降したことなどの、背景熱画像Jbを取得した時刻と対象時刻t2の間の撮影範囲の背景の熱放射の異なりであると想定されるためである。
　ステップＳ２５７において、熱画像に熱痕跡の領域が含まれていないと判断されなかった場合には、言い換えれば熱画像に熱痕跡の領域が含まれていると判断された場合には、背景更新部２５は、(3)背景熱画像の調整処理を行う（ステップＳ２５５）。この場合に(3)背景熱画像の調整処理を行うのは、熱痕跡は一時的なものであり、このような一時的な熱痕跡が写り込んでいる熱画像で背景熱画像を差し替えるのは適切ではないものの、ステップＳ２５６で判断された背景熱画像Jbと熱画像Jt2の間に実質的な異なりには、キャリブレーション、気温変化等により撮影範囲の温度が上昇し又は下降したことなどの、背景熱画像Jbを取得した時刻と対象時刻t2の間の撮影範囲の背景の熱放射の異なりが含まれている可能性があるためである。
　<<(1)背景熱画像の差し替え処理>>
　背景更新部２５が行う(1)背景熱画像の差し替え処理は、対象時刻t2の熱画像を、新たな背景熱画像として得る処理である。（ステップＳ２５８）。言い換えれば、背景更新部２５が行う(1)背景熱画像の差し替え処理は、対象時刻t2の熱画像で背景熱画像を差し替える処理である。(1)背景熱画像の差し替え処理は、図４の例ではステップＳ２５１、Ｓ２５２、Ｓ２５６、Ｓ２５７の判断を経てステップＳ２５８として行われるが、図４の例の判断を経るのはあくまでも一例であり、背景更新部２５は、以下に例示する所定の条件を満たす時刻に(1)背景熱画像の差し替え処理を行えばよい。
　所定の条件の例は、以下に述べる第一条件である。
　第一条件は、対象時刻の熱画像と背景熱画像の差分が第一所定量より大きいか以上であり、かつ、対象時刻の実体物画像と背景実体物画像の差分が第二所定量より小さいか以下であるという条件である。
　第一条件の中の「対象時刻の熱画像と背景熱画像の差分が第一所定量より大きいか以上であり」という部分は、ステップＳ２５６の「背景熱画像Jbと対象時刻t2の熱画像Jt2との差分d(Jb,Jt2)が所定量ε4より小さいか以下であるかの判断」に対応している。第一所定量は、所定量ε4に対応している。上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、ステップＳ２５６において、差分d(Jb,Jt2)が所定量ε4より小さいか以下でないと判断、言い換えれば差分d(Jb,Jt2)が所定量ε4以上であるかε4より大きいと判断されている。
　第一条件の中の「対象時刻の実体物画像と背景実体物画像の差分が第二所定量より小さいか以下である」という部分は、ステップＳ２５２の「背景実体物画像Ibと対象時刻t2の実体物画像It2との差分d(Ib,It2)が所定量ε3より小さいか以下であるかの判断」に対応している。第二所定量は、所定量ε3に対応している。上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、ステップＳ２５２において、背景実体物画像Ibと対象時刻t2の実体物画像It2との差分d(Ib,It2)が所定量ε3より小さいか以下であると判断されている。
　このため、上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、第一条件は満たされている。
　所定の条件は、先に述べた第一条件及び以下に述べる第二条件を満たすという条件であってもよい。
　第二条件は、対象時刻の熱画像と対象時刻よりも前の時刻の熱画像との差分が第三所定量よりも小さいか以下であり、対象時刻の実体物画像と対象時刻よりも前の時刻の実体物画像との差分が第四所定量よりも小さいか以下であるという条件である。
　この第二条件は、ステップＳ２５１の「過去の時刻t1の実体物画像It1と対象時刻t2の実体物画像It2との差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、過去の時刻t1の熱画像Jt1と対象時刻t2の熱画像Jt2との差分d(Jt1,Jt2)が所定量ε2より小さいか以下であるかの判断」に対応している。第三所定量は、所定量ε2に対応している。第四所定量は、所定量ε1に対応している。上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、ステップＳ２５１において、過去の時刻t1の実体物画像It1と対象時刻t2の実体物画像It2との差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、過去の時刻t1の熱画像Jt1と対象時刻t2の熱画像Jt2との差分d(Jt1,Jt2)が所定量ε2より小さいか以下であると判断されている。
　このため、上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、第二条件は満たされている。
　所定の条件は、先に述べた第一条件及び以下に説明する第三条件を満たすという条件であってもよい。
　また、所定の条件は、先に述べた第一条件及び第二条件、並びに、以下に説明する第三条件を満たすという条件であってもよい。
　第三条件は、対象時刻の熱画像に熱痕跡の領域が含まれていないという条件である。
　この第三条件は、ステップＳ２５７の「対象時刻の熱画像に熱痕跡の領域が含まれていないかの判断」に対応している。上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、ステップＳ２５７において、対象時刻の熱画像に熱痕跡の領域が含まれていないと判断されている。
　このため、上記の例では、(1)背景熱画像の差し替え処理が行われる前提として、第三条件は満たされている。
　<<(2)背景実体物画像の差し替え処理>>
　背景更新部２５が行う(2)背景実体物画像の差し替え処理は、対象時刻の実体物画像を、新たな背景実体物画像として得る処理である（ステップＳ２５４）。言い換えれば、背景更新部２５が行う(2)背景実体物画像の差し替え処理は、対象時刻t2の実体物画像で背景実体物画像Ibを差し替える処理である。(2)背景実体物画像の差し替え処理は、図４の例ではステップＳ２５１、Ｓ２５２、Ｓ２５３の判断を経てステップＳ２５４として行われるが、図４の例の判断を経るのはあくまでも一例であり、背景更新部２５は、以下に例示する所定の条件を満たす時刻に(2)背景実体物画像の差し替え処理を行えばよい。
　所定の条件の例は、以下に述べる第一条件である。
　第一条件は、対象時刻の熱画像と背景熱画像の差分が第一所定量より小さいか以下であり、かつ、対象時刻の実体物画像と背景実体物画像の差分が第二所定量より大きいか以上であるという条件である。
　第一条件の中の「対象時刻の実体物画像と背景実体物画像の差分が第二所定量より大きいか以上であり」という部分は、ステップＳ２５２の「背景実体物画像Ibと対象時刻t2の実体物画像It2との差分d(Ib,It2)が所定量ε3より小さいか以下であるかの判断」に対応している。第二所定量は、所定量ε3に対応している。上記の例では、(2)背景実体物画像の差し替え処理が行われる前提として、ステップＳ２５２において、背景実体物画像Ibと対象時刻t2の実体物画像It2との差分d(Ib,It2)が所定量ε3より小さいか以下でないと判断、言い換えれば差分d(Ib,It2)が所定量ε3以上であるかε3より大きいと判断されている。
　第一条件の中の「対象時刻の熱画像と背景熱画像の差分が第一所定量より小さいか以下である」という部分は、ステップＳ２５３の「背景熱画像Jbと対象時刻t2の熱画像Jt2との差分d(Jb,Jt2)が所定量ε4より小さいか以下であるかの判断」に対応している。第一所定量は、所定量ε4に対応している。上記の例では、(2)背景実体物画像の差し替え処理が行われる前提として、ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断されている。
　このため、上記の例では、(2)背景実体物画像の差し替え処理が行われる前提として、第一条件は満たされている。
　所定の条件は、先に述べた第一条件及び以下に述べる第二条件を満たすという条件であってもよい。
　第二条件は、対象時刻の熱画像と対象時刻よりも前の時刻の熱画像との差分が第三所定量よりも小さいか以下であり、対象時刻の実体物画像と対象時刻よりも前の時刻の実体物画像との差分が第四所定量よりも小さいか以下であるという条件である。
　この第二条件は、ステップＳ２５１の「過去の時刻t1の実体物画像It1と対象時刻t2の実体物画像It2との差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、過去の時刻t1の熱画像Jt1と対象時刻t2の熱画像Jt2との差分d(Jt1,Jt2)が所定量ε2より小さいか以下であるかの判断」に対応している。第三所定量は、所定量ε2に対応している。第四所定量は、所定量ε1に対応している。上記の例では、(2)背景実体物画像の差し替え処理が行われる前提として、ステップＳ２５１において、過去の時刻t1の実体物画像It1と対象時刻t2の実体物画像It2との差分d(It1,It2)が所定量ε1より小さいか以下であり、かつ、過去の時刻t1の熱画像Jt1と対象時刻t2の熱画像Jt2との差分d(Jt1,Jt2)が所定量ε2より小さいか以下であると判断されている。
　このため、上記の例では、(2)背景実体物画像の差し替え処理が行われる前提として、第二条件は満たされている。
　<<(3)背景熱画像の調整処理>>
　背景更新部２５が行う(3)背景熱画像の調整処理は、対象時刻t2の熱画像Jt2において背景となっている領域を「背景領域」とするとして、所定の調整要件を満たすときには、対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2から背景熱画像Jbの背景領域の温度の代表値T’bを減算した値を、背景熱画像Jbの各画素値に加算したものを、新たな背景熱画像として得、当該所定の調整要件を満たさないときには、新たな背景熱画像を得ない、という処理である（ステップＳ２５５）。背景更新部２５は、ステップＳ２５５で新たな背景熱画像を得た場合には、新たに得た背景熱画像を次の時刻の背景更新部２５の背景更新の処理で用いる背景熱画像としてもよいし、新たに得た背景熱画像ではなく現在の背景熱画像Jbそのものを次の時刻の背景更新部２５の背景更新の処理で用いる背景熱画像としてもよい。背景更新部２５は、ステップＳ２５５で新たな背景熱画像を得なかった場合には、現在の背景熱画像Jbそのものを次の時刻の背景更新部２５の背景更新の処理で用いる背景熱画像とする。所定の調整要件については後述する。
　熱画像Jt2の背景領域の温度の代表値T’t2は、熱画像Jt2の背景領域の温度を代表する値である。熱画像Jt2の背景領域の温度の代表値T’t2は、例えば、熱画像Jt2の背景領域に含まれる画素の温度の平均値、熱画像Jt2の背景領域に含まれる画素の温度の中央値、又は、熱画像Jt2の背景領域に含まれる画素の温度の最頻値である。
　背景熱画像Jbの背景領域の温度の代表値T’bは、背景熱画像Jbの背景領域の温度を代表する値である。背景熱画像Jbの背景領域の温度の代表値T’bは、例えば、背景熱画像Jbの背景領域に含まれる画素の温度の平均値、背景熱画像Jbの背景領域に含まれる画素の温度の中央値、又は、背景熱画像Jbの背景領域に含まれる画素の温度の最頻値である。
　以下、背景更新部２５の(3)背景熱画像の調整処理の例を、図５を参照して説明する。
　背景更新部２５は、まず、対象時刻t2の熱画像Jt2の温度の代表値Tt2と、背景熱画像Jbの温度の代表値Tbとの差分|Tt2-Tb|が所定の第一閾値δ1より大きいか以上であるかを判断する（ステップＳ２５５１）。
　熱画像Jt2の温度の代表値Tt2は、熱画像Jt2の温度を代表する値である。熱画像Jt2の温度の代表値Tt2は、例えば、熱画像Jt2に含まれる画素の温度の平均値、熱画像Jt2に含まれる画素の温度の中央値、又は、熱画像Jt2に含まれる画素の温度の最頻値である。
　背景熱画像Jbの温度の代表値Tbは、背景熱画像Jbの温度を代表する値である。背景熱画像の温度の代表値Tbは、例えば、背景熱画像に含まれる画素の温度の平均値、背景熱画像に含まれる画素の温度の中央値、又は、背景熱画像に含まれる画素の温度の最頻値である。
　差分|Tt2-Tb|が所定の第一閾値δ1より大きいか以上であると判断されなかった場合（すなわち、差分|Tt2-Tb|が所定の第一閾値δ1以下であるかδ1より小さいと判断された場合）には、背景更新部２５は、新たな背景熱画像を得ずに(3)背景熱画像の調整処理を終了する。
　差分|Tt2-Tb|が所定の第一閾値δ1より大きいか以上であると判断された場合には、背景更新部２５は、背景領域を抽出するためのマスク画像を生成する（ステップＳ２５５２）。
　例えば、背景更新部２５は、対象時刻t2の実体物画像It2と背景実体物画像Ibとを比較することで前景領域を示す画像を生成して、生成された画像をマスク画像とする。
　前景領域を示す画像（マスク画像）は、例えば、対象時刻t2の実体物画像It2の画素値と背景実体物画像Ibの対応する画素値との差分が所定の値よりも大きいか以上である画素（言い換えれば前景領域に対応する画素）に対応する画素値をv1とし、そうでない画素に対応する画素値をv2とすることで生成することができる。例えば、v1=1, v2=0である。
　背景更新部２５は、対象時刻t2の熱画像Jt2、背景熱画像Jb、マスク画像を用いて、対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2から背景熱画像Jbの背景領域の温度の代表値T’bを減算した値dT=T’t2-T’bを計算する（ステップＳ２５５３）。
　そのために、背景更新部２５は、例えば、マスク画像の中の画素値がv2である画素に対応する、対象時刻t2の熱画像Jt2の画素からなる領域を背景領域として、この背景領域の温度の代表値を求めて、求めた代表値を対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2とする。
　また、背景更新部２５は、例えば、マスク画像の中の画素値がv2である画素に対応する、背景熱画像Jbの画素からなる領域を背景領域として、この背景領域の温度の代表値を求めて、求めた代表値を背景熱画像Jbの背景領域の温度の代表値T’bとする。
　そして、背景更新部２５は、dT=T’t2-T’bを計算する。
　背景更新部２５は、dTの絶対値が、所定の第二閾値δ2より大きいか以上であるかを判断する（ステップＳ２５５４）。言い換えれば、背景更新部２５は、対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2と背景熱画像Jbの背景領域の温度の代表値T’bとの差分|dT|が所定の第二閾値δ2より大きいか以上であるかを判断する。
　ステップＳ２５５４において、dTの絶対値が、所定の第二閾値δ2より大きいか以上であると判断されなかった場合には、背景更新部２５は、新たな背景熱画像を得ずに(3)背景熱画像の調整処理を終了する。
　ステップＳ２５５４において、dTの絶対値が、所定の第二閾値δ2より大きいか以上であると判断された場合には、背景更新部２５は、背景熱画像Jbの各画素値にdTを加算した値を画素値とする画素から構成される画像を新たな背景熱画像とする（ステップＳ２５５５）。このようにして、背景更新部２５は、dTを用いて背景熱画像をオフセット調整する処理をして、オフセット調整処理後の背景熱画像を新たな背景熱画像とする。
　すなわち、背景更新部２５が、対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2から背景熱画像Jbの背景領域の温度の代表値T’bを減算した値を背景熱画像Jbの各画素値に加算したものを新たな背景熱画像として得る所定の調整要件とは、対象時刻t2の熱画像Jt2の温度の代表値Tt2と、背景熱画像Jbの温度の代表値Tbとの差分|Tt2-Tb|が所定の第一閾値δ1より大きいか以上であり（ステップＳ２５５１でＹＥＳ）、かつ、対象時刻t2の熱画像Jt2の背景領域の温度の代表値T’t2から背景熱画像Jbの背景領域の温度の代表値T’bを減算した値dT=T’t2-T’bの絶対値が所定の第二閾値δ2より大きいか以上である（ステップＳ２５５４でＹＥＳ）、という要件である。
　なお、背景更新部２５は、対象時刻t2の実体物画像It2と背景実体物画像Ibとを比較することで得られる前景領域に加えて、時刻t2までに抽出された熱痕跡の領域であってまだ熱が残っている領域を考慮して、マスク画像を生成してもよい。
　この場合、背景更新部２５は、ステップＳ２５５２において、対象時刻t2の実体物画像It2の画素値と背景実体物画像Ibの対応する画素値との差分が所定の値よりも大きいか以上である画素（言い換えれば前景領域に対応する画素）に対応する画素値と、対象時刻t2の熱画像Jt2の中の、時刻t2までに抽出された熱痕跡の領域であってまだ熱が残っている領域に含まれる画素に対応する画素値と、をv1とし、そうでない画素に対応する画素値をv2とすることで、マスク画像を生成する。
　時刻t2までに抽出された熱痕跡の領域であってまだ熱が残っている領域をマスク部分とすることで、この領域に含まれる画素の温度を、温度の代表値の計算対象から除くことができる。これにより、背景熱画像の調整処理をより適切に行うことができる。
　これまで、マスク画像を用いて背景領域を得る処理を説明してきた。しかし、背景領域を得る処理は、マスク画像を用いた処理に限られない。背景領域を得る処理として、他の処理が用いられてもよい。
　背景更新部２５が(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理を行うことにより、非特許文献１よりも少ない演算量で、背景実体物画像の差し替え、背景熱画像の差し替え又は調整を行うことができる。
　先に述べたように、背景更新部２５は、(1)背景熱画像の差し替え処理、(2)背景実体物画像の差し替え処理、(3)背景熱画像の調整処理の少なくとも１つを行えばよい。言い換えれば、背景更新部２５は、ステップＳ２５１からステップＳ２５８の処理の全てを行う必要はない。以下、このような背景更新部２５の例として変形例１から変形例５を説明する。
　<<背景更新部２５の変形例１>>
　背景更新部２５は、(1)背景熱画像の差し替え処理のみを行ってもよい。
　例えば、背景更新部２５は、先に説明したステップＳ２５３からステップＳ２５５の処理を行わなくてもよい。すなわち、図６に示すように、背景更新部２５は、ステップＳ２５２において、差分d(Ib,It2)が所定量ε3より小さいか以下であると判断されなかった場合、および、ステップＳ２５７において、熱画像に熱痕跡があると判断された場合には、背景更新部２５は背景更新の処理を行わずに対象時刻t2の処理を終了してもよい。
　ステップＳ２５１からステップＳ２５２、ステップＳ２５６からステップＳ２５８の処理は、先に説明した処理と同様であるため重複説明を省略する。
　<<背景更新部２５の変形例２>>
　背景更新部２５は、(2)背景実体物画像の差し替え処理のみを行ってもよい。
　例えば、背景更新部２５は、先に説明したステップＳ２５５からステップＳ２５８の処理を行わなくてもよい。すなわち、図７に示すように、背景更新部２５は、ステップＳ２５２において、差分d(Ib,It2)が所定量ε3より小さいか以下であると判断された場合、および、ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断されなかった場合には、背景更新部２５は背景更新の処理を行わずに対象時刻t2の処理を終了してもよい。
　ステップＳ２５１からステップＳ２５４の処理は、先に説明した処理と同様であるため重複説明を省略する。
　<<背景更新部２５の変形例３>>
　背景更新部２５は、(1)背景熱画像の差し替え処理及び(2)背景実体物画像の差し替え処理のみを行ってもよい。
　例えば、背景更新部２５は、先に説明したステップＳ２５５の処理を行わなくてもよい。すなわち、図８に示すように、背景更新部２５は、ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断されなかった場合、および、ステップＳ２５７において、熱画像に熱痕跡があると判断された場合には、背景更新部２５は背景更新の処理を行わずに対象時刻t2の処理を終了してもよい。
　ステップＳ２５１からステップＳ２５４、ステップＳ２５６からステップＳ２５８の処理は、先に説明した処理と同様であるため重複説明を省略する。
　<<背景更新部２５の変形例４>>
　背景更新部２５は、(1)背景熱画像の差し替え処理及び(3)背景熱画像の調整処理のみを行ってもよい。
　例えば、背景更新部２５は、先に説明したステップＳ２５４の処理を行わなくてもよい。すなわち、図９に示すように、背景更新部２５は、ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断された場合には、背景更新部２５は背景更新の処理を行わずに対象時刻t2の処理を終了してもよい。
　ステップＳ２５１からステップＳ２５３、ステップＳ２５５からステップＳ２５８の処理は、先に説明した処理と同様であるため重複説明を省略する。
　<<背景更新部２５の変形例５>>
　背景更新部２５は、(3)背景熱画像の調整処理のみを行ってもよい。
　例えば、背景更新部２５は、ステップＳ２５４、ステップＳ２５８の処理を行わなくてもよい。すなわち、図１０に示すように、背景更新部２５は、ステップＳ２５３において、差分d(Jb,Jt2)が所定量ε4より小さいか以下であると判断された場合、および、ステップＳ２５７において、熱画像に熱痕跡がないと判断された場合には、背景更新部２５は背景更新の処理を行わずに対象時刻t2の処理を終了してもよい。
　ステップＳ２５１からステップＳ２５３、ステップＳ２５５からステップＳ２５７の処理は、先に説明した処理と同様であるため重複説明を省略する。
　<<背景更新部２５の処理の具体例>>
　以下、背景更新部２５の処理の具体例について説明する。
　時刻１から５の時系列順の各時刻の熱画像及び背景熱画像を、図１１に示す。
　なお、以下説明の簡略化のため、各時刻１から５において図４のステップＳ２５１でYESと判断されることを前提として説明する。
　時刻２において、キャリブレーションにより、熱画像の全体の温度が時刻１よりも上昇したとする。また、時刻２において、時刻１には撮影範囲に入っていなかった人物が撮影範囲に入っているとする。キャリブレーションによって熱画像の全体の温度が時刻１よりも高いことからすれば、時刻２において背景熱画像を更新することが好ましい。ただし、時刻２においては、人物が撮影範囲に入っているため、(1)背景熱画像の差し替え処理により時刻２の熱画像を背景熱画像とすることは適切ではない。そこで、時刻２では、背景更新部２５の処理において、図４のステップＳ２５２でＮＯ、ステップＳ２５３でＮＯと判断され、(3)背景熱画像の調整処理が行われる（ステップＳ２５５）。
　時刻２から時刻３の間に人物が撮影範囲から出て、時刻３においては人物が撮影範囲に入っていないとする。また、時刻３において、キャリブレーションによって熱画像の全体の温度が時刻２よりも上昇したとする。また、時刻３においては、撮影範囲に人物が入っていたことによる熱痕跡が撮影範囲に残っていないとする。さらに、時刻２における(3)背景熱画像の調整処理が行われた結果、時刻１の背景熱画像の画素値を調整したものが時刻２の時点で新たな背景熱画像とされて時刻３の背景熱画像となったとする。キャリブレーションによって熱画像の全体の温度が時刻２よりも高いことからすれば、時刻３において背景熱画像を更新することが好ましい。そして、時刻３においては、人物が撮影範囲に入っておらず熱痕跡も撮影範囲に残っていないことから、(1)背景熱画像の差し替え処理により時刻３の熱画像を背景熱画像とするのが適切である。そこで、時刻３では、背景更新部２５の処理において、図４のステップＳ２５２でＹＥＳ、ステップＳ２５６でＮＯ、ステップＳ２５７でＹＥＳと判断され、(1)背景熱画像の差し替え処理が行われる（ステップＳ２５８）。
　時刻４において、空調による時刻３からの温度変化があり、熱画像の全体の温度が時刻３よりも低下したとする。また、時刻４においては、熱画像には、時刻３より後に撮影領域に入ったものの時刻４より前に撮影領域から出た人物によって残された熱痕跡があるとする。さらに、時刻３における(1)背景熱画像の差し替え処理が行われた結果、時刻３の熱画像が新たな背景熱画像とされて時刻４の背景熱画像となったとする。空調によって熱画像の全体の温度が時刻３よりも低下していることからすれば、時刻４において背景熱画像を更新することが好ましい。ただし、時刻４においては、熱画像に熱痕跡があるため、(1)背景熱画像の差し替え処理により時刻４の熱画像を背景熱画像とすることは適切ではない。そこで、時刻４では、背景更新部２５の処理において、図４のステップＳ２５２でＹＥＳ、ステップＳ２５６でＮＯ、ステップＳ２５７でＮＯと判断され、(3)背景熱画像の調整処理が行われる（ステップＳ２５５）。
　時刻５において、熱画像から時刻４の時点ではあった熱痕跡が消えていたとする。また、空調によって、時刻５の熱画像の全体の温度は時刻４の熱画像の全体の温度よりも低いとする。さらに、時刻４における(3)背景熱画像の調整処理が行われた結果、時刻３の背景熱画像の画素値を調整したものが時刻４の時点で新たな背景熱画像とされて時刻５の背景熱画像となったとする。空調によって熱画像の全体の温度が時刻４よりも低いことからすれば、時刻５において背景熱画像を更新することが好ましい。そして、時刻５においては、人物が撮影範囲に入っておらず熱痕跡も撮影範囲に残っていないことから、(1)背景熱画像の差し替え処理により時刻５の熱画像を背景熱画像とするのが適切である。そこで、時刻５では、背景更新部２５の処理において、図４のステップＳ２５２でＹＥＳ、ステップＳ２５６でＮＯ、ステップＳ２５７でＹＥＳと判断され、(1)背景熱画像の差し替え処理が行われる（ステップＳ２５８）。
　この例にように、上記の処理により、温度変化があっても、背景熱画像の更新を適切に行うことができる。
　[画像処理装置及び方法]
　画像処理装置３は、図１２に示すように、背景更新装置２と、画像処理部３１とを例えば備えている。画像処理装置３は、実体物カメラ１１、サーマルカメラ１３を更に備えていてもよい。
　画像処理方法は、画像処理装置３の各構成部が、画像処理装置３の動作が開始してから所定時間T1経過した後の熱痕跡の抽出対象の各時刻（以下「熱痕跡抽出対象時刻」という。）に、図２に示すステップＳ１１、Ｓ２１、Ｓ１３、Ｓ２３、Ｓ２５、Ｓ３１の処理を行うことにより例えば実現される。なお、画像処理装置３は、各構成部が図３に示すステップＳ１１、Ｓ２１、Ｓ１３、Ｓ２３、Ｓ２２－１、Ｓ２２－２、Ｓ２４－１、Ｓ２４－２の処理を例えば行うことにより、ステップＳ２５とステップＳ３１の処理で用いる背景実体物画像の初期画像と背景熱画像の初期画像を得る処理を行ってもよい。
　画像処理部３１は、各熱痕跡抽出対象時刻において最も新しい背景実体物画像と最も新しい背景実体物画像を用いて所定の画像処理を行う。すなわち、画像処理部３１は、背景更新部２５が新たな背景実体物画像をまだ１個も得ていない場合には、初期背景実体物画像取得部２２で取得された背景実体物画像を用いて所定の画像処理を行い、背景更新部２５が新たな背景実体物画像を既に１個以上得た場合には、背景更新部２５で得られた新たな背景実体物画像のうちの最も新しい背景実体物画像を用いて所定の画像処理を行う。同様に、画像処理部３１は、背景更新部２５が新たな背景熱画像をまだ１個も得ていない場合には、初期背景熱画像取得部２４で取得された背景熱画像を用いて所定の画像処理を行い、背景更新部２５が新たな背景熱画像を既に１個以上得た場合には、背景更新部２５で得られた新たな背景熱画像のうちの最も新しい背景熱画像を用いて所定の画像処理を行う。すなわち、画像処理部３１は、ステップＳ２５で得た背景実体物画像及び背景熱画像を少なくとも用いて、所定の画像処理を行う。
　以下、画像処理部３１が、熱痕跡の抽出処理を行う場合を例に挙げて説明する。もちろん、画像処理部３１は、熱痕跡の抽出以外の処理を行ってもよい。
　画像処理部３１は、図１３に示すように、差分実体物画像生成部３１１、差分熱画像生成部３１２、熱痕跡抽出部３１３を例えば備えている。
　<差分実体物画像生成部３１１>
　差分実体物画像生成部３１１には、実体物画像取得部２１で取得された熱痕跡抽出対象時刻の実体物画像が入力される。また、背景更新部２５が新たな背景実体物画像をまだ１個も得ていない場合には、初期背景実体物画像取得部２２で取得された背景実体物画像が差分実体物画像生成部３１１に入力され、背景更新部２５が新たな背景実体物画像を既に１個以上得た場合には、背景更新部２５で得られた新たな背景実体物画像のうちの最も新しい背景実体物画像が差分実体物画像生成部３１１に入力される。すなわち、差分実体物画像生成部３１１には、熱痕跡抽出対象時刻において最も新しい背景実体物画像が入力される。
　差分実体物画像生成部３１１は、熱痕跡抽出対象時刻の実体物画像と熱痕跡抽出対象時刻において最も新しい背景実体物画像との間の差分の画像である差分実体物画像を生成して（ステップＳ３１１）、生成した当該熱痕跡抽出対象時刻の差分実体物画像を出力する。要するに、差分実体物画像生成部３１１は、実体物を撮影するための実体物カメラ１１で或る撮影範囲を撮影することにより得られる実体物の画像である熱痕跡抽出対象時刻の実体物画像と、当該或る撮影範囲の熱痕跡抽出対象時刻において最も新しい背景の実体物画像である背景実体物画像との間の差分の画像である差分実体物画像を生成する。生成された差分実体物画像は、熱痕跡抽出部３１３に入力される。
　<差分熱画像生成部３１２>
　差分熱画像生成部３１２には、熱画像取得部２３で取得された熱痕跡抽出対象時刻の熱画像が入力される。また、背景更新部２５が新たな背景熱画像をまだ１個も得ていない場合には、初期背景熱画像取得部２４で取得された背景熱画像が差分熱画像生成部３１２に入力され、背景更新部２５が新たな背景熱画像を既に１個以上得た場合には、背景更新部２５で得られた新たな背景熱画像のうちの最も新しい背景熱画像が、差分熱画像生成部３１２に入力される。すなわち、差分熱画像生成部３１２には、熱痕跡抽出対象時刻において最も新しい背景熱画像が入力される。
　差分熱画像生成部３１２は、熱痕跡抽出対象時刻の熱画像と、熱痕跡抽出対象時刻において最も新しい背景熱画像との間の差分の画像である差分熱画像を生成して（ステップＳ３１２）、生成した当該熱痕跡抽出対象時刻の差分熱画像を出力する。要するに、差分熱画像生成部３１２は、実体物が発する熱を撮影するためのサーマルカメラ１３で実体物カメラ１１と同じ或る撮影範囲を撮影することにより得られる実体物が発する熱の画像である熱痕跡抽出対象時刻の熱画像と、当該或る撮影範囲の熱痕跡抽出対象時刻において最も新しい背景の熱画像である背景熱画像との間の差分の画像である差分熱画像を生成する。生成された差分熱画像は、熱痕跡抽出部３１３に入力される。
　<熱痕跡抽出部３１３>
　熱痕跡抽出部３１３は、差分実体物画像生成部３１１が生成した熱痕跡抽出対象時刻の差分実体物画像と差分熱画像生成部３１２が生成した当該熱痕跡抽出対象時刻の差分熱画像とに基づいて、熱画像から実体物の領域を取り除くことで、熱痕跡の領域を抽出して（ステップＳ３１３）、抽出した当該熱痕跡抽出対象時刻の熱痕跡の領域を示す情報を出力する。
　具体的には、熱痕跡抽出部３１３は、差分実体物画像における背景実体物画像と異なる領域それぞれを差分実体物領域とし、差分熱画像における背景熱画像と異なる領域それぞれを差分熱領域として、１以上の差分熱領域のうち、１以上の差分実体物領域のいずれとも非類似な領域を熱痕跡の領域として抽出する。熱痕跡抽出部１７は、熱痕跡の領域部分を白とし、それ以外を黒とした２値画像を生成し、生成した２値画像を出力してもよい。熱痕跡抽出対象時刻は、所定間隔の各時刻であってもよいし、画像処理部３１の運用者等によって指定された時刻であってもよい。
　[プログラム、記録媒体など]
　上述した各装置の各部の処理をコンピュータにより実現してもよく、この場合は各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図１４に示すコンピュータ１０００の記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０、表示部１０６０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　上述した各装置は、例えば単一のハードウェアエンティティとして、ハードウェアエンティティの外部から信号を入力可能な入力部、ハードウェアエンティティの外部に信号を出力可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、演算処理部であるCPU（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD-ROMなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはROMなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行、処理される。その結果、CPUが所定の機能（上記、…部などと表した各構成部）を実現する。つまり、本発明の実施形態の各構成部は、処理回路(Processing Circuitry)により構成されてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（上述した各装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、具体的には、磁気記録装置、光ディスク、等である。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを記憶部１０２０に読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
　その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
　本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (8)

  1. 　(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで前記或る撮影範囲を前記対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)前記或る撮影範囲の背景の熱画像である背景熱画像と、(D)前記或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に前記対象時刻の前記熱画像を新たな背景熱画像として得る背景更新部を含み、
    　前記所定の条件は、前記対象時刻の前記熱画像と前記背景熱画像の差分が第一所定量より大きいか以上であり、かつ、前記対象時刻の前記実体物画像と前記背景実体物画像の差分が第二所定量より小さいか以下であるという第一条件である、
    　背景更新装置。
  2. 　(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで前記或る撮影範囲を前記対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)前記或る撮影範囲の背景の熱画像である背景熱画像と、(D)前記或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に前記対象時刻の前記実体物画像を新たな背景実体物画像として得る背景更新部を含み、
    　前記所定の条件は、前記対象時刻の前記熱画像と前記背景熱画像の差分が第一所定量より小さいか以下であり、かつ、前記対象時刻の前記実体物画像と前記背景実体物画像の差分が第二所定量より大きいか以上であるという第一条件である、
    　背景更新装置。
  3. 　請求項１の背景更新装置であって、
    　前記対象時刻の前記熱画像と前記対象時刻よりも前の時刻の熱画像との差分が第三所定量よりも小さいか以下であり、前記対象時刻の前記実体物画像と前記対象時刻よりも前の時刻の実体物画像との差分が第四所定量よりも小さいか以下であるという条件を第二条件として、
    　前記所定の条件は、前記第一条件及び前記第二条件を満たすという条件である、
    　背景更新装置。
  4. 　請求項２の背景更新装置であって、
    　前記対象時刻の前記熱画像と前記対象時刻よりも前の時刻の熱画像との差分が第三所定量よりも小さいか以下であり、前記対象時刻の前記実体物画像と前記対象時刻よりも前の時刻の実体物画像との差分が第四所定量よりも小さいか以下であるという条件を第二条件として、
    　前記所定の条件は、前記第一条件及び前記第二条件を満たすという条件である、
    　背景更新装置。
  5. 　請求項１又は３の背景更新装置であって、
    　前記対象時刻の前記熱画像に熱痕跡がないという条件を第三条件として、
    　前記所定の条件は、前記第一条件及び前記第三条件を満たすという条件、又は、前記第一条件、前記第二条件及び前記第三条件を満たすという条件である、
    　背景更新装置。
  6. 　(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで前記或る撮影範囲を前記対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)前記或る撮影範囲の背景の熱画像である背景熱画像と、(D)前記或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に前記対象時刻の前記熱画像を新たな背景熱画像として得る背景更新ステップを含み、
    　前記所定の条件は、前記対象時刻の前記熱画像と前記背景熱画像の差分が第一所定量より大きいか以上であり、かつ、前記対象時刻の前記実体物画像と前記背景実体物画像の差分が第二所定量より小さいか以下であるという第一条件である、
    　背景更新方法。
  7. 　(A)実体物が発する熱を撮影するためのサーマルカメラで或る撮影範囲を対象時刻に撮影して得た、実体物が発する熱の画像である熱画像と、(B)実体物を撮影するための実体物カメラで前記或る撮影範囲を前記対象時刻に撮影して得た、実体物の画像である実体物画像と、(C)前記或る撮影範囲の背景の熱画像である背景熱画像と、(D)前記或る撮影範囲の背景の実体物画像である背景実体物画像と、を用いて、所定の条件を満たす場合に前記対象時刻の前記実体物画像を新たな背景実体物画像として得る背景更新ステップを含み、
    　前記所定の条件は、前記対象時刻の前記熱画像と前記背景熱画像の差分が第一所定量より小さいか以下であり、かつ、前記対象時刻の前記実体物画像と前記背景実体物画像の差分が第二所定量より大きいか以上であるという第一条件である、
    　背景更新方法。
  8. 　請求項１又は２の背景更新装置の各部としてコンピュータを機能させるためのプログラム。
PCT/JP2022/033370 2022-09-06 2022-09-06 背景更新装置、方法及びプログラム WO2024052973A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/033370 WO2024052973A1 (ja) 2022-09-06 2022-09-06 背景更新装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/033370 WO2024052973A1 (ja) 2022-09-06 2022-09-06 背景更新装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024052973A1 true WO2024052973A1 (ja) 2024-03-14

Family

ID=90192354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033370 WO2024052973A1 (ja) 2022-09-06 2022-09-06 背景更新装置、方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024052973A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207392A (ja) * 2012-03-27 2013-10-07 Secom Co Ltd 画像監視装置
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
WO2022080352A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
WO2022176151A1 (ja) * 2021-02-19 2022-08-25 三菱電機株式会社 人検出装置、電気機器、人検出方法、及び人検出システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207392A (ja) * 2012-03-27 2013-10-07 Secom Co Ltd 画像監視装置
KR101583773B1 (ko) * 2014-10-29 2016-01-20 동국대학교 산학협력단 대상체 검출 장치 및 방법
WO2022080352A1 (ja) * 2020-10-16 2022-04-21 日本電信電話株式会社 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
WO2022176151A1 (ja) * 2021-02-19 2022-08-25 三菱電機株式会社 人検出装置、電気機器、人検出方法、及び人検出システム

Similar Documents

Publication Publication Date Title
Raj et al. Fundus image quality assessment: survey, challenges, and future scope
US20030161506A1 (en) Face detection computer program product for redeye correction
US9773193B2 (en) Image processing apparatus, image processing method, and program
JP5906188B2 (ja) 範囲情報を使用したデジタル画像の輝度調整
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
JP2002325754A (ja) 画像処理方法および装置
Babaloukas et al. Evaluation of three methods for retrospective correction of vignetting on medical microscopy images utilizing two open source software tools
Bhateja et al. Multispectral medical image fusion in Contourlet domain for computer based diagnosis of Alzheimer’s disease
WO2024052973A1 (ja) 背景更新装置、方法及びプログラム
WO2024052974A1 (ja) 背景更新装置、方法及びプログラム
DE202018000408U1 (de) Gesichtserfassung, Posenabschätzung, und Abschätzung eines Abstands von einer Kamera unter Verwendung eines einzelnen Netzwerks
CN112288697B (zh) 用于量化异常程度的方法、装置、电子设备及可读存储介质
KR102161166B1 (ko) 영상 융합 방법 및 기록 매체
JP7119493B2 (ja) 認識装置、認識方法およびプログラム
Qu et al. Imaging error compensation method for through‐focus scanning optical microscopy images based on deep learning
CN110445954B (zh) 图像采集方法、装置及电子设备
US11941862B2 (en) Apparatus, method, and storage medium
WO2020053984A1 (ja) 生体認証装置、偽造判別プログラム及び偽造判別方法
WO2024047807A1 (ja) 閾値決定装置、方法及びプログラム
JP6833110B2 (ja) 画像補正装置、画像補正方法、及び画像補正プログラム
Rao et al. Brain MRI segmentation binary u-net based architecture using deep learning algorithm
CN115082319B (zh) 一种超分辨率图像的构建方法、计算机设备及存储介质
CN111935391B (zh) 图像处理装置及其控制方法和计算机可读存储介质
Cao et al. Automatic SRAF printing detection based on contour extraction
CN114783041B (zh) 目标对象识别方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22958053

Country of ref document: EP

Kind code of ref document: A1