WO2023067973A1 - 深部体温推定装置、深部体温推定方法、及び、プログラム - Google Patents

深部体温推定装置、深部体温推定方法、及び、プログラム Download PDF

Info

Publication number
WO2023067973A1
WO2023067973A1 PCT/JP2022/035123 JP2022035123W WO2023067973A1 WO 2023067973 A1 WO2023067973 A1 WO 2023067973A1 JP 2022035123 W JP2022035123 W JP 2022035123W WO 2023067973 A1 WO2023067973 A1 WO 2023067973A1
Authority
WO
WIPO (PCT)
Prior art keywords
body temperature
image
core body
thermal image
person
Prior art date
Application number
PCT/JP2022/035123
Other languages
English (en)
French (fr)
Inventor
健一郎 野坂
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023555058A priority Critical patent/JPWO2023067973A1/ja
Publication of WO2023067973A1 publication Critical patent/WO2023067973A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling

Definitions

  • the present disclosure relates to a core body temperature estimation device, a core body temperature estimation method, and a program for estimating a person's core body temperature.
  • Patent Document 1 a temperature measuring device that measures a person's body temperature without contact is known (see Patent Document 1, for example).
  • the temperature measuring device disclosed in the above-mentioned Patent Literature 1 is susceptible to measurement results depending on the measurement environment and the measurement site, and may not be able to appropriately measure (that is, output) the human body temperature from the viewpoint of its accuracy. There is Therefore, the present disclosure provides a core body temperature estimation method and the like that can more appropriately output a person's body temperature.
  • a core body temperature estimation method for estimating the core body temperature of a person, which indicates a radiation temperature distribution of a target space including the face of the person.
  • a program according to one aspect of the present disclosure is a program for causing a computer to execute the core body temperature estimation method described above.
  • a core body temperature estimating device is a body temperature estimating device for estimating a core body temperature of a person, which acquires a target thermal image showing a radiation temperature distribution of a target space including the face of the person.
  • an image acquisition unit a probability image generation unit that generates an area probability image indicating a probability that each of the plurality of pixels of the acquired target thermal image corresponds to each of the one or more facial parts of the person; an area dividing unit that divides into one or more facial part areas corresponding to each of the one or more facial parts based on the area probability image; an area generation unit that generates an estimation target area including an area to be used, a partial thermal image corresponding to the generated estimation target area in the target thermal image, and the generated estimation target in the area probability image a partial area probability image corresponding to the area; a resolution conversion unit for converting the partial area probability image to a predetermined resolution; an output unit that inputs an estimation model to calculate and output an estimated value of the core body temperature of the person.
  • FIG. 1 is a schematic diagram illustrating a usage example of a core body temperature estimating device according to an embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the core body temperature estimation device according to the embodiment.
  • 3A and 3B are diagrams for explaining the operation of the area generation unit according to the embodiment.
  • FIG. FIG. 4 is a diagram explaining the operation of the output unit according to the embodiment.
  • FIG. 5 is a diagram explaining an operation of an output unit according to another example of the embodiment;
  • FIG. 6 is a diagram explaining the operation of the output unit according to still another example of the embodiment;
  • FIG. 7 is a flow chart showing the operation of the core body temperature estimating device according to the embodiment.
  • FIG. 1 is a schematic diagram illustrating a usage example of a core body temperature estimating device according to an embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the core body temperature estimation device according to the embodiment.
  • 3A and 3B are diagrams for explaining the operation of the area generation unit according to the
  • FIG. 8 is a first diagram for explaining each image generated with the operation of the core body temperature estimating device according to the embodiment.
  • ⁇ Figure 9 >It is the 2nd figure which explains each picture which is formed with the operation of the deep body temperature estimation device which relates to the form of execution.
  • FIG. 10 is a graph showing the relationship between the estimated value of core body temperature and the correct value according to the example.
  • FIG. 11 is a graph showing the relationship between the body temperature measured by the body temperature measuring device according to the comparative example and the correct value.
  • a radiation thermometer is known as a body temperature measuring device that measures the body temperature of a person by receiving radiation emitted from the person (see, for example, Patent Document 1).
  • a radiation thermometer basically only measures the temperature of the body surface. It is known that the temperature of the body surface is easily affected by the outside air temperature and the like, and easily fluctuates depending on the situation. For this reason, this type of body temperature measuring device has a low correlation with the core body temperature, which is the true body temperature, and has the problem that it may not be possible to measure (that is, output) the body temperature of a person appropriately from the viewpoint of accuracy.
  • the core body temperature estimating device In the core body temperature estimating device according to the present disclosure, a thermal image including a target person is input to a machine-learned model that has been machine-learned in advance, and the core body temperature is calculated by estimation and an estimated value is output. By estimating the core body temperature in this way, it is possible to obtain an estimated body temperature that is closer to the true value. That is, it becomes possible to output the human body temperature more appropriately.
  • the core body temperature estimating device has the following advantages in using only thermal images.
  • a thermal image contains the target person, but it is difficult to include personal information that distinguishes the person from others.
  • the radiation temperature that is, thermal image
  • visible light images tend to contain personal information, and many people feel reluctance to use such visible light images.
  • even when using a visible light image as described above it is essential to use a thermal image. becomes unnecessary, and it is also useful in terms of equipment cost.
  • the core body temperature estimation method according to the first aspect of the present disclosure is as follows.
  • the core body temperature estimation method is a core body temperature estimation method for estimating the core body temperature of a person, comprising: a thermal image acquisition step of acquiring a target thermal image showing a radiation temperature distribution of a target space including a human face; a probability image generating step of generating an area probability image indicating a probability that each of a plurality of pixels of the image corresponds to each of one or more facial parts of a person; an area dividing step of dividing into one or more facial part areas corresponding to each of the above facial parts; and an area of the divided facial part areas for generating an estimation target area including an area used for estimating a person's deep body temperature.
  • the core body temperature estimation method With such a core body temperature estimation method, it is possible to acquire a target thermal image of a person and estimate the core body temperature of the person from this target thermal image.
  • the core body temperature estimation method utilizes a target thermal image and an area probability image that indicates the probability that each pixel of the target thermal image corresponds to each of one or more facial parts of a person. Therefore, the core body temperature estimated here is an estimation that takes into consideration the temperature value information in each pixel of the thermal image and the information as to which one or more parts of the human face each pixel can correspond to. output based on Also, the estimated core body temperature is output by inputting the above information into a body temperature estimation model that has been learned in advance by machine learning.
  • the body temperature estimation model among the temperature values of each pixel in the thermal image, relatively large weighting factors are assigned to the temperature values of pixels that have a high probability of corresponding to facial parts that show a strong correlation with the true core body temperature. Therefore, it is possible to estimate and output a more accurate core body temperature of a person.
  • the deep body temperature estimation method only the target thermal image is used, so the estimated value of the deep body temperature can be output appropriately from the standpoint of privacy and device cost compared to the example in which the visible light image is combined.
  • the input image is converted into an image with a predetermined resolution by at least one of a reduction process and an interpolation process, according to the first aspect. is a core body temperature estimation method.
  • At least one of image reduction processing and interpolation processing is applied to the partial thermal image corresponding to the generated estimation target region and the partial region probability image corresponding to the generated estimation target region. can be used to convert the resolution of these images.
  • the one or more facial parts include at least one of a part where a mask as an accessory and a part where eyeglasses are worn.
  • a core body temperature estimation method according to embodiments.
  • the part where the mask is worn and the part where the glasses are worn can be identified as one of the facial parts, it is possible to identify the person wearing the mask and the person wearing the glasses more accurately. It becomes possible to estimate and output the core body temperature.
  • the deep body temperature estimation method is described in the third aspect, wherein in the output step, the wearing state information for displaying the wearing state indicating whether or not the mask is worn is displayed on the display device. is a core body temperature estimation method.
  • the wearing state information by using the wearing state information, the wearing state indicating whether or not the mask is worn can be displayed on the display device.
  • the core body temperature estimation method further includes a determination step of determining whether the thermal image is a thermal image including a human face or a thermal image not including a human face. .
  • the core body temperature estimation method according to any one of the first to fourth aspects, wherein in the thermal image acquisition step, a thermal image determined to be a thermal image including a human face is acquired as the target thermal image. .
  • the thermal image including the human face by acquiring only the thermal image including the human face as the target thermal image, it is possible to prevent the thermal image including the human face from being acquired as the target thermal image.
  • the part above the human eye part and the part below the human chin part are The core body temperature estimation method according to any one of the first to fifth aspects, wherein the coordinates of the center of gravity of the facial part area corresponding to the part to be excluded are calculated, and an area centered on the calculated coordinates of the center of gravity is generated as the estimation target area. is.
  • the estimation target region is located between two or more target thermal images acquired at different timings and has the same size as much as possible while including most (for example, all) of the human face. Since the area of the portion removed by the method is unstable due to the influence of hair and clothing, it is not suitable for determining the center of the estimation target region. That is, the size of the estimation target area can be stabilized by determining the center of the estimation target area with such an area removed.
  • any one of the first to sixth aspects wherein the core body temperature information that causes the display device to display the estimated value of the estimated core body temperature is output.
  • a core body temperature estimation method according to one aspect.
  • the core body temperature information can be used to display the estimated value of the core body temperature estimated by the display device.
  • the output step when the estimated value of the estimated core body temperature is equal to or greater than a predetermined value, warning information for warning is output.
  • the method for estimating core body temperature according to any one of 7th to 7th aspects.
  • the warning information it is possible to issue a warning based on the fact that the estimated value of the core body temperature is equal to or greater than a predetermined value.
  • the output step includes averaging all pixels of an image corresponding to the partial thermal image converted to the predetermined resolution and the partial area probability image converted to the predetermined resolution.
  • an estimated value of a person's deep body temperature is output based on an average value of all pixels of an image corresponding to a partial thermal image converted to a predetermined resolution and a partial area probability image converted to a predetermined resolution. can be done.
  • a program according to a tenth aspect of the present disclosure is a program for causing a computer to execute the core body temperature estimation method according to any one of the first to ninth aspects.
  • a core body temperature estimating device is a body temperature estimating device for estimating the core body temperature of a person, which acquires a target thermal image showing a radiation temperature distribution of a target space including a human face.
  • An image acquisition unit a probability image generation unit for generating an area probability image indicating a probability that each of a plurality of pixels of the acquired target thermal image corresponds to each of one or more facial parts of a person, and the generated area probability image.
  • an area dividing unit that divides into at least one facial part area corresponding to each of the at least one facial part based on , and an estimation target that includes an area used for estimating a person's core body temperature among the divided facial part areas
  • an area generation unit that generates an area, a partial thermal image corresponding to the generated estimation target area in the target thermal image, and a partial area probability image corresponding to the generated estimation target area in the area probability image; to a predetermined resolution
  • the partial thermal image converted to the predetermined resolution and the partial area probability image converted to the predetermined resolution are input to the trained body temperature estimation model to obtain the estimated value of the core body temperature of the person.
  • an output unit for calculating and outputting.
  • Such a core body temperature estimating device can achieve the same effect as the core body temperature estimating method described above.
  • the resolution conversion unit converts an input image into an image with a predetermined resolution by at least one of a process of reducing and an interpolation process. is a core body temperature estimator.
  • At least one of image reduction processing and interpolation processing is applied to the partial thermal image corresponding to the generated estimation target region and the partial region probability image corresponding to the generated estimation target region. can be used to convert the resolution of these images.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Therefore, scales and the like are not always the same in each drawing.
  • the same reference numerals are assigned to substantially the same configurations, and overlapping descriptions are omitted or simplified.
  • FIG. 1 is a schematic diagram illustrating a usage example of a core body temperature estimating device according to an embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of the core body temperature estimating device according to the embodiment.
  • core body temperature estimating apparatus 100 acquires, for example, a thermal image of target person 99 (hereinafter simply referred to as person 99), It is a device that outputs the core body temperature of the body.
  • the core body temperature estimation device 100 is incorporated in, for example, a core body temperature estimation system 500 .
  • the core body temperature estimation system 500 includes, in addition to the core body temperature estimation device 100, an imaging device 200 (see FIG. 2) for capturing a thermal image, and a display device 300 for displaying the output estimated core body temperature. including.
  • the core body temperature estimation system 500 is installed, for example, at each seat of a public transportation system where an unspecified number of users are assumed, and estimates the core body temperature of a person 99 who uses the seat. As a result, it is possible to immediately detect a person 99 who has an abnormality in the core body temperature among the users of public transportation.
  • abnormal core body temperature include hypothermia (predetermined value: 35.0° C. or less) in which core body temperature drops rapidly, and fever state in which core body temperature abnormally increases (predetermined value: 37.0° C.). 0° C., 37.5° C. or 38.0° C. or higher), etc. are assumed.
  • the imaging device 200 is arranged in an attitude to image the face of the person 99 (for example, an attitude to image the dot hatched angle of view area between the dashed lines in the drawing). Then, the captured thermal image is transmitted to the core body temperature estimation device 100 .
  • the core body temperature estimating device 100 receives the thermal image, calculates and outputs an estimated core body temperature of the person 99 estimated from the thermal image.
  • the output estimated value is displayed, for example, on the display device 300 or the like.
  • the display device 300 may display a portion of the captured thermal image together with the estimated core body temperature. By doing so, when the person 99 looks at the display device 300, it is possible to notify that the thermal image has been used for estimating the core body temperature.
  • the thermal image since the thermal image is displayed, it can be implied that an image such as a visible light image that may contain a relatively large amount of personal information is not being acquired. You can reduce the feeling of anxiety you feel.
  • the core body temperature estimating apparatus 100 includes a thermal image acquisition unit 106, an area division unit 101, a probability image generation unit 105, an area generation unit 102, a resolution conversion unit 103, and an output unit 104. , provided.
  • the thermal image acquisition unit 106 is a functional unit that acquires a target thermal image showing the radiation temperature distribution of the target space including the face of the person 99.
  • the thermal image acquisition unit 106 receives a thermal image captured by the imaging device 200 within the space of the angle of view and outputs it, and acquires this thermal image as a target thermal image.
  • a thermal image spatial thermal image
  • the thermal image acquisition unit 106 is designed not to acquire this thermal image.
  • the deep body temperature estimating apparatus 100 does not start operating, which is useful in terms of energy costs.
  • both the terms “thermal image” and “target thermal image” are synonymous with the target thermal image including the face of the person 99 .
  • the thermal image acquisition unit 106 is implemented by executing a preset program by a computer including a processor and memory. Further, the region division unit 101, the probability image generation unit 105, the region generation unit 102, the resolution conversion unit 103, and the output unit 104, which will be described below, are realized by executing programs set for each. . That is, the deep body temperature estimation apparatus 100 includes a processor, a memory, the thermal image acquisition unit 106, the region division unit 101, the probability image generation unit 105, the region generation unit 102, the resolution conversion unit 103, and the output unit 104. It is realized by a program corresponding to
  • the probability image generation unit 105 generates an area probability image that indicates the probability that each of the plurality of pixels of the thermal image corresponds to each of one or more facial parts of the person 99 .
  • the area probability image indicates the probability that one pixel corresponds to the first part of one or more facial parts, the probability that it corresponds to the second part, . . . include.
  • the region probability image can be regarded as one image in which each pixel has n channels (pixel values). . . , and can also be regarded as a set of n images, which is the distribution of the n-th part-likeness.
  • facial parts include parts that actually exist on the face of the person 99, such as the forehead, eyes, nose, cheeks, mouth, and chin, as well as parts where accessories such as masks and glasses are worn. contains. Therefore, the deep body temperature estimating apparatus 100 can appropriately estimate the deep body temperature even when such accessories are worn. Moreover, a background portion, which is a portion in which the person 99 is not shown, may be included as the face portion.
  • the area dividing unit 101 divides the thermal image into one or more facial part areas corresponding to one or more facial parts, respectively, based on the generated area probability image.
  • the area dividing unit 101 classifies all pixels into one or more facial parts by assigning the facial part with the highest probability to each pixel of the area probability image. Then, a set of pixels classified into the same facial part is determined as one facial part region.
  • Each of the one or more facial part areas is associated with information (such as address information) of pixels classified into the facial part area.
  • the probability image generation unit 105 and the region division unit 101 are implemented by implementing a semantic segmentation model.
  • the semantic segmentation model implemented here may be any existing model, such as U-Net, DeepLab, and MaskFormer.
  • the region generation unit 102 generates an estimation target region including a region used for estimating the deep body temperature of the person 99 from among the one or more divided facial part regions.
  • the area generation unit 102 suppresses the influence of the facial part areas unsuitable for estimating the core body temperature by removing the facial part areas unsuitable for estimating the core body temperature.
  • FIG. 3 is a diagram explaining the operation of the area generation unit according to the embodiment.
  • the first site P1, the second site P2, the third site P3, the fourth site P4, the fifth site P5, the sixth site P6, the seventh site P7, the eighth site P8, and the ninth site P9 2 shows a facial part area segmented image 12 showing the distribution of each facial part area divided into 2, and a process leading to an estimation target area Sq generated from the facial part area segmented image 12.
  • the estimation target region Sq includes the entire face of the person 99 and is an area that can suppress inclusion of the background portion that may negatively affect the estimation of the core body temperature of the person 99.
  • the estimation target region Sq generated below undergoes size stabilization processing so that the sizes do not differ greatly between the thermal images, and is generated with a size that includes the entire face of the person 99. be done.
  • the first part P1 corresponds to the forehead
  • the second part P2 corresponds to the eyes
  • the eighth part P8 corresponds to the chin
  • the ninth part P9 corresponds to the neck.
  • the center coordinates of the estimation target area Sq are determined from these facial parts.
  • the area above the eyes of the person 99 is likely to change due to the influence of the hair, and is not suitable for determining the center coordinates of the area from the viewpoint of stable size.
  • the part below the chin of the person 99, such as the ninth part P9 is likely to change due to the influence of clothes, and is not suitable for determining the center coordinates of the area from the viewpoint of stable size.
  • the central coordinates are determined such that the first part P1 and the ninth part P9 are not used to determine the central coordinates of the area, and the estimation target area Sq having these central coordinates is determined. do.
  • the one or more face parts above the eyes of the person 99 is determined.
  • a facial part area C is an area obtained by merging the facial part areas shown in the dashed circle.
  • the center of gravity Ca of the facial part region C is calculated.
  • a rectangular area having a size that includes is generated as the estimation target area Sq.
  • the estimation target area Sq is, for example, coordinate information corresponding to the original thermal image.
  • the resolution conversion unit 103 converts the partial thermal image corresponding to the generated estimation target region Sq out of the thermal image and the partial region probability corresponding to the generated estimation target region Sq out of the region probability image.
  • the image is converted to a predetermined resolution.
  • a resolution of 32 ⁇ 32 pixels is set as the predetermined resolution, but the predetermined resolution may be any resolution.
  • the resolution conversion unit 103 converts the input image into an image with a predetermined resolution by at least one of reduction processing and interpolation processing. By uniforming the resolutions by the resolution conversion unit 103, the resolutions of the images input to the output unit 104, that is, input to the learned body temperature estimation model, are unified. As a result, it is no longer necessary to prepare a body temperature estimation model for each resolution and classify the cases for each resolution, and to prepare a body temperature estimation model compatible with each resolution. Estimation of body temperature becomes possible.
  • the output unit 104 inputs the partial thermal image converted to the predetermined resolution and the partial area probability image converted to the predetermined resolution to the trained body temperature estimation model to calculate and output the estimated core body temperature of the person 99 .
  • FIG. 4 is a diagram explaining the operation of the output unit according to the embodiment.
  • the partial thermal image 16 converted to the predetermined resolution and the partial area probability image 17 converted to the predetermined resolution are input to the output unit 104 .
  • the output unit 104 outputs information of pixel values (one channel) corresponding to 32 ⁇ 32 ⁇ temperature of the partial thermal image 16 and pixels corresponding to the probabilities of each facial part of 32 ⁇ 32 ⁇ 1 or more of the partial region probability image 17.
  • values for example, 11 channels corresponding to 11 sites
  • the body temperature estimation model in “1 ⁇ 1 Conv Relu”, 12 types of linear sums of 12 channels of each pixel are calculated, and non-linear transformation is performed by rounding up values of 0 or less to 0.
  • 12 ⁇ 12 weighting factors corresponding to each channel at that time are determined by learning. Then, one type of linear sum of the 12 types of linear sums calculated with each weighting factor in "1 ⁇ 1 Conv” is calculated. At that time, 1 ⁇ 12 weighting factors are determined by learning. As a result, an image having 32 ⁇ 32 ⁇ 1 pixel values corresponding to the partial thermal image 16 converted to the predetermined resolution and the partial area probability image 17 converted to the predetermined resolution is calculated. For this image, the average value of all the pixels in "Ave” is calculated and multiplied by a weighting factor W1 . The weighting factor W1 is determined by learning. Also, for the above image, in "Max", the maximum value among all the pixels is calculated and multiplied by a weighting factor W2 . The weighting factor W2 is determined by learning.
  • the image is reduced in resolution to generate a 16 x 16 x 12 channel image.
  • the image is reduced in resolution to generate an 8 ⁇ 8 ⁇ 12 channel image.
  • Any processing may be used as the processing for lowering the resolution here.
  • the resolution may be reduced by a method of determining the pixel value of one pixel based on the average value of four pixels.
  • weighting factor W3 weighting factor W4 , weighting factor W5 , and weighting factor W6 , respectively.
  • Weighting factor W 3 , weighting factor W 4 , weighting factor W 5 , and weighting factor W 6 are all determined by learning.
  • the estimated core body temperature is calculated.
  • the resolution reduction process allows the global relationship between pixels to be added to the estimation result of the core body temperature.
  • FIG. 5 is a diagram explaining an operation of an output unit according to another example of the embodiment; FIG. 5 shows an output unit 104a having another body temperature estimation model that can be applied in place of the body temperature estimation model described above.
  • the body temperature estimation model of the output unit 104a shown in FIG. 5 differs from the body temperature estimation model of the output unit 104 in that the "Down Sampling" process is omitted.
  • an estimation result that combines the local relationship between pixels and the global relationship between pixels cannot be obtained.
  • the core body temperature estimating apparatus 100 can be realized with a simple configuration that is simplified, high-speed, and has relatively low processing performance.
  • the weighting factors W1 and W2 in the figure are weighting factors different from the weighting factors W1 and W2 of the body temperature estimation model of the output unit 104, and are determined by learning. .
  • FIG. 6 is a figure explaining operation
  • FIG. 6 shows an output unit 104b having another body temperature estimation model that can be applied in place of the body temperature estimation model described above.
  • Each of the 11 average values calculated in the above manner is multiplied by the corresponding weighting coefficients W 1 to W 11 and summed linearly to calculate the estimated value of the core body temperature.
  • a partial thermal image 16 converted to a predetermined resolution is obtained by "Reshape 32 ⁇ 32 ⁇ 1 ->1024 ⁇ 1" and "Transpose 1024 ⁇ 1 ->1 ⁇ 1024". Generate the corresponding 1 ⁇ 1024 information.
  • any existing core body temperature estimation model may be used as the body temperature estimation model.
  • FIG. 7 is a flow chart showing the operation of the core body temperature estimating device according to the embodiment.
  • FIG. 8 is a first diagram for explaining each image generated with the operation of the core body temperature estimating device according to the embodiment.
  • FIG. 9 is a second diagram for explaining each image generated with the operation of the core body temperature estimating device according to the embodiment.
  • the thermal image acquisition unit 106 receives a thermal image from the imaging device 200 (step S101).
  • the thermal image acquiring unit 106 determines whether or not the received thermal image includes the face of the person 99 (determination step S102).
  • determination step S102 determines whether or not the received thermal image includes the face of the person 99.
  • the thermal image acquisition unit 106 determines that the received thermal image does not include a human face (No in determination step S102)
  • the process ends.
  • the thermal image acquisition unit 106 determines that the received thermal image includes a human face (Yes in determination step S102)
  • the thermal image acquisition unit 106 acquires this thermal image as the target thermal image 11 (thermal image acquisition step S103).
  • the probability image generation unit 105 generates a region probability image 18 from the acquired thermal image (probability image generation step S104).
  • the area dividing unit 101 divides the thermal image into one or more facial part areas to generate the facial part area divided image 12 (area dividing step S105).
  • the output unit 104 determines whether or not the person 99 is wearing a mask based on whether or not there is a facial part area corresponding to a facial part wearing a mask in the facial part area divided image 12. Determine (step S106).
  • the wearing state of the mask of the person 99 is generated on the display device 300 (step S107). Thereafter, the process proceeds to area generation step S108.
  • the output unit 104 determines that the person 99 is wearing a mask (Yes in step S106)
  • the process proceeds to area generation step S108 without doing anything.
  • the area generation unit 102 generates an estimation target area Sq using the facial part area divided image 12 (area generation step S108). After that, using the generated estimation target region Sq and the target thermal image 11, the core body temperature estimating apparatus 100 generates a partial thermal image 14 corresponding to the estimation target region Sq, and the generated estimation target region Sq and region probability image 18. to generate a partial area probability image 15 corresponding to the estimation target area Sq.
  • the resolution conversion unit 103 converts the input image into a partial thermal image 16 converted to a predetermined resolution and a partial thermal image 16 converted to a predetermined resolution by at least one of the process of reducing the input image and the process of interpolating the image. Then, the partial area probability image 17 is generated (resolution conversion step S109).
  • the output unit 104 inputs the generated partial thermal image 16 converted to the predetermined resolution and the partial area probability image 17 converted to the predetermined resolution to the body temperature estimation model to calculate the estimated core body temperature (step S111). .
  • the output unit 104 compares the estimated core body temperature with a predetermined value to determine whether or not it is abnormal. More specifically, the output unit 104 determines whether or not the estimated core body temperature is lower than a predetermined value (step S112). When the output unit 104 determines that the estimated value of the core body temperature is equal to or greater than the predetermined value (No in step S112), for example, it sounds an alarm, displays character information indicating a warning, or lights a warning lamp. Warning information for warning such as is generated (step S112). After that, the process proceeds to step S113. On the other hand, when the output unit 104 determines that the estimated core body temperature is less than the predetermined value (No in step S112), the process proceeds to step S113 without doing anything.
  • the output unit 104 generates core body temperature information for displaying the estimated value of the core body temperature as a number on the display device (step S113). Then, the output unit 104 outputs the generated one of the wearing state information, the warning information, and the deep body temperature information to the display device 300 (output step S114). In this way, the core body temperature estimated with high accuracy is output with a simple configuration.
  • the deep body temperature estimation system 500 always generates the partial area probability image 17 corresponding to each facial part such as a mask or glasses. Therefore, the output unit 104 does not need to be separately used with and without masks and glasses, and the output unit 104 can be configured with a single model. By doing this, even if there are parts that cannot be seen due to the influence of hairstyles and face orientation, as well as the presence or absence of masks and glasses, a single model can perform highly robust estimation of core body temperature. be able to.
  • the output contents to the display device 300 are not limited to these.
  • the wearing state of Mask is described as an example of the wearing state information, but the present invention is not limited to this. It does not matter if the wearing state information is not included. The same applies to warning information and deep body temperature information, which may or may not be included in the output to display device 300 .
  • the estimated value of the core body temperature estimated by the core body temperature estimation device 100 may be output to a device other than the display device 300 .
  • the core body temperature estimating apparatus 100 may be configured to output the estimated core body temperature as numerical information to a server or the like and store the numerical information. That is, in this case, the output unit 104 generates and outputs numerical information of the estimated core body temperature.
  • FIG. 10 is a graph showing the relationship between the estimated value of core body temperature and the correct value according to the example.
  • FIG. 11 is a graph showing the relationship between the body temperature measured by the body temperature measuring device according to the comparative example and the correct value.
  • the vertical axis indicates the estimated value of the core body temperature output from the output unit
  • the horizontal axis indicates the body temperature measured by the contact thermometer as a correct value close to the core body temperature.
  • FIG. 11 shows measured values of body temperature on the forehead using a radiation thermometer
  • the horizontal axis shows measured values of body temperature with a contact-type thermometer as correct values close to core body temperature.
  • the core body temperature estimation method and the like according to the present disclosure have been described based on the above embodiments, but the present disclosure is not limited to the above embodiments.
  • a process executed by a specific processing unit may be executed by another processing unit.
  • the order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • an example of estimating the core body temperature of one person was described as a target, but this does not limit the number of people to be estimated, as multiple people may be the target.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • the present invention may be implemented as an information processing method executed by a computer, may be implemented as a program for causing a computer to execute such an information processing method, or may be implemented by recording such a program. It may also be implemented as a non-transitory computer-readable recording medium.
  • Target Thermal Image (Thermal Image) 12 Facial region segmented image 12a Region generation image 14 Partial thermal image 15 Partial region probability image 16 Partial thermal image converted to predetermined resolution 17 Partial region probability image converted to predetermined resolution 18 Region probability image 99 Person 100 Deep body temperature Estimation device 101 Region division unit 102 Region generation unit 103 Resolution conversion unit 104 Output unit 105 Probability image generation unit 106 Thermal image acquisition unit 200 Imaging device 300 Display device 500 Deep body temperature estimation system C Facial region Ca Center of gravity Sq Estimation target region

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

深部体温推定方法は、対象熱画像（１１）を取得する熱画像取得ステップ（Ｓ１０３）と、対象熱画像（１１）の複数の画素のそれぞれが、人（９９）の顔部位に相当する確率を示す領域確率画像（１８）を生成する確率画像生成ステップ（Ｓ１０４）と、対象熱画像（１１）を１以上の顔部位領域に分割する領域分割ステップ（Ｓ１０５）と、推定対象領域（Ｓｑ）を生成する領域生成ステップ（Ｓ１０８）と、推定対象領域（Ｓｑ）に対応する部分熱画像（１４）と、推定対象領域（Ｓｑ）に対応する部分領域確率画像（１５）と、を所定分解能に変換する分解能変換ステップ（Ｓ１０９）と、所定分解能に変換された部分熱画像（１６）及び部分領域確率画像（１７）を学習済みの体温推定モデルに入力して深部体温の推定値を出力する出力ステップ（Ｓ１１４）と、を含む。

Description

深部体温推定装置、深部体温推定方法、及び、プログラム
　本開示は、人の深部体温を推定する深部体温推定装置、深部体温推定方法、及びプログラムに関する。
　従来、非接触に人の体温を計測する温度測定装置が知られている（例えば、特許文献１参照）。
特開２０２１－１３９７０６号公報
　しかしながら、上記の特許文献１に開示されるような温度測定装置は、測定環境や測定部位によって測定結果が左右されやすく、その正確度の観点で適切に人の体温を測定（つまり出力）できない場合がある。そこで、本開示では、より適切に人の体温を出力可能な深部体温推定方法等を提供する。
　上記課題を解決するために、本開示の一態様に係る深部体温推定方法は、人の深部体温を推定する深部体温推定方法であって、前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、生成した前記領域確率画像に基づいて、前記対象熱画像を前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力ステップと、を含む。
　また、本開示の一態様に係るプログラムは、上記に記載の深部体温推定方法をコンピュータに実行させるためのプログラムである。
　また、本開示の一態様に係る深部体温推定装置は、人の深部体温を推定する体温推定装置であって、前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、生成した前記領域確率画像に基づいて、前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力部と、を備える。
　本開示によれば、より適切に人の体温を出力することが可能となる。
図１は、実施の形態に係る深部体温推定装置の使用事例を説明する概略図である。 図２は、実施の形態に係る深部体温推定装置の機能構成を示すブロック図である。 図３は、実施の形態に係る領域生成部の動作について説明する図である。 図４は、実施の形態に係る出力部の動作について説明する図である。 図５は、実施の形態の別例に係る出力部の動作について説明する図である。 図６は、実施の形態のさらなる別例に係る出力部の動作について説明する図である。 図７は、実施の形態に係る深部体温推定装置の動作を示すフローチャートである。 図８は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第１図である。 図９実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第２図である。 図１０は、実施例に係る深部体温の推定値と、正解値との関係を示すグラフである。 図１１は、比較例に係る体温測定装置での体温の測定値と、正解値との関係を示すグラフである。
　（本開示の概要）
　従来、人から発せられる放射光を受光することで、当該人の体温を測定する体温測定装置として放射温度計が知られている（例えば、特許文献１参照）。このような放射温度計は、基本的に体表面の温度を計測するのみにとどまる。体表面の温度は、外気温等の影響を受けやすく、状況によって容易に変動することが知られている。このため、この種の体温測定装置は、真の体温である深部体温との相関が低く、正確度の観点で適切に人の体温を測定（つまり出力）できない場合があるという課題があった。
　本開示における深部体温推定装置では、あらかじめ機械学習された学習済みモデルに対象の人を含む熱画像を入力して、推定による深部体温の算出をさせて推定値を出力する。このように、深部体温を推定することで、より真値に近しい体温の推定値を得ることができる。すなわち、より適切に、人の体温を出力することが可能となる。また、本開示における深部体温推定装置では、熱画像のみを用いる点で以下の利点を有している。
　熱画像には、対象の人が含まれる画像でありつつも、当該人を他人と区別するような個人情報が含まれにくい。一般に、深部体温を推定するには、深部体温に相関しやすい人の部位を特定して、その部位のみの放射温度（つまり熱画像）を用いることが望ましい。つまり、対象の人の部位を特定するために可視光画像などを組み合わせる必要がある。しかしながらこのような可視光画像には、個人情報が含まれやすく、このような可視光画像を用いることに抵抗感を感じる人も多い。この点で、熱画像のみから深部体温を推定することができれば、測定対象の人のプライバシーの観点で有用である。また、上記のように可視光画像を用いる場合においても熱画像を利用することが必須であるので、熱画像のみを用いて深部体温を推定することができれば、可視光画像を取得するための構成が不要となり、装置コストの観点でも有用である。
　本開示の第１態様に係る深部体温推定方法は、具体的には、以下の通りである。
　深部体温推定方法は、人の深部体温を推定する深部体温推定方法であって、人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、取得した対象熱画像の複数の画素のそれぞれが、人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、生成した領域確率画像に基づいて、対象熱画像を１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、分割後の顔部位領域のうち、人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、対象熱画像のうちの、生成した推定対象領域に対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人の深部体温の推定値を算出させて出力する出力ステップと、を含む。
　このような深部体温推定方法では、人の対象熱画像を取得して、この対象熱画像から当該人の深部体温を推定することができる。深部体温の推定のために、深部体温推定方法では、対象熱画像と、当該対象熱画像の各画素が人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像とを利用する。このため、ここで推定される深部体温は、熱画像の各画素における温度値の情報と、各画素が人の顔の１以上の部位のいずれに相当しうるかの情報とが加味された推定に基づいて出力される。また、推定される深部体温の推定値は、あらかじめ機械学習によって学習済みの体温推定モデルに上記の情報を入力することで出力される。体温推定モデルでは、熱画像の各画素の温度値のうち、真の深部体温値と強い相関を示す顔部位に相当する確率が高い画素の温度値に対して比較的大きな重み係数が付されることとなるので、より正確な人の深部体温を推定して出力することが可能となる。特に深部体温推定方法では、対象熱画像のみが用いられるので、可視光画像を組み合わせる例に対してプライバシーの観点や装置コストの観点で深部体温の推定値を適切に出力することができる。
　また、本開示の第２態様に係る深部体温推定方法は、分解能変換ステップでは、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する、第１態様に記載の深部体温推定方法である。
　これによれば、生成した推定対象領域に対応する部分熱画像、及び、生成した推定対象領域に対応する部分領域確率画像に対して、画像を縮小する処理及び補間する処理の少なくとも一方を適用して、これらの画像の分解能を変換することができる。
　また、本開示の第３態様に係る深部体温推定方法は、１以上の顔部位が、装身具であるマスクが着用された部位及び眼鏡が着用された部位の少なくとも一方を含む、第１又は第２態様に記載の深部体温推定方法である。
　これによれば、マスクが着用された部位及び眼鏡が着用された部位を顔部位の１つとして識別できるので、マスクを着用した人及び眼鏡を着用した人に対しても、より正確な人の深部体温を推定して出力することが可能となる。
　また、本開示の第４態様に係る深部体温推定方法は、出力ステップでは、マスクが着用されているか否かを示す着用状態を表示装置に表示させる着用状態情報を出力する、第３態様に記載の深部体温推定方法である。
　これによれば、着用状態情報を利用して、表示装置によりマスクが着用されているか否かを示す着用状態を表示することができる。
　また、本開示の第５態様に係る深部体温推定方法は、さらに、熱画像が人の顔を含む熱画像であるか、人の顔を含まない熱画像であるかを判定する判定ステップを含み、熱画像取得ステップでは、人の顔を含む熱画像であると判定された熱画像を対象熱画像として取得する、第１～第４態様のいずれか１態様に記載の深部体温推定方法である。
　これによれば、例えば、人の顔を含む熱画像のみを対象熱画像として取得させることで、人の顔を含まない熱画像を対象熱画像として取得しないようにすることができる。つまり、人の顔が含まれない熱画像に対して、深部体温の推定処理を行わないようにすることができるので、処理リソースの観点で有用である。
　また、本開示の第６態様に係る深部体温推定方法は、領域生成ステップでは、１以上の顔部位のうち、人の目の部位より上側、及び、人の顎の部位より下側の部位を除く部位に対応する顔部位領域の重心座標を算出し、算出した重心座標を中心に有する領域を推定対象領域として生成する、第１～第５態様のいずれか１態様に記載の深部体温推定方法である。
　これによれば、人の目の部位より上側、及び、人の顎の部位より下側の部位を除く部位に対して、顔部位を設定し、推定対象領域を生成することができる。推定対象領域は、人の顔の大部分（例えば、全部）を含みつつ、取得タイミングが互いに異なる２以上の対象熱画像間にいて、可能な限り同じ大きさであるとよいが、上記のようにして除かれた部分は、頭髪や衣服の影響を受けて面積が安定しないので、推定対象領域の中心を決定する際に適さない。つまり、このような領域が取り除かれた状態で、推定対象領域の中心を決定することで、推定対象領域の大きさを安定化することができる。
　また、本開示の第７態様に係る深部体温推定方法は、出力ステップでは、推定された深部体温の推定値を表示装置に表示させる深部体温情報を出力する、第１～第６態様のいずれか１態様に記載の深部体温推定方法である。
　これによれば、深部体温情報を利用して、表示装置により推定された深部体温の推定値を表示することができる。
　また、本開示の第８態様に係る深部体温推定方法は、出力ステップでは、推定された深部体温の推定値が所定値以上である場合に、警告を行うための警告情報を出力する、第１～第７態様のいずれか１態様に記載の深部体温推定方法である。
　これによれば、警告情報を利用して、推定された深部体温の推定値が所定値以上であることに基づく警告をすることができる。
　また、本開示の第９態様に係る深部体温推定方法は、出力ステップが、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像に対応する画像の全ての画素の平均値を算出する処理を含む、第１～第８態様のいずれか１態様に記載の深部体温推定方法である。
　これによれば、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像に対応する画像の全ての画素の平均値に基づいて人の深部体温の推定値を出力することができる。
　また、本開示の第１０態様に係るプログラムは、上記第１～第９態様のいずれか１態様に記載の深部体温推定方法をコンピュータに実行させるためのプログラムである。
　これによれば、コンピュータを用いて上記に記載の深部体温推定方法と同様の効果を奏することができる。
　また、本開示の第１１態様に係る深部体温推定装置は、人の深部体温を推定する体温推定装置であって、人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、取得した対象熱画像の複数の画素のそれぞれが、人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、生成した領域確率画像に基づいて、１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、分割後の顔部位領域のうち、人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、対象熱画像のうちの、生成した推定対象領域に対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人の深部体温の推定値を算出させて出力する出力部と、を備える。
　このような深部体温推定装置は、上記に記載の深部地温推定方法と同様の効果を奏することができる。
　また、本開示の第１２態様に係る深部体温推定装置は、分解能変換部が、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する、第１１態様に記載の深部体温推定装置である。
　これによれば、生成した推定対象領域に対応する部分熱画像、及び、生成した推定対象領域に対応する部分領域確率画像に対して、画像を縮小する処理及び補間する処理の少なくとも一方を適用して、これらの画像の分解能を変換することができる。
　以下、本開示の実施の形態について、図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本開示の包括的または具体的な例を示すものである。したがって、以下の実施の形態で示される、数値、構成要素、構成要素の配置位置および接続形態、並びに、ステップおよびステップの順序等は、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、各図において縮尺などは必ずしも一致していない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。
　（実施の形態）
　［構成］
　まず、実施の形態に係る深部体温推定装置の構成について、図１及び図２を用いて説明する。図１は、実施の形態に係る深部体温推定装置の使用事例を説明する概略図である。また、図２は、実施の形態に係る深部体温推定装置の機能構成を示すブロック図である。
　図１に示すように、本実施の形態における深部体温推定装置１００（図２参照）は、例えば、対象の人９９（以下単に人９９ともいう）を撮像した熱画像を取得して、人９９の深部体温を出力する装置である。深部体温推定装置１００は、例えば、深部体温推定システム５００に内蔵される。深部体温推定システム５００は、深部体温推定装置１００の他に、熱画像を撮像するための撮像装置２００（図２参照）と、出力された深部体温の推定値を表示するための表示装置３００とを含む。深部体温推定システム５００は、例えば、不特定多数の利用者が想定される公共交通機関の各座席などに設置され、当該座席を利用した人９９の深部体温を推定する。これにより、公共交通機関を利用している利用者の中から深部体温に異常がある人９９を即座に検知することができる。深部体温に異常がある状態としては、例えば、深部体温が急激に低下する低体温（所定値：３５．０℃以下）の状態や、深部体温が異常に上昇した発熱状態（所定値：３７．０℃、３７．５℃または３８．０℃以上）等が想定される。
　深部体温推定システム５００では、撮像装置２００は、人９９の特に顔を撮像する姿勢（例えば、図中の一点鎖線に挟まれたドットハッチングの画角領域を撮像する姿勢）で配置されている。そして、撮像された熱画像を深部体温推定装置１００に送信する。深部体温推定装置１００は、熱画像を受信して、当該熱画像から推定される人９９の深部体温の推定値を算出して出力する。出力された推定値は、例えば、表示装置３００などに表示される。表示装置３００は、深部体温の推定値とともに、撮像された熱画像の一部を併せて表示してもよい。このようにすることで、人９９が表示装置３００を見たときに、深部体温の推定に熱画像が利用されたことを知らせることができる。また、熱画像が表示されていることで、可視光画像などの個人情報が比較的多く含まれうる画像の取得をしていないことを暗示することができるので、人９９が個人情報を取得されたと感じる不安感を低減することができる。
　図２に示すように、深部体温推定装置１００は、熱画像取得部１０６と、領域分割部１０１と、確率画像生成部１０５と、領域生成部１０２と、分解能変換部１０３と、出力部１０４と、を備える。
　熱画像取得部１０６は、人９９の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する機能部である。熱画像取得部１０６は、撮像装置２００が画角領域の空間内を撮像して出力した熱画像を受信し、この熱画像を対象熱画像として取得する。詳細は後述するが、撮像装置２００が画角領域の空間内を撮像して出力した熱画像のうち、人９９が写らない熱画像（空間熱画像）が受信された場合、熱画像取得部１０６は、この熱画像を取得しないようになっている。この結果、深部体温推定装置１００の動作が開始されないため、エネルギーコストの観点で有用である。以下、特に断りのない場合、「熱画像」と「対象熱画像」とをいずれも人９９の顔を含む対象熱画像と同義であるものとして説明する。
　熱画像取得部１０６は、プロセッサとメモリとを含むコンピュータによってあらかじめ設定されたプログラムが実行されることで実現される。また、以下に説明する領域分割部１０１、確率画像生成部１０５、領域生成部１０２、分解能変換部１０３、及び、出力部１０４もそれぞれに対して設定されたプログラムが実行されることで実現される。つまり、深部体温推定装置１００は、プロセッサとメモリと、上記の熱画像取得部１０６、領域分割部１０１、確率画像生成部１０５、領域生成部１０２、分解能変換部１０３、及び、出力部１０４のそれぞれに対応するプログラムとによって実現される。
　確率画像生成部１０５は、熱画像の複数の画素のそれぞれが、人９９の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する。領域確率画像は、１つの画素に対して、１以上の顔部位のうちの第１部位に相当する確率、第２部位に相当する確率、・・・、及び、第ｎ部位に相当する確率を含む。つまり、領域確率画像は、各画素がｎ個のチャネル（画素値）を有する１つの画像とみなすこともできるし、第１部位らしさの分布である画像、第２部位らしさの分布である画像、・・・、及び、第ｎ部位らしさの分布である画像のｎ個の画像の集合とみなすこともできる。本実施の形態においては、顔部位として、額、目、鼻、頬、口、顎などの、人９９の顔に実際に存在する部位に加えて、マスク及び眼鏡などの装身具が着用された部位を含んでいる。したがって、深部体温推定装置１００では、このような装身具が着用された状態であっても、適切な深部体温の推定が可能である。また、顔部位として人９９が写っていない部分である背景部分が含まれてもよい。
　領域分割部１０１は、生成された領域確率画像に基づいて、熱画像を１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する。領域分割部１０１は、領域確率画像の各画素において、最も確率が高い顔部位を当該画素に割り当てることで、全ての画素を１以上の顔部位のいずれかに分類する。そして、同じ顔部位に分類された画素の集合を、１つの顔部位領域として決定する。１以上の顔部位領域のそれぞれは、当該顔部位領域に分類された画素の情報（アドレス情報等）が紐づけられる。
　確率画像生成部１０５及び領域分割部１０１は、セマンティックセグメンテーションモデルを実装することで実現される。ここで実装されるセマンティックセグメンテーションモデルは、既存のいかなるものであってもよく、例えば、Ｕ－Ｎｅｔ、ＤｅｅｐＬａｂ、及び、ＭａｓｋＦｏｒｍｅｒなどが用いられる。
　領域生成部１０２は、分割後の１以上の顔部位領域のうち、人９９の深部体温の推定に用いる領域を含む推定対象領域を生成する。言い換えると、領域生成部１０２は、深部体温の推定に適さない顔部位領域を取り除くようにすることで、深部体温の推定に適さない顔部位領域の影響を抑制する。
　図３は、実施の形態に係る領域生成部の動作について説明する図である。図３では、第１部位Ｐ１、第２部位Ｐ２、第３部位Ｐ３、第４部位Ｐ４、第５部位Ｐ５、第６部位Ｐ６、第７部位Ｐ７、第８部位Ｐ８、及び、第９部位Ｐ９に分割された各顔部位領域の分布を示す顔部位領域分割画像１２と、顔部位領域分割画像１２から生成される推定対象領域Ｓｑに至る過程を示している。推定対象領域Ｓｑは、後の体温推定モデルに入力される画像の大きさを安定化させるという観点で、異なる熱画像同士において可能な限り大きさが安定化され（揃えられ）ているとよい。一方で、深部体温の推定においては、推定対象領域Ｓｑは、人９９の顔全体を含み、かつ、人９９の深部体温の推定に負の影響を与えうる背景部分が含まれることを抑制できる領域に設定されることが望ましい。したがって、以下で生成される推定対象領域Ｓｑは、熱画像間で大きさが大きく異ならないように大きさの安定化処理を経て、さらに、人９９の顔全体を含む大きさを有して生成される。
　図中の顔部位領域分割画像１２において、第１部位Ｐ１は額に相当し、第２部位Ｐ２は目に相当し、第８部位Ｐ８は顎に相当し、第９部位Ｐ９は首に相当する。まず、これらの顔部位から、推定対象領域Ｓｑの中心座標を決定する。その際、第１部位Ｐ１のように、人９９の目よりも上の部位は、頭髪の影響によって面積が変化しやすく、安定した大きさという観点で領域の中心座標の決定に不適である。また、第９部位Ｐ９のように人９９の顎よりも下の部位は、衣服の影響によって変化しやすく、安定した大きさという観点で領域の中心座標の決定に不適である。このため、本実施の形態では、第１部位Ｐ１及び第９部位Ｐ９が領域の中心座標の決定に用いられないようにして、中心座標を決定し、これを中心に有する推定対象領域Ｓｑを決定する。
　具体的には、顔部位領域分割画像１２から紙面右手向きの白抜き矢印で結ばれた領域生成用画像１２ａに示すように、１以上の顔部位のうち、人９９の目の部位より上側、及び、人９９の顎の部位より下側の部位を除く部位に対応する顔部位領域Ｃが決定される。なお、顔部位領域Ｃは、破線円内に示されている顔部位領域をマージした領域である。そして、顔部位領域Ｃの重心Ｃａが算出される。その後、領域生成用画像１２ａから紙面右手向きの白抜き矢印で結ばれた別の領域生成用画像１２ａに示すように、重心Ｃａの座標を中心に有しかつ、顔の大部分を領域内に含む大きさを有する矩形領域が推定対象領域Ｓｑとして生成される。推定対象領域Ｓｑは、例えば、元の熱画像に対応する座標情報である。
　図２に戻り、分解能変換部１０３は、熱画像のうちの、生成した推定対象領域Ｓｑに対応する部分熱画像と、領域確率画像のうちの、生成した推定対象領域Ｓｑに対応する部分領域確率画像と、を所定分解能に変換する。ここでは、所定分解能として、３２×３２画素の分解能が設定されるが、所定分解能は、どのような分解能であってもよい。分解能変換部１０３は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって所定分解能の画像に変換する。分解能変換部１０３によって分解能が揃えられることで、出力部１０４に入力される、すなわち、学習済みの体温推定モデルに入力される画像の分解能が統一される。この結果、体温推定モデルを分解能ごとに用意して分解能ごとに場合分けすること、及び、各分解能に対応可能な体温推定モデルを用意することなどが必要なくなるため、比較的処理リソースを要求しない深部体温の推定が可能となる。
　出力部１０４は、所定分解能に変換された部分熱画像及び所定分解能に変換された部分領域確率画像を学習済みの体温推定モデルに入力して人９９の深部体温の推定値を算出させて出力する。図４は、実施の形態に係る出力部の動作について説明する図である。
　図４に示すように、出力部１０４に所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７が入力される。出力部１０４は、部分熱画像１６の３２×３２×温度に対応する画素値（１チャネル）の情報と、部分領域確率画像１７の３２×３２×１以上の顔部位ごとの確率に対応する画素値（例えば１１個の部位に対応する１１チャネル）の情報とを、体温推定モデルに入力する。体温推定モデルでは、「１×１　Ｃｏｎｖ　Ｒｅｌｕ」において、各画素の１２チャネルの線形和を１２種類算出し、０以下の値を０に繰り上げる非線形変換を行う。その際の各チャネルに対応する１２×１２種類の重み係数が学習によって決定されている。そして、「１×１　Ｃｏｎｖ」において各重み係数で算出された１２種類の線形和同士の線形和を１種類算出する。その際の１×１２種類の重み係数が学習によって決定されている。この結果、所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７に対応する３２×３２×１の画素値を有する画像が算出される。この画像に対して、「Ａｖｅ」において全ての画素の平均値を算出し、重み係数Ｗ１をかける。重み係数Ｗ１は学習によって決定されている。また、上記の画像に対して、「Ｍａｘ」において、全ての画素のうちの最大値を算出し、重み係数Ｗ２をかける。重み係数Ｗ２は学習によって決定されている。
　一方で、入力された画像に対して、「Ｄｏｗｎ　Ｓａｍｐｌｉｎｇ」において、画像を低解像度化し、１６×１６×１２チャネルの画像を生成する。同様に、１６×１６×１２チャネルの画像に対して、「Ｄｏｗｎ　Ｓａｍｐｌｉｎｇ」において、画像を低解像度化し、８×８×１２チャネルの画像を生成する。ここでの低解像度化の処理は、どのような処理であってもよい。例えば、４つの画素の平均値によって１つの画素の画素値を決定する方式で低解像度化の処理がされてもよい。
　そして、低解像度化された１６×１６×１２チャネルの画像及び８×８×１２チャネルの画像についても同様に「１×１　Ｃｏｎｖ　Ｒｅｌｕ」、「１×１　Ｃｏｎｖ」、「Ａｖｅ」、及び、「Ｍａｘ」の処理を行い、それぞれ、重み係数Ｗ３、重み係数Ｗ４、重み係数Ｗ５、及び、重み係数Ｗ６をかける。重み係数Ｗ３、重み係数Ｗ４、重み係数Ｗ５、及び、重み係数Ｗ６はいずれも学習によって決定されている。
　その後、各重み係数がかけられた数値の合計値を算出することで、深部体温の推定値が算出される。上記のように、低解像度化処理によって、大局的な画素間の関係性を深部体温の推定結果に加味することができる。
　また、上記に記載の体温推定モデルは、一例であり、他の体温推定モデルが用いられてもよい。図５は、実施の形態の別例に係る出力部の動作について説明する図である。図５では、上記の体温推定モデルに代わって適用可能な別の体温推定モデルを有する出力部１０４ａが示されている。例えば、図５に示す出力部１０４ａが有する体温推定モデルは、上記の出力部１０４が有する体温推定モデルに対して、「Ｄｏｗｎ　Ｓａｍｐｌｉｎｇ」の処理が省略されている点で異なっている。この場合、出力部１０４が有する体温推定モデルの、局所的な画素間の関係性と大局的な画素間の関係性とを併せた推定結果が得られなくなる代わりに、推定の計算処理が大幅に簡略化され、高速かつ比較的処理性能の低い簡易な構成で深部体温推定装置１００を実現することができる。なお、図中の重み係数Ｗ１及び重み係数Ｗ２は、上記の出力部１０４が有する体温推定モデルの重み係数Ｗ１及び重み係数Ｗ２とは異なる重み係数であり、学習によって決定されている。
　また、図６は、実施の形態のさらなる別例に係る出力部の動作について説明する図である。図６では、上記の体温推定モデルに代わって適用可能な別の体温推定モデルを有する出力部１０４ｂが示されている。例えば、図６に示す出力部１０４ｂが有する体温推定モデルは、熱画像を、部分領域確率画像１７の各チャンネルの画素値で重みづけした全画素平均値を算出し、１１個の部位に対応して算出される１１個の平均値のそれぞれに、対応する重み係数Ｗ１～重み係数Ｗ１１を乗じて線形和することにより深部体温の推定値を算出する。具体的には、図６に示すように、「Ｒｅｓｈａｐｅ　３２×３２×１　－＞　１０２４×１」及び「Ｔｒａｎｓｐｏｓｅ　１０２４×１　－＞　１×１０２４」によって、所定分解能に変換された部分熱画像１６に対応する１×１０２４の情報を生成する。同様に、「Ｒｅｓｈａｐｅ　３２×３２×１１　－＞　１０２４×１１」によって、所定分解能に変換された部分領域確率画像１７に対応する１０２４×１１の情報を生成する。そして、「Ｍａｔｒｉｘ　Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ」において、生成した２つの情報同士を掛け合わせて各部位に相当する確率と温度との積の和（第１の和）を算出し、「Ｃｈａｎｎｅｌ－ｗｉｓｅ　Ｓｕｍ」において、所定分解能に変換された部分領域確率画像１７に対応する１０２４×１１の情報から各部位に相当する確率の和（第２の和）を算出する。その後、第１の和を第２の和で除して平均化することで、１１個の部位それぞれの平均温度を算出して、対応する重み係数Ｗ１～重み係数Ｗ１１を乗じて線形和することにより深部体温の推定値を算出する。なお、図中の重み係数Ｗ１～重み係数Ｗ６は、上記の出力部１０４が有する体温推定モデルの重み係数Ｗ１～重み係数Ｗ６とは異なる重み係数であり、学習によって決定されている。
　また、これらの別例の他に、体温推定モデルとして、既存のいかなる深部体温の推定モデルが用いられてもよい。
　［動作］
　次に、図７～図９を参照して、上記のように構成された深部体温推定装置１００及び深部体温推定システムの動作について説明する。図７は、実施の形態に係る深部体温推定装置の動作を示すフローチャートである。図８は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第１図である。図９は、実施の形態に係る深部体温推定装置の動作に伴って生成される各画像を説明する第２図である。
　図７及び図８に示すように、まず、熱画像取得部１０６が、撮像装置２００から熱画像を受信する（ステップＳ１０１）。熱画像取得部１０６は、受信した熱画像について、当該熱画像に人９９の顔が含まれるか否かを判定する（判定ステップＳ１０２）。熱画像取得部１０６は、受信した熱画像に人の顔が含まれないと判定した場合（判定ステップＳ１０２でＮｏ）、処理を終了する。一方で、熱画像取得部１０６は、受信した熱画像に人の顔が含まれると判定した場合（判定ステップＳ１０２でＹｅｓ）、この熱画像を対象熱画像１１として取得する（熱画像取得ステップＳ１０３）。
　確率画像生成部１０５は、取得した熱画像から、領域確率画像１８を生成する（確率画像生成ステップＳ１０４）。
　次に、領域分割部１０１は、熱画像を１以上の顔部位領域に分割することで、顔部位領域分割画像１２を生成する（領域分割ステップＳ１０５）。ここで、出力部１０４は、顔部位領域分割画像１２において、マスクを着用している顔部位に対応する顔部位領域が存在するか否かにより、人９９がマスクを着用しているか否かを判定する（ステップＳ１０６）。出力部１０４は、人９９がマスクを着用していないと判定した場合（ステップＳ１０６でＮｏ）、人９９のマスクの着用状態（マスクを着用している、または、マスクを着用していない等の文字）を表示装置３００に表示させる着用状態情報を生成する（ステップＳ１０７）。その後、領域生成ステップＳ１０８に進む。一方で、出力部１０４は、人９９がマスクを着用していると判定した場合（ステップＳ１０６でＹｅｓ）、何もせずに領域生成ステップＳ１０８に進む。
　領域生成部１０２は、顔部位領域分割画像１２を用いて、推定対象領域Ｓｑを生成する（領域生成ステップＳ１０８）。その後、深部体温推定装置１００は、生成した推定対象領域Ｓｑと対象熱画像１１とを用いて、推定対象領域Ｓｑに対応する部分熱画像１４、及び、生成した推定対象領域Ｓｑと領域確率画像１８とを用いて、推定対象領域Ｓｑに対応する部分領域確率画像１５を生成する。
　そして、図７及び図９に示すように、分解能変換部１０３は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって、所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７を生成する（分解能変換ステップＳ１０９）。出力部１０４は、生成された所定分解能に変換された部分熱画像１６及び所定分解能に変換された部分領域確率画像１７を体温推定モデルに入力し、深部体温の推定値を算出させる（ステップＳ１１１）。
　ここで、出力部１０４は、深部体温の推定値が所定値と比較して異常であるか否かを判定する。より具体的には、出力部１０４は、深部体温の推定値が所定値より低いか否かを判定する（ステップＳ１１２）。出力部１０４は、深部体温の推定値が所定値以上であると判定した場合（ステップＳ１１２でＮｏ）、例えば、警報を鳴らす、警告を示す文字情報の表示を行う、または、警告ランプを点灯する等の警告を行うための警告情報を生成する（ステップＳ１１２）。その後、ステップＳ１１３に進む。一方で、出力部１０４は、深部体温の推定値が所定値を下回ると判定した場合（ステップＳ１１２でＮｏ）、何もせずにステップＳ１１３に進む。
　出力部１０４は、推定された深部体温の推定値を数字として表示装置に表示させる深部体温情報を生成する（ステップＳ１１３）。そして、出力部１０４は、着用状態情報、警告情報、及び、深部体温情報のうち、生成されたものを表示装置３００へと出力する（出力ステップＳ１１４）。このようにして、簡易な構成でありながらも高い正確度で推定された深部体温が出力される。
　また、人によってマスクをしている場合や、していない場合、及び、メガネをしている場合や、していない場合等様々なケースが考えられるが、本実施の形態における深部体温推定装置１００及び深部体温推定システム５００では、マスクやメガネ等の各顔部位に対応する部分領域確率画像１７を必ず生成する。そのため出力部１０４をマスクやメガネのあり、なし等それぞれに対するモデルを用意して使い分ける必要がなく、単一のモデルで出力部１０４を構成することが可能となる。こうすることでマスクやメガネの有無のみならず、髪型の影響や顔の向きにより見えない部位がある等の場合であっても、単一のモデルでロバスト性の高い深部体温の推定を実施することができる。
　なお、表示装置３００への出力内容はこれらに限定するものではない。着用状態情報としてここではマクスの着用状態を一例として説明したがこれに限定するものではなく、メガネの着用状態の情報や、額が見えている／見えていないといった状態の情報でも構わないし、勿論着用状態情報を含めなくても構わない。また、警告情報や深部体温情報も同様であり、表示装置３００への出力に含めても含めなくても構わない。また、深部体温推定装置１００によって推定された深部体温の推定値を、表示装置３００以外の装置に出力してもよい。例えば、深部体温推定装置１００は、推定した深部体温の推定値を数値情報としてサーバなどに出力し、この数値情報を蓄積させるように構成されてもよい。つまり、この場合に出力部１０４は、深部体温の推定値の数値情報を生成して出力する。
　［実施例］
　以下、上記の実施の形態に対応する実施例について、図１０及び図１１を参照して説明する。図１０は、実施例に係る深部体温の推定値と、正解値との関係を示すグラフである。また、図１１は、比較例に係る体温測定装置での体温の測定値と、正解値との関係を示すグラフである。図１０では、縦軸に、出力部から出力された深部体温の推定値を示し、横軸に深部体温に近い正解値としての接触式体温計での体温の計測値を示している。また、図１１では、放射温度計を用いた額での体温の測定値を示し、横軸に深部体温に近い正解値としての接触式体温計での体温の測定値を示している。
　図１１に示すように、放射温度計を用いた体温の測定では、正解値のバラツキが大きいことが分かる。この結果から算出されるＲＭＳＥは、０．６１０℃であり、測定値と正解値との相関が非常に低いことが分かった。一方で、図１０に示すように、上記の実施の形態における深部体温推定装置１００を用いた深部体温の推定では、正解値とでデータが直線に並んでおり、バラツキが小さいことが分かる。この結果から算出されるＲＭＳＥは、０．１５０℃であり、測定値と正解値との相関が非常に高いことが分かった。これらの結果から、上記実施の形態における深部体温の推定値が実用に耐える正確度であることが確認された。
　（その他の実施の形態）
　以上、本開示に係る深部体温推定方法等について、上記実施の形態に基づいて説明したが、本開示は、上記の実施の形態に限定されるものではない。例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、本開示では対象として一名の人に対する深部体温の推定を例に挙げて説明したが、これは複数名が対象でも構わず、推定する人数を限定するものではない。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本発明は、コンピュータが実行する情報処理方法として実現されてもよいし、このような情報処理方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　人の体温計測に代わる技術として広く有用である。
　　　１１　対象熱画像（熱画像）
　　　１２　顔部位領域分割画像
　　　１２ａ　領域生成用画像
　　　１４　部分熱画像
　　　１５　部分領域確率画像
　　　１６　所定分解能に変換された部分熱画像
　　　１７　所定分解能に変換された部分領域確率画像
　　　１８　領域確率画像
　　　９９　人
　　１００　深部体温推定装置
　　１０１　領域分割部
　　１０２　領域生成部
　　１０３　分解能変換部
　　１０４　出力部
　　１０５　確率画像生成部
　　１０６　熱画像取得部
　　２００　撮像装置
　　３００　表示装置
　　５００　深部体温推定システム
　　　　Ｃ　顔部位領域
　　　Ｃａ　重心
　　　Ｓｑ　推定対象領域

Claims (12)

  1. 　人の深部体温を推定する深部体温推定方法であって、
    　前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得ステップと、
    　取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成ステップと、
    　生成した前記領域確率画像に基づいて、前記対象熱画像を前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割ステップと、
    　分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成ステップと、
    　前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換ステップと、
    　前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力ステップと、を含む、
    　深部体温推定方法。
  2. 　前記分解能変換ステップでは、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって前記所定分解能の画像に変換する、
    　請求項１に記載の深部体温推定方法。
  3. 　前記１以上の顔部位は、装身具であるマスクが着用された部位及び眼鏡が着用された部位の少なくとも一方を含む、
    　請求項１に記載の深部体温推定方法。
  4. 　前記出力ステップでは、前記マスクが着用されているか否かを示す着用状態を表示装置に表示させる着用状態情報を出力する、
    　請求項３に記載の深部体温推定方法。
  5. 　さらに、熱画像が前記人の顔を含む熱画像であるか、前記人の顔を含まない熱画像であるかを判定する判定ステップを含み、
    　前記熱画像取得ステップでは、前記人の顔を含む熱画像であると判定された熱画像を前記対象熱画像として取得する、
    　請求項１に記載の深部体温推定方法。
  6. 　前記領域生成ステップでは、
    　前記１以上の顔部位のうち、前記人の目の部位より上側、及び、前記人の顎の部位より下側の部位を除く部位に対応する顔部位領域の重心座標を算出し、
    　算出した前記重心座標を中心に有する領域を前記推定対象領域として生成する、
    　請求項１に記載の深部体温推定方法。
  7. 　前記出力ステップでは、推定された深部体温の推定値を表示装置に表示させる深部体温情報を出力する、
    　請求項１に記載の深部体温推定方法。
  8. 　前記出力ステップでは、推定された深部体温の推定値が所定値以上である場合に、警告を行うための警告情報を出力する、
    　請求項１に記載の深部体温推定方法。
  9. 　前記出力ステップは、前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像に対応する画像の全ての画素の平均値を算出する処理を含む、
    　請求項１～８のいずれか１項に記載の深部体温推定方法。
  10. 　請求項１に記載の深部体温推定方法をコンピュータに実行させるための、
    　プログラム。
  11. 　人の深部体温を推定する体温推定装置であって、
    　前記人の顔を含む対象空間の放射温度分布を示す対象熱画像を取得する熱画像取得部と、
    　取得した前記対象熱画像の複数の画素のそれぞれが、前記人の１以上の顔部位のそれぞれに相当する確率を示す領域確率画像を生成する確率画像生成部と、
    　生成した前記領域確率画像に基づいて、前記１以上の顔部位のそれぞれに対応する１以上の顔部位領域に分割する領域分割部と、
    　分割後の前記顔部位領域のうち、前記人の深部体温の推定に用いる領域を含む推定対象領域を生成する領域生成部と、
    　前記対象熱画像のうちの、生成した前記推定対象領域に対応する部分熱画像と、前記領域確率画像のうちの、生成した前記推定対象領域に対応する部分領域確率画像と、を所定分解能に変換する分解能変換部と、
    　前記所定分解能に変換された前記部分熱画像及び前記所定分解能に変換された前記部分領域確率画像を学習済みの体温推定モデルに入力して前記人の深部体温の推定値を算出させて出力する出力部と、を備える、
    　深部体温推定装置。
  12. 　前記分解能変換部は、入力された画像を縮小する処理及び補間する処理の少なくとも一方によって前記所定分解能の画像に変換する、
    　請求項１１に記載の深部体温推定装置。
PCT/JP2022/035123 2021-10-19 2022-09-21 深部体温推定装置、深部体温推定方法、及び、プログラム WO2023067973A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023555058A JPWO2023067973A1 (ja) 2021-10-19 2022-09-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021171170 2021-10-19
JP2021-171170 2021-10-19

Publications (1)

Publication Number Publication Date
WO2023067973A1 true WO2023067973A1 (ja) 2023-04-27

Family

ID=86059037

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035123 WO2023067973A1 (ja) 2021-10-19 2022-09-21 深部体温推定装置、深部体温推定方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JPWO2023067973A1 (ja)
WO (1) WO2023067973A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法
US20190323895A1 (en) * 2018-04-24 2019-10-24 Helen Of Troy Limited System and method for human temperature regression using multiple structures
WO2021065853A1 (ja) * 2019-10-04 2021-04-08 日本アビオニクス株式会社 疾患者判別装置及び疾患者判別システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018183564A (ja) * 2017-04-26 2018-11-22 パナソニックＩｐマネジメント株式会社 深部体温測定装置、深部体温測定システム及び深部体温測定方法
US20190323895A1 (en) * 2018-04-24 2019-10-24 Helen Of Troy Limited System and method for human temperature regression using multiple structures
WO2021065853A1 (ja) * 2019-10-04 2021-04-08 日本アビオニクス株式会社 疾患者判別装置及び疾患者判別システム

Also Published As

Publication number Publication date
JPWO2023067973A1 (ja) 2023-04-27

Similar Documents

Publication Publication Date Title
CN107440810B (zh) 牙齿类型判断程序、牙齿类型位置判断装置及其方法
JP5657113B2 (ja) 映像内のオブジェクトの意味解析
US9767611B2 (en) Information processing apparatus and method for estimating depth values using an approximate plane
EP3026886B1 (en) Information processing device and method for controlling information processing device
WO2020034785A1 (zh) 三维模型处理方法和装置
JP5836095B2 (ja) 画像処理装置、画像処理方法
KR102207856B1 (ko) 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
JP2021111114A (ja) 学習データ生成プログラム、学習データ生成方法及び推定装置
US20140085330A1 (en) Image processing device, image processing method, computer readable medium
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6723798B2 (ja) 情報処理装置、方法、プログラム
JP2012048393A (ja) 情報処理装置およびその動作方法
Liu et al. Blind omnidirectional image quality assessment based on structure and natural features
KR20170081351A (ko) 증강현실 서비스 제공 장치, 디스플레이 장치 및 이들을 포함하는 증강현실 서비스 제공 시스템
US20190164258A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
WO2023067973A1 (ja) 深部体温推定装置、深部体温推定方法、及び、プログラム
CN114677703A (zh) 隐私保护的口罩合规性水平测量的系统和方法
JP2016167681A (ja) 画像生成装置および画像生成方法
JP7145440B2 (ja) 学習データ生成方法、学習データ生成装置、及び、プログラム
JP2008171074A (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、コンピュータプログラム、及び三次元形状モデル生成システム
JP2019106173A (ja) 画像処理方法、画像処理装置およびプログラム
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium
JP2019046453A (ja) ニューラルネットワークの中間情報分析装置、最適化装置及び特徴可視化装置
JP2008250407A (ja) 画像処理プログラムおよび画像処理装置
CN118119336A (zh) 深部体温推定装置、深部体温推定方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883283

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023555058

Country of ref document: JP