WO2020084777A1 - 推定装置、空調システム及び推定方法 - Google Patents

推定装置、空調システム及び推定方法 Download PDF

Info

Publication number
WO2020084777A1
WO2020084777A1 PCT/JP2018/039922 JP2018039922W WO2020084777A1 WO 2020084777 A1 WO2020084777 A1 WO 2020084777A1 JP 2018039922 W JP2018039922 W JP 2018039922W WO 2020084777 A1 WO2020084777 A1 WO 2020084777A1
Authority
WO
WIPO (PCT)
Prior art keywords
clothing
thermal image
temperature
amount
estimation
Prior art date
Application number
PCT/JP2018/039922
Other languages
English (en)
French (fr)
Inventor
浩子 泉原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/039922 priority Critical patent/WO2020084777A1/ja
Priority to JP2020552486A priority patent/JP6932272B2/ja
Publication of WO2020084777A1 publication Critical patent/WO2020084777A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an estimation device, an air conditioning system, and an estimation method.
  • Patent Document 1 a method of estimating the amount of clothing of a person using a thermal image has been proposed (for example, see Patent Document 1).
  • Patent Document 1 it is assumed that the region of the person shown in the thermal image is divided, and that the temperature shown by the thermal image decreases as the amount of clothing worn on each divided region increases.
  • the thickness of clothing is estimated from the surface temperature distribution. Then, the clothing amount of the user is estimated from the estimation result in each area.
  • Patent Document 1 there are cases where the premise of the technology described in Patent Document 1 does not hold. For example, it is known that a clothing such as a skirt that is not in close contact with the body surface is not easily affected by the body surface temperature, and thus even if it is thin, the surface temperature is low in the thermal image. Therefore, in the technique described in Patent Document 1, there is a possibility that the thickness of clothing corresponding to the amount of clothing of the clothing may be erroneously estimated. Therefore, the estimation error of the clothing amount of the user may increase.
  • the present invention has been made in view of the above circumstances, and it is an object of the present invention to accurately estimate the amount of clothing of a portion of clothing reflected in a thermal image.
  • the estimation device of the present invention includes a first acquisition unit that acquires a thermal image of a wearer who wears clothing, and a clothing information that is different from the thermal image and that is clothing information regarding clothing. 2 acquisition means and estimation means for estimating the amount of clothing in the clothing part from the temperature indicated by the clothing part in the area corresponding to the wearer in the thermal image and the clothing information.
  • the estimation means estimates the amount of clothing in the clothing portion from the temperature indicated by the clothing portion in the area corresponding to the wearer shown in the thermal image and the clothing information. That is, in addition to the temperature shown in the thermal image, the amount of clothing in the portion of clothing is estimated using clothing information about clothing. As a result, it is possible to accurately estimate the amount of clothing of the portion of the clothing shown in the thermal image.
  • the figure which shows the structure of the air conditioning system which concerns on embodiment of this invention The figure which shows the hardware constitutions of the estimation apparatus which concerns on embodiment.
  • the figure which shows the functional structure of the estimation apparatus which concerns on embodiment The figure which shows an example of the thermal image which concerns on embodiment.
  • Flowchart showing the air conditioning control process according to the embodiment Flowchart showing clothing amount estimation processing according to the embodiment
  • the air conditioning system 1000 uses the thermal image of the space 200 for the air in the space 200 in which a person resides in a facility represented by a house, an office, and a factory. It is a harmonized system.
  • the space 200 is a room in which one or a plurality of people live, and in FIG. 1, it is exemplified as an indoor space in which a plurality of workers perform computer work.
  • one or a plurality of air conditioners 31 as indoor units that blow out conditioned air into the space 200 are installed.
  • one or a plurality of sensor modules 40 for taking a thermal image are installed.
  • FIG. 1 shows an example in which the number of air conditioners 31 is equal to the number of sensor modules 40, these numbers may be different.
  • the thermal image is data obtained by photographing infrared rays emitted by the object in the space 200 according to the temperature of the object.
  • the thermal image is usually two-dimensional image data, and the value of each pixel represents the surface temperature of the object.
  • the air conditioning system 1000 estimates an amount of clothing of a person in the space 200 from a thermal image to control the air conditioners 31 and 32, and a control instruction from the estimation device 10. Accordingly, the air conditioners 31 and 32 that harmonize the air in the space 200 and the sensor module 40 that captures a thermal image of the space 200 by an infrared sensor are provided.
  • the estimation device 10, the air conditioners 31, 32, and the sensor module 40 are connected via the air conditioning network 20 provided in the facility, and communicate with each other by transmitting and receiving data.
  • the estimation device 10 is a computer device installed in a facility, and is a central management device that controls the air conditioners 31 and 32 in an integrated manner.
  • the estimation device 10 estimates the amount of clothing of a person present in the space 200 based on the thermal image captured by the sensor module 40. Then, the estimation device 10 controls the air conditioners 31 and 32 based on the estimation result of the clothing amount. In detail, the estimation device 10 adjusts at least one of the temperature and humidity of the conditioned air, the strength of the airflow, and the wind direction according to the estimated value of the clothing amount of the person in the space 200.
  • the estimation device 10 has a hardware configuration including a processor 101, a main storage unit 102, an auxiliary storage unit 103, an input unit 104, an output unit 105, and a communication unit 106.
  • the main storage unit 102, auxiliary storage unit 103, input unit 104, output unit 105, and communication unit 106 are all connected to the processor 101 via an internal bus 107.
  • the processor 101 includes a CPU (Central Processing Unit).
  • the processor 101 realizes various functions of the estimation device 10 by executing the program P1 stored in the auxiliary storage unit 103, and executes the processing described below.
  • the main storage unit 102 includes a RAM (Random Access Memory).
  • the program P1 is loaded from the auxiliary storage unit 103 into the main storage unit 102.
  • the main storage unit 102 is used as a work area of the processor 101.
  • the auxiliary storage unit 103 includes a nonvolatile memory represented by an EEPROM (Electrically Erasable Programmable Read-Only Memory) and an HDD (Hard Disk Drive).
  • the auxiliary storage unit 103 stores, in addition to the program P1, various data used for the processing of the processor 101.
  • the auxiliary storage unit 103 supplies data used by the processor 101 to the processor 101 according to an instruction from the processor 101, and stores the data supplied from the processor 101.
  • the input unit 104 includes an input device represented by an input key and a pointing device.
  • the input unit 104 acquires information input by the user of the estimation device 10 and notifies the processor 101 of the acquired information.
  • the output unit 105 includes an output device represented by an LCD (Liquid Crystal Display) and a speaker.
  • the output unit 105 presents various kinds of information to the user according to an instruction from the processor 101.
  • the communication unit 106 includes a network interface circuit for communicating with an external device.
  • the communication unit 106 receives a signal from the outside and outputs the data indicated by this signal to the processor 101.
  • the communication unit 106 also transmits a signal indicating the data output from the processor 101 to an external device.
  • the estimation device 10 exhibits various functions by the cooperation of the hardware configurations shown in FIG. Specifically, as shown in FIG. 3, the estimation device 10 has, as its functions, a first acquisition unit 11 that acquires a thermal image from the sensor module 40 and a human region extraction that extracts a region in which a person appears from the thermal image.
  • a temperature region dividing unit 13 that divides a region in which a person is photographed in a thermal image into temperature zones, and a close contact that determines the degree of close contact indicating the degree to which the clothing corresponding to each divided region is in close contact with the human body
  • Degree determination unit 14 date and time management unit 15 that manages the date and time used in estimation device 10, data indicating the degree of adhesion, the date, and the outside temperature provided from air conditioner 32 that is an outdoor unit.
  • the second acquisition unit 16 that is acquired as information
  • the estimation unit 17 that estimates the amount of clothing of a person
  • the display unit 18 that displays the estimation result of the amount of clothing
  • the air conditioner 30 is controlled based on the estimation result of the amount of clothing.
  • the air conditioner 30 is a general term for the air conditioners 31 and 32.
  • the first acquisition unit 11 is mainly realized by the communication unit 106.
  • the first acquisition unit 11 receives the thermal images repeatedly captured and transmitted by the sensor module 40.
  • the acquisition of the thermal image by the first acquisition unit 11 is repeatedly executed in a cycle of, for example, 1 second, 10 seconds, or 1 minute.
  • the first acquisition unit 11 outputs the acquired thermal image to the human region extraction unit 12 each time the thermal image is acquired.
  • the 1st acquisition part 11 is an example of the 1st acquisition means which acquires a thermal image of a wearer who wears clothes.
  • the human area extracting unit 12 is mainly realized by the processor 101.
  • the human area extracting unit 12 extracts the area of the person shown in the thermal image from the thermal image output from the first obtaining unit 11.
  • the area extracted by the person area extracting unit 12 includes an area of clothing worn by a person who appears in the thermal image.
  • the human region extraction unit 12 cuts out a region showing a value from 20 degrees Celsius to 40 degrees Celsius from the thermal image, and pattern-matches the body shape including the clothing of the person with respect to the cut-out region, so that the person captured in the thermal image Area is extracted.
  • the human region extraction unit 12 is an example of a human region extraction unit that extracts a region corresponding to the wearer of the clothing shown in the thermal image from the thermal image.
  • the human area extracting unit 12 provides the extraction result of the human area to the temperature area dividing unit 13.
  • the temperature region dividing unit 13 is mainly realized by the processor 101.
  • the temperature region dividing unit 13 divides the human region extracted by the human region extracting unit 12 into temperature regions indicating temperatures in different ranges. For example, as shown in FIG. 4, the temperature region dividing unit 13 divides the region of the person shown in the thermal image 70 into high temperature, intermediate temperature, and low temperature zones.
  • FIG. 4 shows an example in which the temperature region 71 is divided into a high temperature region 71, medium temperature regions 72 and 72a, and a low temperature region 73.
  • the temperature region dividing unit 13 is an example of a temperature region dividing unit that divides the region extracted by the human region extracting unit into temperature regions indicating different temperature ranges.
  • the temperature region division unit 13 provides the result of the temperature region division to the adhesion degree determination unit 14 and the estimation unit 17.
  • the adhesion degree determination unit 14 is mainly realized by the processor 101.
  • the adhesion degree determination unit 14 determines the degree of adhesion of the clothing to the wearer for each of the temperature regions divided by the temperature region division unit 13. Specifically, the adhesion degree determination unit 14 determines that the degree of adhesion is high when the shape of the temperature region shown in the thermal image is similar to the wearer's body shape, and when the shape of the temperature region deviates from the wearer's body shape, the closeness of contact is determined. Judge that the degree is low.
  • the closeness determination unit 14 is an example of a closeness determination unit that determines the closeness of the clothing to the body of the wearer from the thermal image.
  • the adhesion degree determination unit 14 provides the determination result of the adhesion degree to the second acquisition unit 16.
  • the date / time management unit 15 is realized by the cooperation of a crystal oscillator (not shown), the processor 101, and the communication unit 106.
  • the date and time management unit 15 synchronizes the current date and time used in the estimation device 10 with the time server via the network.
  • the date / time management unit 15 may reset the date / time according to a user input.
  • the date / time management unit 15 notifies the second acquisition unit 16 of the current date.
  • the second acquisition unit 16 is realized mainly by the cooperation of the processor 101 and the communication unit 106.
  • the second acquisition unit 16 includes information indicating the degree of adhesion determined by the degree of adhesion determination unit 14, data indicating the current date provided by the date / time management unit 15, and the outside measured by the sensor built in the air conditioner 32.
  • the data indicating the temperature and the clothing information regarding the clothing are acquired.
  • the 2nd acquisition part 16 is an example of the 2nd acquisition means which acquires clothing information about clothing and different clothing information from a thermal image.
  • the second acquisition unit 16 outputs the acquired clothing information to the estimation unit 17.
  • the outside temperature is information related to clothes.
  • the date is information related to clothes as well as the outside temperature.
  • the estimating unit 17 is mainly realized by the processor 101.
  • the estimation unit 17 estimates the amount of clothing for each portion of the clothing corresponding to the temperature region in the thermal image from the surface temperature and clothing information indicated by the thermal image. Then, the estimation unit 17 estimates the amount of clothing of the entire wearer including a plurality of temperature regions, and outputs the estimation result to the display unit 18 and the control unit 19.
  • the estimation unit 17 is an example of an estimation unit that estimates the amount of clothing in the clothing portion from the temperature indicated by the clothing portion in the area corresponding to the wearer in the thermal image and the clothing information.
  • the display unit 18 is mainly realized by the output unit 105.
  • the display unit 18 presents the clothing amount estimated by the estimation unit 17 for each temperature region to the user.
  • the display unit 18 is an example of a display unit that displays the estimation result of the clothing amount by the estimation unit.
  • FIG. 5 illustrates the screen 76 displayed on the display unit 18.
  • the amount of clothing for the upper body of the wearer is 0.8
  • the amount of clothing for the lower body is 0.3
  • the total amount of wear for the wearer is 0.7.
  • the amount of clothing is a clo value that is approximately proportional to the thermal resistance of clothing, with 1.0 when wearing a suit and 0.0 when not wearing clothing.
  • the amount of clothing is not limited to this clo value, and may be an index value that increases or decreases as the amount of clothing increases.
  • the control unit 19 is realized mainly by the cooperation of the processor 101 and the communication unit 106.
  • the control unit 19 estimates the sensible temperature of the wearer of the clothing from the amount of clothing estimated by the estimation unit 17, the temperature and humidity in the space 200 measured by a sensor (not shown), and the current wind direction and speed. To do. Then, the control unit 19 adjusts the sensible temperature of the wearer of the clothes by changing or maintaining the state of the conditioned air including the temperature, the humidity, the wind direction, and the wind speed. In detail, the control unit 19 generates a control command indicating the state of conditioned air and transmits it to the air conditioner 30 via the air conditioning network 20.
  • the control unit 19 is an example of a control unit that controls the air conditioner based on the clothing amount estimated by the estimation device 10.
  • the air conditioners 31 and 32 are heat pump type air conditioners connected to each other via a refrigerant pipe 50.
  • the air conditioners 31 and 32 perform an operation for blowing out the conditioned air in the state instructed by the estimation device 10 into the space 200 by circulating the refrigerant in the refrigerant pipe 50.
  • FIG. 1 shows an example in which both of the air conditioners 31 and 32 are connected to the air conditioning network 20, one of the air conditioners 31 and 32 is connected to the air conditioning network 20, and the other is It may be linked with the air conditioner 30 connected to the air conditioning network 20.
  • the sensor module 40 has a thermopile array composed of a plurality of thermopile elements arranged in a matrix, and a lens.
  • the thermopile element is a sensor element that detects infrared rays emitted from a heat source.
  • the sensor module 40 is attached to the wall or ceiling of the space 200.
  • the sensor module 40 measures the brightness of far-infrared light that reaches from an object including a human body in the space 200, and generates a thermal image showing the surface temperature of the object from the measurement result.
  • the sensor module 40 includes a mechanism that rotates in the horizontal direction, and combines a plurality of images captured while rotating to generate a thermal image of the entire circumference over 360 °. Then, the sensor module 40 repeatedly generates a thermal image of the entire circumference, and transmits the generated thermal image to the estimation device 10 via the air conditioning network 20.
  • the air conditioning control process shown in FIG. 6 starts when the user instructs the air conditioning operation.
  • the estimation device 10 executes a clothing amount estimation process (step S100).
  • FIG. 7 shows details of this clothing amount estimation processing.
  • the first acquisition unit 11 acquires a thermal image of the space 200 from the sensor module 40 (step S11). Specifically, the first acquisition unit 11 receives the thermal image transmitted from the sensor module 40 via the air conditioning network 20.
  • the human area extraction unit 12 extracts one or a plurality of human areas from the thermal image acquired in step S11 (step S12). Specifically, the human area extracting unit 12 extracts the human area using the background difference. In detail, the human area extraction unit 12 accumulates information of the thermal images that are constantly acquired, and considers that the background appears in an area where there is no change over a certain time. Then, the human area extraction unit 12 compares the thermal image newly acquired in step S11 with the background, and extracts an area different from the background as a human area.
  • the human area extraction unit 12 further analyzes the extracted difference area, and determines from the size or the brightness pattern of the thermal image that the object corresponding to the difference area is a person. It may be extracted as a human area only when it corresponds to a person.
  • the temperature area dividing unit 13 divides the human area extracted in step S12 into temperature zones (step S13). Specifically, the temperature region dividing unit 13 sets, in the human region, a region having a temperature of 28 degrees Celsius or higher as a high temperature region, and a region having a temperature of 25 degrees Celsius or higher and lower than 28 degrees Celsius as a medium temperature region. As a region having a temperature of less than 25 degrees Celsius is divided into low temperature regions.
  • the human region has a high temperature region 71 where the skin is exposed, a low temperature region 73 corresponding to the skirt that is not in close contact with the body surface, and a clothing with a relatively high degree of adhesion.
  • the temperature region 72a corresponding to the hair may be treated integrally with the temperature region 71 where the skin is exposed.
  • the low temperature region 73 corresponds to, for example, clothes that do not adhere to the body surface such as a thin skirt worn in the summer, or clothes with thick cloth and high heat retention such as a thick coat worn in the winter. To do.
  • the adhesiveness determination unit 14 determines the adhesiveness of the clothing for each of the temperature regions divided in step S13 (step S14). Specifically, the adhesion degree determination unit 14 determines, for each of the intermediate temperature region and the low temperature region, the adhesion degree of the clothing corresponding to the temperature region from the shape thereof. A shape similar to the silhouette of the human body is detected in the case of clothes having a high degree of adhesion to the body surface, and a shape deviating from the silhouette of the human body is detected in the case of clothes having a low degree of adhesion.
  • the average silhouette of a human body is defined by dividing the human body by height and the ratio of the width to the height of each division.
  • the adhesion degree determination unit 14 estimates the height from the shape of the human region extracted in step S12, and calculates the height at which the temperature region divided in step S13 is located in the human region. . Then, the adhesion degree determination unit 14 compares the average width defined in advance for the calculated height with the width of the temperature region divided in step S13. When the lateral width of the temperature region divided in step S13 is larger than the average lateral width by a certain percentage or more, the adhesion determination unit 14 determines that the adhesion of the clothing corresponding to this temperature region is low, and In the case of, it is judged that the adhesion is high.
  • the fixed ratio is, for example, 30%.
  • the second acquisition unit 16 acquires the environmental information and the degree of adhesion as clothing information (step S15). Specifically, the second acquisition unit 16 acquires the current date from the date / time management unit 15 and the current outside temperature from the air conditioner 32 as the environmental information.
  • the estimation unit 17 estimates the amount of clothing in each clothing part corresponding to the temperature region divided in step S13 from the environmental information and the degree of adhesion acquired in step S15 (step S16). Specifically, the estimation unit 17 classifies the current season into one of the winter season, the summer season, and the intermediate season from the date indicated by the environmental information. Although the estimation unit 17 determines the season from the date, the season may be changed when the outside temperature greatly exceeds or falls below the normal year. Then, the estimation unit 17 estimates the clothing amount of the clothing portion from the correspondence table shown in FIG. This correspondence table is data in a table format in which the clothing amount is associated with the temperature zones of the season and the temperature region, and the clothing amount is further associated with the degree of adhesion when the temperature region is low. For example, when the current season is summer, the amount of clothes in the low temperature region 73 where the degree of adhesion is low is estimated to be 0.4 as shown in FIG.
  • the clothing amount “0.4” in the low temperature region where the degree of adhesion in summer is low corresponds to, for example, a thin skirt.
  • the clothing amount “0.9” in the low temperature region where the degree of adhesion is high in the summer corresponds to, for example, thin pants for summer.
  • the clothing amount “0.8” in the low temperature region where the degree of adhesion is low in winter corresponds to, for example, layering of pants and a coat.
  • the clothing amount “1.2” in the low temperature region where the degree of adhesion is high in the winter corresponds to, for example, the tights and the pants are layered.
  • a value between the amount of clothing in the summer and the amount of clothing in the winter is assigned as the amount of clothing in the intermediate period.
  • the amount of clothing "0.0" in the high temperature region corresponds to the exposure of the skin.
  • the estimation unit 17 estimates the amount of clothing of the wearer from the area of each temperature region and the amount of clothing (step S17). Specifically, the estimation unit 17 estimates the clothing amount according to the following formula (1).
  • A B ⁇ ⁇ Pi + C ⁇ ⁇ Qj + D ⁇ ⁇ Rk + E ⁇ ⁇ Sm ⁇ ⁇ ⁇ (1)
  • a in the above formula (1) is the amount of clothing of the wearer
  • B is the amount of clothing estimated in step S16 for the high temperature region
  • Pi is the area of the i-th high temperature region.
  • C is the amount of clothing estimated in step S16 for the medium temperature region
  • Qj is the area of the jth medium temperature region
  • D is the step for the low temperature region where the degree of adhesion is low.
  • Rk is the area of the k-th low temperature temperature region with low adhesion
  • E is the amount of clothing estimated in step S16 for the low temperature temperature region with high adhesion.
  • Sm is the area of the m-th low temperature region having high adhesion.
  • ⁇ means the total sum.
  • the area of Pi, Qj, Rk, Sm may be the area in the thermal image, or may be a value obtained by normalizing this area using the height of the wearer shown in the thermal image.
  • the estimation unit 17 determines whether or not the number of frames for which the wearer's clothing amount is estimated has been accumulated by a number equal to or more than a threshold value (step S18).
  • the threshold is 3, for example.
  • the estimating unit 17 estimates the wearer's clothing amount from the thermal images of the first to third frames by repeatedly performing step S11, and then adds the fourth frame to add the fourth frame to the second to fourth frames.
  • the determination in step S18 may be affirmed when the clothing amount is estimated from the thermal image of the frame, and the determination in step S18 is affirmed when the clothing amount is estimated for the thermal images of the fourth to sixth frames. May be.
  • step S18; No If it is determined that the number of frames is not equal to or more than the threshold value (step S18; No), the estimation device 10 repeats the processing from step S11. On the other hand, when it is determined that the number of frames is equal to or larger than the threshold value (step S18; Yes), the estimation unit 17 integrates the clothing amount of the same wearer estimated from each of the plurality of frames (step S19). For example, the estimation unit 17 calculates the average value of the clothing amount estimated for the wearer from the three frames. As a result, it is possible to reduce the estimation error of the clothing amount due to the appearance on the thermal image in a short time. It should be noted that whether or not they are the same wearer may be determined by tracking the wearer in successive thermal images.
  • the estimation unit 17 outputs the clothing amount integrated in step S19 to the control unit 19 (step S20). Then, the clothing amount estimation process ends.
  • the display unit 18 displays the clothing amount estimation result (step S200). For example, the display unit 18 displays the estimation result shown in FIG.
  • the control unit 19 controls the air conditioner 30 based on the estimation result of the clothing amount (step S300). For example, when there are many wearers who wear a large amount of clothes, the control unit 19 determines that these wearers feel that they are cold, or if there is room to reduce the wear amount by removing their jackets. The target temperature for air conditioning may be increased, judging that the number is high. In addition, when there are many wearers with a small amount of clothing, the control unit 19 determines that these wearers feel that they are hot, or determines that there is little room for adjusting the sensible temperature due to clothing, The target temperature for air conditioning may be lowered. After that, the estimation device repeats the processing from step S100. As a result, the estimation of the clothing amount, the display of the estimation result, and the adjustment of the air conditioning based on the estimation result are repeatedly executed.
  • the estimation device 10 estimates the amount of clothing in the clothing portion from the temperature indicated by the clothing portion in the area corresponding to the wearer shown in the thermal image and the clothing information.
  • the estimation device 10 includes a human region extraction unit 12 that extracts a region corresponding to the wearer from the thermal image, and a temperature region division unit 13 that divides the extracted region into temperature regions, and the estimation unit 17 Estimates the amount of clothing in the clothing part from the temperature indicated by any of the temperature regions as the clothing part and the clothing information. That is, in addition to the temperature shown in the thermal image, the amount of clothing in the portion of clothing is estimated using clothing information about clothing. As a result, it is possible to accurately estimate the amount of clothing of the portion of the clothing shown in the thermal image.
  • the estimated value of the clothing amount of the clothing portion is changed according to the environmental information about the wearer's environment that correlates with the type of clothing and the information indicating the degree of adhesion of the clothing determined by the degree of adhesion determination unit 14. Therefore, the estimation accuracy of the clothing amount can be improved.
  • the estimation device 10 estimated the final amount of clothing from a plurality of frames of the thermal image. Specifically, the first acquisition unit 11 acquires a plurality of thermal images, and the estimation unit 17 causes the temperature in each of the plurality of thermal images indicated by the portion of the clothing corresponding to the wearer shown in the thermal images. From the clothing information, the amount of clothing in the clothing part was estimated. Thereby, the influence of noise can be reduced and a stable estimated value of the clothing amount can be obtained. Depending on the positional relationship between the wearer and the sensor module 40, or the posture of the wearer, the distribution of the surface temperature shown in the thermal image may look significantly different even for the same wearer.
  • the estimation device 10 may be configured as shown in FIG.
  • the second acquisition unit 16 acquires the environmental information from the external server 60 via the wide area network 61 represented by the Internet.
  • the server 60 is a server device that provides environment information to the estimation device 10 in response to a request from the estimation device 10.
  • the estimation device 10 outputs the estimation result by the estimation unit 17 to the external display terminal 18a and the control device 19a.
  • the display terminal 18a is, for example, a terminal carried by the user, and displays the estimation result output from the estimation device 10 on the screen illustrated in FIG.
  • the control device 19a is a device that controls the air conditioner 30, and controls the air conditioner 30 based on the estimation result output from the estimation device 10.
  • the estimation device 10 and the sensor module 40 are configured separately, but the sensor module 40 may include the function of the estimation device 10.
  • the sensor module 40 estimates the clothing amount, it is necessary to improve the calculation capacity and the memory capacity installed in the sensor module 40, but the traffic of the air conditioning network 20 can be reduced, and the controller of the air conditioner 30 can be reduced. Such a load can be reduced.
  • the environmental information according to the above-described embodiment is information indicating the date and the outside temperature, but is not limited to this.
  • the environmental information may be information including at least one of outside temperature, weather, season, date, time, room temperature, air conditioning of the space 200 where the wearer is present, and outside air or humidity in the space 200. Good.
  • the outside air temperature may be the outside air temperature at the present time, or may be an actual measurement value or a predicted value of at least one of the maximum temperature and the minimum temperature of the day.
  • the outside temperature may be meteorological observation information or meteorological prediction information in an area having facilities including the space 200.
  • the weather represents weather conditions represented by, for example, fine weather, cloudy weather, rain, and snow. Since the outside air temperature changes when the weather changes, the weather becomes information related to clothes as well as the outside air temperature.
  • the season may be any of the four seasons including spring, summer, autumn and winter, may be one of the two seasons including the rainy season and the dry season, and may be five or more in combination thereof. It may be one of the seasons. Since the season, date, and time are also linked to the outside air temperature, they are information related to clothes like the outside air temperature. Further, the information about the room temperature and the air conditioning is information related to the clothes as well as the outside temperature. The information about air conditioning is, for example, information indicating at least one of a target temperature of air conditioning, an operation mode represented by cooling and heating, a wind direction, and a wind speed.
  • the air conditioner 31 and the sensor module 40 are separately installed, but the air conditioner 31 may have the sensor module 40 built therein.
  • the device to be controlled is not limited to the air conditioner.
  • a ventilation device, a dehumidifier, or other device may be the control target.
  • both the degree of adhesion and the environmental information are used as clothing information
  • only environmental information is used as clothing information
  • it may be estimated that the temperature region where the surface temperature is low in summer is clothing with low adhesion. It is unlikely that a large amount of clothing such as a coat is worn in the summer, and even if the estimation of the degree of adhesion of clothing is omitted, it is possible to make a reasonable estimation.
  • the time interval at which the first acquisition unit 11 collects the thermal image may be a fixed cycle defined in advance or a variable period.
  • the average amount of clothing estimated from each of a plurality of frames is calculated in order to reduce the influence of how the person appears.
  • the effect of using the average may be low when the target person is almost stationary and the change in the thermal image is small. Therefore, the subsequent processing may be executed at the timing when the human area extracted by the human area extracting unit 12 has changed significantly. By executing the processing at such a timing, it is possible to select an effective frame for improving the estimation accuracy of the clothing amount and reduce the calculation load.
  • the target temperature of air conditioning is raised or lowered as the air conditioning control according to the estimation result of the clothing amount.
  • the facility manager may be presented with energy saving assist information that suggests raising the set temperature.
  • the function of the estimation device 10 can be realized by dedicated hardware or a normal computer system.
  • the program P1 executed by the processor 101 is stored in a computer-readable non-transitory recording medium and distributed, and the program P1 is installed in the computer, thereby configuring an apparatus that executes the above-described processing. be able to.
  • a recording medium for example, a flexible disk, a CD-ROM (Compact Disc Read-Only Memory), a DVD (Digital Versatile Disc), and an MO (Magneto-Optical Disc) can be considered.
  • the program P1 may be stored in a disk device included in a server device on a communication network typified by the Internet, and, for example, may be superimposed on a carrier wave and downloaded to a computer.
  • the above process can also be achieved by starting and executing the program P1 while transferring the program P1 via the communication network.
  • the above-described processing can be achieved by causing all or part of the program P1 to be executed on the server device and executing the program while the computer transmits and receives information regarding the processing via the communication network.
  • OS Operating System
  • the OS shares and implements the above-mentioned functions, or if the OS and applications cooperate with each other, even if only the part other than the OS is stored in the medium and distributed. Well, it may also be downloaded to your computer.
  • the means for realizing the function of the estimation device 10 is not limited to software, and a part or all of the means may be realized by dedicated hardware including a circuit.
  • the present invention is suitable for air conditioning of a space where a user wearing clothes is present.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Analysis (AREA)

Abstract

推定装置（１０）は、第１取得部（１１）と、第２取得部（１６）と、推定部（１７）と、を備える。第１取得部（１１）は、被服を着用する着用者の熱画像を取得する。第２取得部（１６）は、被服に関する被服情報であって熱画像とは異なる被服情報を取得する。推定部（１７）は、第１取得部（１１）によって取得された熱画像において着用者のうち被服の部分により示される温度と、第２取得部（１６）によって取得された被服情報と、から被服の部分における着衣量を推定する。

Description

推定装置、空調システム及び推定方法
　本発明は、推定装置、空調システム及び推定方法に関する。
　空調機を制御する際に、空調対象となる空間に在室するユーザの体感温度を推定して、この推定結果に基づく制御を実行すれば、別途設定された目標値に空気温度を調節する場合よりも直接的に当該ユーザの快適性を向上させることができると考えられる。体感温度の推定には、温度、湿度及び風速に代表される情報の他に、ユーザの着衣量が必要となる。
　ユーザの着衣量については、空気温度とは異なり、センサによる客観的かつ高精度な計測が困難である。そこで、熱画像を利用して人物の着衣量を推定する手法が提案されている（例えば、特許文献１を参照）。特許文献１に記載の技術では、熱画像に写る人の領域を分割して、分割した領域毎に、身にまとう衣服の量が多いほど熱画像により示される温度が低下することを前提として、表面温度分布から衣類の厚さが推定される。そして、各領域における推定結果からユーザの着衣量が推定される。
国際公開第２０１７／２０９０８９号
　しかしながら、特許文献１に記載の技術における前提が成立しない場合がある。例えば、スカートのように体表に密着していない被服は、体表温度の影響を受けにくいため、薄手であっても熱画像においてはその表面温度が低く写ることが分かっている。このため、特許文献１に記載の技術では、被服の部分の着衣量に相当する衣類の厚さを誤って推定してしまうおそれがある。したがって、ユーザの着衣量の推定誤差が大きくなるおそれがある。
　本発明は、上記の事情に鑑みてなされたものであり、熱画像に写る被服の部分の着衣量を精度よく推定することを目的とする。
　上記目的を達成するため、本発明の推定装置は、被服を着用する着用者の熱画像を取得する第１取得手段と、被服に関する被服情報であって熱画像とは異なる被服情報を取得する第２取得手段と、熱画像において熱画像に写る着用者に対応する領域のうち被服の部分により示される温度と、被服情報と、から被服の部分における着衣量を推定する推定手段と、を備える。
　本発明によれば、推定手段が、熱画像に写る着用者に対応する領域のうち被服の部分により示される温度と、被服情報と、から被服の部分における着衣量を推定する。すなわち、熱画像に示される温度に加えて、被服に関する被服情報を利用して被服の部分における着衣量が推定される。これにより、熱画像に写る被服の部分の着衣量を精度よく推定することができる。
本発明の実施の形態に係る空調システムの構成を示す図 実施の形態に係る推定装置のハードウェア構成を示す図 実施の形態に係る推定装置の機能的な構成を示す図 実施の形態に係る熱画像の一例を示す図 実施の形態に係る推定結果の表示例を示す図 実施の形態に係る空調制御処理を示すフローチャート 実施の形態に係る着衣量推定処理を示すフローチャート 実施の形態に係る季節と温度帯と密着度と着衣量との関係を規定する対応表を示す図 変形例に係る推定装置の構成を示す図
　以下、本発明の実施の形態に係る空調システム１０００について、図面を参照しつつ詳細に説明する。
　実施の形態．
　本実施の形態に係る空調システム１０００は、図１に示されるように、住宅、オフィス及び工場に代表される施設において人が居室する空間２００の空気を、当該空間２００の熱画像を利用して調和するシステムである。
　空間２００は、一又は複数の人が居室する部屋であって、図１では、複数の作業者がコンピュータ作業をする室内空間として例示されている。空間２００には、空間２００内に空調空気を吹き出す室内機としての空調機３１が一又は複数設置される。また、空間２００には、熱画像を撮影するための一又は複数のセンサモジュール４０が設置される。図１では、空調機３１の数がセンサモジュール４０の数に等しい例が示されているが、これらの数は異なっていてもよい。また、熱画像は、空間２００において物体がその温度に応じて放つ赤外線を撮影したデータである。熱画像は、通常、二次元の画像データであって、各画素の値が、物体の表面温度を表す。
　空調システム１０００は、図１に示されるように、空間２００に在室する人の着衣量を熱画像から推定して空調機３１，３２を制御する推定装置１０と、推定装置１０からの制御指示に従って空間２００内の空気を調和する空調機３１，３２と、赤外線センサにより空間２００の熱画像を撮影するセンサモジュール４０と、を有する。推定装置１０、空調機３１，３２及びセンサモジュール４０は、施設に設けられた空調ネットワーク２０を介して接続され、データを送受信することにより互いに通信する。
　推定装置１０は、施設に設置されるコンピュータ装置であって、空調機３１，３２を統括して制御する中央管理装置である。推定装置１０は、センサモジュール４０によって撮影された熱画像により空間２００に在室する人の着衣量を推定する。そして、推定装置１０は、着衣量の推定結果に基づいて空調機３１，３２を制御する。詳細には、推定装置１０は、空間２００に在室する人の着衣量の推定値に応じて、空調空気の温度及び湿度、気流の強さ、並びに風向のうち少なくとも１つを調節する。
　推定装置１０は、そのハードウェア構成として、図２に示されるように、プロセッサ１０１と、主記憶部１０２と、補助記憶部１０３と、入力部１０４と、出力部１０５と、通信部１０６と、を有する。主記憶部１０２、補助記憶部１０３、入力部１０４、出力部１０５及び通信部１０６はいずれも、内部バス１０７を介してプロセッサ１０１に接続される。
　プロセッサ１０１は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ１０１は、補助記憶部１０３に記憶されるプログラムＰ１を実行することにより、推定装置１０の種々の機能を実現して、後述の処理を実行する。
　主記憶部１０２は、ＲＡＭ（Random Access Memory）を含む。主記憶部１０２には、補助記憶部１０３からプログラムＰ１がロードされる。そして、主記憶部１０２は、プロセッサ１０１の作業領域として用いられる。
　補助記憶部１０３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）及びＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部１０３は、プログラムＰ１の他に、プロセッサ１０１の処理に用いられる種々のデータを記憶する。補助記憶部１０３は、プロセッサ１０１の指示に従って、プロセッサ１０１によって利用されるデータをプロセッサ１０１に供給し、プロセッサ１０１から供給されたデータを記憶する。
　入力部１０４は、入力キー及びポインティングデバイスに代表される入力デバイスを含む。入力部１０４は、推定装置１０のユーザによって入力された情報を取得して、取得した情報をプロセッサ１０１に通知する。
　出力部１０５は、ＬＣＤ（Liquid Crystal Display）及びスピーカに代表される出力デバイスを含む。出力部１０５は、プロセッサ１０１の指示に従って、種々の情報をユーザに提示する。
　通信部１０６は、外部の装置と通信するためのネットワークインタフェース回路を含む。通信部１０６は、外部から信号を受信して、この信号により示されるデータをプロセッサ１０１へ出力する。また、通信部１０６は、プロセッサ１０１から出力されたデータを示す信号を外部の装置へ送信する。
　図２に示されるハードウェア構成が協働することで、推定装置１０は、種々の機能を発揮する。詳細には、推定装置１０は、図３に示されるように、その機能として、センサモジュール４０から熱画像を取得する第１取得部１１と、熱画像から人が写る領域を抽出する人領域抽出部１２と、熱画像において人が写る領域を温度帯ごとに分割する温度領域分割部１３と、分割された領域それぞれに対応する被服が人体に密着している度合いを示す密着度を判断する密着度判断部１４と、推定装置１０において使用される日時を管理する日時管理部１５と、密着度を示すデータ、日付、及び、室外機である空調機３２から提供される外気温を被服に関する被服情報として取得する第２取得部１６と、人の着衣量を推定する推定部１７と、着衣量の推定結果を表示する表示部１８と、着衣量の推定結果に基づいて空調機３０を制御する制御部１９と、を有する。ただし、空調機３０は、空調機３１，３２の総称である。
　第１取得部１１は、主として通信部１０６により実現される。第１取得部１１は、センサモジュール４０によって繰り返し撮影されて送信される熱画像を受信する。第１取得部１１による熱画像の取得は、例えば１秒間、１０秒間又は１分間の周期で繰り返し実行される。そして、第１取得部１１は、熱画像を取得するたびに、取得した熱画像を人領域抽出部１２に出力する。第１取得部１１は、被服を着用する着用者の熱画像を取得する第１取得手段の一例である。
　人領域抽出部１２は、主としてプロセッサ１０１により実現される。人領域抽出部１２は、第１取得部１１から出力された熱画像から、当該熱画像に写る人の領域を抽出する。人領域抽出部１２によって抽出される領域は、熱画像に写る人が着用している被服の領域を含む。例えば、人領域抽出部１２は、摂氏２０度から４０度までの値を示す領域を熱画像から切り出して、切り出した領域について人の服装を含む体型をパターンマッチングすることにより、熱画像に写る人の領域を抽出する。人領域抽出部１２は、熱画像から熱画像に写る被服の着用者に対応する領域を抽出する人領域抽出手段の一例である。人領域抽出部１２は、人領域の抽出結果を温度領域分割部１３に提供する。
　温度領域分割部１３は、主としてプロセッサ１０１により実現される。温度領域分割部１３は、人領域抽出部１２によって抽出された人の領域を、互いに異なる範囲の温度を示す温度領域に分割する。例えば、温度領域分割部１３は、図４に示されるように、熱画像７０に写る人の領域を、高温、中温及び低温の温度帯ごとに分割する。図４には、高温の温度領域７１と、中温の温度領域７２，７２ａと、低温の温度領域７３とに分割される例が示されている。温度領域分割部１３は、人領域抽出手段によって抽出された領域を、互いに異なる範囲の温度を示す温度領域に分割する温度領域分割手段の一例である。温度領域分割部１３は、温度領域の分割結果を密着度判断部１４及び推定部１７に提供する。
　図３に戻り、密着度判断部１４は、主としてプロセッサ１０１により実現される。密着度判断部１４は、温度領域分割部１３によって分割された温度領域それぞれについて、被服の着用者への密着度を判断する。詳細には、密着度判断部１４は、熱画像に写る温度領域の形状が、着用者の体型に類似する場合に、密着度が高いと判断し、着用者の体型から乖離する場合に、密着度が低いと判断する。密着度判断部１４は、熱画像から被服の着用者の体への密着度を判断する密着度判断手段の一例である。密着度判断部１４は、密着度の判断結果を第２取得部１６に提供する。
　日時管理部１５は、不図示の水晶振動子と、プロセッサ１０１及び通信部１０６の協働により実現される。日時管理部１５は、推定装置１０において使用される現在の日時を、ネットワークを介してタイムサーバに同期する。なお、日時管理部１５は、ユーザの入力により日時をリセットしてもよい。日時管理部１５は、現在の日付を第２取得部１６に通知する。
　第２取得部１６は、主としてプロセッサ１０１及び通信部１０６の協働により実現される。第２取得部１６は、密着度判断部１４によって判断された密着度を示す情報と、日時管理部１５から提供される現在の日付を示すデータと、空調機３２が内蔵のセンサにより計測した外気温を示すデータと、を被服に関する被服情報として取得する。第２取得部１６は、被服に関する被服情報であって熱画像とは異なる被服情報を取得する第２取得手段の一例である。第２取得部１６は、取得した被服情報を推定部１７に出力する。
　通常、外気温が高い場合には、厚手の被服より薄手の被服が着用されることが多く、外気温が低い場合には、薄手の被服より厚手の被服が着用されることが多い。このため、外気温は、被服に関連する情報である。また、日付が変化すると外気温も変動することから、日付は、外気温と同様に被服に関連する情報である。
　推定部１７は、主としてプロセッサ１０１により実現される。推定部１７は、熱画像において温度領域に対応する被服の部分それぞれについて、熱画像により示される表面温度及び被服情報から着衣量を推定する。そして、推定部１７は、複数の温度領域を含む着用者全体の着衣量を推定して、推定結果を表示部１８及び制御部１９に出力する。推定部１７は、熱画像において熱画像に写る着用者に対応する領域のうち被服の部分により示される温度と、被服情報と、から被服の部分における着衣量を推定する推定手段の一例である。
　表示部１８は、主として出力部１０５により実現される。表示部１８は、各温度領域について推定部１７により推定された着衣量をユーザに提示する。表示部１８は、推定手段による着衣量の推定の結果を表示する表示手段の一例である。図５には、表示部１８に表示される画面７６が例示されている。この画面７６では、着用者の上半身の被服部分については着衣量が０．８であり、下半身の被服部分については着衣量が０．３であり、着用者全体の着衣量としては０．７であることが示されている。なお、この着衣量は、スーツ着用時を１．０とし、被服を着用していないときを０．０として、おおよそ衣服の熱抵抗に比例するｃｌｏ値である。ただし、着衣量は、このｃｌｏ値に限定されず、着衣量が多くなるほど増加し又は減少する指標値であってもよい。
　制御部１９は、主としてプロセッサ１０１及び通信部１０６の協働により実現される。制御部１９は、推定部１７によって推定された着衣量と、不図示のセンサによって計測された空間２００内の温度及び湿度と、現在の風向及び風速と、から被服の着用者の体感温度を推定する。そして、制御部１９は、温度、湿度、風向及び風速を含む空調空気の状態を変更又は維持することにより、被服の着用者の体感温度を調節する。詳細には、制御部１９は、空調空気の状態を示す制御指令を生成し、空調ネットワーク２０を介して空調機３０に送信する。制御部１９は、推定装置１０によって推定された着衣量に基づいて空調機を制御する制御手段の一例である。
　図１に戻り、空調機３１，３２は、冷媒配管５０を介して互いに接続されるヒートポンプ式の空調装置である。空調機３１，３２は、冷媒配管５０内で冷媒を循環させることにより推定装置１０から指示された状態の空調空気を空間２００内に吹き出すための運転を実行する。なお、図１には、空調機３１，３２の双方が空調ネットワーク２０に接続される例が示されているが、空調機３１，３２のいずれか一方が空調ネットワーク２０に接続され、他方が、空調ネットワーク２０に接続されている空調機３０と連動してもよい。
　センサモジュール４０は、マトリックス状に配置された複数のサーモパイル素子からなるサーモパイルアレイ、及びレンズを有する。サーモパイル素子は、熱源から放射された赤外線を検出するセンサ素子である。センサモジュール４０は、空間２００の壁又は天井に取り付けられる。センサモジュール４０は、空間２００内の人体を含む物体から到達する遠赤外線光の輝度を計測し、この計測結果から物体の表面温度を示す熱画像を生成する。また、センサモジュール４０は、水平方向に回転する機構を備え、回転しながら撮影した複数の画像を合成することで３６０°にわたる全周の熱画像を生成する。そして、センサモジュール４０は、全周の熱画像を繰り返し生成して、生成した熱画像を、空調ネットワーク２０を介して推定装置１０へ送信する。
　続いて、推定装置１０によって実行される空調制御処理について、図６～８を用いて説明する。図６に示される空調制御処理は、ユーザにより空調運転が指示されることで開始する。
　空調制御処理では、推定装置１０が、着衣量推定処理を実行する（ステップＳ１００）。図７には、この着衣量推定処理の詳細が示されている。図７に示されるように、着衣量推定処理では、第１取得部１１が、センサモジュール４０から空間２００の熱画像を取得する（ステップＳ１１）。具体的には、第１取得部１１が、センサモジュール４０から送信された熱画像を、空調ネットワーク２０を介して受信する。
　次に、人領域抽出部１２が、ステップＳ１１にて取得された熱画像から一又は複数の人領域を抽出する（ステップＳ１２）。具体的には、人領域抽出部１２は、背景差分を利用して人領域を抽出する。詳細には、人領域抽出部１２は、定常的に取得される熱画像の情報を蓄積して、一定時間以上にわたって変化がない領域には背景が写っているものとみなす。そして、人領域抽出部１２は、ステップＳ１１にて新規に取得した熱画像と背景とを比較して、背景とは異なる領域を人領域として抽出する。
　なお、背景との差分が大きい領域に人以外の物体が写っている可能性も考えられる。例えば、椅子若しくはモニタが移動した場合、又は、カーテン若しくはブラインドが操作された場合には、人以外の物体が写っている領域の背景との差分が大きくなる。人領域抽出部１２は、このような人以外の物体の影響を低減するために、抽出された差分領域をさらに分析して、サイズ又は熱画像の輝度パターンから、差分領域に対応する物体が人であるか否かを分類して、人に対応する場合に限って人領域として抽出してもよい。
　次に、温度領域分割部１３が、ステップＳ１２にて抽出された人領域を温度帯毎に分割する（ステップＳ１３）。具体的には、温度領域分割部１３が、人領域のうち、摂氏２８度以上の温度を示す領域を高温の温度領域として、摂氏２５度以上２８度未満の温度を示す領域を中温の温度領域として、摂氏２５度未満の温度を示す領域を低温の温度領域として、分割する。図４に示される例では、人領域が、肌が露出している高温の温度領域７１と、体表に密着していないスカートに対応する低温の温度領域７３と、比較的密着度の高い被服に対応する中温の温度領域７２と、頭髪に対応する中温の温度領域７２ａと、に分割されている。なお、頭髪に対応する温度領域７２ａは、肌が露出している温度領域７１と一体的に扱われてもよい。低温の温度領域７３は、例えば、夏期に着用される薄手のスカートのように体表に密着しない衣服、又は、冬期に着用される厚手のコートのように生地が厚く保温性の高い衣服に対応する。
　次に、密着度判断部１４が、ステップＳ１３にて分割された温度領域それぞれについて被服の密着度を判断する（ステップＳ１４）。具体的には、密着度判断部１４が、中温及び低温の温度領域それぞれについて、当該温度領域に対応する被服の密着度をその形状から判断する。体表への密着度が高い被服の場合には、人体のシルエットに類似する形状が検出され、密着度が低い被服の場合には、人体のシルエットから乖離する形状が検出される。平均的な人体のシルエットは、人体を高さごとに区分し、区分毎の身長に対する横幅の比率から規定される。より具体的には、密着度判断部１４は、ステップＳ１２にて抽出された人領域の形状から身長を推定し、ステップＳ１３にて分割された温度領域が人領域において位置する高さを算出する。そして、密着度判断部１４は、算出した高さについて予め規定された平均的な横幅と、ステップＳ１３にて分割された温度領域の横幅と、を比較する。ステップＳ１３にて分割された温度領域の横幅の方が平均的な横幅より一定割合以上大きい場合に、密着度判断部１４は、この温度領域に対応する被服の密着度が低いと判断し、その他の場合に密着度が高いと判断する。一定割合は、例えば３０％である。
　次に、第２取得部１６が、環境情報と密着度とを被服情報として取得する（ステップＳ１５）。具体的には、第２取得部１６は、環境情報として、現在の日付を日時管理部１５から取得し、現在の外気温を空調機３２から取得する。
　次に、推定部１７が、ステップＳ１３にて分割された温度領域に相当する被服部分それぞれにおける着衣量を、ステップＳ１５にて取得された環境情報及び密着度から推定する（ステップＳ１６）。具体的には、推定部１７は、環境情報により示される日付から、現在の季節を冬期、夏期、及び中間期のいずれかに分類する。推定部１７は、日付から季節を決定するが、外気温が平年を大きく上回る場合又は下回る場合には、季節を変更してもよい。そして、推定部１７は、図８に示される対応表から、被服部分の着衣量を推定する。この対応表は、季節及び温度領域の温度帯に着衣量を関連付けたテーブル形式のデータであり、温度領域が低温である場合にはさらに密着度に着衣量が関連付けられている。例えば、現在の季節が夏期である場合には、図４に示されるように密着度が低い低温の温度領域７３の着衣量が、０．４と推定される。
　図８に示される対応表において、夏期における密着度が低い低温の温度領域の着衣量「０．４」は、例えば薄手のスカートに対応する。また、夏期における密着度が高い低温の温度領域の着衣量「０．９」は、例えば、夏用の薄手のズボンに対応する。冬期における密着度が低い低温の温度領域の着衣量「０．８」は、例えば、ズボンとコートの重ね着に対応する。冬期における密着度が高い低温の温度領域の着衣量「１．２」は、例えば、タイツとズボンの重ね着に対応する。中間期の着衣量としては、夏期の着衣量と冬期の着衣量の間の値が割り当てられている。なお、高温の温度領域の着衣量「０．０」は、肌の露出に対応している。
　図７に戻り、ステップＳ１６に続いて、推定部１７が、温度領域それぞれの面積及び着衣量から着用者の着衣量を推定する（ステップＳ１７）。具体的には、推定部１７は、以下の式（１）に従って着衣量を推定する。
　Ａ＝Ｂ・ΣＰｉ＋Ｃ・ΣＱｊ＋Ｄ・ΣＲｋ＋Ｅ・ΣＳｍ　・・・（１）
　ただし、上記式（１）におけるＡは、着用者の着衣量であり、Ｂは、高温の温度領域についてステップＳ１６において推定された着衣量であり、Ｐｉは、ｉ番目の高温の温度領域の面積であり、Ｃは、中温の温度領域についてステップＳ１６において推定された着衣量であり、Ｑｊは、ｊ番目の中温の温度領域の面積であり、Ｄは、密着度が低い低温の温度領域についてステップＳ１６において推定された着衣量であり、Ｒｋは、密着度が低いｋ番目の低温の温度領域の面積であり、Ｅは、密着度が高い低温の温度領域についてステップＳ１６において推定された着衣量であり、Ｓｍは、密着度が高いｍ番目の低温の温度領域の面積である。Σは、総和を意味する。例えば、夏期において図４に示されるような熱画像から着用者の着衣量を推定する場合には、図８に示されるように、Ｂが０．０であり、Ｃが０．６であり、Ｄが０．４であり、Ｅが０．９となる。なお、Ｐｉ，Ｑｊ，Ｒｋ，Ｓｍの面積は、熱画像における面積であってもよいし、この面積を、熱画像に写る着用者の身長を利用して正規化した値であってもよい。
　図７に戻り、ステップＳ１７に続いて、推定部１７は、着用者の着衣量を推定したフレーム数が閾値以上の数だけ蓄積されたか否かを判定する（ステップＳ１８）。閾値は、例えば３である。例えば、推定部１７は、ステップＳ１１が繰り返し実行されることで１～３番目のフレームの熱画像それぞれから着用者の着衣量を推定した後に、４番目のフレームが追加されて２～４番目のフレームの熱画像から着衣量が推定されたときにステップＳ１８の判定を肯定してもよいし、４～６番目のフレームの熱画像について着衣量が推定されたときにステップＳ１８の判定を肯定してもよい。
　フレーム数が閾値以上でないと判定された場合（ステップＳ１８；Ｎｏ）、推定装置１０は、ステップＳ１１以降の処理を繰り返す。一方、フレーム数が閾値以上であると判定した場合（ステップＳ１８；Ｙｅｓ）、推定部１７が、複数のフレームそれぞれから推定した同一の着用者の着衣量を統合する（ステップＳ１９）。例えば、推定部１７は、この着用者について３つのフレームから推定された着衣量の平均値を算出する。これにより、短時間における熱画像への写り方に起因する着衣量の推定誤差を低減することができる。なお、同一の着用者であるか否かは、連続する熱画像に写る着用者をトラッキングすることで判断すればよい。
　次に、推定部１７が、ステップＳ１９にて統合された着衣量を制御部１９に出力する（ステップＳ２０）。その後、着衣量推定処理が終了する。
　図６に戻り、ステップＳ１００の着衣量推定処理に続いて、表示部１８が、着衣量の推定結果を表示する（ステップＳ２００）。例えば、表示部１８は、図５に示される推定結果を表示する。
　次に、制御部１９が、着衣量の推定結果に基づいて空調機３０を制御する（ステップＳ３００）。例えば、着衣量が大きい着用者が多い場合には、制御部１９は、これらの着用者が寒いと感じていると判断し、或いは、上着を脱ぐことにより着衣量を下げる余地のある人が多いと判断して、空調の目標温度を上げてもよい。また、着衣量が小さい着用者が多い場合には、制御部１９は、これらの着用者が暑いと感じていると判断し、或いは、着衣による体感温度の調節の余地が少ないと判断して、空調の目標温度を下げてもよい。その後、推定装置は、ステップＳ１００以降の処理を繰り返す。これにより、着衣量の推定と、推定結果の表示と、推定結果に基づく空調の調節と、が繰り返し実行される。
　以上、説明したように、推定装置１０は、熱画像に写る着用者に対応する領域のうち被服の部分により示される温度と、被服情報と、から被服の部分における着衣量を推定する。詳細には、推定装置１０は、熱画像から着用者に対応する領域を抽出する人領域抽出部１２と、抽出された領域を温度領域に分割する温度領域分割部１３とを備え、推定部１７は、被服の部分として温度領域のいずれかにより示される温度と、被服情報と、から被服の部分における着衣量を推定する。すなわち、熱画像に示される温度に加えて、被服に関する被服情報を利用して被服の部分における着衣量が推定される。これにより、熱画像に写る被服の部分の着衣量を精度よく推定することができる。
　具体的には、熱画像から着衣量を推定する際に、従来は表面温度が低いほど着衣量が多くなると一律に推定されていた。しかしながら、例えば、スカートに代表されるように体表面との密着度が低い被服については、低い表面温度が観測されるものの実際の着衣量は非常に小さい。そこで、被服の種類と相関する着用者の環境に関する環境情報、及び、密着度判断部１４によって判断された被服の密着度を示す情報に応じて、被服部分の着衣量の推定値を変更することで、着衣量の推定精度を向上させることができる。
　また、推定装置１０は、熱画像の複数のフレームから最終的な着衣量を推定した。具体的には、第１取得部１１が、複数の熱画像を取得し、推定部１７が、複数の熱画像それぞれにおいて熱画像に写る着用者に対応する領域のうち被服の部分により示される温度と、被服情報と、から被服の部分における着衣量を推定した。これにより、ノイズの影響を低減して、安定した着衣量の推定値を得ることができる。着用者とセンサモジュール４０との位置関係、或いは着用者の姿勢によって、同一の着用者であっても熱画像に写る表面温度の分布が大きく異なって見えることがある。例えば、半袖の被服を着用する着用者が体の前で腕を組んでいる場合において、背面から撮影された熱画像においては肌が露出している腕がほとんど見えることはないことから、露出度が低く着衣量が多いと誤推定される可能性がある。そこで、複数の観測結果を収集し、センサモジュール４０と着用者との位置関係或いは姿勢に代表される条件が変動した場合の情報を統合することにより、一時的な見え方の影響を抑えて高精度な着衣量の推定を実現することができる。
　以上、本発明の実施の形態について説明したが、本発明は上記実施の形態によって限定されるものではない。
　例えば、推定装置１０は、図９に示されるように構成されてもよい。図９に示される例では、第２取得部１６が、インターネットに代表される広域ネットワーク６１を介して外部のサーバ６０から環境情報を取得する。サーバ６０は、推定装置１０からの要求に応答して環境情報を推定装置１０に提供するサーバ装置である。
　また、推定装置１０は、推定部１７による推定結果を外部の表示端末１８ａ及び制御装置１９ａに出力する。表示端末１８ａは、例えばユーザが携帯する端末であって、推定装置１０から出力された推定結果を図５に例示される画面により表示する。制御装置１９ａは、空調機３０を制御する装置であって、推定装置１０から出力された推定結果に基づいて空調機３０を制御する。
　また、上記実施の形態では、推定装置１０とセンサモジュール４０とが別個の構成とされたが、センサモジュール４０が推定装置１０の機能を内蔵してもよい。センサモジュール４０が着衣量を推定する場合には、センサモジュール４０に搭載する計算能力及びメモリ容量を向上させる必要があるが、空調ネットワーク２０のトラフィックを軽減することができ、空調機３０のコントローラにかかる負荷を軽減することができる。
　また、上記実施の形態に係る環境情報は、日付及び外気温を示す情報であったが、これには限定されない。環境情報は、外気温、天候、季節、日付、時刻、室温、着用者が在室する空間２００の空調に関する情報、並びに、外気又は空間２００における湿度のうち少なくとも１つを含む情報であってもよい。
　詳細には、外気温は、現在における外気温であってもよいし、当日の最高気温及び最低気温の少なくとも一方の実測値又は予測値であってもよい。外気温は、空間２００を含む施設を有する地域における気象観測情報又は気象予測情報であってもよい。天候は、例えば、晴れ、曇り、雨及び雪に代表される天候状態を表す。天候が変化すると外気温も変動することから、天候は、外気温と同様に被服に関連する情報となる。
　また、季節は、春、夏、秋及び冬を含む四季のいずれかであってもよいし、雨期及び乾期を含む２つの季節の一方であってもよいし、これらを組み合わせた５つ以上の季節のいずれかであってもよい。この季節、日付、及び時刻についても、外気温に連動することから、外気温と同様に被服に関連する情報となる。さらに、室温及び空調に関する情報についても、外気温と同様に被服に関連する情報となる。空調に関する情報は、例えば、空調の目標温度、冷房及び暖房に代表される運転モード、風向、並びに風速のうち少なくとも１つを示す情報である。
　また、特に温度が高い場合において、外気又は空間２００における湿度が高いときには、湿度が低いときより薄手の被服が着用されることが多くなる。このため、湿度は、被服に関する情報となる。
　また、上記実施の形態では、空調機３１とセンサモジュール４０とが別途設置されたが、空調機３１がセンサモジュール４０を内蔵してもよい。
　また、上記実施の形態では、空調機３０を制御する場合について説明したが、制御対象の機器は空調機に限らない。例えば、換気装置又は除湿器その他の機器を制御対象としてもよい。
　また、上記実施の形態では、被服情報として、密着度と環境情報との双方を利用する例について説明したが、いずれか一方のみを利用してもよい。例えば、環境情報のみを被服情報として利用する場合には、夏期に表面温度が低い温度領域は、密着度が低い被服であると推定してもよい。夏期にコートのような着衣量が多い被服を着用している可能性は低く、被服の密着度の推定を省略しても、ある程度妥当な推定が可能である。
　また、第１取得部１１が熱画像を収集する時間間隔は、予め規定された固定の周期であってもよいし、可変の期間であってもよい。
　また、上記実施の形態では、人の写り方による影響を低減するために、複数のフレームそれぞれから推定した着衣量の平均が算出された。着衣量の平均を用いる場合には、対象人物がほぼ静止していて熱画像に写る変化が小さいときに、平均を用いる効果が低くなってしまうおそれがある。このことから、人領域抽出部１２によって抽出された人領域が大きく変化したタイミングで以降の処理を実行してもよい。このようなタイミングで処理を実行することにより、着衣量の推定精度の向上の効果的なフレームを選定することができ、計算負荷を軽減することができる。
　また、上記実施の形態では、着衣量の推定結果に応じた空調制御として、空調の目標温度を上下させる例について説明したが、これには限定されない。例えば、目標温度が低く設定されていて、かつ着衣量の推定値が大きいユーザが多い場合には、設定温度を上げることを提案する省エネアシスト情報を設備管理者に提示してもよい。
　また、推定装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
　例えば、プロセッサ１０１によって実行されるプログラムＰ１を、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムＰ１をコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read－Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto－Optical Disc）が考えられる。
　また、プログラムＰ１をインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードするようにしてもよい。
　また、通信ネットワークを介してプログラムＰ１を転送しながら起動実行することによっても、上述の処理を達成することができる。
　さらに、プログラムＰ１の全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
　なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
　また、推定装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。
　本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
　本発明は、被服を着用するユーザが存在する空間の空調に適している。
　１０００　空調システム、　１０　推定装置、　１１　第１取得部、　１２　人領域抽出部、　１３　温度領域分割部、　１４　密着度判断部、　１５　日時管理部、　１６　第２取得部、　１７　推定部、　１８　表示部、　１８ａ　表示端末、　１９　制御部、　１９ａ　制御装置、　１０１　プロセッサ、　１０２　主記憶部、　１０３　補助記憶部、　１０４　入力部、　１０５　出力部、　１０６　通信部、　１０７　内部バス、　２０　空調ネットワーク、　３０～３２　空調機、　４０　センサモジュール、　５０　冷媒配管、　６０　サーバ、　６１　広域ネットワーク、　７０　熱画像、　７１，７２，７２ａ，７３　温度領域、　７６　画面、　Ｐ１　プログラム。

Claims (9)

  1. 　被服を着用する着用者の熱画像を取得する第１取得手段と、
    　前記被服に関する被服情報であって前記熱画像とは異なる前記被服情報を取得する第２取得手段と、
    　前記熱画像において前記熱画像に写る前記着用者に対応する領域のうち前記被服の部分により示される温度と、前記被服情報と、から前記被服の部分における着衣量を推定する推定手段と、
    　を備える推定装置。
  2. 　前記被服情報は、前記着用者の環境に関する環境情報を含む、
    　請求項１に記載の推定装置。
  3. 　前記環境情報は、外気温、天候、季節、日付、時刻、室温、前記着用者が在室する空間の空調に関する情報、並びに、湿度のうち少なくとも１つを含む情報である、
    　請求項２に記載の推定装置。
  4. 　前記熱画像から前記被服の前記着用者の体への密着度を判断する密着度判断手段、をさらに備え、
    　前記被服情報は、前記密着度判断手段によって判断された前記被服の密着度を示す情報を含む、
    　請求項１から３のいずれか一項に記載の推定装置。
  5. 　前記第１取得手段は、複数の前記熱画像を取得し、
    　前記推定手段は、複数の前記熱画像それぞれにおいて前記熱画像に写る前記着用者に対応する領域のうち前記被服の部分により示される温度と、前記被服情報と、から前記被服の部分における着衣量を推定する、
    　請求項１から４のいずれか一項に記載の推定装置。
  6. 　前記熱画像から前記熱画像に写る前記着用者に対応する領域を抽出する人領域抽出手段と、
    　前記人領域抽出手段によって抽出された領域を、互いに異なる範囲の温度を示す温度領域に分割する温度領域分割手段と、をさらに備え、
    　前記推定手段は、前記被服の部分として前記温度領域のいずれかにより示される温度と、前記被服情報と、から前記被服の部分における着衣量を推定する、
    　請求項１から５のいずれか一項に記載の推定装置。
  7. 　前記推定手段による推定の結果を表示する表示手段、をさらに備える、
    　請求項１から６のいずれか一項に記載の推定装置。
  8. 　請求項１から７に記載の推定装置と、
    　前記推定装置によって推定された着衣量に基づいて空調機を制御する制御手段と、
    　を備える空調システム。
  9. 　熱画像において前記熱画像に写る被服の着用者に対応する領域のうち前記被服の部分により示される温度と、前記被服に関する被服情報であって前記熱画像とは異なる前記被服情報と、から前記被服の部分における着衣量を推定するステップ、
    　を含む推定方法。
PCT/JP2018/039922 2018-10-26 2018-10-26 推定装置、空調システム及び推定方法 WO2020084777A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/039922 WO2020084777A1 (ja) 2018-10-26 2018-10-26 推定装置、空調システム及び推定方法
JP2020552486A JP6932272B2 (ja) 2018-10-26 2018-10-26 推定装置、空調システム及び推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039922 WO2020084777A1 (ja) 2018-10-26 2018-10-26 推定装置、空調システム及び推定方法

Publications (1)

Publication Number Publication Date
WO2020084777A1 true WO2020084777A1 (ja) 2020-04-30

Family

ID=70330691

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039922 WO2020084777A1 (ja) 2018-10-26 2018-10-26 推定装置、空調システム及び推定方法

Country Status (2)

Country Link
JP (1) JP6932272B2 (ja)
WO (1) WO2020084777A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022046326A (ja) * 2020-09-10 2022-03-23 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JP2017032268A (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 空調制御装置
WO2017209089A1 (ja) * 2016-06-03 2017-12-07 三菱電機株式会社 機器制御装置及び機器制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06117836A (ja) * 1992-08-21 1994-04-28 Matsushita Electric Ind Co Ltd 画像処理装置と空気調和機の制御装置と画像処理装置を用いた応用機器
JP2017032268A (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 空調制御装置
WO2017209089A1 (ja) * 2016-06-03 2017-12-07 三菱電機株式会社 機器制御装置及び機器制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022046326A (ja) * 2020-09-10 2022-03-23 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7311474B2 (ja) 2020-09-10 2023-07-19 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2020084777A1 (ja) 2021-03-18
JP6932272B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
Aryal et al. A comparative study of predicting individual thermal sensation and satisfaction using wrist-worn temperature sensor, thermal camera and ambient temperature sensor
CN111247375B (zh) 空调控制装置
JP6412177B2 (ja) 空気調和機及び熱画像センサシステム
JP5085670B2 (ja) 空調制御システムおよび空調制御方法
JP6068280B2 (ja) 空気調和機
TWI476705B (zh) Air conditioning comfort control system and method combined with image recognition
CN104848467A (zh) 一种空调控制方法及空调
WO2023273653A1 (zh) 用于控制空调的方法、装置、空调及存储介质
CN112101115B (zh) 基于热成像的温度控制方法、装置、电子设备和介质
JP2015111019A (ja) 空調システム、空調機器制御装置、制御方法、およびプログラム
JP2011137589A (ja) 空気調和機、空気調和機の制御装置
JP2019190765A (ja) 環境制御システム及び環境制御装置
US11015832B2 (en) Thermographic sensing of human thermal conditions to improve thermal comfort
JPH0658593A (ja) 空気調和機
JP2017026196A (ja) 空調制御装置、空調制御方法、および空調制御プログラム
CN111043732A (zh) 基于智能家居的室内温度控制方法及装置
CN110726209B (zh) 空调控制方法、装置、存储介质以及处理器
JP6932272B2 (ja) 推定装置、空調システム及び推定方法
CN109931680A (zh) 一种空调房间内用户的体感温度计算方法和装置
CN207635543U (zh) 一种能够提高人体舒适性的空调
CN110701749A (zh) 一种智能空调控制方法及装置
Yoshikawa et al. Combining a thermal camera and a wristband sensor for thermal comfort estimation
WO2020000553A1 (zh) 空气调节设备及其控制方法和装置
JP6610933B2 (ja) 日射調節システム及び日射調節方法
JP7434950B2 (ja) 機器制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937860

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020552486

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937860

Country of ref document: EP

Kind code of ref document: A1