WO2021019768A1 - 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機 - Google Patents

室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機 Download PDF

Info

Publication number
WO2021019768A1
WO2021019768A1 PCT/JP2019/030267 JP2019030267W WO2021019768A1 WO 2021019768 A1 WO2021019768 A1 WO 2021019768A1 JP 2019030267 W JP2019030267 W JP 2019030267W WO 2021019768 A1 WO2021019768 A1 WO 2021019768A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image
pixels
determination unit
pixel
Prior art date
Application number
PCT/JP2019/030267
Other languages
English (en)
French (fr)
Inventor
直大 澁谷
友也 藤野
守屋　芳美
杉本　和夫
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/030267 priority Critical patent/WO2021019768A1/ja
Priority to JP2021536578A priority patent/JP6987314B2/ja
Publication of WO2021019768A1 publication Critical patent/WO2021019768A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present invention relates to an indoor layout estimation device, an indoor layout estimation method, and an air conditioner for determining an area where a window exists in a target area.
  • a window that compares the brightness of each of a plurality of pixels included in the image information with the brightness threshold value and detects a region including pixels having a brightness larger than the brightness threshold value as a window area.
  • the detection method is disclosed.
  • the brightness threshold value is set high so that the wall surface of the air-conditioning room and the window can be distinguished.
  • the brightness threshold value is set low.
  • the brightness of a plurality of pixels included in the image information fluctuates depending on the outside air temperature.
  • the window detection method disclosed in Patent Document 1 since the brightness threshold value is set regardless of the outside air temperature, the window area is also detected regardless of the outside air temperature. Therefore, the window detection method has a problem that erroneous detection of the window area may occur when the outside air temperature changes.
  • the present invention has been made to solve the above problems, and an object of the present invention is to obtain an indoor layout estimation device that can prevent erroneous detection of a window area even if the outside air temperature changes.
  • the temporal time of each pixel value in the plurality of pixels is used as the evaluation value of each of the plurality of pixels included in the image output from the infrared camera that is capturing the target area.
  • the first is the evaluation value calculated by the similarity calculation unit among the plurality of pixels included in the image and the similarity calculation unit that calculates the similarity between the transition and the temporal transition of the outside temperature.
  • a region including pixels larger than the threshold value is provided with a window region determination unit for determining that the region includes a window in the image.
  • the present invention it is possible to prevent erroneous detection of the window area even if the outside air temperature changes.
  • FIG. 5 is a hardware configuration diagram of a computer when the indoor layout estimation device 2 is realized by software, firmware, or the like. It is a flowchart which shows the room layout estimation method which is the processing procedure of the room layout estimation apparatus 2.
  • FIG. 1 is a configuration diagram showing an air conditioner including the indoor layout estimation device 2 according to the first embodiment.
  • the infrared camera 1, at regular time intervals Delta] t, imaged repeatedly target area, an image obtained by imaging an object region, the indoor layout estimated image G 1 ⁇ G M of the M image capturing time t are different from each other Output to device 2.
  • M is an integer greater than or equal to 2.
  • the constant time interval ⁇ t is, for example, a time interval that enables imaging at any frame rate of 10 frames per second to 60 frames per second.
  • the target area is a part or the whole of a room where the air is adjusted by the air conditioner 4 described later, and the target area includes windows, floors, walls, human beings, desks, personal computers and the like.
  • Target region because it is fixed, M-number of the image G 1 ⁇ G M are images identical target area is imaged.
  • Image G m is N pixels p 1, m ⁇ p N, includes a m, pixel p 1, m ⁇ p N, each pixel value pd 1 in m, m ⁇ pd N, m is the temperature Is shown.
  • N is an integer of 2 or more.
  • the pixel p 1, 1 ⁇ p 1, M contained in each of the M image G 1 ⁇ G M has the same pixel pixel position to each other, ie, each of the image G 1 ⁇ G M
  • the pixels p 2, 1 to p 2, M that are included are pixels having the same pixel positions.
  • the pixel p N, 1 ⁇ p N, M contained in each of the images G 1 ⁇ G M, the pixel position is the same pixels from each other.
  • Room layout estimation device 2 based on the M image G 1 ⁇ G M outputted from the infrared camera 1, in the target area, the window is in region (hereinafter, referred to as “window area”), the floor (Hereinafter referred to as “floor area”) and the area where the wall is located (hereinafter referred to as “wall area”) are determined.
  • the indoor layout estimation device 2 outputs each of the determination result of the window area, the determination result of the floor area, and the determination result of the wall area to the control unit 3.
  • the control unit 3 adjusts the air in the target area by controlling, for example, the air conditioner 4 based on the determination result output from the indoor layout estimation device 2.
  • the air conditioner 4 is a device that adjusts the air in the target area. In the air conditioner shown in FIG. 1, the control unit 3 adjusts the air in the target region by controlling the air conditioner 4. However, this is only an example, and the control unit 3 may adjust the air in the target area by controlling a device such as a fan, a floor heater, or a panel heater.
  • FIG. 2 is a configuration diagram showing an indoor layout estimation device 2 according to the first embodiment.
  • FIG. 3 is a hardware configuration diagram showing the hardware of the indoor layout estimation device 2 according to the first embodiment.
  • the indoor layout estimation device 2 includes an image storage unit 10, an outside air temperature storage unit 11, a similarity calculation unit 12, a window area determination unit 13, a standard deviation calculation unit 14, a foreground area determination unit 15, a floor area determination unit 16, and a wall area.
  • the determination unit 17 is provided.
  • the image storage unit 10 is realized by, for example, the image storage circuit 20 shown in FIG. Image storage unit 10 stores the M image G 1 ⁇ G M outputted from the infrared camera 1.
  • the outside air temperature storage unit 11 is realized by, for example, the outside air temperature storage circuit 21 shown in FIG. Outside temperature storage unit 11 is, for example, by a thermometer, was measured at constant time intervals Delta] t ', the measurement time t stores M different outside air temperature T 1 ⁇ T M together.
  • T m 1, ..., M
  • the outside air temperature storage unit 11 stores the outside air temperature T 1 ⁇ T M measured by the thermometer.
  • the communication unit (not shown) of the indoor layout estimation device 2 downloads the temperature data near the building including the target area from, for example, a site on the Internet that distributes meteorological data.
  • outside temperature storage unit 11 may be configured to store the data of the temperature as the outside air temperature T 1 ⁇ T M.
  • Time interval Delta] t 'of the measurement in the M outside air temperature T 1 ⁇ T M, the time interval Delta] t of the imaging in the M image G 1 ⁇ G M, are identical. Therefore, the measurement time t'of the mth outside air temperature Tm and the imaging time t of the mth image Gm are the same time.
  • the measurement time interval ⁇ t'and the imaging time interval ⁇ t are not limited to those that are exactly the same, and the measurement time interval ⁇ t'and the imaging time interval ⁇ t are within a range where there is no practical problem. May be different from each other.
  • the m-th measurement time t'and the m-th imaging time t are not limited to those that are exactly the same, and the m-th measurement time t'and m are within a range where there is no practical problem.
  • the second imaging time t may be different from each other.
  • the similarity calculation unit 12 is realized by, for example, the similarity calculation circuit 22 shown in FIG. Similarity calculation unit 12 obtains the M pieces of the image G 1 ⁇ G M stored in the image storage unit 10. Similarity calculation unit 12, N pieces of pixels included in the image G m p 1, m ⁇ p N, a respective evaluation values S 1 ⁇ S N of m, N pixels p 1, m ⁇ p calculating N, each pixel value pd 1 in m, m ⁇ pd N, and temporal changes in m, the similarity between the temporal changes of the outside air temperature T m which is stored in the outside temperature storage unit 11 . Similarity calculation unit 12 outputs the respective evaluation values S 1 ⁇ S N which calculated the window region judgment section 13.
  • the window area determination unit 13 is realized by, for example, the window area determination circuit 23 shown in FIG. Window region judgment section 13, of the M image G 1 ⁇ G M stored in the image storage unit 10, and acquires any one of the images G m.
  • the region evaluation value S n comprises greater pixel than the first threshold value Th 1, the image G it is determined to be a window region W m in the m.
  • the first threshold value Th 1 may be stored in the internal memory of the window area determination unit 13, or may be given from the outside of the indoor layout estimation device 2 shown in FIG.
  • the window area determination unit 13 supplies, for example, data indicating the coordinates in the image G m in which the window area W m exists to the control unit 3 and the wall area determination unit 17, respectively. Output.
  • the standard deviation calculation unit 14 includes a pixel group identification unit 14a and a deviation calculation processing unit 14b.
  • the standard deviation calculation unit 14 is realized by, for example, the standard deviation calculation circuit 24 shown in FIG. Standard deviation calculating unit 14 obtains the M pieces of the image G 1 ⁇ G M stored in the image storage unit 10.
  • the standard deviation calculation unit 14 includes pixels p 1, 1 to p N, 1 , p 1 , 2 , p N, 2 , ..., P 1 included in each of the M images G 1 to GM. , M to p N, M , each evaluation value v 1 to v N of N pixel groups (1) to (N) including pixels having the same pixel position is calculated.
  • the pixel group (1) includes pixels p 1 , 1 , p 1 , 2 , ..., P 1, M
  • the pixel group (2) includes pixels p 2 , 1 , p 2 , 2 , ... .., p 2, M is included.
  • the pixel group (N) includes pixels p N, 1 , p N, 2 , ..., P N, M.
  • the standard deviation calculation unit 14 outputs the calculated evaluation values v 1 to v N to the foreground region determination unit 15.
  • FIG. 4 is a configuration diagram showing the inside of the standard deviation calculation unit 14 according to the first embodiment.
  • Pixel group identifying unit 14a obtains the M pieces of the image G 1 ⁇ G M stored in the image storage unit 10.
  • the pixel group identification unit 14a includes pixels p 1, 1 to p N, 1 , p 1 , 2 , p N, 2 , ..., P 1 included in each of the M images G 1 to GM. , M to p N, M , each of N pixel groups (1) to (N) including pixels having the same pixel position is specified.
  • the deviation calculation processing unit 14b is included in the respective pixel groups (1) to (N) as the evaluation values v 1 to v N of the respective pixel groups (1) to (N) specified by the pixel group identification unit 14a. It is to have M pieces of pixel p n, 1 ⁇ p n, pixel values in the M pd n, 1 ⁇ pd n , calculates the standard deviation of M.
  • the deviation calculation processing unit 14b outputs the calculated evaluation values v 1 to v N to the foreground region determination unit 15.
  • the foreground region determination unit 15 is realized by, for example, the foreground region determination circuit 25 shown in FIG.
  • a pixel group (n) larger than the threshold Th 2 of is specified.
  • the second threshold value Th 2 may be stored in the internal memory of the foreground area determination unit 15, or may be given from the outside of the indoor layout estimation device 2 shown in FIG.
  • Foreground region determining unit 15 N pieces of pixels p 1 contained in each image G m, m ⁇ p N, of m, the pixel p n, which is included in the identified group of pixels (n), m It is determined that the region including is the foreground region F m in each image G m .
  • the foreground area is an area where a moving body such as a human or an animal exists.
  • the foreground area F m is an area other than the background area B m in the image G m . Therefore, the foreground region determination unit 15 may first determine the background region B m and then determine the foreground region F m . In this case, the foreground area determination unit 15 first among the N pixel groups (1) ⁇ (N), evaluation value v n calculated by the standard deviation calculating section 14 of the second threshold value Th 2 or less The pixel group (n) is specified.
  • the foreground region determining unit 15, in the captured image G m, the area other than the background area B m may be determined as a foreground region F m.
  • the floor area determination unit 16 is realized by, for example, the floor area determination circuit 26 shown in FIG.
  • the floor area determination unit 16 exists at the lower end position in the y direction of the image G m among the plurality of pixels pn and m included in each foreground area F m determined by the foreground area determination unit 15.
  • the pixels are specified as floor area pixels. If the foreground area F m is, for example, an area where a human is present, the position of the lower end in the foreground area F m corresponds to the position of the human foot, and the position of the human foot corresponds to the position of the floor. ..
  • the floor area determination unit 16 determines that the area including all the floor area pixels included in each foreground area F m is the floor area Y m in each image G m .
  • the pixel existing at the lower end position in the y direction of the image G m is the plurality of pixels p included in the foreground region F m.
  • the pixel has the smallest y-coordinate.
  • the floor area determination unit 16 supplies data indicating the coordinates in the image G m in which the floor area Y m exists to the control unit 3 and the wall area determination unit 17, respectively. Output.
  • the wall area determination unit 17 is realized by, for example, the wall area determination circuit 27 shown in FIG.
  • the wall area determination unit 17 determines the wall area K m in the target area based on the window area W m determined by the window area determination unit 13 and the floor area Y m determined by the floor area determination unit 16. judge. The method for determining the wall area K m will be described later.
  • the wall area determination unit 17 outputs, for example, data indicating the coordinates in the image G m in which the wall area K m exists to the control unit 3.
  • the image storage unit 10, the outside air temperature storage unit 11, the similarity calculation unit 12, the window area determination unit 13, the standard deviation calculation unit 14, the foreground area determination unit 15, and the floor which are the components of the indoor layout estimation device 2 are shown.
  • each of the area determination unit 16 and the wall area determination unit 17 is realized by dedicated hardware as shown in FIG. That is, the indoor layout estimation device 2 includes an image storage circuit 20, an outside temperature storage circuit 21, a similarity calculation circuit 22, a window area determination circuit 23, a standard deviation calculation circuit 24, a foreground area determination circuit 25, a floor area determination circuit 26, and the like. It is assumed that it is realized by the wall area determination circuit 27.
  • each of the image storage circuit 20 and the outside temperature storage circuit 21 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Program Read Online Memory), and an EEPROM (Epil).
  • Non-volatile or volatile semiconductor memory such as Read Only Memory), magnetic disk, flexible disk, optical disk, compact disk, mini disk, or DVD (Digital Versaille Disc) is applicable.
  • each of the similarity calculation circuit 22, the window area determination circuit 23, the standard deviation calculation circuit 24, the foreground area determination circuit 25, the floor area determination circuit 26 and the wall area determination circuit 27 is, for example, a single circuit, a composite circuit, or the like.
  • a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Progressable Gate Array), or a combination thereof is applicable.
  • the components of the indoor layout estimation device 2 are not limited to those realized by dedicated hardware, but the indoor layout estimation device 2 is realized by software, firmware, or a combination of software and firmware. There may be.
  • the software or firmware is stored as a program in the memory of the computer.
  • a computer means hardware for executing a program, and corresponds to, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microprocessor, a processor, or a DSP (Digital Signal Processor).
  • FIG. 5 is a hardware configuration diagram of a computer when the indoor layout estimation device 2 is realized by software, firmware, or the like.
  • each of the image storage unit 10 and the outside air temperature storage unit 11 is configured on the memory 31 of the computer.
  • a program for causing the computer to execute the processing procedures of the similarity calculation unit 12, the window area determination unit 13, the standard deviation calculation unit 14, the foreground area determination unit 15, the floor area determination unit 16, and the wall area determination unit 17 is stored in the memory 31. It is stored. Then, the processor 32 of the computer executes the program stored in the memory 31.
  • FIG. 3 shows an example in which each of the components of the indoor layout estimation device 2 is realized by dedicated hardware
  • FIG. 5 shows an example in which the indoor layout estimation device 2 is realized by software, firmware, or the like. Shown. However, this is only an example, and some components in the indoor layout estimation device 2 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • Infrared camera 1 at regular time intervals Delta] t, imaged repeatedly target area as the image of the target region, and outputs the image G 1 ⁇ G M of the M image capturing time t are different from each other in the room layout estimation device 2.
  • Image G 1 ⁇ G M of the M output from the infrared camera 1 is stored in the image storage unit 10 of the indoor layout estimation device 2.
  • FIG. 6 is a flowchart showing an indoor layout estimation method, which is a processing procedure of the indoor layout estimation device 2. Similarity calculation unit 12, from the image storage unit 10, the imaging time t to obtain the M different image G 1 ⁇ G M together. If the current time, for example 00 pm 19, similarity calculation unit 12, from the image storage unit 10, starting from the 00 pm 19, for example, acquires image G m for the past 12 hours.
  • FIG. 7 shows a pixel p included in the window area W m among the N pixels p 1, m to p N, m included in each of the images G m for the past 12 hours.
  • n is an explanatory diagram showing an example of temporal transition of pixel values pd n, m of the m.
  • the similarity calculation unit 12 acquires M outside air temperatures T 1 to TM having different measurement times t'from the outside air temperature storage unit 11. If the current time is 00 minutes at 19, the similarity calculation unit 12, from the outside temperature storage unit 11, starting from the 00 pm 19 obtains the outside air temperature T m of a last 12 hours. Here, the similarity calculating unit 12 obtains the image G m of the last 12 hours, we have obtained outside air temperature T m of a last 12 hours. However, this is only an example, the similarity calculating unit 12, for example, acquires image G m for the past 24 hours, may be obtained outside air temperature T m of a last 24 hours.
  • Similarity calculation unit 12 N pieces of pixels included in the image G m p 1, m ⁇ p N, a respective evaluation values S 1 ⁇ S N of m, N pixels p 1, m ⁇ p
  • the degree of similarity between the temporal transition of the respective pixel values pd 1, m to pd N, m at N and m and the temporal transition of the outside temperature T m is calculated (step ST1 in FIG. 6).
  • a temporal transition of the pixel p n, pixel values pd n, m of the m, the evaluation value S n is the degree of similarity between the temporal changes of the outside air temperature T m is for example, the following formula (1) It is expressed as.
  • the similarity calculating unit 12 calculates the degree of similarity represented by the formula (1).
  • Figure 8 is an explanatory diagram showing an example of calculation results of evaluation value S 1 ⁇ S N by the similarity calculation unit 12. 8, a region closer to black, indicating a similarity evaluation value S n is higher regions.
  • Similarity calculation unit 12 outputs the respective evaluation values S 1 ⁇ S N which calculated the window region judgment section 13.
  • the window area determination unit 13 acquires an image G m of any one of M images G 1 to GM having different imaging times t from the image storage unit 10.
  • One image G m acquired by the window area determination unit 13 may be any of M images G 1 to GM.
  • Window region judgment section 13 may, for example, an imaging time t may acquire the image G M of the latest time, also the imaging time t acquires image G M-1 of the old time than the latest time Good.
  • Window region judgment section 13 compares each of the evaluation value S 1 ⁇ S N calculated by the similarity calculation unit 12, the first and the threshold Th 1.
  • Pixel p n if the evaluation value S n of the m first threshold Th 1 or less (step of FIG. 6 ST2: in the case of NO), the pixel p n, m is a window area W m outside the pixel.
  • the window area determination unit 13 has determined that the pixels are within the window area W m among the N pixels p 1, m to p N, m included in the acquired image G m. It is determined that the region including n and m is the window region W m in the image G m (step ST4 in FIG. 6).
  • FIG. 9 is an explanatory diagram showing an example of a determination result of the window area W m by the window area determination unit 13. In FIG. 9, the shaded area is the window area W m . In FIG. 9, the region closer to white is the region where the temperature is higher.
  • the window area determination unit 13 supplies, for example, data indicating the coordinates in the image G m in which the window area W m exists to the control unit 3 and the wall area determination unit 17, respectively. Output.
  • the pixel group identification unit 14a includes pixels p 1, 1 to p N, 1 , p 1 , 2 , p N, 2 , ..., P 1 included in each of the M images G 1 to GM. , M to p N, M , each of N pixel groups (1) to (N) including pixels having the same pixel position is specified.
  • the deviation calculation processing unit 14b outputs the calculated evaluation values v 1 to v N to the foreground region determination unit 15.
  • Foreground region determining unit 15 from the image storage unit 10, the imaging time t to obtain the M different image G 1 ⁇ G M together.
  • the pixels pn and m are the pixels in the background area B m .
  • the evaluation value v n of is likely to be equal to or less than the second threshold value Th 2 .
  • the pixel p n, pixel values pd n, m of the m in the foreground region F m in order to change over time, the pixel p n in the foreground region F m, a pixel group including m (n)
  • the evaluation value v n of is likely to be larger than the second threshold value Th 2 .
  • the pixel values pd n, m of the pixels pn, m in the window area W m also change with the passage of time.
  • the change in the pixel values pd n, m of the pixels pn, m in the window area W m is extremely small as compared with the change in the pixel values pd n, m due to the movement of a human being or the like. Therefore, the evaluation value v n of the pixel group (n) including the pixels pn and m in the window region W m is likely to be equal to or less than the second threshold value Th 2 .
  • the foreground region determination unit 15 includes pixels p 1, 1 to p N, 1 , p 1 , 2 , p N, 2 , ..., P 1 included in each of the M images G 1 to GM. determination, M ⁇ p n, among the M, all the pixels p n is determined that the pixels in the foreground area F m, a region including the m is the foreground region F m in each of the images G m (Step ST8 in FIG. 6). Foreground region determining unit 15, as the determination result of the foreground region F m, for example, and outputs the foreground region F m is present, the data indicating the coordinates within the image G m in the floor area determination unit 16.
  • FIG. 10 is an explanatory diagram showing an example of a certain image G m among the M captured images G 1 to GM.
  • FIG. 11 is an explanatory diagram showing a background region B m and a foreground region F m in a certain image G m among the M captured images G 1 to GM.
  • the black region is the region determined to be the background region B m
  • the white region is the region determined to be the foreground region F m .
  • the foreground region F m substantially coincides with the region in which a human exists (hereinafter, referred to as “human region H m ”).
  • human region H m the region in which a human exists
  • the notation of the human region H m is omitted.
  • floor area determination unit 16 to be described later, based on the foreground area F m, determine the bed area Y m To do.
  • the floor area determination unit 16 acquires data indicating the coordinates in the image G m in which the foreground area F m exists from the foreground area determination unit 15.
  • Floor area determination unit 16 based on the data indicating the acquired coordinate, a plurality of pixels p n included in each of the foreground region F m in the M image G 1 ⁇ G M, identifies the m.
  • Floor area determination unit 16 a plurality of pixels p n included in each of the foreground region F m, in m, in the y direction of the image G m, floor area pixel pixel present in the position of the lower end Identify as.
  • the position of the lower end in the foreground region F m corresponds to the position of the human foot
  • the position of the human foot corresponds to the position of the floor.
  • Humans usually move over time. Foreground This human positions at each imaging time t is different M pieces of the captured image G 1 ⁇ G M, i.e., the position of the foreground region F 1 ⁇ F M become different from each other, which corresponds to the floor position the position of the lower end of the area F 1 ⁇ F M also meant to be a different from each other. Therefore, by integrating the position of the lower end in the foreground region F 1 ⁇ F M at imaging time t is different M pieces of the captured image G 1 ⁇ G M, it can be estimated floor area Y m.
  • Floor area determination unit 16 a region including all of the floor area pixels included in each of the foreground region F 1 ⁇ F M is determined to be a floor area Y m (step ST9 of FIG. 6). As a determination result of the floor area Y m , the floor area determination unit 16 supplies data indicating the coordinates in the image G m in which the floor area Y m exists to the control unit 3 and the wall area determination unit 17, respectively. Output.
  • the floor area determination unit 16 specifies a pixel existing at the lower end position in the vertical direction as a floor area pixel. However, this is only an example, and the floor area determination unit 16 uses a plurality of pixels existing around the lower end pixel as floor area pixels in addition to the pixel existing at the lower end position in the vertical direction. It may be specified.
  • Figure 12 is an explanatory view showing the lower end of the pixels in the foreground area F 1 ⁇ F M in the M image G 1 ⁇ G M.
  • the white region is an region including the lower end pixels in each foreground region F m .
  • Image 12 is shown, an image lower end of the pixels in each of the foreground region F m in the M image G 1 ⁇ G M is collected.
  • FIG. 12 is shown, an image lower end of the pixels in each of the foreground region F m in the M image G 1 ⁇ G M is collected.
  • FIG. 13 is an explanatory diagram showing an example of a determination result of the floor area Y m by the floor area determination unit 16.
  • the area provided with the horizontal line is the floor area Y m .
  • the white region shown in FIG. 12 and the floor region Y m shown in FIG. 13 are substantially the same, although there is a slight deviation for the convenience of description.
  • the wall area determination unit 17 determines the wall area K m in the target area based on the window area W m determined by the window area determination unit 13 and the floor area Y m determined by the floor area determination unit 16. Judgment (step ST10 in FIG. 6). As a determination result of the wall area K m , the wall area determination unit 17 outputs, for example, data indicating the coordinates in the image G m in which the wall area K m exists to the control unit 3.
  • Wall area determining unit 17, from the image storage unit 10, in the imaging time t is different from the M image G 1 ⁇ G M, to obtain any one of the images G m.
  • One captured image G m acquired by the wall area determination unit 17 may be any of the captured images G 1 to GM of M captured images.
  • Wall area determining unit 17, for example, an imaging time t may acquire the image G M of the latest time, also the imaging time t acquires image G M-1 of the old time than the latest time Good. Further, the wall area determination unit 17 acquires data indicating the coordinates in which the floor area Y m exists from the floor area determination unit 16.
  • the wall area determination unit 17 identifies a plurality of pixels pn, m included in the floor area Y m based on the data indicating the coordinates in which the floor area Y m exists. As shown in FIG. 13, the wall area determination unit 17 identifies the uppermost pixel in the y direction of the image G m among the plurality of pixels p n and m included in the floor area Y m .
  • the upper end of the pixels in the bed area Y m is a plurality contained in the floor area Y m pixel p n, of m, in the x-coordinate of a plurality of identical pixels is the largest pixel y coordinate .
  • nine pixels at the upper end in the floor area Y m are illustrated.
  • the wall area determination unit 17 determines a line including a line connecting the upper end pixels in the floor area Y m as the boundary line between the floor surface and the wall surface.
  • FIG. 14 is an explanatory view showing a boundary line between the floor surface and the wall surface, a floor area Y m , and a window area W m .
  • the area provided with the horizontal line is the floor area Y m
  • the area provided with the diagonal line is the window area W m .
  • the wall area determination unit 17 acquires data indicating the coordinates in which the window area W m exists from the window area determination unit 13. The wall area determination unit 17 identifies the window area W m based on the data indicating the coordinates in which the window area W m exists. In the image G m , the wall area determination unit 17 has a wall in the area other than the window area W m , which has a larger y coordinate in the y direction of the image G m than the boundary line between the floor surface and the wall surface. It is determined that the area is K m .
  • the region in which the y coordinate is larger in the y direction of the image G m than the boundary line between the floor surface and the wall surface is a region above the boundary line between the floor surface and the wall surface in the drawing.
  • the control unit 3 acquires an image G m of any one of M images G 1 to GM having different imaging times t from the image storage unit 10.
  • One captured image G m acquired by the control unit 3 may be any of the captured images G 1 to GM of M captured images.
  • Control unit 3 may, for example, an imaging time t may acquire the image G M of the latest time, the imaging time t may acquire the image G M-1 of the old time than the latest time.
  • the control unit 3 acquires the determination result of the window area W m from the window area determination unit 13, the determination result of the floor area Y m from the floor area determination unit 16, and the wall area K m from the wall area determination unit 17. Acquire the judgment result.
  • the control unit 3 adjusts the air in the target region by controlling the air conditioner 4, for example, based on the acquired determination results.
  • the set temperature of the window area W m is Temp 1
  • the set temperature of the floor area Y m is Temp 2
  • the set temperature of the wall area K m is Temp 3 .
  • Each of the set temperature Temp 1 , the set temperature Temp 2 , and the set temperature Temp 3 may be stored in the internal memory of the control unit 3, or may be supplied from the outside of the air conditioner shown in FIG. You may.
  • Control unit 3 based on the determination result of the window area W m, N pixels p 1 contained in the image G m, m ⁇ p N, from among the m, are included in the window region W m A plurality of pixels pn and m are specified. Control unit 3, a plurality of pixels p n contained in the window region W m, the pixel values pd n of m, the temperature indicated by m, for example, calculates the average temperature of the window area W m. Control unit 3, the average temperature of the window area W m is to match the set temperature Temp 1 of the window area W m, controls the air conditioner 4.
  • Control unit 3 based on the determination result of the floor area Y m, N pixels p 1 contained in the image G m, m ⁇ p N, from among the m, are included in the floor area Y m A plurality of pixels pn and m are specified. Control unit 3, a plurality of pixels p n included in the floor area Y m, the pixel values pd n of m, the temperature indicated by m, for example, calculates the average temperature of the floor area Y m. Control unit 3, the average temperature of the floor area Y m is to match the set temperature Temp 2 of the floor area Y m, to control the air conditioner 4.
  • the control unit 3 Based on the determination result of the wall area K m , the control unit 3 includes a plurality of pixels p 1, m to p N, m included in the image G m , which are included in the wall area K m. Pixels pn and m of are specified. Control unit 3, a plurality of pixels p n included in the wall area K m, the pixel values pd n of m, the temperature indicated by m, for example, calculates the average temperature of the wall area K m. Control unit 3, the average temperature of the wall area K m is to match the set temperature Temp 3 wall area K m, for controlling the air conditioner 4.
  • control unit 3 calculates the average temperature of each of the window area W m , the floor area Y m, and the wall area K m .
  • the control unit 3 may calculate, for example, the intermediate temperatures in the window area W m , the floor area Y m, and the wall area K m .
  • the control unit 3, an intermediate temperature, such as the window area W m is to match the set temperature, such as the window area W m, it controls the air conditioner 4.
  • the temporal value of each pixel value in the plurality of pixels is temporal.
  • the evaluation value calculated by the similarity calculation unit 12 among the plurality of pixels included in the image and the similarity calculation unit 12 that calculates the similarity between the transition and the temporal transition of the outside temperature is the first.
  • the indoor layout estimation device 2 is configured to include a window area determination unit 13 for determining that a region including pixels larger than the threshold value of is an area where a window exists in the image. Therefore, the indoor layout estimation device 2 can prevent erroneous detection of the window area even if the outside air temperature changes.
  • the standard deviation calculation unit 14 includes pixels p 1, 1 to p N, 1 , p 1 , 2 , and so on, which are included in each of the M images G 1 to GM.
  • p N, 2 ..., P 1, M to p N, M
  • v N is calculated.
  • the indoor layout estimation device 2 for calculating the evaluation values v 1 to v N will be described.
  • the new image is GM + 1 .
  • the configuration of the indoor layout estimation device 2 according to the second embodiment is the same as the configuration of the indoor layout estimation device 2 according to the first embodiment, and the configuration diagram showing the indoor layout estimation device 2 according to the second embodiment is FIG. 2.
  • Infrared camera 1 outputs the M image G 1 ⁇ G M and the imaging time t is different from a new image G M + 1 to the indoor layout estimation device 2.
  • the image storage unit 10 of the indoor layout estimation device 2 stores a new image GM + 1 .
  • the pixel group identification unit 14a of the standard deviation calculation unit 14 acquires the new image GM + 1 from the image storage unit 10.
  • Pixel group identifying unit 14a from among the M image G 1 ⁇ G M obtained above, for example, most image capturing time t discards the old image G 1.
  • the pixel group identifying unit 14a the image is part of the M image G 1 ⁇ G M, i.e., not discarded (M-1) pieces of the image G 2 ⁇ G M and the new image G M + 1 including the M image G 2 ⁇ G M + 1 pixel p 1,2 ⁇ p N contained in each, 2, p 1,3 ⁇ p N , 3, ⁇ , p 1, M + 1 ⁇ p N, Among M + 1 , each of N pixel groups (1) to (N) including pixels having the same pixel position is specified.
  • pixel group specifying unit 14a is, among the M image G 1 ⁇ G M obtained above, most imaging time t is to discard the old image G 1.
  • pixel group specifying unit 14a is most imaging time t may be discarded images other than the old image G 1.
  • the pixel group specifier 14a is, among the M image G 1 ⁇ G M obtained above, may be discarded two or more images.
  • Pixel group identifying unit 14a when discard the two images, as discard not in (M-2) including a number and an image and a new image G M + 1 (M-1 ) pieces of images, the image G 3 ⁇ G M + 1 of N pixels included in each p 1,3 ⁇ p N, 3, p 1,4 ⁇ p N, 4, ⁇ , p 1, M + 1 ⁇ p N, among the M + 1, pixel
  • N pixel groups (1) to (N) including the pixels having the same position is specified.
  • the evaluation values v 1 to v N of the groups (1) to (N) the pixel values in the M pixels pn, 1 to pn, M included in the respective pixel groups (1) to (N).
  • the deviation calculation processing unit 14b outputs the calculated evaluation values v 1 to v N to the foreground region determination unit 15.
  • Foreground region determining unit 15 for each of the standard deviation calculating section 14, each of the evaluation values v 1 ⁇ v N is updated to compare each of the evaluation values v 1 ⁇ v N and the second threshold value Th 2.
  • m are determined foreground region determining unit 15 that the pixels in the foreground region F m is, n pieces of pixel p 1 contained in each of the M image G 2 ⁇ G M + 1 , 2 to p N, 2 , p 1,3 to p N, 3 , ..., p 1, M + 1 to p N, M + 1 , all pixels p determined to be pixels within the foreground region F m It is determined that the region including n and m is the foreground region F m in the image G m .
  • each of the plurality of pixel groups including the pixels having the same pixel position is specified, and the deviation calculation processing unit 14b determines the pixel group.
  • Each time each pixel group is specified by the specific unit 14a, as an evaluation value of each pixel group specified by the pixel group identification unit 14a, a standard of pixel values in a plurality of pixels included in each pixel group.
  • the indoor layout estimation device 2 was configured so as to calculate the deviation. Therefore, the indoor layout estimation device 2 can prevent erroneous detection of the window region even if the outside air temperature changes, and can determine the foreground region based on a new image.
  • Embodiment 3 in the third embodiment, in the foreground region F m determined by the foreground region determining unit 15 will be described indoor layout estimation device 2 that humans are provided for determining human region determining unit 18 a region that is present ..
  • FIG. 15 is a configuration diagram showing the indoor layout estimation device 2 according to the third embodiment.
  • FIG. 16 is a hardware configuration diagram showing the hardware of the indoor layout estimation device 2 according to the third embodiment.
  • the indoor layout estimation device 2 includes an image storage unit 10, an outside air temperature storage unit 11, a similarity calculation unit 12, a window area determination unit 13, a standard deviation calculation unit 14, a foreground area determination unit 15, a human area determination unit 18, and a floor area.
  • a determination unit 16 and a wall area determination unit 17 are provided.
  • the foreground region determining unit 15 as the determination result of the foreground area, the foreground area F m are present, the human data indicating coordinates in the image G m area determination section 18 Output to.
  • the human domain determination unit 18 is realized by, for example, the human domain determination circuit 28 shown in FIG.
  • the human area determination unit 18 determines the human area H m , which is an area in which a human exists, in each of the foreground areas F m determined by the foreground area determination unit 15.
  • the human area determination unit 18 supplies , for example, data indicating the coordinates in the image G m in which the human area H m exists to the control unit 3 and the floor area determination unit 16, respectively. Output.
  • an image storage unit 10 an outside air temperature storage unit 11, a similarity calculation unit 12, a window area determination unit 13, a standard deviation calculation unit 14, a foreground area determination unit 15, and a human being, which are components of the indoor layout estimation device 2.
  • each of the area determination unit 18, the floor area determination unit 16, and the wall area determination unit 17 is realized by dedicated hardware as shown in FIG. That is, the indoor layout estimation device 2 includes an image storage circuit 20, an outside temperature storage circuit 21, a similarity calculation circuit 22, a window area determination circuit 23, a standard deviation calculation circuit 24, a foreground area determination circuit 25, and a human area determination circuit 28. It is assumed that it is realized by the floor area determination circuit 26 and the wall area determination circuit 27.
  • each of the image storage circuit 20 and the outside temperature storage circuit 21 is, for example, a non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM, EEPROM, magnetic disk, flexible disk, optical disk, compact disk. , Mini disc, or DVD.
  • each of the similarity calculation circuit 22, the window area determination circuit 23, the standard deviation calculation circuit 24, the foreground area determination circuit 25, the human area determination circuit 28, the floor area determination circuit 26, and the wall area determination circuit 27 is, for example, simple.
  • a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof is applicable.
  • the components of the indoor layout estimation device 2 are not limited to those realized by dedicated hardware, but the indoor layout estimation device 2 is realized by software, firmware, or a combination of software and firmware. There may be.
  • each of the image storage unit 10 and the outside air temperature storage unit 11 is configured on the memory 31 of the computer shown in FIG.
  • the processor 32 of the computer shown in FIG. 5 executes the program stored in the memory 31.
  • FIG. 16 shows an example in which each of the components of the indoor layout estimation device 2 is realized by dedicated hardware
  • FIG. 5 shows an example in which the indoor layout estimation device 2 is realized by software, firmware, or the like. Shown. However, this is only an example, and some components in the indoor layout estimation device 2 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • Foreground region determining unit 15 as in the first embodiment, shown when it is determined foreground region F m, as a determination result of the foreground region F m, foreground region F m are present, the coordinates in the image G m The data is output to the human area determination unit 18.
  • the floor area determination section 16 a foreground region F m coincides with the human region H m, based on the foreground area F m, to determine the floor area Y m There is.
  • the foreground area F m and the human area H m do not always exactly match, there is a possibility that the floor area Y m is erroneously detected in the determination of the floor area Y m based on the foreground area F m. is there.
  • Human area determining unit 18 receives the judgment result of the foreground region F m from the foreground region determining unit 15, using a known human body detection method, in the foreground region F m, is an area where humans are present Determine the human region H m .
  • a known human body detection method for example, a method using HOG and SVM can be considered.
  • HOG Heistogram of Oriented Gradients
  • SVM Small Vector Machine
  • the human area determination unit 18 supplies , for example, data indicating the coordinates in the image G m in which the human area H m exists to the control unit 3 and the floor area determination unit 16, respectively. Output.
  • the control unit 3 acquires an image G m of any one of M images G 1 to GM having different imaging times t from the image storage unit 10.
  • One captured image G m acquired by the control unit 3 may be any of the captured images G 1 to GM of M captured images.
  • Control unit 3 may, for example, an imaging time t may acquire the image G M of the latest time, the imaging time t may acquire the image G M-1 of the old time than the latest time.
  • the control unit 3 acquires the determination result of the window area W m from the window area determination unit 13, the determination result of the floor area Y m from the floor area determination unit 16, and the wall area K m from the wall area determination unit 17. It acquires a determination result, to obtain a determination result of human region H m from a human area determining unit 18.
  • the control unit 3 adjusts the air in the target region by controlling the air conditioner 4, for example, based on the acquired determination results. For example, it is assumed that the set temperature of the human region H m is Temp 4 .
  • the set temperature Temp 4 may be stored in the internal memory of the control unit 3 or may be given from the outside of the air conditioner shown in FIG.
  • Control unit 3 based on the determination result of human region H m, N pixels p 1 contained in the image G m, m ⁇ p N, from among the m, are included in the human region H m Specify a plurality of pixels pn and m .
  • Control unit 3 a plurality of pixels p n contained in the human region H m, pixel values pd n of m, the temperature indicated by m, for example, calculates the average temperature of the human region H m.
  • Control unit 3 the average temperature of the human region H m is to match the set temperature Temp 4 human region H m, and controls the air conditioner 4.
  • control unit 3 calculates the average temperature of the human region H m .
  • the control unit 3 may calculate, for example, the intermediate temperature of the human region H m .
  • the control unit 3, an intermediate temperature of the human region H m is to match the set temperature Temp 4 human region H m, and controls the air conditioner 4.
  • the indoor layout estimation device 2 is configured to include a human area determination unit 18 for determining an area in which a human exists in the foreground area determined by the foreground area determination unit 15. did. Therefore, the indoor layout estimation device 2 can prevent erroneous detection of the window area even if the outside air temperature changes, and can adjust the air in the area where a human exists.
  • the present invention is suitable for an indoor layout estimation device, an indoor layout estimation method, and an air conditioner for determining an area where a window exists in a target area.
  • 1 infrared camera 1 indoor layout estimation device, 3 control unit, 4 air conditioner, 10 image storage unit, 11 outside temperature storage unit, 12 similarity calculation unit, 13 window area determination unit, 14 standard deviation calculation unit, 14a pixel group identification Unit, 14b deviation calculation processing unit, 15 foreground area determination unit, 16 floor area determination unit, 17 wall area determination unit, 18 human area determination unit, 20 image storage circuit, 21 outside temperature storage circuit, 22 similarity calculation circuit, 23 Window area judgment circuit, 24 standard deviation calculation circuit, 25 foreground area judgment circuit, 26 floor area judgment circuit, 27 wall area judgment circuit, 28 human area judgment circuit, 31 memory, 32 processors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

対象領域を撮像している赤外線カメラ（１）から出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部（１２）と、画像に含まれている複数の画素のうち、類似度算出部（１２）により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部（１３）とを備えるように、室内レイアウト推定装置（２）を構成した。

Description

室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機
　この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に関するものである。
　以下の特許文献１には、画像情報に含まれている複数の画素におけるそれぞれの輝度と輝度閾値とを比較し、輝度閾値よりも大きな輝度を有する画素を含む領域を、窓領域として検出する窓検出方法が開示されている。
　特許文献１に開示されている窓検出方法では、例えば、太陽光によって空調室の全体が明るく照らされているときには、空調室の壁面と窓との区別ができるように輝度閾値が高めに設定される。また、例えば、窓にカーテンがかけられて、空調室の全体が暗いときには、輝度閾値が低めに設定される。
特開２０１７－４４３７３号公報
　画像情報に含まれている複数の画素における輝度は、外気温に応じても変動する。しかし、特許文献１に開示されている窓検出方法では、外気温とは無関係に輝度閾値が設定されるため、窓領域も外気温と無関係に検出される。したがって、当該窓検出方法では、外気温が変化すると、窓領域の誤検出を生じることがあるという課題があった。
　この発明は上記のような課題を解決するためになされたもので、外気温が変化しても、窓領域の誤検出を防ぐことができる室内レイアウト推定装置を得ることを目的とする。
　この発明に係る室内レイアウト推定装置は、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、画像に含まれている複数の画素のうち、類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部とを備えるようにしたものである。
　この発明によれば、外気温が変化しても、窓領域の誤検出を防ぐことができる。
実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。 実施の形態１に係る室内レイアウト推定装置２を示す構成図である。 実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。 実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。 室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。 過去１２時間分の画像Ｇｍのそれぞれに含まれている複数の画素ｐ１～ｐＮのうち、窓領域Ｗｍに含まれている或る１つの画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移の一例を示す説明図である。 類似度算出部１２による評価値Ｓ１～ＳＮの算出結果の一例を示す説明図である。 窓領域判定部１３による窓領域Ｗｍの判定結果の一例を示す説明図である。 Ｍ個の撮像画像Ｇ１～ＧＭのうち、ある１つの画像Ｇｍの一例を示す説明図である。 Ｍ個の撮像画像Ｇ１～ＧＭのうち、ある１つの画像Ｇｍにおける背景領域Ｂｍと前景領域Ｆｍとを示す説明図である。 Ｍ個の画像Ｇ１～ＧＭにおける前景領域Ｆ１～ＦＭ内の下端の画素を示す説明図である。 床領域判定部１６による床領域Ｙｍの判定結果の一例を示す説明図である。 床面と壁面との境界線、床領域Ｙｍ、及び窓領域Ｗｍを示す説明図である。 実施の形態３に係る室内レイアウト推定装置２を示す構成図である。 実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る室内レイアウト推定装置２を含む空気調和機を示す構成図である。
　図１において、赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域を撮像した画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭを室内レイアウト推定装置２に出力する。Ｍは、２以上の整数である。
　一定の時間間隔Δｔは、例えば、１秒間に１０フレーム～１秒間に６０フレームのうちの、いずれかのフレームレートでの撮像を可能とする時間間隔である。
　対象領域は、後述するエアコン４により空気が調整される部屋の一部又は全体であり、対象領域には、窓、床、壁及び人間のほか、机、パソコン等が存在している。
　対象領域は、固定されているため、Ｍ個の画像Ｇ１～ＧＭは、同一の対象領域が撮像されている画像である。
　画像Ｇｍ（ｍ＝１，・・・，Ｍ）は、ｘ軸と平行な方向（以下、「ｘ方向」と称する）と、ｙ軸と平行な方向（以下、「ｙ方向」と称する）とで表される２次元平面の画像である。例えば、画像Ｇｍのｘ方向は、対象領域が存在している空間の任意の水平方向に相当し、画像Ｇｍのｙ方向は、対象領域が存在している空間の鉛直方向に相当する。なお、本明細書において、「平行」は、厳密な意味での平行に限らず、略平行を含んでいる。
　画像Ｇｍは、Ｎ個の画素ｐ１，ｍ～ｐＮ，ｍを含んでおり、画素ｐ１，ｍ～ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ～ｐｄＮ，ｍは、温度を示すものである。Ｎは、２以上の整数である。
　例えば、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐ１，Ｍは、画素位置が互いに同一の画素であり、画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ２，１～ｐ２，Ｍは、画素位置が互いに同一の画素である。同様に、例えば、画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐＮ，１～ｐＮ，Ｍは、画素位置が互いに同一の画素である。
　室内レイアウト推定装置２は、赤外線カメラ１から出力されたＭ個の画像Ｇ１～ＧＭに基づいて、対象領域の中で、窓が在る領域（以下、「窓領域」と称する）、床が在る領域（以下、「床領域」と称する）及び壁が在る領域（以下、「壁領域」と称する）のそれぞれを判定する。
　室内レイアウト推定装置２は、窓領域の判定結果、床領域の判定結果及び壁領域の判定結果のそれぞれを制御部３に出力する。
　制御部３は、室内レイアウト推定装置２から出力された判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
　エアコン４は、対象領域内の空気を調整する機器である。
　図１に示す空気調和機では、制御部３が、エアコン４を制御することで、対象領域内の空気を調整している。しかし、これは一例に過ぎず、制御部３が、扇風機、床暖房機又はパネルヒータ等の機器を制御することで、対象領域内の空気を調整するようにしてもよい。
　図２は、実施の形態１に係る室内レイアウト推定装置２を示す構成図である。
　図３は、実施の形態１に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
　室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７を備えている。
　画像記憶部１０は、例えば、図３に示す画像記憶回路２０によって実現される。
　画像記憶部１０は、赤外線カメラ１から出力されたＭ個の画像Ｇ１～ＧＭを記憶する。
　外気温記憶部１１は、例えば、図３に示す外気温記憶回路２１によって実現される。
　外気温記憶部１１は、例えば、温度計によって、一定の時間間隔Δｔ’で測定された、測定時刻ｔが互いに異なるＭ個の外気温Ｔ１～ＴＭを記憶する。
　外気温Ｔｍ（ｍ＝１，・・・，Ｍ）は、対象領域を含む建物の外部の気温であり、対象領域と、建物の外部との間には、窓が存在している。
　図２に示す室内レイアウト推定装置２では、外気温記憶部１１が、温度計によって測定された外気温Ｔ１～ＴＭを記憶している。しかし、これは一例に過ぎず、室内レイアウト推定装置２の図示せぬ通信部が、例えば、気象データを配信しているインターネット上のサイトから、対象領域を含む建物付近の気温のデータをダウンロードし、外気温記憶部１１が、当該気温のデータを外気温Ｔ１～ＴＭとして記憶するようにしてもよい。
　Ｍ個の外気温Ｔ１～ＴＭにおける測定の時間間隔Δｔ’と、Ｍ個の画像Ｇ１～ＧＭにおける撮像の時間間隔Δｔとは、同一である。したがって、ｍ番目の外気温Ｔｍの測定時刻ｔ’と、ｍ番目の画像Ｇｍの撮像時刻ｔとは、同一時刻である。
　ただし、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、測定の時間間隔Δｔ’と撮像の時間間隔Δｔとが互いに異なっていてもよい。また、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとは、厳密に同一であるものに限るものではなく、実用上問題のない範囲で、ｍ番目の測定時刻ｔ’と、ｍ番目の撮像時刻ｔとが互いに異なっていてもよい。
　類似度算出部１２は、例えば、図３に示す類似度算出回路２２によって実現される。
　類似度算出部１２は、画像記憶部１０に記憶されているＭ個の画像Ｇ１～ＧＭを取得する。
　類似度算出部１２は、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍのそれぞれの評価値Ｓ１～ＳＮとして、Ｎ個の画素ｐ１，ｍ～ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ～ｐｄＮ，ｍの時間的な推移と、外気温記憶部１１に記憶されている外気温Ｔｍの時間的な推移との類似度を算出する。
　類似度算出部１２は、算出したそれぞれの評価値Ｓ１～ＳＮを窓領域判定部１３に出力する。
　窓領域判定部１３は、例えば、図３に示す窓領域判定回路２３によって実現される。
　窓領域判定部１３は、画像記憶部１０に記憶されているＭ個の画像Ｇ１～ＧＭのうち、いずれか１つの画像Ｇｍを取得する。
　窓領域判定部１３は、取得した画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍのうち、類似度算出部１２により算出された評価値Ｓｎ（ｎ＝１，・・・，Ｎ）が第１の閾値Ｔｈ１よりも大きい画素を含む領域が、画像Ｇｍの中の窓領域Ｗｍであると判定する。外気温Ｔｍの時間的な推移との類似度が高いほど、窓領域Ｗｍの可能性が高いため、評価値Ｓｎが第１の閾値Ｔｈ１よりも大きい画素を含む領域は、画像Ｇｍの中の窓領域Ｗｍであると判定される。第１の閾値Ｔｈ１は、例えば、窓領域判定部１３の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
　窓領域判定部１３は、窓領域Ｗｍの判定結果として、例えば、窓領域Ｗｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
　標準偏差算出部１４は、図４に示すように、画素群特定部１４ａ及び偏差算出処理部１４ｂを備えている。
　標準偏差算出部１４は、例えば、図３に示す標準偏差算出回路２４によって実現される。
　標準偏差算出部１４は、画像記憶部１０に記憶されているＭ個の画像Ｇ１～ＧＭを取得する。
　標準偏差算出部１４は、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍの中で、画素位置が同一の画素を含むＮ個の画素群（１）～（Ｎ）のそれぞれの評価値ｖ１～ｖＮを算出する。
　画素群（１）は、画素ｐ１，１、ｐ１，２、・・・、ｐ１，Ｍを含んでおり、画素群（２）は、画素ｐ２，１、ｐ２，２、・・・、ｐ２，Ｍを含んでいる。また、画素群（Ｎ）は、画素ｐＮ，１、ｐＮ，２、・・・、ｐＮ，Ｍを含んでいる。
　標準偏差算出部１４は、画素群（ｎ）（ｎ＝１，・・・，Ｎ）の評価値ｖｎとして、例えば、画素群（ｎ）に含まれているＭ個の画素ｐｎ，１～ｐｎ，Ｍにおける画素値ｐｄｎ，１～ｐｄｎ，Ｍの標準偏差を算出する。
　標準偏差算出部１４は、算出したそれぞれの評価値ｖ１～ｖＮを前景領域判定部１５に出力する。
　図４は、実施の形態１に係る標準偏差算出部１４の内部を示す構成図である。
　画素群特定部１４ａは、画像記憶部１０に記憶されているＭ個の画像Ｇ１～ＧＭを取得する。
　画素群特定部１４ａは、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）～（Ｎ）のそれぞれを特定する。
　偏差算出処理部１４ｂは、画素群特定部１４ａにより特定されたそれぞれの画素群（１）～（Ｎ）の評価値ｖ１～ｖＮとして、それぞれの画素群（１）～（Ｎ）に含まれているＭ個の画素ｐｎ，１～ｐｎ，Ｍにおける画素値ｐｄｎ，１～ｐｄｎ，Ｍの標準偏差を算出する。
　偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１～ｖＮを前景領域判定部１５に出力する。
　前景領域判定部１５は、例えば、図３に示す前景領域判定回路２５によって実現される。
　前景領域判定部１５は、Ｎ個の画素群（１）～（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きい画素群（ｎ）を特定する。
　第２の閾値Ｔｈ２は、例えば、前景領域判定部１５の内部メモリに格納されていてもよいし、図２に示す室内レイアウト推定装置２の外部から与えられるものであってもよい。
　前景領域判定部１５は、それぞれの画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐｎ，ｍを含む領域が、それぞれの画像Ｇｍの中の前景領域Ｆｍであると判定する。
　前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
　前景領域は、人間又は動物等の移動体が在る領域である。
　前景領域Ｆｍは、画像Ｇｍの中で、背景領域Ｂｍ以外の領域である。したがって、前景領域判定部１５は、先に背景領域Ｂｍを判定し、その後、前景領域Ｆｍを判定するようにしてもよい。この場合、前景領域判定部１５は、まず、Ｎ個の画素群（１）～（Ｎ）の中で、標準偏差算出部１４により算出された評価値ｖｎが第２の閾値Ｔｈ２以下の画素群（ｎ）を特定する。そして、前景領域判定部１５は、それぞれの撮像画像Ｇｍに含まれている画素ｐ１，ｍ～ｐＮ，ｍのうち、特定した画素群（ｎ）に含まれている画素ｐｎ，ｍを含む領域が、それぞれの撮像画像Ｇｍの中の背景領域Ｂｍであると判定する。そして、前景領域判定部１５は、撮像画像Ｇｍの中で、背景領域Ｂｍ以外の領域が、前景領域Ｆｍであると判定するようにしてもよい。
　床領域判定部１６は、例えば、図３に示す床領域判定回路２６によって実現される。
　床領域判定部１６は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍの中で、画像Ｇｍのｙ方向で下端の位置に存在している画素を床領域画素として特定する。前景領域Ｆｍが、例えば、人間が在る領域であれば、前景領域Ｆｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。
　床領域判定部１６は、それぞれの前景領域Ｆｍに含まれている床領域画素の全てを含む領域が、それぞれの画像Ｇｍの中の床領域Ｙｍであると判定する。
　前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍのうち、画像Ｇｍのｙ方向で下端の位置に存在している画素は、前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も小さい画素である。
　床領域判定部１６は、床領域Ｙｍの判定結果として、例えば、床領域Ｙｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
　壁領域判定部１７は、例えば、図３に示す壁領域判定回路２７によって実現される。
　壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗｍと、床領域判定部１６により判定された床領域Ｙｍとに基づいて、対象領域の中の壁領域Ｋｍを判定する。壁領域Ｋｍの判定方法は、後述する。
　壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
　図２では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７のそれぞれが、図３に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。
　ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒy）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）が該当する。
　また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
　室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が該当する。
　図５は、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
　室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれがコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、コンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
　また、図３では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１に示す空気調和機の動作について説明する。
　赤外線カメラ１は、一定の時間間隔Δｔで、対象領域を繰り返し撮像し、対象領域の画像として、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭを室内レイアウト推定装置２に出力する。
　赤外線カメラ１から出力されたＭ個の画像Ｇ１～ＧＭは、室内レイアウト推定装置２の画像記憶部１０に記憶される。画像記憶部１０には、例えば、過去２４時間分の画像Ｇｍが記憶される。
　図６は、室内レイアウト推定装置２の処理手順である室内レイアウト推定方法を示すフローチャートである。
　類似度算出部１２は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭを取得する。
　現在の時刻が例えば１９時００分であれば、類似度算出部１２は、画像記憶部１０から、１９時００分を起点として、例えば過去１２時間分の画像Ｇｍを取得する。
　図７は、過去１２時間分の画像Ｇｍのそれぞれに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍのうち、窓領域Ｗｍに含まれている或る１つの画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移の一例を示す説明図である。
　また、類似度算出部１２は、外気温記憶部１１から、測定時刻ｔ’が互いに異なるＭ個の外気温Ｔ１～ＴＭを取得する。
　現在の時刻が１９時００分であれば、類似度算出部１２は、外気温記憶部１１から、１９時００分を起点として、過去１２時間分の外気温Ｔｍを取得する。
　ここでは、類似度算出部１２が、過去１２時間分の画像Ｇｍを取得し、過去１２時間分の外気温Ｔｍを取得している。しかし、これは一例に過ぎず、類似度算出部１２が、例えば、過去２４時間分の画像Ｇｍを取得し、過去２４時間分の外気温Ｔｍを取得するようにしてもよい。
　類似度算出部１２は、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍのそれぞれの評価値Ｓ１～ＳＮとして、Ｎ個の画素ｐ１，ｍ～ｐＮ，ｍにおけるそれぞれの画素値ｐｄ１，ｍ～ｐｄＮ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度を算出する（図６のステップＳＴ１）。
　例えば、画素ｐｎ，ｍの画素値ｐｄｎ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度である評価値Ｓｎは、例えば、以下の式（１）のように表される。

Figure JPOXMLDOC01-appb-I000001
　図２に示す室内レイアウト推定装置２では、類似度算出部１２が、画素ｐｎ，ｍの評価値Ｓｎとして、式（１）で表される類似度を算出している。しかし、画素ｐｎ，ｍの評価値Ｓｎとして、画素値ｐｄｎ，ｍの時間的な推移と、外気温Ｔｍの時間的な推移との類似度を算出することができればよく、式（１）で表される類似度に限るものではない。
　図８は、類似度算出部１２による評価値Ｓ１～ＳＮの算出結果の一例を示す説明図である。図８において、黒色に近い領域ほど、類似度である評価値Ｓｎが高い領域であることを示している。
　類似度算出部１２は、算出したそれぞれの評価値Ｓ１～ＳＮを窓領域判定部１３に出力する。
　窓領域判定部１３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭのうち、いずれか１つの画像Ｇｍを取得する。窓領域判定部１３が取得する１つの画像Ｇｍは、Ｍ個の画像Ｇ１～ＧＭのうちのいずれの画像であってもよい。窓領域判定部１３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ－１を取得してもよい。
　窓領域判定部１３は、類似度算出部１２により算出されたそれぞれの評価値Ｓ１～ＳＮと、第１の閾値Ｔｈ１とを比較する。
　窓領域判定部１３は、取得した画像Ｇｍに含まれている画素ｐｎ，ｍの評価値Ｓｎが第１の閾値Ｔｈ１よりも大きければ（図６のステップＳＴ２：ＹＥＳの場合）、画素ｐｎ，ｍが、窓領域Ｗｍ内の画素であると判定する（図６のステップＳＴ３）。
　画素ｐｎ，ｍの評価値Ｓｎが第１の閾値Ｔｈ１以下であれば（図６のステップＳＴ２：ＮＯの場合）、画素ｐｎ，ｍは、窓領域Ｗｍ外の画素である。
　窓領域判定部１３は、取得した画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍの中で、窓領域Ｗｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、画像Ｇｍの中の窓領域Ｗｍであると判定する（図６のステップＳＴ４）。
　図９は、窓領域判定部１３による窓領域Ｗｍの判定結果の一例を示す説明図である。図９において、斜線が施されている領域は、窓領域Ｗｍである。なお、図９では、白色に近い領域ほど、温度が高い領域である。
　窓領域判定部１３は、窓領域Ｗｍの判定結果として、例えば、窓領域Ｗｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
　標準偏差算出部１４の画素群特定部１４ａは、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭを取得する。
　画素群特定部１４ａは、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含むＮ個の画素群（１）～（Ｎ）のそれぞれを特定する。
　Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍの中で、例えば、Ｍ個の画素ｐｎ，１～ｐｎ，Ｍは、画素位置が互いに同一の画素であり、画素群（ｎ）に含まれている。
　標準偏差算出部１４の偏差算出処理部１４ｂは、以下の式（２）に示すように、画素群特定部１４ａにより特定された画素群（ｎ）の評価値ｖｎとして、画素群（ｎ）に含まれているＭ個の画素ｐｎ，１～ｐｎ，Ｍにおける画素値ｐｄｎ，１～ｐｄｎ，Ｍの標準偏差を算出する（図６のステップＳＴ５）。

Figure JPOXMLDOC01-appb-I000002

　偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１～ｖＮを前景領域判定部１５に出力する。
　前景領域判定部１５は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭを取得する。
　前景領域判定部１５は、標準偏差算出部１４により算出されたそれぞれの評価値ｖ１～ｖＮと第２の閾値Ｔｈ２とを比較する。
　前景領域判定部１５は、Ｎ個の画素群（１）～（Ｎ）の中で、評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きければ（図６のステップＳＴ６：ＹＥＳの場合）、画素群（ｎ）に含まれている画素ｐｎ，ｍが、前景領域Ｆｍ内の画素であると判定する（図６のステップＳＴ７）。
　複数の画素群（１）～（Ｎ）の中で、評価値ｖｎが第２の閾値Ｔｈ２以下であれば（図６のステップＳＴ６：ＮＯの場合）、画素群（ｎ）に含まれている画素ｐｎ，ｍは、背景領域Ｂｍ内の画素である。
　背景領域Ｂｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍは、時間が経過しても、ほとんど変化しないため、背景領域Ｂｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２以下となる可能性が高い。
　一方、前景領域Ｆｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍは、時間の経過に伴って変化するため、前景領域Ｆｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２よりも大きくなる可能性が高い。
　なお、窓領域Ｗｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍについても、時間の経過に伴って変化する。しかし、窓領域Ｗｍ内の画素ｐｎ，ｍの画素値ｐｄｎ，ｍの変化は、人間等の移動に伴う画素値ｐｄｎ，ｍの変化と比べると、極めて小さい。したがって、窓領域Ｗｍ内の画素ｐｎ，ｍを含む画素群（ｎ）の評価値ｖｎは、第２の閾値Ｔｈ２以下となる可能性が高い。
　前景領域判定部１５は、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍのうち、前景領域Ｆｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、それぞれの画像Ｇｍの中の前景領域Ｆｍであると判定する（図６のステップＳＴ８）。
　前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
　図１０は、Ｍ個の撮像画像Ｇ１～ＧＭのうち、ある１つの画像Ｇｍの一例を示す説明図である。
　図１１は、Ｍ個の撮像画像Ｇ１～ＧＭのうち、ある１つの画像Ｇｍにおける背景領域Ｂｍと前景領域Ｆｍとを示す説明図である。図１１において、黒色の領域は、背景領域Ｂｍと判定された領域であり、白色の領域は、前景領域Ｆｍと判定された領域である。
　図１１の例では、前景領域Ｆｍが、人間が存在している領域（以下、「人間領域Ｈｍ」と称する）と概ね一致している。なお、図１１では、人間領域Ｈｍの表記は省略されている。
　図２に示す室内レイアウト推定装置２では、前景領域Ｆｍが人間領域Ｈｍと一致しているとして、後述する床領域判定部１６が、前景領域Ｆｍに基づいて、床領域Ｙｍを判定する。
　床領域判定部１６は、前景領域判定部１５から、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを取得する。
　床領域判定部１６は、取得した座標を示すデータに基づいて、Ｍ個の画像Ｇ１～ＧＭにおけるそれぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍを特定する。
　床領域判定部１６は、それぞれの前景領域Ｆｍに含まれている複数の画素ｐｎ，ｍの中で、画像Ｇｍのｙ方向で、下端の位置に存在している画素を床領域画素として特定する。
　前景領域Ｆｍが人間領域Ｈｍと一致していれば、前景領域Ｆｍ内の下端の位置は、人間の足元の位置に対応し、人間の足元の位置は、床の位置に対応する。通常、人間は、時間とともに移動する。これは、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ１～ＧＭのそれぞれにおける人間の位置、つまり、前景領域Ｆ１～ＦＭの位置は互いに異なるものとなり、床の位置に対応する前景領域Ｆ１～ＦＭ内の下端の位置も互いに異なるものとなることを意味する。したがって、撮像時刻ｔが互いに異なるＭ個の撮像画像Ｇ１～ＧＭにおける前景領域Ｆ１～ＦＭ内の下端の位置を総合することにより、床領域Ｙｍを推定することができる。
　床領域判定部１６は、前景領域Ｆ１～ＦＭのそれぞれに含まれている床領域画素の全てを含む領域が、床領域Ｙｍであると判定する（図６のステップＳＴ９）。
　床領域判定部１６は、床領域Ｙｍの判定結果として、例えば、床領域Ｙｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び壁領域判定部１７のそれぞれに出力する。
　ここでは、床領域判定部１６が、鉛直方向で下端の位置に存在している画素を床領域画素として特定している。しかし、これは一例に過ぎず、床領域判定部１６が、鉛直方向で下端の位置に存在している画素のほかに、下端の画素の周囲に存在している複数の画素を床領域画素として特定するようにしてもよい。
　図１２は、Ｍ個の画像Ｇ１～ＧＭにおける前景領域Ｆ１～ＦＭ内の下端の画素を示す説明図である。図１２において、白色の領域は、それぞれの前景領域Ｆｍ内の下端の画素を含む領域である。
　図１２が示している画像は、Ｍ個の画像Ｇ１～ＧＭにおけるそれぞれの前景領域Ｆｍ内の下端の画素が集められている画像である。
　図１２では、前景領域Ｆ１内の下端の画素、前景領域Ｆ２内の下端の画素、前景領域Ｆ３内の下端の画素、前景領域Ｆ４内の下端の画素、前景領域Ｆ５内の下端の画素、前景領域ＦＭ－１内の下端の画素、及び、前景領域ＦＭ内の下端の画素を例示している。
　図１３は、床領域判定部１６による床領域Ｙｍの判定結果の一例を示す説明図である。図１３において、横線が施されている領域は、床領域Ｙｍである。
　図１２が示す白色の領域と、図１３が示す床領域Ｙｍとは、記載の都合上、若干のずれがあるが、概ね一致している。
　壁領域判定部１７は、窓領域判定部１３により判定された窓領域Ｗｍと、床領域判定部１６により判定された床領域Ｙｍとに基づいて、対象領域の中の壁領域Ｋｍを判定する（図６のステップＳＴ１０）。
　壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
　以下、壁領域判定部１７による壁領域Ｋｍの判定処理を具体的に説明する。
　壁領域判定部１７は、画像記憶部１０から、撮像時刻ｔが異なるＭ個の画像Ｇ１～ＧＭのうち、いずれか１つの画像Ｇｍを取得する。壁領域判定部１７が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１～ＧＭのうちのいずれの撮像画像であってもよい。壁領域判定部１７は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ－１を取得してもよい。
　また、壁領域判定部１７は、床領域判定部１６から、床領域Ｙｍが存在している座標を示すデータを取得する。
　壁領域判定部１７は、床領域Ｙｍが存在している座標を示すデータに基づいて、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍを特定する。
　壁領域判定部１７は、図１３に示すように、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍのうち、画像Ｇｍのｙ方向で上端の画素をそれぞれ特定する。床領域Ｙｍ内の上端の画素は、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍのうち、ｘ座標が同一の複数の画素の中で、ｙ座標が最も大きい画素である。図１３では、床領域Ｙｍ内の上端の画素を９つ例示している。
　壁領域判定部１７は、図１４に示すように、床領域Ｙｍ内の上端のそれぞれの画素を結ぶ線を含む線を、床面と壁面との境界線に決定する。
　図１４は、床面と壁面との境界線、床領域Ｙｍ、及び窓領域Ｗｍを示す説明図である。
　図１４において、横線が施されている領域は、床領域Ｙｍであり、斜線が施されている領域は、窓領域Ｗｍである。
　壁領域判定部１７は、窓領域判定部１３から、窓領域Ｗｍが存在している座標を示すデータを取得する。
　壁領域判定部１７は、窓領域Ｗｍが存在している座標を示すデータに基づいて、窓領域Ｗｍを特定する。
　壁領域判定部１７は、画像Ｇｍの中で、床面と壁面との境界線よりも、画像Ｇｍのｙ方向でｙ座標が大きい領域のうち、窓領域Ｗｍ以外の領域が、壁領域Ｋｍであると判定する。床面と壁面との境界線よりも、画像Ｇｍのｙ方向でｙ座標が大きい領域は、図中、床面と壁面との境界線よりも上側の領域である。
　壁領域判定部１７は、壁領域Ｋｍの判定結果として、例えば、壁領域Ｋｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３に出力する。
　制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭのうち、いずれか１つの画像Ｇｍを取得する。制御部３が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１～ＧＭのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ－１を取得してもよい。
　制御部３は、窓領域判定部１３から窓領域Ｗｍの判定結果を取得し、床領域判定部１６から床領域Ｙｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋｍの判定結果を取得する。
　制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
　以下、制御部３による空気の調整例を具体的に説明する。
　例えば、窓領域Ｗｍの設定温度がＴｅｍｐ１、床領域Ｙｍの設定温度がＴｅｍｐ２、及び、壁領域Ｋｍの設定温度がＴｅｍｐ３であるとする。設定温度Ｔｅｍｐ１、設定温度Ｔｅｍｐ２、及び、設定温度Ｔｅｍｐ３のそれぞれは、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
　制御部３は、窓領域Ｗｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍの中から、窓領域Ｗｍに含まれている複数の画素ｐｎ，ｍを特定する。
　制御部３は、窓領域Ｗｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、窓領域Ｗｍの平均温度を算出する。
　制御部３は、窓領域Ｗｍの平均温度が、窓領域Ｗｍの設定温度Ｔｅｍｐ１と一致するように、エアコン４を制御する。
　制御部３は、床領域Ｙｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍの中から、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍを特定する。
　制御部３は、床領域Ｙｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、床領域Ｙｍの平均温度を算出する。
　制御部３は、床領域Ｙｍの平均温度が、床領域Ｙｍの設定温度Ｔｅｍｐ２と一致するように、エアコン４を制御する。
　制御部３は、壁領域Ｋｍの判定結果に基づいて、画像Ｇｍに含まれている複数の画素ｐ１，ｍ～ｐＮ，ｍの中から、壁領域Ｋｍに含まれている複数の画素ｐｎ，ｍを特定する。
　制御部３は、壁領域Ｋｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、壁領域Ｋｍの平均温度を算出する。
　制御部３は、壁領域Ｋｍの平均温度が、壁領域Ｋｍの設定温度Ｔｅｍｐ３と一致するように、エアコン４を制御する。
　ここでは、制御部３が、窓領域Ｗｍ、床領域Ｙｍ及び壁領域Ｋｍにおけるそれぞれの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、窓領域Ｗｍ、床領域Ｙｍ及び壁領域Ｋｍにおけるそれぞれの中間温度を算出するようにしてもよい。この場合、制御部３は、窓領域Ｗｍ等の中間温度が、窓領域Ｗｍ等の設定温度と一致するように、エアコン４を制御する。
　以上の実施の形態１では、対象領域を撮像している赤外線カメラ１から出力された画像に含まれている複数の画素のそれぞれの評価値として、複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部１２と、画像に含まれている複数の画素のうち、類似度算出部１２により算出された評価値が第１の閾値よりも大きい画素を含む領域が、画像の中で、窓が在る領域であると判定する窓領域判定部１３とを備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができる。
実施の形態２．
　図２に示す室内レイアウト推定装置２では、標準偏差算出部１４が、Ｍ個の画像Ｇ１～ＧＭのそれぞれに含まれている画素ｐ１，１～ｐＮ，１、ｐ１，２～ｐＮ，２、・・・、ｐ１，Ｍ～ｐＮ，Ｍの中で、画素位置が互いに同一の画素を含む複数の画素群（１）～（Ｎ）のそれぞれの評価値ｖ１～ｖＮを算出している。
　実施の形態２では、Ｍ個の画像Ｇ１～ＧＭと撮像時刻ｔが異なる新たな画像が画像記憶部１０に記憶される毎に、複数の画素群（１）～（Ｎ）のそれぞれの評価値ｖ１～ｖＮを算出する室内レイアウト推定装置２について説明する。ここでは、説明の便宜上、新たな画像がＧＭ＋１であるとする。
　以下、実施の形態２に係る室内レイアウト推定装置２について説明する。
　実施の形態２に係る室内レイアウト推定装置２の構成は、実施の形態１に係る室内レイアウト推定装置２の構成と同様であり、実施の形態２に係る室内レイアウト推定装置２を示す構成図は、図２である。
　赤外線カメラ１は、Ｍ個の画像Ｇ１～ＧＭと撮像時刻ｔが異なる新たな画像ＧＭ＋１を室内レイアウト推定装置２に出力する。
　室内レイアウト推定装置２の画像記憶部１０は、新たな画像ＧＭ＋１を記憶する。
　標準偏差算出部１４の画素群特定部１４ａは、新たな画像ＧＭ＋１が画像記憶部１０に記憶されると、画像記憶部１０から、新たな画像ＧＭ＋１を取得する。
　画素群特定部１４ａは、先に取得したＭ個の画像Ｇ１～ＧＭのうち、例えば、最も撮像時刻ｔが古い画像Ｇ１を破棄する。
　画素群特定部１４ａは、Ｍ個の画像Ｇ１～ＧＭの一部である画像、即ち、破棄していない（Ｍ－１）個の画像Ｇ２～ＧＭと新たな画像ＧＭ＋１とを含むＭ個の画像Ｇ２～ＧＭ＋１のそれぞれに含まれている画素ｐ１，２～ｐＮ，２、ｐ１，３～ｐＮ，３、・・・、ｐ１，Ｍ＋１～ｐＮ，Ｍ＋１のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）～（Ｎ）のそれぞれを特定する。
　ここでは、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ１～ＧＭのうち、最も撮像時刻ｔが古い画像Ｇ１を破棄している。しかし、これは一例に過ぎず、画素群特定部１４ａが、最も撮像時刻ｔが古い画像Ｇ１以外の画像を破棄するようにしてもよい。
　また、画素群特定部１４ａが、先に取得したＭ個の画像Ｇ１～ＧＭのうち、２つ以上の画像を破棄するようにしてもよい。画素群特定部１４ａは、２つの画像を破棄した場合、破棄していない（Ｍ－２）個の画像と新たな画像ＧＭ＋１とを含む（Ｍ－１）個の画像として、画像Ｇ３～ＧＭ＋１のそれぞれに含まれているＮ個の画素ｐ１，３～ｐＮ，３、ｐ１，４～ｐＮ，４、・・・、ｐ１，Ｍ＋１～ｐＮ，Ｍ＋１のうち、画素位置が互いに同一の画素を含むＮ個の画素群（１）～（Ｎ）のそれぞれを特定する。
　標準偏差算出部１４の偏差算出処理部１４ｂは、画素群特定部１４ａがＮ個の画素群（１）～（Ｎ）のそれぞれを特定する毎に、実施の形態１と同様に、それぞれの画素群（１）～（Ｎ）の評価値ｖ１～ｖＮとして、それぞれの画素群（１）～（Ｎ）に含まれているＭ個の画素ｐｎ，１～ｐｎ，Ｍにおける画素値ｐｄｎ，１～ｐｄｎ，Ｍの標準偏差を算出する。
　偏差算出処理部１４ｂは、算出したそれぞれの評価値ｖ１～ｖＮを前景領域判定部１５に出力する。
　したがって、実施の形態２に係る室内レイアウト推定装置２では、Ｍ個の画像Ｇ１～ＧＭと撮像時刻ｔが異なる新たな画像ＧＭ＋１が画像記憶部１０に記憶される毎に、Ｎ個の画素群（１）～（Ｎ）のそれぞれの評価値ｖ１～ｖＮが更新される。
　前景領域判定部１５は、標準偏差算出部１４によりそれぞれの評価値ｖ１～ｖＮが更新される毎に、それぞれの評価値ｖ１～ｖＮと第２の閾値Ｔｈ２とを比較する。
　前景領域判定部１５は、実施の形態１と同様に、評価値ｖｎ（ｎ＝１，・・・，Ｎ）が第２の閾値Ｔｈ２よりも大きければ、画素群（ｎ）に含まれている画素ｐｎ，ｍが、前景領域Ｆｍ内の画素であると判定する
　前景領域判定部１５は、Ｍ個の画像Ｇ２～ＧＭ＋１のそれぞれに含まれているＮ個の画素ｐ１，２～ｐＮ，２、ｐ１，３～ｐＮ，３、・・・、ｐ１，Ｍ＋１～ｐＮ，Ｍ＋１のうち、前景領域Ｆｍ内の画素であると判定した全ての画素ｐｎ，ｍを含む領域が、画像Ｇｍの中の前景領域Ｆｍであると判定する。
　前景領域判定部１５は、前景領域Ｆｍの判定結果として、例えば、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを床領域判定部１６に出力する。
　以上の実施の形態２では、画素群特定部１４ａが、赤外線カメラ１から、複数の画像と撮像時刻が異なる新たな画像が出力される毎に、複数の画像の中の一部の画像と新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、偏差算出処理部１４ｂが、画素群特定部１４ａによりそれぞれの画素群が特定される毎に、画素群特定部１４ａにより特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出するように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、新たな画像に基づいて、前景領域を判定することができる。
実施の形態３．
　実施の形態３では、前景領域判定部１５により判定された前景領域Ｆｍの中で、人間が存在している領域を判定する人間領域判定部１８を備えている室内レイアウト推定装置２について説明する。
　図１５は、実施の形態３に係る室内レイアウト推定装置２を示す構成図である。
　図１６は、実施の形態３に係る室内レイアウト推定装置２のハードウェアを示すハードウェア構成図である。
　図１５及び図１６において、図２及び図３と同一符号は同一又は相当部分を示すので詳細な説明を省略する。
　室内レイアウト推定装置２は、画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７を備えている。
　図１６に示す室内レイアウト推定装置２では、前景領域判定部１５が、前景領域の判定結果として、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを人間領域判定部１８に出力する。
　人間領域判定部１８は、例えば、図１６に示す人間領域判定回路２８によって実現される。
　人間領域判定部１８は、前景領域判定部１５により判定されたそれぞれの前景領域Ｆｍの中で、人間が存在している領域である人間領域Ｈｍを判定する。
　人間領域判定部１８は、人間領域Ｈｍの判定結果として、例えば、人間領域Ｈｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。
　図１５では、室内レイアウト推定装置２の構成要素である画像記憶部１０、外気温記憶部１１、類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７のそれぞれが、図１６に示すような専用のハードウェアによって実現されるものを想定している。即ち、室内レイアウト推定装置２が、画像記憶回路２０、外気温記憶回路２１、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７によって実現されるものを想定している。
　ここで、画像記憶回路２０及び外気温記憶回路２１のそれぞれは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤが該当する。
　また、類似度算出回路２２、窓領域判定回路２３、標準偏差算出回路２４、前景領域判定回路２５、人間領域判定回路２８、床領域判定回路２６及び壁領域判定回路２７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
　室内レイアウト推定装置２の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、室内レイアウト推定装置２が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される場合、画像記憶部１０及び外気温記憶部１１のそれぞれが、図５に示すコンピュータのメモリ３１上に構成される。類似度算出部１２、窓領域判定部１３、標準偏差算出部１４、前景領域判定部１５、人間領域判定部１８、床領域判定部１６及び壁領域判定部１７の処理手順をコンピュータに実行させるためのプログラムがメモリ３１に格納される。そして、図５に示すコンピュータのプロセッサ３２がメモリ３１に格納されているプログラムを実行する。
　また、図１６では、室内レイアウト推定装置２の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、室内レイアウト推定装置２が、ソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、室内レイアウト推定装置２における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１５に示す室内レイアウト推定装置２の動作について説明する。ただし、人間領域判定部１８以外は、図２に示す室内レイアウト推定装置２と同様であるため、ここでは、主に、人間領域判定部１８の動作について説明する。
　前景領域判定部１５は、実施の形態１と同様に、前景領域Ｆｍを判定すると、前景領域Ｆｍの判定結果として、前景領域Ｆｍが存在している、画像Ｇｍ内の座標を示すデータを人間領域判定部１８に出力する。
　図２に示す室内レイアウト推定装置２では、床領域判定部１６が、前景領域Ｆｍが人間領域Ｈｍと一致しているとして、前景領域Ｆｍに基づいて、床領域Ｙｍを判定している。しかし、前景領域Ｆｍと人間領域Ｈｍとが厳密に一致しているとは限らないため、前景領域Ｆｍに基づく床領域Ｙｍの判定では、床領域Ｙｍを誤検出する可能性がある。
　人間領域判定部１８は、前景領域判定部１５から前景領域Ｆｍの判定結果を受けると、公知の人体検出方法を用いて、前景領域Ｆｍの中で、人間が存在している領域である人間領域Ｈｍを判定する。
　公知の人体検出方法として、例えば、ＨＯＧとＳＶＭとを用いる方法が考えられる。ＨＯＧ（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）は、局所領域の輝度の勾配方向をヒストグラム化している特徴量である。ＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）は、教師あり学習を用いるパターン識別モデルである。
　人間領域判定部１８は、人間領域Ｈｍの判定結果として、例えば、人間領域Ｈｍが存在している、画像Ｇｍ内の座標を示すデータを制御部３及び床領域判定部１６のそれぞれに出力する。
　制御部３は、画像記憶部１０から、撮像時刻ｔが互いに異なるＭ個の画像Ｇ１～ＧＭのうち、いずれか１つの画像Ｇｍを取得する。制御部３が取得する１つの撮像画像Ｇｍは、Ｍ個の撮像画像Ｇ１～ＧＭのうちのいずれの撮像画像であってもよい。制御部３は、例えば、撮像時刻ｔが最新の時刻の画像ＧＭを取得してもよいし、撮像時刻ｔが最新の時刻よりも古い時刻の画像ＧＭ－１を取得してもよい。
　制御部３は、窓領域判定部１３から窓領域Ｗｍの判定結果を取得し、床領域判定部１６から床領域Ｙｍの判定結果を取得し、壁領域判定部１７から壁領域Ｋｍの判定結果を取得し、人間領域判定部１８から人間領域Ｈｍの判定結果を取得する。
　制御部３は、取得したそれぞれの判定結果に基づいて、例えば、エアコン４を制御することで、対象領域内の空気を調整する。
　例えば、人間領域Ｈｍの設定温度がＴｅｍｐ４であるとする。設定温度Ｔｅｍｐ４は、制御部３の内部メモリに格納されていてもよいし、図１に示す空気調和機の外部から与えられるものであってもよい。
　制御部３は、人間領域Ｈｍの判定結果に基づいて、画像Ｇｍに含まれているＮ個の画素ｐ１，ｍ～ｐＮ，ｍの中から、人間領域Ｈｍに含まれている複数の画素ｐｎ，ｍを特定する。
　制御部３は、人間領域Ｈｍに含まれている複数の画素ｐｎ，ｍの画素値ｐｄｎ，ｍが示す温度から、例えば、人間領域Ｈｍの平均温度を算出する。
　制御部３は、人間領域Ｈｍの平均温度が、人間領域Ｈｍの設定温度Ｔｅｍｐ４と一致するように、エアコン４を制御する。
　ここでは、制御部３が、人間領域Ｈｍの平均温度を算出している。しかし、これは一例に過ぎず、制御部３が、例えば、人間領域Ｈｍの中間温度を算出するようにしてもよい。この場合、制御部３は、人間領域Ｈｍの中間温度が、人間領域Ｈｍの設定温度Ｔｅｍｐ４と一致するように、エアコン４を制御する。
　以上の実施の形態３では、前景領域判定部１５により判定された前景領域の中で、人間が存在している領域を判定する人間領域判定部１８を備えるように、室内レイアウト推定装置２を構成した。したがって、室内レイアウト推定装置２は、外気温が変化しても、窓領域の誤検出を防ぐことができるほか、人間が存在している領域内の空気を調整することが可能になる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明は、対象領域の中で、窓が在る領域を判定する室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機に適している。
　１　赤外線カメラ、２　室内レイアウト推定装置、３　制御部、４　エアコン、１０　画像記憶部、１１　外気温記憶部、１２　類似度算出部、１３　窓領域判定部、１４　標準偏差算出部、１４ａ　画素群特定部、１４ｂ　偏差算出処理部、１５　前景領域判定部、１６　床領域判定部、１７　壁領域判定部、１８　人間領域判定部、２０　画像記憶回路、２１　外気温記憶回路、２２　類似度算出回路、２３　窓領域判定回路、２４　標準偏差算出回路、２５　前景領域判定回路、２６　床領域判定回路、２７　壁領域判定回路、２８　人間領域判定回路、３１　メモリ、３２　プロセッサ。

Claims (11)

  1. 　対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出する類似度算出部と、
    　前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する窓領域判定部と
    　を備えた室内レイアウト推定装置。
  2. 　前記赤外線カメラから出力された複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の複数の画素を含む複数の画素群のそれぞれの評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する標準偏差算出部と、
    　前記複数の画素群の中で、前記標準偏差算出部により算出された評価値が第２の閾値よりも大きい画素群を特定し、それぞれの画像に含まれている複数の画素のうち、特定した画素群に含まれている画素を含む領域が、それぞれの画像の中の前景領域であると判定する前景領域判定部と
    　を備えたことを特徴とする請求項１記載の室内レイアウト推定装置。
  3. 　前記標準偏差算出部は、
    　前記赤外線カメラから撮像時刻が互いに異なる複数の画像が出力されると、前記複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定する画素群特定部と、
    　前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出する偏差算出処理部とを備えていることを特徴とする請求項２記載の室内レイアウト推定装置。
  4. 　前記画素群特定部は、前記赤外線カメラから、前記複数の画像と撮像時刻が異なる新たな画像が出力される毎に、前記複数の画像の中の一部の画像と前記新たな画像とを含む複数の画像のそれぞれに含まれている複数の画素の中で、画素位置が互いに同一の画素を含む複数の画素群のそれぞれを特定し、
    　前記偏差算出処理部は、前記画素群特定部によりそれぞれの画素群が特定される毎に、前記画素群特定部により特定されたそれぞれの画素群の評価値として、それぞれの画素群に含まれている複数の画素における画素値の標準偏差を算出することを特徴とする請求項３記載の室内レイアウト推定装置。
  5. 　前記前景領域判定部により判定されたそれぞれの前景領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの前景領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
  6. 　前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項５記載の室内レイアウト推定装置。
  7. 　前記前景領域判定部により判定されたそれぞれの前景領域の中で、人間が存在している領域として人間領域を判定する人間領域判定部を備えたことを特徴とする請求項２記載の室内レイアウト推定装置。
  8. 　前記人間領域判定部により判定されたそれぞれの人間領域に含まれている複数の画素の中で、前記対象領域が存在している空間の鉛直方向に相当する方向で下端の位置に存在している画素を床領域画素として特定し、それぞれの人間領域に含まれている床領域画素の全てを含む領域が、それぞれの画像の中で、床が在る領域であると判定する床領域判定部を備えたことを特徴とする請求項７記載の室内レイアウト推定装置。
  9. 　前記窓領域判定部により判定された窓が在る領域と、前記床領域判定部により判定された床が在る領域とに基づいて、それぞれの画像の中で、壁が在る領域を判定する壁領域判定部を備えたことを特徴とする請求項８記載の室内レイアウト推定装置。
  10. 　類似度算出部が、対象領域を撮像している赤外線カメラから出力された画像に含まれている複数の画素のそれぞれの評価値として、前記複数の画素におけるそれぞれの画素値の時間的な推移と、外気温の時間的な推移との類似度を算出し、
    　窓領域判定部が、前記画像に含まれている複数の画素のうち、前記類似度算出部により算出された評価値が第１の閾値よりも大きい画素を含む領域が、前記画像の中で、窓が在る領域であると判定する
    　室内レイアウト推定方法。
  11. 　請求項１から請求項９のうちのいずれか１項記載の室内レイアウト推定装置と、
    　前記室内レイアウト推定装置における領域の判定結果に基づいて、前記対象領域内の空気を調整する制御部と
    　を備えた空気調和機。
PCT/JP2019/030267 2019-08-01 2019-08-01 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機 WO2021019768A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/030267 WO2021019768A1 (ja) 2019-08-01 2019-08-01 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機
JP2021536578A JP6987314B2 (ja) 2019-08-01 2019-08-01 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/030267 WO2021019768A1 (ja) 2019-08-01 2019-08-01 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機

Publications (1)

Publication Number Publication Date
WO2021019768A1 true WO2021019768A1 (ja) 2021-02-04

Family

ID=74230575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030267 WO2021019768A1 (ja) 2019-08-01 2019-08-01 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機

Country Status (2)

Country Link
JP (1) JP6987314B2 (ja)
WO (1) WO2021019768A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010266188A (ja) * 2009-04-15 2010-11-25 Panasonic Corp 空調システム
JP2014134376A (ja) * 2014-04-10 2014-07-24 Mitsubishi Electric Corp 空気調和機
JP2016008796A (ja) * 2014-06-25 2016-01-18 三菱電機株式会社 空気調和装置の室内機及び空気調和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010266188A (ja) * 2009-04-15 2010-11-25 Panasonic Corp 空調システム
JP2014134376A (ja) * 2014-04-10 2014-07-24 Mitsubishi Electric Corp 空気調和機
JP2016008796A (ja) * 2014-06-25 2016-01-18 三菱電機株式会社 空気調和装置の室内機及び空気調和装置

Also Published As

Publication number Publication date
JPWO2021019768A1 (ja) 2021-11-18
JP6987314B2 (ja) 2021-12-22

Similar Documents

Publication Publication Date Title
US9715627B2 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
US8284991B2 (en) Apparatus and method for counting number of objects
JP4852159B2 (ja) 画像処理装置、画像処理方法および空調制御装置
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP6395656B2 (ja) 環境における物体を追跡する方法及びシステム
Cannons A review of visual tracking
US8311276B2 (en) Object tracking apparatus calculating tendency of color change in image data regions
US8929592B2 (en) Camera-based 3D climate control
CN105979134B (zh) 图像处理装置、图像处理方法和图像处理系统
JP7217058B2 (ja) １つまたは複数のサーモグラフィカメラおよび１つまたは複数のｒｇｂ－ｄセンサを使用して構築空間内の１人または複数の人間の居住者の存在をリアルタイムで検出し、熱的快適性を推定すること
JP5697583B2 (ja) 部屋形状認識方法および装置、ならびにこれを用いた空気調和機
JP7192582B2 (ja) 物体追跡装置および物体追跡方法
BR102012030034B1 (pt) sistema e método para gerar um mapa de profundidade bruto
US5805718A (en) Clothing amount measuring apparatus and method using image processing
JP2016048128A (ja) 空気調和機
JP7484924B2 (ja) 撮像装置、画像処理システム、画像処理方法及びプログラム
KR101469099B1 (ko) 사람 객체 추적을 통한 자동 카메라 보정 방법
CN114511714A (zh) 物体识别装置和物体识别方法
US11830200B2 (en) Ambient temperature reporting through infrared facial recognition
JP6987314B2 (ja) 室内レイアウト推定装置、室内レイアウト推定方法及び空気調和機
GB2573703A (en) Object tracking device and object tracking method
US20210289119A1 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP7069725B2 (ja) 不審者検出装置、不審者検出方法及び不審者検出用コンピュータプログラム
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19939081

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536578

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19939081

Country of ref document: EP

Kind code of ref document: A1