WO2015029378A1 - 熱画像センサ及び空気調和機 - Google Patents

熱画像センサ及び空気調和機 Download PDF

Info

Publication number
WO2015029378A1
WO2015029378A1 PCT/JP2014/004249 JP2014004249W WO2015029378A1 WO 2015029378 A1 WO2015029378 A1 WO 2015029378A1 JP 2014004249 W JP2014004249 W JP 2014004249W WO 2015029378 A1 WO2015029378 A1 WO 2015029378A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal image
pixel
pixels
humanity
unit
Prior art date
Application number
PCT/JP2014/004249
Other languages
English (en)
French (fr)
Inventor
三輪　祥太郎
関　真規人
信太郎 渡邉
松本　崇
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2015533976A priority Critical patent/JP6067124B2/ja
Priority to CN201480047210.4A priority patent/CN105492880B/zh
Priority to US14/911,393 priority patent/US9696053B2/en
Priority to EP14841001.2A priority patent/EP3040697A4/en
Publication of WO2015029378A1 publication Critical patent/WO2015029378A1/ja
Priority to HK16107122.8A priority patent/HK1219127A1/zh

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/026—Control of working procedures of a pyrometer, other than calibration; Bandwidth calculation; Gain control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/0275—Control or determination of height or distance or angle information for sensors or receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02—Constructional details
    • G01J5/07—Arrangements for adjusting the solid angle of collected radiation, e.g. adjusting or orienting field of view, tracking position or encoding angular position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/12—Position of occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J2005/106—Arrays

Definitions

  • the present invention relates to a thermal image sensor and an air conditioner that enable advanced human detection such as individual parts and postures of persons in a room.
  • the conventional thermal image sensor is composed of a thermopile arranged in the vertical direction, and acquires an overall thermal image of the room by scanning the vertical sensor from left to right and from right to left at regular intervals. At this time, the thermal image sensor acquires a thermal image of the entire room at the time of initial start-up, stores this as a background thermal image, and thereafter, every time a new overall thermal image is obtained, the whole thermal image and the background thermal image are The difference is calculated, and it is determined that there is a person at the corresponding pixel position when the difference value maintains a value equal to or higher than the human body detection threshold (for example, Patent Document 1).
  • thermopiles In the thermal image sensor of the background art, a thermal image is generated by scanning in a horizontal direction a sensor in which a small number of inexpensive thermopiles are arranged vertically, and image processing is added to this.
  • inexpensive person detection By using this person detection function, it is possible to perform air conditioning control in which air is positively applied to a person or not.
  • a more comfortable air conditioner requires a function that avoids direct wind on the human face and a function that warms the feet in winter, and requires more accurate human detection that can detect human parts. It is.
  • thermopiles arranged in the vertical direction in the background art By increasing the number of thermopiles arranged in the vertical direction in the background art, this highly accurate person detection can be realized.
  • the present invention has been made to solve the above-described problems, and a thermal image sensor and an air conditioner that enable highly accurate person detection without requiring an increase in memory capacity or an enhancement in CPU capability.
  • the purpose is to obtain.
  • a thermal image acquisition unit that acquires temperature data for each pixel arranged in a predetermined direction is scanned in units of one step in a direction perpendicular to the predetermined direction, and acquired in each step.
  • a thermal image sensor that synthesizes a one-dimensional thermal image to acquire a two-dimensional thermal image, and outputs the positions of effective detection pixels selected in the immediately preceding step from all pixels included in the thermal image acquisition unit as effective pixels
  • a humanity generation unit that calculates humanity, a pixel weight calculation unit that generates a weight value for all pixels from the relative position and humanity of each pixel from the effective pixel, and the next from all pixels in descending order of the weight value Ste Those having a total pixel sorting unit for selecting a detected effective pixels used in flop.
  • FIG. 1 is an explanatory diagram showing an example of the overall configuration of an air conditioner equipped with a thermal image sensor according to Embodiment 1 of the present invention.
  • the air conditioner 1 includes an indoor unit 12 and an outdoor unit 13.
  • the indoor unit 12 includes a thermal image sensor 11.
  • FIG. 2 is an explanatory diagram showing an example of the configuration of the thermal image sensor 11.
  • the thermal image sensor 11 includes a thermal image acquisition unit 10 and a control unit 14.
  • the thermal image acquisition unit 10 includes a thermopile arranged in the vertical direction, for example, and can acquire a one-dimensional thermal image.
  • a one-dimensional thermal image of N pixels N is a natural number
  • the control unit 14 controls acquisition of a thermal image in the thermal image acquisition unit 10 including scanning. As shown in the figure, the position of each pixel in the thermal image acquisition unit 10 is defined from the top to the bottom.
  • the position of the top pixel is 1, and the position of the bottom pixel is N.
  • the thermal image acquisition unit 10 in which pixels are arranged in the vertical direction as a predetermined direction is scanned in the left-right direction perpendicular to the predetermined direction, but is not limited thereto.
  • it can be configured such that pixels are arranged in the left-right direction and scanned in the up-down direction.
  • FIG. 3 is a diagram for explaining a basic operation for acquiring a two-dimensional thermal image in the thermal image acquisition unit 10.
  • a vertical thermal image 21 which is a one-dimensional vertical thermal image is acquired in a time-sharing manner.
  • the position where the thermal image is acquired is scanned in the horizontal direction, and the thermal image acquired at each position is synthesized to generate the entire room thermal image 22 which is a two-dimensional thermal image of the entire room.
  • the vertical direction thermal image 21 a is acquired as the vertical direction thermal image 21.
  • the vertical direction thermal image 21b is acquired as the vertical direction thermal image 21.
  • the vertical direction thermal image 21n is acquired as the vertical direction thermal image 21.
  • the thermal image acquisition unit 10 scans the thermal image acquisition position from side to side, and acquires the vertical direction thermal image 21 at each horizontal position.
  • the thermal image acquisition unit 10 combines the plurality of acquired vertical thermal images 21 to generate an entire room thermal image 22.
  • the horizontal scanning can be realized, for example, by driving a thermopile with a stepping motor.
  • FIG. 4 is a diagram for explaining the operation of the control unit 14.
  • An effective pixel to be used for acquisition is determined, and an effective pixel index i for specifying each effective pixel is generated.
  • the number of effective pixels is smaller than the number of all pixels.
  • the effective pixel position xi corresponding to the effective pixel index i is obtained by the following equation (1), where Ns is the total number of pixels included in the thermal image acquisition unit 10 and Nmax is the determined number of effective pixels. At this time, the effective pixel index i is an integer from 1 to Nmax.
  • FIG. 5 is a diagram for explaining the effective pixels determined by the uniform arrangement unit 111.
  • each square represents a pixel.
  • effective pixels are represented by Pe and filled in gray.
  • S1 shown in the drawing represents the scanning direction when acquiring a thermal image.
  • the total number of pixels included in the thermal image acquisition unit 10 is twice the number of effective pixels.
  • the effective pixel corresponding to the equally arranged effective pixel index i is defined as an initial effective pixel, and the position xi of the initial effective pixel is defined as an initial effective pixel position.
  • the uniform arrangement unit 111 outputs an effective pixel index and an initial effective pixel position.
  • the uniform arrangement unit 111 functions as an initial arrangement unit that determines the arrangement of the initial effective pixels.
  • the initial effective pixels are assumed to be evenly arranged on all the pixels in the uniform arrangement unit 111, but are not necessarily completely uniform, and are often arranged in a region that is likely to be detected by a person. Such an initial arrangement may be used.
  • the effective pixel selection unit 112 selects and outputs the initial effective pixel position determined by the uniform arrangement unit 111.
  • the detection effective pixel position determined by the effective pixel determination unit 152 described later is selected and output.
  • the initial value of the effective pixel selection flag is 0, and the initial effective pixel position determined by the uniform arrangement unit 111 is selected in the first operation.
  • the uniform arrangement unit 111 and the effective pixel selection unit 112 operate as the effective pixel output unit 110 that outputs the position of the effective pixel selected from all the pixels.
  • the thinning-out scanning unit 120 serving as a scanning unit performs thermal image scanning in one step in the left-right direction using only the effective pixels defined by the effective pixel position selected by the effective pixel selection unit 112, and the temperature data of the effective pixels To get.
  • the minimum unit of thermal image scanning is set as one step, and the position where the thermal image is acquired is changed by one step to acquire the thermal image.
  • a one-dimensional thermal image which is temperature data acquired by each effective pixel, is obtained.
  • FIG. 6 is a diagram for explaining a thermal image obtained by the thinning scanning unit 120.
  • the thermal image is composed of temperature data Dt obtained for each effective pixel corresponding to the effective pixel index i.
  • the temperature data Dt is expressed in degrees Celsius, for example.
  • the number of pixels of the thermal image obtained by the thinning scanning unit 120 is Nmax.
  • the civilization function storage unit 131 stores a preset civilization function.
  • the civilization calculation unit 132 converts the value of each effective pixel of the thermal image acquired by the thinning scanning unit 120 into the civilization s using a civilization function.
  • the civilization function storage unit 131 and the civilization calculation unit 132 operate as the civilization generation unit 130 that calculates civilization for the effective pixels.
  • FIG. 7 is an example of the civilization function stored in the civilization function storage unit 131.
  • the civilization function represents the relationship between the acquired temperature data Dt and civilization s.
  • Humanity is an index for estimating the possibility that a person exists at the position of the corresponding pixel, and is set so that the possibility that a person is present increases as the value increases in the range of 0 to 1.
  • the human radiant heat is around 27 degrees, although it depends on the measurement site. However, in consideration of the case where a person exists only in a partial area of the effective pixel and the case where the radiant heat is attenuated due to clothing, the setting is made so as to have civilization even at a low temperature side.
  • the civilization function can be defined by a mathematical expression or can be defined in a table format. In FIG.
  • P1 is a pixel in which a person exists
  • P2 is a pixel in which a person exists only in a part of the pixels.
  • P2 is referred to as a partially matched pixel, and the civilization s is determined by the proportion of the person in the pixel and is a value between 0 and 1.
  • FIG. 8 is a diagram for explaining the civilization s required by the civilization calculation unit 132.
  • the civilization s is generated in association with the effective pixel index i.
  • the civilization s shown in FIG. 8 is an example when the civilization function of FIG. 7 is applied to the thermal image of FIG.
  • the humanity s of each effective pixel obtained by using the civilization function is calculated by the civilization evaluation unit 141 using a human flag f (i) indicating whether or not there is a person by judging the value using the threshold value th1 of the civilization. Calculated. If the civilization s is greater than the threshold th1, it is determined that there is a person, and if it is less than the threshold th1, a person flag f (i) of 0 is calculated as no person.
  • the civilization map generation unit 142 generates a civilization map D including the effective pixel index i and the human flag f (i).
  • FIG. 9 is a diagram for explaining a configuration example of the civilization map D.
  • the civilization map D is configured to associate the effective pixel index i with the human flag f (i) in the effective pixel.
  • the civilization map D shown in FIG. 9 is an example when the civilization threshold th1 is 0.3 with respect to the civilization s in FIG.
  • the civilization threshold th1 is a value that is determined at the time of design, and is a value that is appropriately determined through experiments and the like.
  • a plurality of operation modes can be provided in the air conditioner, and different values can be used for each operation mode. Thereby, the characteristic which detects a person can be changed for every driving mode.
  • the civilization map D is configured to associate the effective pixel index i with the human flag f (i) in the effective pixel, but is not limited to this.
  • the effective pixel index i And the civilization s in the effective pixel can be associated with each other.
  • the possibility that a person exists in the corresponding effective pixel is represented by a multi-stage value instead of a binary value.
  • the process of calculating the human flag f (i) in the civilization evaluation unit 141 is not necessary. That is, the civilization map D only needs to numerically represent the possibility that a person exists in each effective pixel.
  • the pixel weight map generation unit 143 generates the weight function w (x) defined by Expression (2), the effective pixel index i, the effective pixel position xi corresponding to the effective pixel index i, and the person flag f (i). Then, a weight value g (x) is obtained from Equation (3), and a pixel weight map W composed of the pixel position x and the weight value g (x) of the pixel position is generated. The weight value is generated for all the pixels including those other than the effective pixels from the human flag obtained only for the effective pixels by Expression (3).
  • FIG. 10 is a diagram illustrating an example of the weighting function w (x).
  • the weighting function w (x) defines a weighting coefficient at the pixel position x relative to the reference pixel position, and the weighting coefficient decreases as the distance from the reference pixel position increases.
  • Expression (3) the relative pixel position with respect to the effective pixel position xi is represented by (x ⁇ xi).
  • FIG. 11 is a diagram for explaining the pixel weight map W.
  • the pixel weight map W is configured to associate pixel positions x of all the pixels included in the thermal image acquisition unit 10 with weight values g (x) at the pixel positions.
  • pixel weight calculation in which the humanity evaluation unit 141, the civilization map generation unit 142, and the pixel weight map generation unit 143 generate weight values for all the pixels from the position of each pixel and the civilization from the effective pixels. It functions as the unit 140.
  • the map sort unit 151 compares the sum of the weight values g (x) in the pixel weight map W with a predetermined threshold th2, and sets the value of the effective pixel selection flag according to the comparison result. When the sum of the weight values g (x) is larger than the threshold value th2, the effective pixel selection flag is set to 1. When the sum of the weight values g (x) is less than or equal to the threshold value th2, the effective pixel selection flag is a value at the time of initial setting. It is assumed that 0.
  • the threshold th2 is a value that is determined at the time of design, and is a value that is appropriately determined through experiments or the like. A plurality of operation modes can be provided in the air conditioner, and different values can be used for each operation mode. Thereby, the characteristic which detects a person can be changed for every driving mode.
  • the map sorting unit 151 sorts the pixel weight map W under the following conditions 1 and 2 in order, and generates an effective pixel map W ′.
  • condition 2 is for detection with emphasis on the head rather than the human foot, but is not an essential condition. By adding Condition 2, it becomes possible to detect a face and head sensitive to wind with higher accuracy.
  • Condition 1 Weight value g (x) is large
  • Condition 2 Pixel position x is small (upper pixel is given priority)
  • the effective pixel determination unit 152 selects Nmax pixels, which is the number of effective pixels determined by resources that can be used using the effective pixel map W ′, in the order of arrangement of the effective pixel map W ′, and performs this for the next scan. Is determined as a detection effective pixel that is an effective pixel to be used in the above, and the pixel position of the effective pixel corresponding to the effective pixel index is output.
  • the map sorting unit 151 and the effective pixel determining unit 152 function as the all pixel sorting unit 150 that selects detection effective pixels used in the next step from all pixels in descending order of weight values.
  • the effective pixel selection unit 112 selects and outputs the initial effective pixel position determined by the uniform arrangement unit 111, and the value of the effective pixel selection flag is In the case of 1, the detection effective pixel position determined by the effective pixel determination unit 152 described later is selected and output.
  • the thinning scanning unit 120 uses the effective pixel at the selected pixel position to perform the next one-step scan in the left-right direction. Thereafter, until the horizontal scanning reaches the left or right end, the civilization calculation unit 132, the civilization evaluation unit 141, the civilization map generation unit 142, the pixel weight map generation unit 143, the map sort unit 151, and the effective pixel determination unit 152 Repeat the process.
  • the control unit 14 sets the effective pixel selection flag to 0, which is a value at the time of initial setting, and starts the operation from the uniform arrangement unit 111 again. At this time, the scanning position is also reset once.
  • the thermal image sensor according to the present embodiment is configured to perform horizontal scanning in the same direction after resetting the scanning position after the horizontal scanning reaches one of the left and right ends, but is not limited thereto. Absent.
  • FIG. 12 is an image diagram for visually explaining the dynamic effective pixel arrangement.
  • squares represent pixels, and among them, pixels filled in gray represent effective pixels that are dynamically assigned.
  • the thermal image by the dynamic effective pixel arrangement is obtained from the thermal image sensor.
  • temperature data is not acquired for pixels other than the effective pixels, so that it can be distinguished from the temperature data acquired by the effective pixels by using a predetermined value. it can.
  • the thermal image sensor determines the effective pixels that are thinned out uniformly from all the pixels in the vertical direction in accordance with the number of usable pixels determined by the available resources during the first one-step scanning of the horizontal scanning.
  • the data acquisition in one step in the vertical direction of the thermal image is performed using only the effective pixels.
  • the thermal image sensor separately has a civilization function storage unit that is a database in which temperature data based on a human radiant heat model and humanity are associated with each other. By calculating the civilization from the detected temperature data and thresholding the civilization, it is determined whether there is a person at the effective pixel position, and weighting is performed so that many effective pixels are included in the part where the person is present. Then, the effective pixels are rearranged and used in the next step.
  • this thermal image sensor for example, an air conditioner that can detect the position of a person's face, limbs, etc., blows away from the person's face, and warms the feet mainly is used. It becomes feasible.
  • the thermal image sensor and the air conditioner according to the present invention scan the thermal image acquisition unit that acquires the temperature data for each pixel arranged in the vertical direction in units of one step in the horizontal direction, and acquire each step.
  • a thermal image sensor that obtains a two-dimensional thermal image by synthesizing the one-dimensional thermal image, and the position of the detection effective pixel selected in the immediately preceding step from all the pixels included in the thermal image acquisition unit as the effective pixel
  • the effective pixel output unit for outputting, the scanning unit for acquiring the temperature data of the effective pixel by performing scanning in one step, and the effective pixel using the relationship between the civilization and the temperature data representing the possibility that a person exists
  • a humanity generation unit that calculates humanity, a pixel weight calculation unit that generates a weight value for all pixels from the relative position and humanity of each pixel from the effective pixels, and the next from all pixels in descending order of weight value No Since Tsu and a total pixel sorting unit for selecting a detected effective pixels used in up, without the need for strengthening of the
  • FIG. 13 is a diagram for explaining the operation of the control unit 14 included in the thermal image sensor according to the second embodiment of the present invention.
  • the operation of the pixel weight map generation unit 143, the pre-total pixel map storage unit 161, and the pre- The difference from the first embodiment is that it includes a pre-weight coefficient generation unit 160 including an overall pixel weight map generation unit 162.
  • the configuration of the thermal image sensor of the present embodiment is the same as that of the first embodiment, and includes the thermal image acquisition unit 10 and the control unit 14.
  • the thermal image acquisition unit 10 is the same as that in the first embodiment.
  • FIG. 14 is a diagram illustrating an example of a preliminary whole pixel map stored in the preliminary whole pixel map storage unit 161.
  • the pre-whole pixel map M is a two-dimensional map that represents the positions of the pixels that are selected as effective pixels at a predetermined time until the latest one-way scanning in the left-right direction is completed.
  • the pixel value m (x, y) is associated with it.
  • x is the vertical position of the pixel
  • y is the horizontal position of the pixel.
  • the pre-total pixel map storage unit 161 stores the number of times each pixel is used as an effective pixel during a predetermined period. By comparing this number of times with a predetermined threshold th3, a pixel position with a high frequency selected as an effective pixel is determined, and a prior entire pixel map M is generated.
  • the predetermined period and the threshold th3 are values that are determined at the time of design, and are values that are appropriately determined through experiments or the like.
  • a plurality of operation modes can be provided in the air conditioner, and different values can be used for each operation mode. Thereby, the characteristic which detects a person can be changed for every driving mode.
  • the position of the effective pixel in the scanning is a pixel position with a high selection frequency.
  • the pre-total pixel weight map generation unit 162 obtains the pre-weight coefficient g2 (x, y) using Equation (4) using the pre-total pixel map M, and calculates the pixel position and the pre-weight coefficient g2 (x, y) of the pixel position. y) is calculated in advance.
  • FIG. 15 is a diagram illustrating an example of the pre-total pixel weight map W2.
  • the pre-whole pixel weight map W2 is a two-dimensional map having a value of 1 or 0.5 in association with the position of each pixel.
  • the pre-whole pixel map storage unit 161 and the pre-whole pixel weight map generation unit 162 generate a pre-weight coefficient that generates a pre-weight coefficient that becomes a larger value as the frequency of pixels selected as effective pixels in the past predetermined period increases.
  • the unit 160 operates as a unit.
  • the pixel weight map generation unit 143 generates the weight value g (x) for all the pixels in the vertical direction at each scanning position y0 in the horizontal direction, as in the first embodiment. Further, using the weight value g (x) and the prior weight coefficient g2 (x, y0) at the scanning position y0, a new weight value g3 (x) is obtained by the following equation (5), and the vertical pixel position x And a pixel weight map W including the weight value g3 (x) of the pixel position. Subsequent operations are the same as those in the first embodiment.
  • the thermal image sensor and the air conditioner according to the present embodiment generate a pre-weighting coefficient generation unit that generates a pre-weighting coefficient that has a larger value as a pixel with a higher frequency selected as an effective pixel in the past predetermined period.
  • the pixel weight calculation unit generates a weight value using a prior weight coefficient.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Radiation Pyrometers (AREA)
  • Air Conditioning Control Device (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

メモリー容量の増大やＣＰＵ能力の強化を必要とすることなく、高精度の人物検知を可能とする熱画像センサ及び空気調和機を得る。直前のステップで全画素から選択された有効画素の温度データを間引き走査部（１２０）で取得し、有効画素に対する人らしさを人らしさ生成部（１３０）で生成し、有効画素に対する人らしさから全画素に対する重み値を画素重み算出部（１４０）で生成し、重み値の大きい画素を次のステップで使用する有効画素として全画素ソート部（１５０）で選択することで、トータルで用いる有効画素数を一定に保ったままで、人がいる可能性の高い領域に動的に有効な画素を割り当てることを特徴とする熱画像センサ及び空気調和機。

Description

熱画像センサ及び空気調和機
　この発明は、部屋の中にいる人の個々の部位、姿勢等、高度な人検知を可能とする熱画像センサ及び空気調和機に関するものである。
　従来の熱画像センサは、垂直方向に配置されたサーモパイルからなり、この鉛直状センサを左から右、右から左へと一定周期で走査することで部屋の全体熱画像を取得する。この際、熱画像センサは、初期起動時に部屋全体の熱画像を取得し、これを背景熱画像として保存し、以降、新たに全体熱画像が得られる度に全体熱画像と背景熱画像との差分を計算し、差分値が人体検知閾値以上の値を保つ場合に該当する画素位置に人がいると判断する（例えば、特許文献１）。
特開２００９－９２２８２号公報
　背景技術の熱画像センサでは、安価なサーモパイルを垂直に少数並べたセンサを水平方向に走査することで熱画像を生成し、これに画像処理を加える。この結果、低コストが求められる空気調和機において、安価な人物検知を可能としている。この人物検知機能を用いることで、人に積極的に空気を当てる、当てないという空調制御が可能である。しかし、より快適性の高い空気調和機においては、人の顔への直接風を避ける機能、冬期に足元を暖める機能などが求められ、人の部位検知が可能なより高精度の人物検知が必要である。
　背景技術において垂直方向に並べられたサーモパイルの数を増やすことで、この高精度の人物検知は実現可能である。しかし、この素子数の増大による取得データの増大に伴い、データを蓄積、処理するためのメモリー容量の増大と、それを処理するためのＣＰＵ能力の強化とが必要となり、センサの大幅なコストアップを生じるという問題がある。
　本発明は、上記の問題を解決するためになされたものであり、メモリー容量の増大やＣＰＵ能力の強化を必要とすることなく、高精度の人物検知を可能とする熱画像センサ及び空気調和機を得ることを目的とする。
　この発明における熱画像センサ及び空気調和機は、所定方向に配列される画素毎に温度データを取得する熱画像取得部を所定方向と垂直な方向に１ステップ単位で走査し、各ステップで取得した１次元の熱画像を合成して２次元の熱画像を取得する熱画像センサであって、有効画素として熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、１ステップの走査を行って有効画素の温度データを取得する走査部と、人が存在する可能性を表す人らしさと温度データとの関係を用いて有効画素に対して人らしさを求める人らしさ生成部と、有効画素からの各画素の相対位置と人らしさとから全画素に対して重み値を生成する画素重み算出部と、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部とを備えるものである。
　この発明によれば、メモリー容量の増大やＣＰＵ能力の強化を必要とすることなく、高精度の人物検知が可能となる。
本発明の実施の形態１による熱画像センサを搭載する空気調和機の全体構成の一例を示す説明図である。 本発明の実施の形態１による熱画像センサの構成の一例を示す説明図である。 本発明の実施の形態１による熱画像取得部において２次元の熱画像を取得する基本動作を説明する図である。 本発明の実施の形態１による制御部の動作を説明するための図である。 本発明の実施の形態１による均等配置部で決定される有効画素を説明するための図である。 本発明の実施の形態１による間引き走査部で得られる熱画像を説明するための図である。 本発明の実施の形態１による人らしさ関数記憶部に記憶される人らしさ関数の一例である。 本発明の実施の形態１による人らしさ算出部で求められる人らしさｓを説明するための図である。 本発明の実施の形態１による人らしさマップＤの構成例を説明するための図である。 本発明の実施の形態１による重み関数ｗ（ｘ）の一例を示す図である。 本発明の実施の形態１による画素重みマップＷを説明するための図である。 本発明の実施の形態１による動的有効画素配置を視覚的に説明するためのイメージ図である。 本発明の実施の形態２による熱画像センサが備える制御部の動作を説明するための図である。 本発明の実施の形態２による事前全体画素マップ記憶部が記憶する事前全体画素マップの一例を示す図である。 本発明の実施の形態２による事前全体画素重みマップＷ２の一例を示す図である。
実施の形態１．
　図１は、本発明の実施の形態１による熱画像センサを搭載する空気調和機の全体構成の一例を示す説明図である。空気調和機１は、室内機１２および室外機１３で構成される。また、室内機１２は熱画像センサ１１を備える。
　図２は、熱画像センサ１１の構成の一例を示す説明図である。熱画像センサ１１は、熱画像取得部１０と制御部１４を備える。熱画像取得部１０は、例えば垂直方向に配置されたサーモパイルを備え、１次元の熱画像を取得可能である。図に示す例では、Ｎ画素（Ｎは自然数）の１次元の熱画像を取得できる。この鉛直状センサを左から右、右から左へと一定周期で走査することで、部屋の熱画像を２次元画像として取得する。制御部１４は、走査を含む熱画像取得部１０における熱画像の取得を制御する。熱画像取得部１０における各画素の位置は、図に示すように上から下方向に定義し、一番上の画素の位置を１、一番下の画素の位置をＮとする。なお、本実施の形態において、所定方向として上下方向に画素が配列された熱画像取得部１０を所定方向と垂直な左右方向に走査する場合について説明するが、これに限定されるものではなく、例えば左右方向に画素が配列され、上下方向に走査するように構成することもできる。
　図３は、熱画像取得部１０において２次元の熱画像を取得する基本動作を説明する図である。熱画像取得部１０では、垂直方向の１次元の熱画像である垂直方向熱画像２１が時分割で取得される。熱画像を取得する位置を水平方向に走査し、各位置で取得した熱画像を合成することで部屋全体の２次元の熱画像である全体部屋熱画像２２を生成する。例えば、時間ｔ０では、垂直方向熱画像２１ａが垂直方向熱画像２１として取得される。また、時間ｔ１では、垂直方向熱画像２１ｂが垂直方向熱画像２１として取得される。また、時間ｔｎでは、垂直方向熱画像２１ｎが垂直方向熱画像２１として取得される。熱画像取得部１０は、熱画像を取得する位置を左右に走査し、それぞれの水平位置で垂直方向熱画像２１を取得する。熱画像取得部１０は、取得した複数の垂直方向熱画像２１を合成して、全体部屋熱画像２２を生成する。水平方向の走査は、例えばサーモパイルをステッピングモータで駆動することで実現できる。
　図４は、制御部１４の動作を説明するための図である。制御部１４は、均等配置部１１１において、熱画像取得部１０が備える垂直方向の全画素から、空気調和機１において許容される使用リソース（＝使用可能な画素数）に応じて、熱画像の取得に使用する有効画素を決定し、各有効画素を特定するための有効画素インデックスｉを生成する。ここで、有効画素の数は全画素の数より少なくなる。有効画素インデックスｉに対応する有効画素の位置ｘｉは、熱画像取得部１０が備える全画素数をＮｓ、決定された有効画素の数をＮｍａｘとした時に、下記の式（１）で求められる。この時、有効画素インデックスｉは１からＮｍａｘの整数となる。
Figure JPOXMLDOC01-appb-M000001
　図５は、均等配置部１１１で決定される有効画素を説明するための図である。図において、四角はそれぞれ画素を表している。また、図において、有効画素をＰｅで表しグレイで塗りつぶしている。さらに、図に示すＳ１は、熱画像を取得する際の走査方向を表す。図の例では、熱画像取得部１０が備える全画素数は、有効画素数の２倍となっている。この均等配置された有効画素インデックスｉに対応する有効画素を初期有効画素、初期有効画素の位置ｘｉを初期有効画素位置とする。均等配置部１１１は、有効画素インデックスおよび初期有効画素位置を出力する。
　なお、本実施の形態において、均等配置部１１１は初期有効画素の配置を決定する初期配置部として機能する。初期有効画素は均等配置部１１１において全画素に均等に配置されるものとしたが、必ずしも完全に均等である必要はなく、人が検知される可能性が高いと思われる領域に多く配置されるような初期配置としてもよい。
　次に、有効画素選択部１１２は、有効画素選択フラグの値が０の場合には、均等配置部１１１で決定された初期有効画素位置を選択して出力する。有効画素選択フラグの値が１の場合には、後に説明する有効画素決定部１５２で決定された検知有効画素位置を選択して出力する。有効画素選択フラグの初期設定時の値は０であり、最初の動作では均等配置部１１１で決定された初期有効画素位置が選択される。均等配置部１１１及び有効画素選択部１１２が、全画素から選択された有効画素の位置を出力する有効画素出力部１１０として動作する。
　走査部である間引き走査部１２０は、有効画素選択部１１２で選択された有効画素位置で定義された有効画素のみを使って、左右方向の１ステップの熱画像走査を行い、有効画素の温度データを取得する。熱画像走査の最小単位を１ステップとし、熱画像を取得する位置を１ステップ分変化させ、熱画像を取得する。水平方向の１ステップの熱画像走査を終えると、各有効画素が取得した温度データである１次元の熱画像が得られる。
　図６は、間引き走査部１２０で得られる熱画像を説明するための図である。熱画像は有効画素インデックスｉと対応する各有効画素で得られた温度データＤｔで構成される。温度データＤｔは、例えば、摂氏度で表される。間引き走査部１２０で得られる熱画像の画素数はＮｍａｘとなる。
　人らしさ関数記憶部１３１は、予め設定される人らしさ関数を記憶する。人らしさ算出部１３２は、人らしさ関数を使って間引き走査部１２０で取得された熱画像の各有効画素の値を人らしさｓに変換する。人らしさ関数記憶部１３１及び人らしさ算出部１３２が、有効画素に対して人らしさを求める人らしさ生成部１３０として動作する。
　図７は、人らしさ関数記憶部１３１に記憶される人らしさ関数の一例である。人らしさ関数は、取得した温度データＤｔと人らしさｓの関係を表す。人らしさとは、対応する画素の位置に人物が存在する可能性を見積もるための指標であり、０から１の範囲で値が大きいほど人物が存在する可能性が高くなるように設定する。人の輻射熱は、計測部位にもよるが、およそ２７度近辺である。ただし、有効画素の部分的な領域のみに人物が存在する場合、また着衣により輻射熱の減衰が起きる場合を考慮し、低温度側でも人らしさを持つように設定する。なお、人らしさ関数は、数式によって定義することもでき、テーブル形式で定義することもできる。図７において、Ｐ１は人物が存在する画素であり、Ｐ２は画素中の一部にのみ人物が存在する画素である。Ｐ２は部分適合画素と呼ばれ、人らしさｓは、画素中に人物が占める割合によって決まり、０と１との間の値となる。
　図８は、人らしさ算出部１３２で求められる人らしさｓを説明するための図である。人らしさｓは、有効画素インデックスｉに対応付けられて生成される。なお、図８で示す人らしさｓは、図６の熱画像に図７の人らしさ関数を適用した場合の例である。
　人らしさ関数を用いて得られた各有効画素の人らしさｓは、人らしさ評価部１４１において、人らしさの閾値ｔｈ１を用いた値の大小判断により人の有無を示す人フラグｆ（ｉ）が計算される。人らしさｓが閾値ｔｈ１より大きい場合は人がいると判断し１、閾値ｔｈ１より小さい場合は人がいないとして０という人フラグｆ（ｉ）が算出される。人らしさマップ生成部１４２では、有効画素インデックスｉと人フラグｆ（ｉ）とからなる人らしさマップＤが生成される。
　図９は、人らしさマップＤの構成例を説明するための図である。人らしさマップＤは、有効画素インデックスｉとその有効画素における人フラグｆ（ｉ）を対応付ける構成となる。なお、図９で示す人らしさマップＤは、図８の人らしさｓに対して、人らしさの閾値ｔｈ１を０．３とした場合の例である。人らしさの閾値ｔｈ１は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。
　なお、本実施の形態において人らしさマップＤは、有効画素インデックスｉとその有効画素における人フラグｆ（ｉ）を対応付ける構成としたが、これに限定されるものではなく、例えば、有効画素インデックスｉとその有効画素における人らしさｓを対応付ける構成とすることもできる。この場合には、対応する有効画素に人が存在する可能性が２値ではなく、より多段階の値で表されることになる。また、この場合には、人らしさ評価部１４１における人フラグｆ（ｉ）を算出する処理は不要となる。すなわち、人らしさマップＤは、有効画素のそれぞれにおいて人が存在する可能性を数値的に表すものであればよい。
　次に、画素重みマップ生成部１４３は、式（２）で定義される重み関数ｗ（ｘ）、有効画素インデックスｉ、有効画素インデックスｉに対応する有効画素の位置ｘｉ及び人フラグｆ（ｉ）とから式（３）で重み値ｇ（ｘ）を求め、画素位置ｘと当該画素位置の重み値ｇ（ｘ）とからなる画素重みマップＷを生成する。式（３）によって、有効画素のみに対して求められた人フラグから、有効画素以外も含む全画素に対して重み値を生成している。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　図１０は、重み関数ｗ（ｘ）の一例を示す図である。重み関数ｗ（ｘ）は、基準となる画素位置からの相対的な画素位置ｘにおける重み係数を規定しており、基準となる画素位置から遠くなるほど重み係数は小さくなる。なお、式（３）では、有効画素の位置ｘｉを基準とした相対的な画素位置を（ｘ－ｘｉ）で表している。
　図１１は、画素重みマップＷを説明するための図である。画素重みマップＷは、熱画像取得部１０が備える全画素の画素位置ｘとその画素位置における重み値ｇ（ｘ）を対応付ける構成となっている。
　以上、人らしさ評価部１４１、人らしさマップ生成部１４２、及び画素重みマップ生成部１４３が、有効画素からの各画素の位置と人らしさとから全画素に対して重み値を生成する画素重み算出部１４０として機能する。
　マップソート部１５１は、画素重みマップＷにおける重み値ｇ（ｘ）の総和と所定の閾値ｔｈ２との大小を比較し、比較結果に応じて有効画素選択フラグの値を設定する。重み値ｇ（ｘ）の総和が閾値ｔｈ２より大きい場合には有効画素選択フラグを１とし、重み値ｇ（ｘ）の総和が閾値ｔｈ２以下の場合には有効画素選択フラグを初期設定時の値である０とする。閾値ｔｈ２は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。
　また、マップソート部１５１は、画素重みマップＷを下記条件１、条件２の順の条件でソートし、有効画素マップＷ’を生成する。なお、条件２は、人の足元よりも頭部に重点を置いた検知とするためのものであるが、必須の条件ではない。条件２を加えることで、風に対して敏感な顔や頭部をより高精度に検出可能となる。
条件１：重み値ｇ（ｘ）が大きい
条件２：画素位置ｘが小さい（上方の画素を優先する）
　次に、有効画素決定部１５２は、有効画素マップＷ’を用いて使用可能なリソースで決まる有効画素数であるＮｍａｘ個の画素を有効画素マップＷ’の並び順に選択し、これを次の走査に用いる有効画素である検知有効画素として決定し、有効画素インデックスと対応する有効画素の画素位置を出力する。
　以上、マップソート部１５１及び有効画素決定部１５２が、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部１５０として機能する。
　上述の通り、有効画素選択部１１２は、有効画素選択フラグの値が０の場合には、均等配置部１１１で決定された初期有効画素位置を選択して出力し、有効画素選択フラグの値が１の場合には、後に説明する有効画素決定部１５２で決定された検知有効画素位置を選択して出力する。
　選択された画素位置の有効画素を用いて、間引き走査部１２０は次の左右方向の１ステップスキャンを行う。以降、水平走査が左右いずれかの端に達するまで、人らしさ算出部１３２、人らしさ評価部１４１、人らしさマップ生成部１４２、画素重みマップ生成部１４３、マップソート部１５１、有効画素決定部１５２の処理を繰り返す。水平走査が左右いずれかの端に達すると、制御部１４は有効画素選択フラグを初期設定時の値である０に設定し、均等配置部１１１からの動作を再度開始する。この際、走査を行う位置も一旦リセットされる。
　このように人がいる可能性の高い画素位置に優先して画素を振り分けることで、人のいるところに集中した動的有効画素配置を行う。水平走査が左右いずれかの端に達すると、人がいる可能性の高い画素位置に優先して画素を振り分けられた２次元の熱画像が生成される。
　なお、水平走査が左右いずれかの端に達した後に、その位置から続けて逆方向に水平走査を行う場合、例えば右方向への水平走査の後に右端から左方向への水平走査を続けるような場合には、走査する位置は近接しているので、最初の１ステップの走査時に有効画素選択フラグを必ずしも初期設定時の値である０に設定する必要はない。一方、水平走査が左右いずれかの端に達した後に、走査位置を一旦リセットしてから同方向に水平走査を行う場合、例えば右方向への水平走査の後に走査位置を一旦左端に戻してから右方向への水平走査を再開するような場合には、走査する位置は近接しないので、最初の１ステップの走査時に有効画素選択フラグを初期設定時の値である０に設定することが望ましい。本実施の形態の熱画像センサでは、水平走査が左右いずれかの端に達した後に、走査位置を一旦リセットしてから同方向に水平走査を行う構成としたが、これに限定されるものではない。
　図１２は、動的有効画素配置を視覚的に説明するためのイメージ図である。図において、四角は画素を表し、そのうちグレイで塗りつぶされた画素が動的に割り当てられた有効画素を表す。図のように人がいる可能性の高い領域に多くの有効画素を割り当てるため、分解能の高い熱画像の取得が可能となり、部位検知まで可能な高精度の人検知が可能となる。以上のように動的有効画素配置による熱画像が熱画像センサから得られる。なお、得られた熱画像において、有効画素以外の画素については温度データが取得されていないので、予め決められた値とすることによって、有効画素で取得された温度データと識別可能とすることができる。
　本実施の形態の熱画像センサは、水平走査の最初の１ステップ走査時には、使用可能なリソースから決まる使用可能な画素数に応じて、垂直方向で全画素から均等に間引いた有効画素を決めておき、この有効画素のみを用いて熱画像の垂直方向の１ステップのデータ取得を行う。熱画像センサは、別途、人の輻射熱モデルに基づく温度データと人らしさを対応付けたデータベースである人らしさ関数記憶部を有しており、水平方向の１ステップ走査が終了した際に、有効画素の検出温度データから人らしさを算出し、その人らしさを閾値処理することで、有効画素位置に人がいるかどうかを判定し、人のいる部分に多くの有効画素が含まれるように重み付けを行い、有効画素の再配置を行って次のステップで使用する。
　この結果、トータルで用いる有効画素数を一定に保ったままで、人がいる可能性の高い領域に動的に有効な画素を多く割り当てられるので、低画素時と同様のリソースで、高精度の人検知が可能となる。本熱画像センサを適用することにより、例えば人の顔や手足の位置などが検出でき、人の顔を避けて送風したり、足元を重点的に暖めたりするなどの機能を有する空気調和機が実現可能となる。
　以上のように、この発明における熱画像センサ及び空気調和機は、上下方向に配列される画素毎に温度データを取得する熱画像取得部を左右方向に１ステップ単位で走査し、各ステップで取得した１次元の熱画像を合成して２次元の熱画像を取得する熱画像センサであって、有効画素として熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、１ステップの走査を行って有効画素の温度データを取得する走査部と、人が存在する可能性を表す人らしさと温度データとの関係を用いて有効画素に対して人らしさを求める人らしさ生成部と、有効画素からの各画素の相対位置と人らしさとから全画素に対して重み値を生成する画素重み算出部と、重み値が大きい順に全画素から次のステップで使用される検知有効画素を選択する全画素ソート部とを備えるので、メモリー容量の増大やＣＰＵ能力の強化を必要とすることなく、高精度の人物検知が可能となる。
実施の形態２
　図１３は、本発明の実施の形態２による熱画像センサが備える制御部１４の動作を説明するための図であり、画素重みマップ生成部１４３の動作と、事前全体画素マップ記憶部１６１及び事前全体画素重みマップ生成部１６２からなる事前重み係数生成部１６０を有する点が実施の形態１におけるものと異なる。なお、本実施の形態の熱画像センサの構成は、前記実施の形態１におけるものと同様であり、熱画像取得部１０と制御部１４を備える。熱画像取得部１０は、前記実施の形態１におけるものと同様である。
　図１４は、事前全体画素マップ記憶部１６１が記憶する事前全体画素マップの一例を示す図である。事前全体画素マップＭは、最新の左右方向の片道走査が終了した時点までの所定時間において、有効画素として選択された頻度の高い画素の位置を表す２次元のマップであり、各画素の位置と画素値ｍ（ｘ，ｙ）とを対応付けたものである。有効画素として選択された頻度の高い画素はｍ（ｘ、ｙ）＝１、それ以外の画素はｍ（ｘ，ｙ）＝０の値を持つ。ここで、ｘは画素の上下方向の位置、ｙは画素の左右方向の位置である。
　事前全体画素マップ記憶部１６１は、所定期間に各画素が有効画素として使用された回数を記憶している。この回数を所定の閾値ｔｈ３と比較することで、有効画素として選択された頻度の高い画素位置を判定し、事前全体画素マップＭを生成する。所定期間および閾値ｔｈ３は設計の際に決定する値であり、実験などによって適宜決定される値である。空気調和機において複数の運転モードを設け、運転モード毎に違う値を用いることもできる。これにより人を検知する特性を運転モード毎に変えることができる。所定期間として直前の片道走査期間のみを設定する場合には、当該走査における有効画素の位置が選択頻度の高い画素位置となる。
　事前全体画素重みマップ生成部１６２は、事前全体画素マップＭを用いて、式（４）で事前重み係数ｇ２（ｘ，ｙ）を求め、画素位置と当該画素位置の事前重み係数ｇ２（ｘ，ｙ）とからなる事前全体画素重みマップＷ２を計算する。
Figure JPOXMLDOC01-appb-M000004
　図１５は、事前全体画素重みマップＷ２の一例を示す図である。事前全体画素重みマップＷ２は、各画素の位置に対応付けて１または０．５の値を持つ２次元のマップである。以上、事前全体画素マップ記憶部１６１及び事前全体画素重みマップ生成部１６２が、過去の所定期間に有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部１６０として動作する。
　画素重みマップ生成部１４３は、上述の実施の形態１におけるものと同様に、左右方向の各走査位置ｙ０において上下方向の全画素に対する重み値ｇ（ｘ）を生成する。さらに、重み値ｇ（ｘ）と走査位置ｙ０における事前重み係数ｇ２（ｘ，ｙ０）を用いて、下記の式（５）で新たな重み値ｇ３（ｘ）を求め、上下方向の画素位置ｘと当該画素位置の重み値ｇ３（ｘ）とからなる画素重みマップＷを生成する。以降の動作は実施の形態１におけるものと同様である。
Figure JPOXMLDOC01-appb-M000005
　以上のように、本実施の形態における熱画像センサ及び空気調和機は、過去の所定期間に有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部を備え、画素重み算出部は事前重み係数も用いて重み値を生成する。過去の所定期間における有効画素の選択結果を反映して熱画像を取得する有効画素を決定することで、検出精度が更に向上するという効果が得られる。人の活動範囲には規則性がある場合が多い。例えば、リビングにソファが置かれている場合、ソファの置かれた位置には人が存在する可能性が高い。したがって、過去の選択結果の蓄積を利用することで、人がいる確率がより高い画素位置を優先して熱画像取得が可能となり、検出精度が更に向上する。また、上記実施の形態１におけるものと同様の効果も有する。
　１　空気調和機、１０　熱画像取得部、１１　熱画像センサ、１２　室内機、１３　室外機、１４　制御部、２１、２１ａ、２１ｂ、２１ｎ　垂直方向熱画像、２２　全体部屋熱画像、１１０　有効画素出力部、１１１　均等配置部、１１２　有効画素選択部、１２０　間引き走査部、１３０　人らしさ生成部、１３１　人らしさ関数記憶部、１３２　人らしさ算出部、１４０　画素重み算出部、１４１　人らしさ評価部、１４２　人らしさマップ生成部、１４３　画素重みマップ生成部、１５０　全画素ソート部、１５１　マップソート部、１５２　有効画素決定部、１６０　事前重み係数生成部、１６１　事前全体画素マップ記憶部、１６２　事前全体画素重みマップ生成部。

Claims (10)

  1. 　所定方向に配列される画素毎に温度データを取得する熱画像取得部を前記所定方向と垂直な方向に１ステップ単位で走査し、各ステップで取得した１次元の熱画像を合成して２次元の前記熱画像を取得する熱画像センサであって、
    　有効画素として前記熱画像取得部が備える全画素から直前のステップで選択された検知有効画素の位置を出力する有効画素出力部と、
    　１ステップの前記走査を行って前記有効画素の前記温度データを取得する走査部と、
    　人が存在する可能性を表す人らしさと前記温度データとの関係を用いて前記有効画素に対して前記人らしさを求める人らしさ生成部と、
    　前記有効画素からの各画素の相対位置と前記人らしさとから前記全画素に対して重み値を生成する画素重み算出部と、
    　前記重み値が大きい順に前記全画素から次のステップで使用される前記検知有効画素を選択する全画素ソート部と
    　を備えることを特徴とする熱画像センサ。
  2. 　前記人らしさ生成部は、
    　前記人らしさと前記温度データとの関係を表す人らしさ関数を記憶する人らしさ関数記憶部と、
    　前記有効画素の前記温度データと前記人らしさ関数とを用いて前記有効画素に対して前記人らしさを求める人らしさ算出部と
    　を備えることを特徴とする請求項１に記載の熱画像センサ。
  3. 　前記人らしさ関数記憶部は、
    　前記人らしさと前記温度データとの関係をテーブル形式で記憶する
    　ことを特徴とする請求項２に記載の熱画像センサ。
  4. 　過去の所定期間に前記有効画素として選択された頻度の高い画素ほど大きな値となる事前重み係数を生成する事前重み係数生成部を備え、
    　前記画素重み算出部は、
    　前記事前重み係数も用いて前記重み値を生成する
    　ことを特徴とする請求項１から請求項３のいずれか１項に記載の熱画像センサ。
  5. 　前記所定方向は上下方向であり、
    　前記全画素ソート部は、
    　前記重み値が同じ値の場合には、上方に位置する画素から順に選択する
    　ことを特徴とする請求項１から４のいずれか１項に記載の熱画像センサ。
  6. 　前記有効画素出力部は、
    　前記全画素から初期有効画素を所定の初期配置となるように選択する初期配置部と、
    　初期設定時には前記初期有効画素を有効画素として出力し、初期設定時以外には前記検知有効画素を有効画素として出力する有効画素選択部と
    　を備えることを特徴とする請求項１から請求項５のいずれか１項に記載の熱画像センサ。
  7. 　前記初期配置部は、
    　前記初期有効画素を前記全画素中に均等に配置するように選択する均等配置部である
    　ことを特徴とする請求項６に記載の熱画像センサ。
  8. 　前記重み値の総和が所定の閾値以下の場合には、前記初期設定となることを特徴とする請求項６又は請求項７に記載の熱画像センサ。
  9. 　前記走査の最初の１ステップの走査時には、前記初期設定となることを特徴とする請求項６から請求項８のいずれか１項に記載の熱画像センサ。
  10. 　請求項１から請求項９のいずれか１項に記載の熱画像センサを備えた空気調和機。
PCT/JP2014/004249 2013-08-28 2014-08-20 熱画像センサ及び空気調和機 WO2015029378A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015533976A JP6067124B2 (ja) 2013-08-28 2014-08-20 熱画像センサ及び空気調和機
CN201480047210.4A CN105492880B (zh) 2013-08-28 2014-08-20 热图像传感器以及空气调节机
US14/911,393 US9696053B2 (en) 2013-08-28 2014-08-20 Thermal image sensor and air conditioner
EP14841001.2A EP3040697A4 (en) 2013-08-28 2014-08-20 Thermal image sensor and air conditioner
HK16107122.8A HK1219127A1 (zh) 2013-08-28 2016-06-21 熱圖像傳感器以及空氣調節機

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013176948 2013-08-28
JP2013-176948 2013-08-28

Publications (1)

Publication Number Publication Date
WO2015029378A1 true WO2015029378A1 (ja) 2015-03-05

Family

ID=52585970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004249 WO2015029378A1 (ja) 2013-08-28 2014-08-20 熱画像センサ及び空気調和機

Country Status (6)

Country Link
US (1) US9696053B2 (ja)
EP (1) EP3040697A4 (ja)
JP (1) JP6067124B2 (ja)
CN (1) CN105492880B (ja)
HK (1) HK1219127A1 (ja)
WO (1) WO2015029378A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115708A1 (en) * 2015-03-23 2017-01-11 Mitsubishi Electric Corporation Air conditioner
WO2021106322A1 (ja) * 2019-11-27 2021-06-03 パナソニックＩｐマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6567511B2 (ja) * 2014-05-27 2019-08-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 空気調和装置が実行するセンサの制御方法
JP6505514B2 (ja) * 2015-06-10 2019-04-24 パナソニック株式会社 空気調和機、センサシステムおよびその温冷感推定方法
CN106989493A (zh) * 2017-03-31 2017-07-28 深圳市源畅通科技有限公司 一种室内环境自行调控系统
US11164441B2 (en) * 2017-06-12 2021-11-02 Temperature Gate Ip Holdings Llc Rapid thermal dynamic image capture devices with increased recognition and monitoring capacity
US11288297B2 (en) * 2017-11-29 2022-03-29 Oracle International Corporation Explicit semantic analysis-based large-scale classification
US10438477B1 (en) * 2018-03-16 2019-10-08 Sean Michael Siembab Surrounding intelligent motion sensor
US10867506B2 (en) * 2018-03-16 2020-12-15 Sean Michael Siembab Surrounding intelligent motion sensor with adaptive recognition
US10775174B2 (en) 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371025A (ja) * 1989-08-10 1991-03-26 Daikin Ind Ltd 輻射温度検知装置
JPH10142349A (ja) * 1996-11-12 1998-05-29 Matsushita Electric Ind Co Ltd 赤外線検出器
JP2009092282A (ja) 2007-10-05 2009-04-30 Mitsubishi Electric Corp 空気調和機
JP2010159887A (ja) * 2009-01-06 2010-07-22 Mitsubishi Electric Corp 空気調和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1517133A (en) * 1977-01-27 1978-07-12 Daedalus Enterprises Inc Mobile infrared apparatus for mapping thermal variations and method employing same
JPS58180918A (ja) * 1982-04-16 1983-10-22 Mitsubishi Electric Corp 赤外線監視装置
FR2599920B1 (fr) * 1985-08-02 1988-12-09 Trt Telecom Radio Electr Procede d'entrelacement electronique pour camera thermique a balayage horizontal
DE3712865A1 (de) * 1987-04-15 1988-11-03 Licentia Gmbh Verfahren zur entdeckung bewegter ziele mittels einer optronischen bildaufnahmevorrichtung
JPH0298965A (ja) * 1988-10-05 1990-04-11 Fujitsu Ltd 多素子赤外線検知センサ
JPH06160507A (ja) * 1992-09-24 1994-06-07 Matsushita Electric Ind Co Ltd 人存在状況判定装置
US5519426A (en) * 1993-11-01 1996-05-21 Lasermaster Corporation Method for controlling a thermal printer to increase resolution
JPH09287913A (ja) 1996-04-19 1997-11-04 Matsushita Electric Ind Co Ltd 物体位置検出装置、人体検出方法
JP3982038B2 (ja) * 1998-01-09 2007-09-26 株式会社デンソー 車両用ドアロックシステム
JP3823506B2 (ja) * 1998-01-09 2006-09-20 株式会社デンソー 車両用盗難防止装置
US6867851B2 (en) * 1999-11-04 2005-03-15 Regents Of The University Of Minnesota Scanning of biological samples
US7176969B2 (en) * 2001-12-13 2007-02-13 International Business Machines Corporation System and method for anti-moire imaging in a one dimensional sensor array
JP2005017184A (ja) * 2003-06-27 2005-01-20 Daikin Ind Ltd 赤外線測定装置及びそれを備えた空気調和装置
US7884816B2 (en) * 2006-02-15 2011-02-08 Prysm, Inc. Correcting pyramidal error of polygon scanner in scanning beam display systems
EP2060857B1 (en) * 2006-09-07 2019-01-09 Mitsubishi Electric Corporation Air conditioner
JP5404548B2 (ja) * 2010-07-26 2014-02-05 三菱電機株式会社 空気調和機
US9699422B2 (en) * 2011-10-04 2017-07-04 Prysm, Inc. Composite and other phosphor materials for emitting visible light and applications in generation of visible light including light-emitting screens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0371025A (ja) * 1989-08-10 1991-03-26 Daikin Ind Ltd 輻射温度検知装置
JPH10142349A (ja) * 1996-11-12 1998-05-29 Matsushita Electric Ind Co Ltd 赤外線検出器
JP2009092282A (ja) 2007-10-05 2009-04-30 Mitsubishi Electric Corp 空気調和機
JP2010159887A (ja) * 2009-01-06 2010-07-22 Mitsubishi Electric Corp 空気調和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3040697A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3115708A1 (en) * 2015-03-23 2017-01-11 Mitsubishi Electric Corporation Air conditioner
EP3115708A4 (en) * 2015-03-23 2017-05-17 Mitsubishi Electric Corporation Air conditioner
JPWO2016151739A1 (ja) * 2015-03-23 2017-07-13 三菱電機株式会社 空気調和機
CN107407489A (zh) * 2015-03-23 2017-11-28 三菱电机株式会社 空气调节机
US10465934B2 (en) 2015-03-23 2019-11-05 Mitsubishi Electric Corporation Air conditioner
WO2021106322A1 (ja) * 2019-11-27 2021-06-03 パナソニックＩｐマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム
JPWO2021106322A1 (ja) * 2019-11-27 2021-06-03
JP7373777B2 (ja) 2019-11-27 2023-11-06 パナソニックＩｐマネジメント株式会社 赤外線処理システム、赤外線センサシステム、赤外線処理方法、及び、プログラム

Also Published As

Publication number Publication date
US20160187022A1 (en) 2016-06-30
CN105492880A (zh) 2016-04-13
JPWO2015029378A1 (ja) 2017-03-02
EP3040697A4 (en) 2017-07-19
US9696053B2 (en) 2017-07-04
CN105492880B (zh) 2018-09-07
HK1219127A1 (zh) 2017-03-24
EP3040697A1 (en) 2016-07-06
JP6067124B2 (ja) 2017-01-25

Similar Documents

Publication Publication Date Title
JP6067124B2 (ja) 熱画像センサ及び空気調和機
JP5277804B2 (ja) 指紋認証装置、指紋認証プログラムおよび指紋認証方法
CN106446800B (zh) 牙齿识别方法、装置及系统
CN110199296A (zh) 人脸识别方法、处理芯片以及电子设备
JP2017015384A (ja) 空調制御装置
CN106469288A (zh) 一种提示方法及终端
JP2014170488A (ja) 推定顔生成装置、顔照合装置、推定顔生成方法及び推定顔生成プログラム
CN109493292B (zh) 基于电力设备红外测温图像的增强处理方法和装置
JPWO2017029762A1 (ja) 空気調和機
JP2018032243A (ja) 情報処理装置及びプログラム
JP2016208408A (ja) 検出方法、検出装置および制御方法
JP6020036B2 (ja) 情報処理装置、情報処理システム、およびプログラム
US9159120B2 (en) Image processing apparatus, image processing method, and storage medium
JP2016051302A5 (ja)
KR20190042493A (ko) 식별가능한 얼굴 편차를 처리하기 위한 얼굴 교정 디자인 및 애플리케이션 프로토콜을 자동으로 생성하는 시스템 및 방법
WO2022004777A1 (ja) 温度分布学習装置
Wong et al. A study of different unwarping methods for omnidirectional imaging
JP2011221840A (ja) 画像処理装置
TWI280515B (en) Mesh simplification methods, storage media and systems
CN110569943B (zh) 一种基于三维码的优化方法及系统
JP6671135B2 (ja) 部屋用途評価装置、部屋用途評価方法及び部屋用途評価プログラム
JP4380308B2 (ja) 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体
JP5337748B2 (ja) 情報処理装置および情報処理プログラム
CN113280926B (zh) 一种测温方法及测温设备
TW201324384A (zh) 指紋識別裝置及其指紋識別方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480047210.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14841001

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533976

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14911393

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014841001

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014841001

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE