WO2020260328A1 - Verfahren und vorrichtung zum bestimmen einer thermischen behaglichkeit - Google Patents

Verfahren und vorrichtung zum bestimmen einer thermischen behaglichkeit Download PDF

Info

Publication number
WO2020260328A1
WO2020260328A1 PCT/EP2020/067581 EP2020067581W WO2020260328A1 WO 2020260328 A1 WO2020260328 A1 WO 2020260328A1 EP 2020067581 W EP2020067581 W EP 2020067581W WO 2020260328 A1 WO2020260328 A1 WO 2020260328A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
thermal
area
determining
Prior art date
Application number
PCT/EP2020/067581
Other languages
English (en)
French (fr)
Inventor
Foti COLECA
Sebastian LOEW
Original Assignee
Gestigon Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gestigon Gmbh filed Critical Gestigon Gmbh
Publication of WO2020260328A1 publication Critical patent/WO2020260328A1/de

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the present invention relates to a method and a device for determining thermal comfort.
  • the invention also relates, based on this, to a method and a device for controlling automatic air conditioning of a room area suitable for accommodating a person, such as a passenger area of a vehicle.
  • thermal comfort While in the past the air conditioning of rooms was often controlled manually, for example by means of a controller to set a room temperature, air conditioning systems are now known in which they are set automatically, in particular as a function of one or more sensor-determined input variables. For this purpose it is known in particular to control such air conditioning systems as a function of an input variable referred to as “thermal comfort”.
  • a common standard for determining thermal comfort in the form of a so-called Thermal Comfort Index (TCI) is the ISO standard EN ISO 7730. Thermal comfort or the TCI describe human well-being as a function of temperature. Examples of TCIs according to this standard are the PMV (Predicted Mean Vote) index and the PPD (Predicted Percentage of Dissatisfied) index.
  • thermal comfort is defined as a function of several parameters, all of which are independent of one another and can be changed. It can be determined in particular by the following main influencing variables: room air temperature, mean internal surface temperatures of the surfaces surrounding the room, heat dissipation of these surfaces, air speed, relative humidity of the room air. It can also be determined depending on personal parameters, such as their activity, clothing or length of stay in the room.
  • the invention is based on the object of further improving the automatic determination of a person's thermal comfort in a spatial area, in particular with regard to their accuracy and thus reliability. Furthermore, based on this, the invention is based on the object of achieving improved automatic air conditioning of such a room area for the purpose of optimizing the thermal comfort of one or more people in the room area.
  • the solution to this problem is achieved in accordance with the teaching of the independent claims.
  • Various embodiments and developments of the invention are the subject of the subclaims.
  • a first aspect of the invention relates to a method for determining a thermal comfort, in particular a thermal comfort index TCI, with respect to a person located in a certain spatial area, in particular in a passenger area of a vehicle.
  • the method comprises: (i) capturing a three spatial dimensions (3D) depicting 3D image of a first surface area on the surface of the person by means of a 3D image sensor; (ii) capturing a thermal image of a second surface area overlapping with the first surface area in an overlapping area on the surface of the person by means of a thermal image sensor; (iii) applying an image registration transformation to the 3-D image, the thermal image, or both, to match the two images at least in terms of overlap area; (iv) Identifying different body parts of the person imaged in the overlap area by means of corresponding segmentation of the 3D image; (v) assigning in each case at least one thermal value obtained from the thermal image to each of the body parts identified in the 3D image on the basis of the image registration transformation; and (
  • Said vehicle can in particular be a passenger car, a truck or a bus.
  • three-dimensional or “3D” in the context of the invention relates to data models in which the space is mapped in three dimensions.
  • so-called two-and-a-half-dimensional (short: 2.5D) data models should also fall under the term “three-dimensional” or “3D”, in which the third dimension is not fully stored in relation to the 2D position information, but the third dimension is only available as an attribute of the two-dimensionally modeled objects.
  • real 3D data models and 2.5D data models, which is not relevant for the term “3D” in the context of the invention, reference is made to the example of digital elevation models, which generally include the elevation of the terrain is modeled as a function of the location.
  • 3D image sensor is also understood here to mean 2.5D image sensors, such as time-of-flight (TOF) cameras.
  • TOF camera is to be understood in particular as a 3D camera system that measures distances on the basis of a time of flight method (English: time of flight, “TOF”). The measuring principle is based on the fact that the increasing scene is illuminated by means of a light pulse, and the camera measures the time it takes for the light to reach the object and back again for each pixel. This time required is directly proportional to the distance due to the constancy of the speed of light. The camera thus supplies the distance of the object shown on it for each pixel.
  • TOF camera system represents a particularly effective and high-resolution implementation option for a 3D image sensor for use within the scope of the invention.
  • thermo image sensor in the context of the invention is to be understood as a thermographic sensor. Such a sensor is often referred to as a thermal imaging camera.
  • Thermography is an imaging technique used to display the surface temperature of objects. The intensity of the infrared radiation emanating from a point is interpreted as a measure of its temperature.
  • a thermal imaging camera converts infrared radiation, which is invisible to the human eye, into signals, especially electrical signals.
  • An image (“thermal image” or equivalent “thermal image”), for example a false-color image or a grayscale image, can then be generated therefrom, for example by the camera itself or by a downstream data processing device.
  • FIR sensors Fluor Infrared
  • an “image registration transformation” is to be understood as a transformation that serves to match two or more images of the same scene, or at least similar scenes, to one another in the best possible way or at least to an extent sufficient for the required purpose.
  • one of the images is set as a reference image and the at least one other image is referred to as the “object image”.
  • a compensating transformation the image registration transformation, is calculated.
  • several, in particular all, images to be brought into agreement are subjected to a respective image registration transformation.
  • the images to be registered usually differ from one another in particular in that they were recorded from different positions, at different times or with different sensors.
  • segmentation is to be understood in the context of the invention as the generation of content-related regions by combining neighboring pixels or voxels in accordance with a specific criterion of homogeneity.
  • pixels voxels of the 3D image
  • the methods that can basically be used for segmentation include, in particular, “connected component labeling” (an algorithmic application of graph theory in which subsets of connected components of a graph (so-called connected comoonents) are unambiguously classified on the basis of a predetermined heuristic.
  • Cluster processes can in principle be used as segmentation processes.
  • Model-based determination” of an estimated value for thermal comfort is to be understood in the context of the invention as determining, in particular calculating, an estimated value for thermal comfort using a model, for example a mathematical or physical formula or a table of values, wherein the model serves to determine the estimated value as a function of the input variables of the model.
  • the model can in particular be defined by means of a standard such as the ISO standard EN ISO 7730 mentioned above.
  • a “person” is always to be understood as a living person.
  • the invention is explained here in connection with humans as “persons”, it is equally applicable to many other living beings, in particular mammals such as dogs or cats or other pets or farm animals, so that in these cases the term “person” in Within the meaning of the invention also to such other living beings is applicable.
  • the invention can also be used in the context of keeping animals in a stable or cage. Accordingly, a model adapted to the respective type of living being can be used to determine the estimated value for its thermal comfort.
  • the spatial area is captured both by means of at least one 3D image sensor and by means of at least one thermal image sensor, and the correspondingly resulting images are matched in terms of image registration.
  • This makes it possible to assign information from one image to corresponding information from the other image.
  • various body parts of the person depicted in the images can be identified and temperature values can be assigned to them using the corresponding information from the thermal image. This makes it possible, among other things, to draw conclusions about a specific physical activity and clothing of the person, with physical activity and clothing in turn each having an influence on thermal comfort.
  • an improvement in the determination of the thermal comfort can advantageously be achieved since, unlike in known solutions, not only measured values for temperatures, solar radiation or air currents are used as input variables for determining the thermal comfort but also person-specific and partly dynamic input variables, such as their specific clothing, their movements and their surface temperature on different parts of the body.
  • a more precise and optionally also time-dependent estimate of the thermal comfort of people can be achieved.
  • the method further includes determining the image registration transformation, prior to its implementation, on the basis of an image acquired with the 3D image sensor, which in particular is a 3D image or a 2D amplitude image can be, and a thermal image captured by means of the thermal image sensor.
  • Known methods for determining the image registration transformation can be used for this purpose.
  • Such methods can in particular be feature-based methods in which (in the case of two images) two sets of features are extracted from the images to be matched.
  • One set contains the features in the object image, the other the features in the reference image.
  • the features are represented by so-called control points. These can be the features themselves, if the features are points, or endpoints of lines, focal points of regions or the like.
  • the aim of the feature adaptation is then to establish the paired correspondence of the features of the object image with those of the reference image.
  • known area-based methods for determining the image registration transformation are used, in which a so-called template matching is carried out using a cross-correlation function.
  • the method itself thus comprises the steps for determining the image registration transformation, i.e. H. for the geometric calibration of the 3D image and the thermal image, necessary steps, which in particular also allows it to repeatedly, in particular periodically or continuously, perform a recalibration as part of the method for the purpose of obtaining the required accuracy of the image registration.
  • This is particularly helpful when using the method in vehicles, since the accelerations occurring during ferry operations, in particular vibrations, could possibly cause decalibration of the various image sensors over time, which would have a negative impact on the reliability and accuracy of the determination the thermal comfort.
  • the determination of the image registration transformation comprises: (i) Simultaneous acquisition of a surface section of a reference object by means of the 3D image sensor and the thermal image sensor, the surface section of the reference model being divided into delimited areas that differ with regard to both Differentiate between temperature and visual appearance; and (ii) determining the image registration transformation based on an assignment of mutually corresponding image points on the images of the surface section of the reference object captured by the 3D image sensor on the one hand and the thermal sensor on the other.
  • a reference object which in particular is a checkerboard pattern can have, it allows using one and the same reference object to generate the 3D or thermal images required for determining the image registration transformation.
  • the reference object can be designed in such a way that the different delimited areas have different thermal and optical absorption coefficients, so that they heat up at different rates when radiated heating and / or lighting with light in the visible wavelength range, and thus not only visually in the 3D image, but are also thermally distinguishable from one another in the thermal image.
  • the corresponding image points which correspond to one another, in particular at border lines or border points of these delimited areas, can be identified well by means of a suitable image recognition method, for example a so-called “Canny” edge recognition (also known as the Canny algorithm) and / or a “Harris “Corner detection, extract from the images.
  • the method further comprises identifying the person and at least one of the following processes: (i) adapting the model for determining the estimated value or an input value therefor as a function of the identified identity of the person; (ii) Establishing the person's access to configuration options for the method or a system executing the method as a function of the identified identity of the person.
  • the method can be carried out in an individualized manner, which in particular makes it possible to determine the thermal comfort level as a function of information already known in advance about the identified person (in particular user profile).
  • an existing configuration option for the method or the device intended for its execution can be protected from unauthorized use so that only one or more authorized persons can carry out a correspondingly protected configuration.
  • the adaptation of the model for determining the estimated value or an input value therefor can be determined at least partially by recording a user input assigned to the identified person on a human-machine interface.
  • the person could make an input on the human-machine interface with which a higher or lower temperature is requested, so that the model can be adapted accordingly on the basis of this input to a correspondingly lower or lower temperature in the future to provide a higher estimated value for thermal comfort with the same or comparable values for the input variables and thus to implement an individualization of the estimated value determination.
  • the adaptation of the model for determining the estimated value or an input value for it can be carried out at least partially by means of an adaptation method based on machine learning, which is trained by means of at least one of the following measures: (i) one or several user inputs assigned to the identified person on a man-machine interface; (ii) body states or behaviors of the identified person derived from the 3-D image, the thermal image and / or one or more additional sensor values recorded by sensors and assigned to the person or the spatial area.
  • the model can be determined dynamically and / or without complex initial configuration and continuously improved or adapted to circumstances that change over time.
  • artificial neural networks such as convolutional neural networks (CNN), can be used in this context for the purpose of machine learning and modeling.
  • CNN convolutional neural networks
  • the identified person can be assigned a user profile and the model for determining the estimated value or an input value for it can be adapted as a function of personal adaptation information contained in or assigned to the user profile of the identified person.
  • user-related adaptation rates or parameters of the model can be saved by means of a corresponding user profile and retrieved without significant loss of time, which can be used particularly advantageously when the person for whom their thermal comfort is to be determined over time is exchanged, for example when a person leaves the vehicle and instead another person leaves the room area, i. H. here the passenger area of the vehicle enters.
  • their user profile can be used directly in order to immediately parameterize the corresponding model for determining the estimated value without the need for a repeated, in particular time-consuming, initial configuration of the model.
  • the captured 3D image is segmented to identify different body parts of the person using machine learning based segmentation method, which on the basis of a corresponding classification of the pixels of the 3D image in the overlap area classifies it into different image areas.
  • the classification of these image areas each has a class that is assigned to an uncovered body part of a person, a clothed body part of a person or an image background that does not belong to a person.
  • the thermal values assigned to the identified body parts of the person are determined as a function of the assignment of the various image areas and thus identified body parts to this classification.
  • An exemplary segmentation drive of this type is the “Efficient Human Pose Estimation from Single Depth Images” method by Jamie Shotton et al.
  • the method furthermore comprises a sensory detection of a type or material of the person's clothing and the model-based determination of the estimated value for the person's thermal comfort is additionally carried out as a function of the detected type or material of the person's clothing (P ).
  • an associated thermal insulation effect of the clothing can be inferred, for example on the basis of reference data in a corresponding database, and this insulation effect can be represented by means of one or more parameters, the values of which are used in determining the estimated value for the thermal comfort of the person.
  • the accuracy and reliability of the estimated value determination can thus be further increased.
  • a method for determining the clothing of the person can be used that is described in Qiang Chen et.al.
  • the method further comprises: (i) dynamically capturing the 3D image and the thermal image of the person; (ii) recognition of a respective movement state of the body parts identified on the basis of the segmentation by means of a movement recognition algorithm; (iii) Determination of a metabolic rate of the person by means of a metabolic rate model on the basis of the thermal values and recognized movement states respectively assigned to the individual identified body parts.
  • the model-based determination of the estimated value for the thermal comfort of the person takes place as a function of the metabolic rate determined in this way.
  • the accuracy of the determination of the thermal comfort can be further improved, since not only static, but also dynamic information, in particular the state of movement of the person, is taken into account.
  • the accuracy can be increased in particular by taking into account not only a global state of motion of the person but also the individual states of motion of the individual body parts identified on the basis of the segmentation when determining the thermal comfort. This is particularly important because the movement of different body parts has different degrees of influence on the person's thermal comfort. This is mainly due to the fact that, as a rule, different amounts of energy have to be expended to move different parts of the body and thus different amounts of heat are generated in the muscles used for this. The heat generated in turn has an influence on the thermal comfort of the person, which can be taken into account in the model for determining the estimated value.
  • the method further comprises: (i) checking whether a person is in the spatial area by comparing a 3D image of the spatial area captured by means of the 3D image sensor with a thermal image of the spatial area captured by means of the thermal image sensor; and (ii) performing the method steps required to determine the estimated value only if the testing reveals that a person is in the area of the room. In this way, on the one hand, the effort involved in determining the estimated value can be avoided if there are no people at all in the area of the room and thus determining the estimated value is obsolete.
  • a second aspect of the invention relates to a device for determining thermal comfort, in particular a thermal comfort index, with respect to a person located in a certain space, in particular in a passenger area of a vehicle, the device being configured, the method according to the first aspect carry out the invention.
  • the device can in particular be a control device for an air-conditioning device for air-conditioning the room area.
  • “configured” means that the corresponding device is already set up or adjustable - i.e. configurable - is to perform a specific function.
  • the configuration can take place, for example, via a corresponding setting of parameters of a process flow or switches or the like for activating or deactivating functionalities or settings.
  • the device can have several predetermined configurations or operating modes, so that the configuration can take place by means of a selection of one of these configurations or operating modes.
  • a third aspect of the invention relates to a method for controlling automatic air conditioning of a room area suitable for accommodating a person, the method comprising: (i) determining a thermal comfort, in particular a thermal comfort index, with respect to one in the room area, in particular in one Passenger area of a vehicle, person located according to the method according to the first aspect of the invention; and (ii) controlling an air conditioning device for automatic air conditioning of the room area depending on the specific thermal comfort of the person.
  • the determination of the thermal comfort according to the invention can be used directly to automatically carry out an automatic air conditioning of the room area depending on the specific thermal comfort.
  • control can be understood here to mean both controlling and regulating in the sense of the known terms from control and regulation technology.
  • the method is carried out individually for at least two people in the room area.
  • the air conditioning device is controlled in such a way that, depending on the thermal comfort determined for them, an individual air conditioning device effected by the air conditioning device for a part of the room area in which they are each, at least partially, are , is set.
  • an individual air conditioning device effected by the air conditioning device for a part of the room area in which they are each, at least partially, are , is set.
  • individual air conditioning can be achieved in an automatic manner and on the basis of thermal comfort that is determined individually for each person.
  • a different setting for the temperature and amount of air supply can be set on the automatic air-conditioning device via corresponding ventilation slots in the driver and passenger areas.
  • a fourth aspect of the invention relates to a device for controlling automatic air conditioning of a room area suitable for accommodating a person, the device being configured to carry out the method according to the third aspect of the invention.
  • the device according to the second aspect of the invention and / or the device according to the fourth aspect of the invention for personal image capture can have a plurality of 3D image sensors and each have at least one thermal image sensor assigned to the respective 3D image sensor.
  • a person-specific recording of person-related input variables for determining the thermal comfort associated with the respective person can be achieved particularly advantageously and with high image resolution for each person.
  • the device according to the second aspect of the invention and / or the device according to the fourth aspect of the invention has the 3D image sensor or at least one 3D image sensor and the respectively assigned thermal image sensor, with at least one of the thermal image sensors facing one another the Has image resolution of the assigned 3D image sensor of lower image resolution.
  • the complexity of the corresponding device can thus advantageously be reduced without the accuracy of the determination of the estimated value for the thermal comfort having to be impaired, since the difference in resolution, in particular by means of a corresponding image scaling of the thermal image based on the information from the 3D image, can be at least substantially compensated. Since the production or purchase costs for the thermal image sensor generally form a main cost factor in the production of the corresponding device, costs can also be saved in this way.
  • Fig. 1 is a flow chart to illustrate an embodiment of the erfindungsge MAESSEN method for determining the thermal comfort and dependent therefrom control of an automatic air conditioning of the room area, and schematically a corresponding embodiment of a device for performing the method;
  • FIG. 2 shows a flowchart to illustrate an embodiment of the method according to the invention with regard to the determination of a metabolic rate of the person as an input variable in the model for determining the estimated value for the thermal comfort of the person;
  • FIG. 3 shows a flowchart to illustrate an embodiment of the method according to the invention with regard to the identification of the person
  • FIG. 4 shows a representation to illustrate the generation of an input variable which can be used as an input variable to determine the estimated value for thermal comfort and which is used by means of the Method according to the first aspect of the invention obtainable 3D point cloud image for displaying body part-related temperature distributions;
  • Fig. 5 shows an illustration of an exemplary depth image (3D image in which the depth information is represented by different gray values) and a corresponding thermal image of lower resolution and a schematic representation of an initial situation for determining the image registration of both images, according to an embodiment the invention
  • FIG. 6 shows a photographic representation of an exemplary reference object for determining the image registration according to an embodiment of the invention.
  • FIG. 7 shows a schematic representation to illustrate preferred positions of the 3D image sensor and the thermal sensor within a vehicle cockpit.
  • the passenger compartment is used in a step 101 one by means of a 3D image sensor in the form of a TOF camera and the other in a parallel step 102 by means of a thermal image sensor in the form of an FIR thermal imaging camera.
  • the two image sensors have already been calibrated against one another in advance in the sense of image registration, as will be explained in detail below with reference to FIGS. 5 and 6.
  • a person P is actually located in the passenger compartment. This can in particular be done in a known manner by means of seat occupancy sensors or at least by evaluating the image or images that have already been recorded one of the aforementioned image sensors 101 or 102 and comparison of their image or images with a respective reference image, which can correspond in particular to a passenger cell not occupied by a person.
  • a combined evaluation of the 3D image and the thermal image can be used primarily to increase the reliability of the presence check.
  • the process can be ended or it can loop back to the first step, image acquisition, in order to continuously determine whether something has changed in the occupancy status of the passenger compartment.
  • the method 100 is only run through again when a sensor system provided for this purpose, for example a sensor system that can detect the opening of an access opening to the passenger compartment, for example a vehicle door, emits a corresponding signal indicating the possibility of boarding or indicates an actual boarding of a person.
  • step 104 in which the person P is identified.
  • this can be done using any suitable identification method, for example on the basis of the so-called “Eigenfaces” technology or a face scanning method, as is the case with the well-known "Face ID” from Apple, Inc. for electronic unlocking Terminal equipment is used.
  • the identification can take place according to the method described below with reference to FIG. 3 in accordance with an embodiment of the present invention, for which the images already captured by the image sensors in steps 101 and 102 are used.
  • a user profile that may already exist for the person P is then retrieved in step 105, for example from an associated one provided (not shown) local memory in the device 10 or from a database accessible via a communication link, for example via the Internet.
  • the user profile contains user profile data assigned to the identified person P, which historically represent, for example, through previously recorded user inputs at a human-machine interface or sensor-recorded, person-specific adaptation requests with regard to the air conditioning, such as the desire for a fundamentally increased or a decreased Temperature setting of the air conditioning.
  • the user profile serves as one of the input variables for determining the individual thermal comfort of the person P in the form of a certain TCI in a step 110 of the method.
  • Further input variables for the TCI determination are derived in step 106 from the image data obtained in steps 101 and 102.
  • Such input variables can in particular be temperature data obtained from the thermal image or information relating to the state of movement of the person P obtained from the 3D image.
  • Another example of such an input variable is a metabolic rate (metabolic rate) derived from at least one of the two images, preferably from both. The latter will be explained in Wei direct with reference to FIG.
  • a simple method for detecting the state of motion on the basis of a first image frame at time t-1 and a subsequent image frame at the second point t can, for example, have the following steps: Two threshold values cf and n are established.
  • d represents a threshold for the degree of change in a 2D or 3D pixel value (e.g. gray or color value) during the transition from time t-1 to time t, which is used to determine whether the pixel value of a certain pixel is in the second Image frame has changed sufficiently compared to the corresponding pixel value in the first image frame to be taken into account as a relevant change.
  • n also represents a threshold for the required minimum number of such pixels to be taken into account in order to classify these changes as a whole as a movement during the transition from time t-1 to time t.
  • the method can then supply the state of movement, for example in the form of corresponding data or signals, by only supplying the occurrence of a detected movement or even a degree of movement, for example on the basis of the pixels taken into account.
  • Measured values from the vehicle sensors for example for temperature, air movements or solar radiation in or in the room area (here passenger cell) can be taken into account as further input variables in step 107, which on the one hand serve directly as input variables for step 1 10 and / or for others flow into the determination of a TCI value (for example PMV) for person P in step 108 that has not yet been individualized on the basis of the user profile.
  • a TCI value for example PMV
  • the ISO standard EN ISO 7730 mentioned at the outset can be used as a calculation basis, ie in particular as a calculation model.
  • step 110 on the basis of the provisional TCI value obtained in step 108, taking into account the user profile provided in step 105, an individualized estimated TCI value can then be determined, the determination of which is now based on the user profile, the individual needs or preferences of the person P flow into the air conditioning of the passenger compartment.
  • the air conditioning function or device of the vehicle for the passenger area or parts thereof can be controlled in step 11 in order to determine in the event of a deviation TCI to bring the actual TCI from a person-independent or personal TCI setpoint or TCI setpoint range into at least approximate agreement with this setpoint or setpoint range within the scope of the user profile.
  • a user input can then be made on a man-machine interface, by means of which the person P can carry out a further adjustment - or more generally - a feedback on their perceived thermal comfort. This can in particular again be a request for adaptation to the temperature in the room area.
  • an adaptation of the calculation model used for the individual TCI determination in step 110 can then take place on the basis of this user input and the current values of the various input variables for the TCI determination.
  • this can be done with the help of machine learning.
  • An artificial neural network for example of the CNN (convolutional neural network) or RNN type, can be used for this purpose (recurrent neural network) are used, which can be repeatedly trained in this way and whose outputs can be used on the one hand to adapt the user profile and as a further input variable for a next run of step 1 10 so as to meet the needs or preferences of the person P to be able to take sustainable account of room air conditioning.
  • an embodiment of the method according to the invention is now intended below with regard to the determination of a metabolic rate of the person taking place in an optional process 200 associated with step 106 as an input variable in the model for determining the estimated TCI value for the thermal comfort of person P will be explained. Since different people in the same environment and with comparable physical activity can have different body temperatures or body surface temperatures, a pure temperature measurement is basically not sufficient to reliably determine the metabolic rate of a person P correlated with the physical activity.
  • Steps 201 and 202 of process 200 correspond to steps 101 and 102, respectively, from FIG. 1.
  • a presence check in step 204 can moreover take place in the same way as in step 103, or coincide with this.
  • Depth data (depth map) 203 obtained in particular with the aid of the 3D image sensor result from step 101 and represent a 3D point cloud 208.
  • Thermal image data 205 obtained by means of the thermal sensor result from step 202.
  • the depth data 203 and the thermal image data 205 each depict the spatial area (passenger cell) or at least a section thereof.
  • the evaluation 209 can, in particular, determine the movements with the aid of a movement detection algorithm and, with the aid of a segmentation method in terms of image processing, a background extraction of the suppression and an extraction of the images of individual body parts of the person from the 3D Make image data.
  • motion detection algorithms can be based on using a robust background model to separate the background from the foreground in order to recognize and localize the movement.
  • a database in particular in the form of a so-called lookup table or table of values, can be provided.
  • the corresponding results for the various body parts can be summarized in a vector 213 or another data structure that serves as a time-dependent input variable for a step 215 in which a model based on machine learning or another regression method can be used to infer the Metabolic rate is drawn in order to determine an estimated value 216 for this.
  • this estimated value 216 can be used as one of the input variables for determining the estimated value for thermal comfort in steps 108 and 110, respectively.
  • Steps 301 and 302 of process 300 correspond to steps 101 and 102, respectively, from FIG. 1.
  • the 3D image acquisition from step 301 provides in particular a 2D amplitude image 303 on the one hand and a depth image (depth map) 305 on the other hand, while the thermal image acquisition delivers a two-dimensional thermal image 310. All of these images are represented by corresponding digital image data.
  • the image area representing the face of the person P can be recognized in step 304 by means of a suitable face detection algorithm, for example on the basis of so-called “hair cascades” or “hair-like features” while, as already described above, based on the depth image 305 and the thermal image 310, a presence check is carried out in step 306 with regard to the presence of a (living) person in the spatial area depicted by the images.
  • a detection 307 of different body parts of the person P and subsequently an image segmentation 308 especially for the head, especially in the face and other head areas can be made.
  • the information derived in this way from the various images is finally combined and evaluated for the purpose of face recognition and thus identification of the person P on the basis of their face in order to output a corresponding identification result in step 31 1.
  • FIG. 4 shows a representation 400 to illustrate the generation of a 3D point cloud image which can be used as an input variable to determine the estimated value for thermal comfort and is obtainable by means of the method according to the first aspect of the invention, in particular according to FIG. 1.
  • An amplitude image 401 supplied by the 3D image sensor and a corresponding thermal image 402 (thermal image) displayed as a gray value image are initially calibrated by the thermal image sensor, which in the illustrated case has a significantly lower resolution than the amplitude image 401, initially in terms of image registration.
  • the information from the two images that correspond to one another can then be used to classify the image with respect to different body parts using a corresponding classification algorithm, which can be carried out in particular using a system based on machine learning and in particular can use an artificial neural network of the person P represented therein.
  • the result of this classification can in particular be made available in the form of a false color or gray value image 403 or corresponding image data.
  • the individual body parts identified by means of this classification can thus in turn be assigned corresponding temperatures or temperature profiles on the basis of the thermal image 402, and in particular in the form of a point cloud displayed in the form of an example in image 404 as a gray value image or alternatively as a false color image.
  • an assignment of temperatures to body parts is possible, which in turn can serve as a starting point for determining a physical activity of the person P, in particular a metabolic rate, as described in detail above with reference to FIG. 2.
  • FIGS. 5 and 6 an exemplary embodiment for the image registration or calibration of the 3D image sensor and the thermal image sensor will now be explained.
  • 5 shows the basic principle in which an image provided by the 3D image sensor, for example a depth image 501, serves as a reference image, with respect to which a thermal image 502 (as an object image) delivered by the thermal image is to be registered.
  • the image registration should be a Be transformation, by means of which each pixel of the reference image 501 is linked with a corresponding reference pixel of the object image or vice versa.
  • a corresponding resolution scaling of at least one of the images can be carried out in a known manner in order to match the resolutions of the images.
  • the method used for image registration or calibration must be suitable for comparing an image in the visible range of the electronic spectrum with an image in the infrared range. This can be achieved, for example, in that a reference object, in particular one which has a reference pattern that is visible in both the optical and the infrared range, is simultaneously detected by both image sensors.
  • FIG. 6 An exemplary reference object which has a checkerboard pattern is shown four times in FIG. 6 for different cases.
  • the four different cases correspond to an image registration process, which is based on the fact that the reference object is composed of different materials in such a way that the different checkerboard fields have different absorption coefficients in both the visible and infrared regions, so that the white and black fields of the Checkerboard patterns can be distinguished on the basis of their corresponding contrast.
  • image 601 shows the image of the checkerboard pattern generated by means of the thermal image sensor at a low starting temperature, before the reference object is exposed to a source of thermal radiation. Since at this point in time the various operation coefficients for infrared radiation could not have a strong effect due to the lack of sufficient heat supply, the checkerboard pattern in the thermal image is not or only very poorly visible.
  • the image 602 recorded at the same time by the 3D image sensor in the optical range of the spectrum clearly shows the checkerboard pattern, since the supply of heat hardly plays a role here. Consequently, as marked by way of example by the individual circles in image 602, individual image points can already be identified and specified for the purpose of determining the transformation for image registration. The same also applies after the heating, as this only insignificantly influences the optical properties of the reference object, so that the reference points can also be clearly seen in the associated image 604.
  • the corresponding reference points can also be identified in the thermal image 603, which now shows the chessboard-like temperature profile caused by the different absorption coefficients of the black and white checkerboard fields.
  • the image registration transformation can thus be determined by determining a corresponding geometric transformation of the respective reference points corresponding to one another. For this purpose, with a view to a sufficiently reliable transformation determination, at least two reference points per image are generally required, which correspond to corresponding reference points in the respective other image.
  • Fig. 7 shows a schematic overview 700 to illustrate preferred positions 701 to 704 of the 3D image sensor and the thermal sensor within a vehicle cockpit.
  • the 3D image sensor and the thermal sensor can be designed in particular as a structural unit, which has the particular advantage that their relative position to one another is unchangeable and known in advance, without having to be measured or calibrated afterwards when installing or starting up the system. This can be used in particular to simplify image registration.
  • FIG. 7 shows a schematic overview 700 to illustrate preferred positions 701 to 704 of the 3D image sensor and the thermal sensor within a vehicle cockpit.
  • the 3D image sensor and the thermal sensor can be designed in particular as a structural unit, which has the particular advantage that their relative position to one another is unchangeable and known in advance, without having to be measured or calibrated afterwards when installing or starting up the system. This can be used in particular to simplify image registration.
  • FIG. 1 shows a schematic overview 700 to illustrate preferred positions 701 to 704 of the 3D image sensor and the thermal sensor within a vehicle cockpit.
  • the sensors or the structural unit can in particular on the dashboard (position 701), approximately in a horizontal central position; in the area of the lower limit of the windshield on the driver's side (item 702); be or will be arranged in the front area of the headliner on the driver's side (item 703) or centrally in the front area of the headliner (item 704).
  • position 701 approximately in a horizontal central position
  • the sensor system or the structural unit is arranged at position 704 or its immediate vicinity, both the driver's area and thus a driver staying in it, as well as any people located on one or more of the other vehicle seats, can be captured and their respective thermal comfort can be determined according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Air-Conditioning For Vehicles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer thermischen Behaglichkeit bezüglich einer in einem bestimmten Raumbereich befindlichen Person. Das Verfahren weist auf: Erfassen eines drei räumliche Dimensionen, 3D, abbildenden 3D-Bilds eines ersten Oberflächenbereichs an der Oberfläche der Person mittels eines 3D- Bildsensors; Erfassen eines Thermobilds eines mit dem ersten Oberflächenbereich in einem Überlappbereich überlappenden zweiten Oberflächenbereichs an der Oberfläche der Person mittels eines thermischen Bildsensors; Anwenden einer Bildregistrierungstransformation auf das 3D-Bild, das Thermobild, oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen; Identifizieren von verschiedenen in dem Überlappbereich abgebildeten Körperteilen der Person mittels entsprechenden Segmentierens des 3D-Bilds; Zuordnen jeweils zumindest eines aus dem Thermobild gewonnenen thermischen Werts zu jedem der in dem 3D-Bild identifizierten Körperteile auf Basis der Bildregistrierungstransformation; und Modellbasiertes Bestimmen eines Schätzwerts für die thermische Behaglichkeit der Person in Abhängigkeit von den den identifizierten Körperteilen jeweils zugeordneten thermischen Werten.

Description

Verfahren und Vorrichtung zum Bestimmen einer thermischen Behaglichkeit
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Bestimmen einer thermischen Behaglichkeit. Des Weiteren betrifft die Erfindung darauf aufbauend ein Ver fahren und eine Vorrichtung zum Steuern einer automatischen Klimatisierung eines zur Auf nahme einer Person geeigneten Raumbereichs, wie beispielsweise eines Fahrgastbereichs eines Fahrzeugs.
Während in der Vergangenheit die Klimatisierung von Räumen oftmals manuell gesteuert wurde, etwa mittels eines Reglers zur Einstellung einer Raumtemperatur, sind inzwischen Klimatisierungssysteme bekannt, bei denen deren Einstellung automatisch erfolgt, insbe sondere in Abhängigkeit von einer oder mehreren sensorisch bestimmten Eingangsgrößen. Zu diesem Zweck ist es insbesondere bekannt, die Ansteuerung solcher Klimatisierungs systeme in Abhängigkeit von einer als„thermische Behaglichkeit“ bezeichneten Eingangs größe vorzunehmen. Eine gängige Norm zur Bestimmung der thermischen Behaglichkeit in Form eines sogenannten Thermal Comfort Index (TCI) ist die ISO Norm EN ISO 7730. Die thermische Behaglichkeit bzw. der TCI beschreiben das menschliche Wohlbefinden in Ab hängigkeit von der Temperatur. Beispiele für TCIs gemäß dieser Norm sind der PMV (Pre- dicted Mean Vote)-lndex und der PPD (Predicted Percentage of Dissatisfied)-Index.
In den meisten Fällen, insbesondere gemäß EN ISO 7730, wird die thermische Behaglich keit in Abhängigkeit von mehreren Parametern definiert, die alle unabhängig voneinander sein und verändert werden können. Sie kann insbesondere durch folgende Haupteinfluss größen bestimmt sein: Raumlufttemperatur, mittlere innere Oberflächentemperaturen der raumumschließenden Flächen, Wärmeableitung dieser Oberflächen, Luftgeschwindigkeit, relative Feuchte der Raumluft. Ferner kann sie abhängig von personenbezogenen Para metern, wie etwa deren Tätigkeit, Bekleidung oder Aufenthaltsdauer in dem Raum festge legt sein.
Der Erfindung liegt die Aufgabe zugrunde, das automatische Bestimmen einer thermischen Behaglichkeit einer Person in einem Raumbereich weiter zu verbessern, insbesondere im Hinblick auf deren Genauigkeit und somit Zuverlässigkeit. Des Weiteren liegt Erfindung, darauf aufbauend, die Aufgabe zugrunde, eine verbesserte automatische Klimatisierung eines solchen Raumbereichs zum Zwecke einer Optimierung der thermischen Behaglich keit einer oder mehrerer Personen in dem Raumbereich zu erreichen. Die Lösung dieser Aufgabe wird gemäß der Lehre der unabhängigen Ansprüche erreicht. Verschiedene Ausführungsformen und Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Bestimmen einer thermischen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex TCI, bezüglich einer in einem bestimmten Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person. Das Verfahren weist auf: (i) Erfassen eines drei räumliche Dimensio nen (3D) abbildenden 3D-Bilds eines ersten Oberflächenbereichs an der Oberfläche der Person mittels eines 3D-Bildsensors; (ii) Erfassen eines Thermobilds eines mit dem ersten Oberflächenbereich in einem Überlappbereich überlappenden zweiten Oberflächenbe reichs an der Oberfläche der Person mittels eines thermischen Bildsensors; (iii) Anwenden einer Bildregistrierungstransformation auf das 3D-Bild, das Thermobild, oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen; (iv) Identifizieren von verschiedenen in dem Überlappbereich abgebildeten Körperteilen der Person mittels entsprechenden Segmentierens des 3D-Bilds; (v) Zuordnen jeweils zumin dest eines aus dem Thermobild gewonnenen thermischen Werts zu jedem der in dem 3D- Bild identifizierten Körperteile auf Basis der Bildregistrierungstransformation; und (vi) Mo dellbasiertes Bestimmen eines Schätzwerts für die thermische Behaglichkeit der Person in Abhängigkeit von den den identifizierten Körperteilen jeweils zugeordneten thermischen Werten.
Das genannte Fahrzeug kann insbesondere ein Personenkraftwagen, ein Lastkraftwagen oder ein Bus sein.
Der Begriff „dreidimensional“ bzw.„3D“ im Sinne der Erfindung bezieht sich auf Datenmo delle, bei denen der Raum in drei Dimensionen abgebildet wird. Neben„echten“ 3D Daten modellen sollen hier auch sogenannte zweieinhalbdimensionale (kurz: 2,5D) Datenmodelle unter den Begriff „dreidimensional“ bzw.„3D“ fallen, bei denen die dritte Dimension nicht vollwertig bezogen auf die 2D-Lageinformation gespeichert ist, sondern die dritte Dimen sion lediglich als Attribut der zweidimensional modellierten Objekte verfügbar ist. Zur Illust ration des - für den Begriff „3D“ im Sinne der Erfindung jedoch nicht relevanten - Unter schieds zwischen„echten“ 3D-Datenmodellen und 2,5D-Datenmodellen wird auf das Bei spiel digitaler Höhenmodelle verwiesen, bei denen in der Regel die Geländehöhe als Funk tion der Lage modelliert ist. Zu jeder 2D-Lagekoordinate existiert in einem solchen Modell nur ein Höhenwert. Senkrechte Wände, Überhänge, Hohlräume, Tunnel und Brücken las sen sich in einem solchen Modell nicht integrieren, da dort in der Realität Punkte verschie dener Höhe übereinander liegen. Um auszudrücken, dass trotz 3D-Modell (es wird Lage und Höhe modelliert) nicht alle 3D-Formen modellierbar sind, wird häufig die abschwä chende Bezeichnung„2,5D“ verwendet.
Dementsprechend werden hierin unter dem Begriff 3D-Bildsensor auch 2,5D-Bildsensoren verstanden, wie etwa Time-of-Flight (TOF) Kameras. Unter einer "TOF-Kamera" ist insbe sondere ein 3D-Kamerasystem zu verstehen, das auf Basis eines Laufzeitverfahren (eng lisch: time of flight, "TOF") Distanzen misst. Das Messprinzip beruht darauf, dass die auf zunehmende Szene mittels eines Lichtpulses ausgeleuchtet wird, und die Kamera für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht misst. Diese benötigte Zeit ist aufgrund der Konstanz der Lichtgeschwindigkeit direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebilde ten Objektes. Die Verwendung eines TOF-Kamerasystems stellt eine besonders effektive und hochauflösende Implementierungsmöglichkeit, für einen 3D-Bildsensor zum Einsatz im Rahmen der Erfindung dar.
Unter einem„thermischen Bildsensor“ im Sinne der Erfindung ist ein thermografischer Sen sor, zu verstehen. Ein solcher Sensor wird auch oft als Wärmebildkamera bezeichnet. Die Thermografie ist ein bildgebendes Verfahren zur Anzeige der Oberflächentemperatur von Objekten. Dabei wird die Intensität der Infrarotstrahlung, die von einem Punkt ausgeht, als Maß für dessen T emperatur gedeutet. Eine Wärmebildkamera wandelt die für das mensch liche Auge unsichtbare Infrarotstrahlung in Signale, insbesondere elektrische Signale, um. Daraus kann dann ein Bild („Wärmebild“ bzw. gleichbedeutend„Thermobild“), beispiels weise ein Falschfarbenbild oder ein Graustufenbild erzeugt werden, beispielsweise durch die Kamera selbst oder durch eine nachgelagerte Datenverarbeitungsvorrichtung. Insbe sondere sind sog. FIR-Sensoren („Far lnfrared“-Sensoren) thermische Bildsensoren im Sinne der Erfindung.
Unter einer„Bildregistrierungstransformation“ ist im Sinne der Erfindung eine Transforma tion zu verstehen, die dazu dient, zwei oder mehrere Bilder derselben Szene, oder zumin dest ähnlicher Szenen, bestmöglich oder zumindest in für den erforderlichen Zweck ausrei chendem Maße in Übereinstimmung miteinander zu bringen. Dabei wird häufig, ohne dass dies als Einschränkung zu verstehen wäre, eines der Bilder als Referenzbild festgelegt und das zumindest eine andere Bild jeweils als„Objektbild“ bezeichnet. Um das bzw. die Ob jektbilder optimal an das Referenzbild anzupassen, wird eine ausgleichende Transforma tion, eben die Bildregistrierungstransformation, berechnet. Es ist jedoch grundsätzlich auch denkbar, dass zum Zwecke der Erreichung einer bestmöglichen bzw. ausreichenden Über einstimmung mehrere, insbesondere sämtliche, der in Übereinstimmung zu bringenden Bil der einer jeweiligen Bildregistrierungstransformation unterworfen werden. Die zu registrie renden Bilder unterscheiden sich in der Regel insbesondere schon dadurch voneinander, dass sie von unterschiedlichen Positionen, zu unterschiedlichen Zeitpunkten oder mit un terschiedlichen Sensoren aufgenommen wurden.
Unter dem Begriff„Segmentierung“ ist im Sinne der Erfindung die Erzeugung von inhalt lich zusammenhängenden Regionen durch Zusammenfassung benachbarter Pixel oder Voxel entsprechend einem bestimmten Homogenitätskriterium zu verstehen. Bei der vor liegenden Erfindung können insbesondere Bildpunkte (Voxel des 3D-Bilds), welche das selbe Körperteil, beispielsweise den Kopf oder den Torso oder einen Arm, der abgebilde ten Person abbilden, zu einem Segment zusammengefasst werden. Zu den zur Segmen tierung grundsätzlich verwendbaren Verfahren gehören insbesondere„Connected-compo- nent labeling“ (eine algorithmisch Anwendung der Graphentheorie, bei der Untermengen von verbundenen Komponenten eines Graphs (sog. connected comoonents) auf Basis einer vorbestimmten Heuristik eineindeutig klassifiziert werden. Auch bekannte Clusterverfahren können grundsätzlich als Segmentierungsverfahren eingesetzt werden.
Unter einem„modellbasierten Bestimmen“ eines Schätzwerts für die thermische Behaglich keit ist im Sinne der Erfindung ein Bestimmen, insbesondere ein Berechnen, eines Schätz werts für thermische Behaglichkeit anhand eines Modells, etwa einer mathematischen bzw. physikalischen Formel oder einer Wertetabelle, zu verstehen, wobei das Modell dazu dient, den Schätzwert in Abhängigkeit von den Eingangsgrößen des Modells zu bestimmen. Das Model kann insbesondere mittels einer Norm, wie etwa der eingangs genannten ISO Norm EN ISO 7730 festgelegt sein.
Unter einer„Person“ ist im Sinne der Erfindung stets eine lebende Person zu verstehen. Wenngleich die Erfindung hier im Zusammenhang mit Menschen als„Personen“ erläutert wird, ist sie gleichermaßen auf viele andere Lebewesen, insbesondere Säuger, wie etwa Hunde oder Katzen oder andere Haustiere oder Nutztiere, anwendbar, so dass in diesen Fällen der Begriff „Person“ im Sinne der Erfindung auch auf solche anderen Lebewesen anwendbar ist. Beispielsweise kann die Erfindung auch im Rahmen der Stall- oder Käfig haltung von Tieren zum Einsatz kommen. Dementsprechend kann dazu ein auf die jeweilige Art des Lebewesens angepasstes Modell zur Bestimmung des Schätzwerts für dessen ther mische Behaglichkeit verwendet werden.
Bei dem Verfahren gemäß dem ersten Aspekt der Erfindung wird der Raumbereich sowohl mittels zumindest eines 3D Bildsensors als auch mittels zumindest eines thermischen Bildsensors erfasst, und die entsprechend resultierenden Bilder werden im Sinne einer Bild registrierung in Übereinstimmung gebracht. Dadurch ist es möglich, Informationen aus ei nem Bild entsprechenden Informationen aus dem anderen Bild zuzuordnen. Anhand der Segmentierung des 3D-Bilds können insbesondere verschiedene in den Bildern abgebil dete Körperteile der Person identifiziert und diesen mittels der entsprechenden Informatio nen aus dem Thermobild jeweils Temperaturwerte zugeordnet werden. Dies ermöglicht es unter anderem, auf eine bestimmte körperliche Aktivität und eine Bekleidung der Person Rückschlüsse zu ziehen, wobei körperliche Aktivität und die Bekleidung wiederum jeweils einen Einfluss auf die thermische Behaglichkeit haben können.
Mithilfe des Verfahrens gemäß dem ersten Aspekt der Erfindung kann somit vorteilhaft eine Verbesserung bei der Bestimmung der thermischen Behaglichkeit erreicht werden, da an ders als bei bekannten Lösungen nicht nur Messwerte für Temperaturen, Sonneneinstrah lung oder Luftströmungen als Eingangsgrößen für die Bestimmung der thermischen Behag lichkeit verwendet werden können, sondern ebenso personenspezifische und teilweise dy namische Eingangsgrößen, wie etwa deren spezifische Bekleidung, deren Bewegungen und deren Oberflächentemperatur an verschiedenen Körperteilen. Somit lässt sich insbe sondere eine genauere und optional auch zeitabhängige Abschätzung der thermischen Be haglichkeit der Personen erreichen.
Nachfolgend werden bevorzugte Ausführungsformen des Verfahrens beschrieben, die je weils, soweit dies nicht ausdrücklich ausgeschlossen wird oder technisch unmöglich ist, beliebig miteinander sowie mit den weiteren beschriebenen anderen Aspekten der Erfin dung kombiniert werden können.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Bestimmen der Bild registrierungstransformation, vor deren Durchführung, auf Basis eines mit dem 3D- Bildsensors erfassten Bilds, welches insbesondere ein 3D-Bild oder ein 2D-Amplitudenbild sein kann, und eines mittels des thermischen Bildsensors erfassten Thermobilds auf. Dazu können bekannte Methoden zur Bestimmung der Bildregistrierungstransformation verwen det werden. Solche Methoden können insbesondere merkmalsbasierte Verfahren sein, bei denen (im Falle von zwei Bildern) zwei Mengen von Merkmalen aus den in Übereinstim mung zu bringenden Bildern entnommen werden. Die eine Menge enthält die Merkmale im Objektbild, die andere die Merkmale im Referenzbild. Die Merkmale werden durch soge nannte Kontrollpunkte repräsentiert. Dies können die Merkmale selbst sein, falls es sich bei den Merkmalen um Punkte handelt, oder Endpunkte von Linien, Schwerpunkte von Regio nen oder ähnliches. Ziel der Merkmalsanpassung ist es dann, die paarweise Korrespon denz der Merkmale des Objektbildes mit denen des Referenzbildes herzustellen. Insbeson dere bekannte flächenbasierte Methoden zur Bestimmung der Bildregistrierungstransfor mation verwendet werden, bei denen unter Verwendung einer Kreuzkorrelationsfunktion ein sog. Template-Matching vorgenommen wird.
Bei diesen vorgenannten Ausführungsformen weist das Verfahren somit selbst die zum Festlegen der Bildregistrierungstransformation, d. h. zur geometrischen Kalibrierung des 3D-Bilds und des Thermobilds, erforderlichen Schritte auf, was es insbesondere auch er möglicht, wiederholt, insbesondere periodisch oder fortlaufend, im Rahmen des Verfahrens eine Nachkalibrierung zum Zwecke des Erhalts der erforderlichen Genauigkeit der Bildre gistrierung vorzunehmen. Dies ist insbesondere bei der Verwendung des Verfahrens in Fahrzeugen hilfreich, da aufgrund der im Fährbetrieb auftretenden Beschleunigungen, ins besondere Erschütterungen, möglicherweise im Laufe der Zeit eine Dekalibrierung der ver schiedenen Bildsensoren auftreten könnte, die einen negativen Einfluss auf die Zuverläs sigkeit und Genauigkeit der Bestimmung der thermischen Behaglichkeit zur Folge haben könnte.
Bei einigen solcher Ausführungsformen weist das Bestimmen der Bildregistrierungstrans formation auf: (i) Gleichzeitiges Erfassen eines Oberflächenabschnitts eines Referenzob jekts mittels des 3D-Bildsensors und des thermischen Bildsensors, wobei der Oberflächen abschnitt des Referenzmodels in abgegrenzte Bereiche unterteilt ist, die sich sowohl be züglich ihrer Temperatur als auch optisch voneinander unterscheiden; und (ii) Bestimmen der Bildregistrierungstransformation auf Basis einer Zuordnung von zueinander korrespon dierenden Bildpunkten auf dem von dem 3D-Bildsensor einerseits und dem thermischen Sensor andererseits erfassten Bildern des Oberflächenabschnitts des Referenzobjekts. Die Verwendung eines solchen Referenzobjekts, welches insbesondere ein Schachbrettmuster aufweisen kann, erlaubt es mithilfe ein und desselben Referenzobjekts die zum Bestimmen der Bildregistrierungstransformation erforderlichen 3D- bzw. Thermobilder zu erzeugen.
Insbesondere kann das Referenzobjekt so gestaltet sein, dass die verschiedenen abge grenzten Bereiche unterschiedliche thermischen und optische Absorptionskoeffizienten aufweisen, sodass sie sich beim strahlungsbedingten Erwärmen und/oder Beleuchten mit Licht im sichtbaren Wellenlängenbereich unterschiedlich schnell aufheizen, und somit nicht nur optisch im 3D-Bild, sondern auch thermisch im Thermobild voneinander unterscheidbar sind. So lassen sich die entsprechenden zueinander korrespondierenden Bildpunkte, ins besondere an Grenzlinien oder Grenzpunkten dieser abgegrenzten Bereiche, gut mittels eines geeigneten Bilderkennungsverfahrens, beispielsweise einer sog.„Canny“-Kantener- kennung (auch als Canny-Algorithmus bekannt) und/oder einer„Harris“-Eckenerkennung, aus den Bildern extrahieren.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein Identifizieren der Person sowie zumindest einen der folgenden Prozesse auf: (i) Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von der er kannten Identität der Person; (ii) Festlegen eines Zugangs der Person zu Konfigurations möglichkeiten für das Verfahren bzw. ein das Verfahren ausführenden Systems in Abhän gigkeit von der erkannten Identität der Person. Auf diese Weise lässt sich das Verfahren individualisiert durchführen, was es insbesondere ermöglicht, die Bestimmung der thermi schen Behaglichkeit in Abhängigkeit von zu der identifizierten Person bereits vorab bekann ten Informationen (insbesondere Benutzerprofil) zu bestimmen. Des Weiteren kann gemäß Option (ii) eine vorhandene Konfigurationsmöglichkeit für das Verfahren beziehungsweise die zu seiner Ausführung bestimmte Vorrichtung vor unbefugter Benutzung geschützt wer den, sodass nur eine oder mehrere autorisierte Personen eine entsprechend geschützte Konfiguration durchführen können.
Insbesondere kann dabei gemäß einiger verwandter Ausführungsformen das Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels Erfassung einer der identifizierten Person zugeordneten Benutzereingabe an einer Mensch-Maschine-Schnittsteile bestimmt werden. Beispielsweise könnte die Per son an der Mensch-Maschine-Schnittsteile eine Eingabe vornehmen, mit der eine höhere oder niedrigere Temperatur angefordert wird, sodass das Modell auf Basis dieser Eingabe entsprechend angepasst werden kann, um zukünftig einen entsprechend niedrigeren oder höheren Schätzwert für die thermische Behaglichkeit bei gleichen bzw. vergleichbaren Wer ten für die Eingangsgrößen zu liefern und somit eine Individualisierung der Schätzwertbe stimmung umzusetzen.
Zusätzlich oder alternativ dazu kann gemäß einiger weiterer Ausführungsformen das An passen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zu mindest teilweise mittels eines auf maschinellem Lernen beruhenden Anpassungsverfah rens erfolgen, welches mittels zumindest einer der folgenden Maßnahmen trainiert wird: (i) eine oder mehrere der identifizierten Person zugeordnete Benutzereingaben an einer Mensch-Maschine-Schnittsteile; (ii) aus dem 3D-Bild, dem Thermobild und/oder einem oder mehreren weiteren sensorisch erfassten und der Person oder dem Raumbereich zugeord neten Sensorwerten abgeleiteten Körperzustände oder Verhaltensweisen der identifizierten Person. Somit kann das Modell insbesondere dynamisch und/oder ohne aufwändige Erst konfiguration bestimmt und fortlaufend verbessert bzw. an zeitlich veränderliche Umstände angepasst werden. Insbesondere können diesem Zusammenhang zum Zwecke des ma schinellen Lernens und der Modellbildung künstliche neuronale Netze, etwa Convolutional Neural Networks (CNN), zum Einsatz kommen.
Des Weiteren kann gemäß einiger weiterer Ausführungsformen der identifizierten Person ein Benutzerprofil zugeordnet werden und das Anpassen des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von in dem Benutzerprofil der identifizierten Person enthaltenen oder ihm zugeordneten personenindividuellen Anpas sungsinformationen erfolgen. Auf diese Weise lassen sich benutzerbezogene Anpassungs raten bzw. Parameter des Modells mittelst eines entsprechenden Benutzerprofils speichern und ohne signifikanten Zeitverlust abrufen, was insbesondere dann vorteilhaft genutzt wer den kann, wenn die Person, für die deren thermische Behaglichkeit bestimmt werden soll, im Laufe der Zeit ausgetauscht wird, beispielsweise wenn eine Person das Fahrzeug ver lässt und stattdessen eine andere Person den Raumbereich, d. h. hier den Fahrgastbereich, des Fahrzeugs eintritt. Sobald die neu eingetretene Person identifiziert ist, kann deren Be nutzerprofil unmittelbar herangezogen werden, um sofort das entsprechende Modell zur Bestimmung des Schätzwertes damit zu parametrisierten, ohne dass zunächst eine noch malige, insbesondere zeitraubende, Erstkonfiguration des Modells erforderlich wäre.
Bei einigen Ausführungsformen erfolgt das Segmentieren des erfassten 3D-Bilds zur Iden tifikation von verschiedenen Körperteilen der Person mittels eines auf maschinellem Lernen beruhenden Segmentierungsverfahrens, welches auf Basis einer entsprechenden Klassifi zierung der Bildpunkte des 3D-Bilds im Überlappbereich diesen in verschiedene Bildberei che klassifiziert. Dabei weist die Klassifikation dieser Bildbereiche jeweils eine Klasse auf, die einem unbedeckten Körperteil einer Person, einem bekleideten Körperteil einer Person bzw. einem nicht zu einer Person gehörenden Bildhintergrund zugeordnet ist. Zudem erfolgt die Bestimmung der den identifizierten Körperteilen der Person jeweils zugeordneten ther mischen Werte in Abhängigkeit von der Zuordnung der verschiedenen Bildbereiche und somit identifizierten Körperteile zu dieser Klassifikation. Ein beispielhaftes Segmentierungs fahren dieser Art ist das„ Efficient Human Pose Estimation from Single Depth lmages“-V er fahren von Jamie Shotton et al. ( Shotton J. et al. (2013) Efficient Human Pose Estimation from Single Depth Images. In: Criminisi A., Shotton J. (eds) Decision Forests for Computer Vision and Medical Image Analysis. Advances in Computer Vision and Pattern Recognition. Springer, London; auch verfügbar unter httpsJ/www. microsoft. com/en-us/research/wp-con- tent/uploads/2016/02/main-39.pdf) .
Auf diese Weise ist es möglich, zum einen eine Extraktion der die Person darstellenden Bildanteile gegenüber dem Bildhintergrund vorzunehmen und zum anderen eine Unter scheidung zwischen unbedeckten und begleiteten Körperteilen der Person, welche typi scherweise mit der gemessenen Temperatur dieser jeweiligen Körperteile korreliert ist, bei der Bestimmung der thermischen Behaglichkeit zu berücksichtigen. So sind die mittels des Thermobilds bestimmten Oberflächentemperaturen von unbedeckten Körperteilen einer Person, d. h. deren Hauttemperatur, typischerweise höher, als die entsprechend bestimm ten Oberflächentemperaturen von Kleidungsstücken welche die Person gerade trägt, die ein aller Regel zu einem gewissen Grad eine thermische Isolationsschicht darstellen, so- dass die tatsächliche Oberflächentemperatur der darunterliegenden Körperteile durch die Oberflächentemperatur des Kleidungsstücks nicht korrekt wiedergegeben wird. Gemäß die ser Ausführungsformen wird jedoch eine entsprechende Temperaturkorrektur ermöglicht, als deren Folge die Zuverlässigkeit und Genauigkeit der Bestimmung der thermischen Be haglichkeit verbessert werden kann. Auch entfällt eine indirekte Berechnung der Tempera tu rkorrekturen auf Basis anderer gemessener Werte oder auf Basis von statischen Annah men, so dass auch aus diesem Grunde eine Verbesserung der Genauigkeit erreicht werden kann. Bei einigen Ausführungsformen weist das Verfahren des Weiteren ein sensorisches Erfas sen eines Typs oder Materials der Bekleidung der Person auf und das modellbasierte Be stimmen des Schätzwerts für die thermische Behaglichkeit der Person erfolgt zusätzlich in Abhängigkeit von dem erfassten Typs oder Material der Bekleidung der Person (P). Aus Typ bzw. Material der Bekleidung kann insbesondere auf eine damit verbundene thermi sche Isolationswirkung der Bekleidung geschlossen werden, beispielsweise auf Basis von Referenzdaten in einer entsprechenden Datenbank, und diese Isolationswirkung mittels ei nem oder mehreren Parametern dargestellt werden, deren Werte in die Bestimmung des Schätzwerts für die thermische Behaglichkeit der Person eingehen. So lässt sich insbeson dere die Genauigkeit und Zuverlässigkeit der Schätzwertbestimmung weiter erhöhen. Bei einigen Varianten dieser Ausführungsformen kann insbesondere ein Verfahren zur Bestim mung der Bekleidung der Person verwendet werden, das in Qiang Chen et.al. - Deep Do main Adaptation for Describing People Based on Fine-Grained Clothing Attributes (verfüg bar Internet unter: htD://oDenaccess.thecvf.com/content cvpr 2015/oa- pers/Chen Deep Domain Adaptation 2015 CVPR paper.pdf ) beschrieben ist. Auch eine Erweiterung dieser Verfahren dahingehend ist möglich, dass, insbesondere anstelle eines reinen 2D-RGB-Bilds, die Bilddaten des 3D-Bildsensors als Eingangsgrößen Verwendung finden. So können 3D-lnformationen zur Erkennung des Kleidungstyps bzw. Materials her angezogen werden, wodurch die Genauigkeit und Zuverlässigkeit dieser Erkennung weiter erhöht werden kann.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Dynamisches Erfassen des 3D-Bildes und des Thermobilds der Person; (ii) Erkennen eines jeweiligen Bewegungszustands der anhand der Segmentierung identifizierten Körperteile mittels eines Bewegungserkennungsalgorithmus; (iii) Bestimmen einer Stoffwechselrate (engl metabolic rate) der Person mittels eines Stoffwechselratenmodells auf Basis der den einzelnen iden tifizierten Körperteilen jeweils zugeordneten thermischen Werte und erkannten Bewe gungszustände. Dabei erfolgt das modellbasierte Bestimmen des Schätzwerts für die ther mische Behaglichkeit der Person in Abhängigkeit von der so bestimmten Stoffwechselrate.
Beispielhafte bekannte Verfahren und Referenzwerte zur Bestimmung einer Stoffwechsel rate oder deren dynamischen Veränderung sind beschrieben in: (i) Streinu-Cercel Adrian et.al - Models for the indices of thermal comfort - https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5654073/ verfügbar im Internet unter https://www.enaineerinatoolbox.com/met-metabolic-rate-d 733.html;
(ii) httos://www. enaineerinatoolbox. com/met-metabolic-rate-d 733. html : und
(iii) http://www.me. utexas.edu/~neptune/Papers/gait%26posture23(3).pdf.
Auf diese Weise lässt sich die Genauigkeit der Bestimmung der thermischen Behaglichkeit noch weiter verbessern, da dazu nicht nur statische, sondern auch dynamische Informatio nen, insbesondere zum Bewegungszustand der Person berücksichtigt werden. Die Genau igkeit lässt sich dabei insbesondere dadurch erhöhen, dass nicht nur ein globaler Bewe gungszustand der Person, sondern die individuellen Bewegungszustände der anhand der Segmentierung identifizierten einzelnen Körperteile bei der Bestimmung der thermischen Behaglichkeit berücksichtigt werden. Dies ist insbesondere deswegen von Bedeutung, weil die Bewegung unterschiedlicher Körperteile einen unterschiedlich starken Einfluss auf die thermische Behaglichkeit der Person hat. Dies ergibt sich vor allem daraus, dass für die Bewegung verschiedener Körperteile in aller Regel unterschiedlich viel Energie aufgewen det werden muss und somit auch unterschiedlich viel Wärme in den dazu eingesetzten Muskeln erzeugt wird. Die erzeugte Wärme wiederum hat einen Einfluss auf die thermische Behaglichkeit der Person, was entsprechend in dem Modell zur Bestimmung des Schätz wertes berücksichtigt werden kann.
Bei einigen Ausführungsformen weist das Verfahren des Weiteren auf: (i) Prüfen, ob sich eine Person in dem Raumbereich aufhält mittels Abgleichens eines mittels des 3D- Bildsensors erfassten 3D-Bilds des Raumbereichs mit einem mittels des thermischen Bildsensors erfassten Thermobilds des Raumbereichs; und (ii) Durchführen der zur Bestim mung des Schätzwerts erforderlichen Verfahrensschritte nur dann, wenn sich bei dem Prü fen ergibt, dass sich eine Person in dem Raumbereich befindet. Auf diese Weise kann zum einen der Aufwand zur Bestimmung des Schätzwerts vermieden werden, wenn sich gar keine Personen im Raumbereich befindet und somit eine Bestimmung des Schätzwertes obsolet ist. Zum anderen kann aber insbesondere in Fällen, bei denen das Modell wieder holt angepasst wird, insbesondere auf Basis eines maschinellen Lernens, eine Stabilisie rung des Modells erreicht werden, da somit verhindert werden kann, dass Messungen, die sich gar nicht auf eine Person, sondern den leeren Raumbereich beziehen, in die wieder holte Modellanpassung einfließen. Ein zweiter Aspekt der Erfindung betrifft eine Vorrichtung zum Bestimmen einer thermi schen Behaglichkeit, insbesondere eines thermischen Behaglichkeitsindex, bezüglich einer in einem bestimmten Raumbereich, insbesondere in einem Fahrgastbereich eines Fahr zeugs, befindlichen Person, wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß der ersten Aspekt der Erfindung auszuführen. Die Vorrichtung kann insbesondere eine Steuerungsvorrichtung für eine Klimatisierungsvorrichtung zur Klimatisierung des Raumbe reichs sein.
Unter„konfiguriert“ ist im Sinne der Erfindung zu verstehen, dass die entsprechende Vor richtung bereits eingerichtet ist oder einstellbar - d.h. konfigurierbar - ist, eine bestimmte Funktion zu erfüllen. Die Konfiguration kann dabei beispielsweise über eine entsprechende Einstellung von Parametern eines Prozessablaufs oder von Schaltern oder ähnlichem zur Aktivierung bzw. Deaktivierung von Funktionalitäten bzw. Einstellungen erfolgen. Insbeson dere kann die Vorrichtung mehrere vorbestimmte Konfigurationen oder Betriebsmodi auf weisen, so dass das konfigurieren mittels einer Auswahl einer dieser Konfigurationen bzw. Betriebsmodi erfolgen kann.
Ein dritter Aspekt der Erfindung betrifft ein Verfahren zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person geeigneten Raumbereichs, wobei das Ver fahren aufweist: (i) Bestimmen einer thermischen Behaglichkeit, insbesondere eines ther mischen Behaglichkeitsindex, bezüglich einer in dem Raumbereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Person gemäß dem Verfahren nach dem ersten Aspekt der Erfindung; und (ii) Ansteuern einer Klimatisierungsvorrichtung zur auto matischen Klimatisierung des Raumbereichs in Abhängigkeit von der bestimmten thermi schen Behaglichkeit der Person. Somit kann gemäß diesem Verfahren die erfindungsge mäße Bestimmung der thermischen Behaglichkeit unmittelbar dazu genutzt werden, auto matisch eine automatische Klimatisierung des Raumbereichs in Abhängigkeit von der be stimmten thermischen Behaglichkeit durchzuführen. Wenngleich dies, wie schon vorausge hende erläutert, eine Individualisierung des Modells zur Bestimmung der thermischen Be haglichkeit, und somit auch eine Individualisierung der daraus folgenden Thematisierung auf manuelle Weise, insbesondere mittels entsprechender Eingaben an einer Mensch-Ma- schine-Schnittstelle, erlaubt, kann die Ansteuerung der entsprechenden Klimavorrichtung auf Basis des Modells automatisch, insbesondere vollautomatisch, erfolgen. Unter dem Begriff„Steuern“ kann hier sowohl ein Steuern als auch ein Regeln im Sinne der bekannten Begrifflichkeiten aus der Steuerungs- und Regelungstechnik verstanden wer den.
Bei einigen Ausführungsformen dieses Verfahrens wird das Verfahren individuell für zumin dest zwei in dem Raumbereich befindlichen Personen durchgeführt. Dabei erfolgt das An steuern der Klimatisierungsvorrichtung so, dass dadurch für die Personen in Abhängigkeit von der für sie jeweils bestimmten thermischen Behaglichkeit jeweils eine durch die Klima tisierungsvorrichtung bewirkte individuelle Klimatisierung für einen Teilbereich des Raum bereichs, in dem sie sich jeweils, zumindest anteilig, befinden, eingestellt wird. Auf diese Weise lässt sich auch bei Anwesenheit einer Mehrzahl von Personen in dem Raumbereich eine personenindividuelle Klimatisierung auf automatische Weise und auf Basis einer per sonenindividuell bestimmten thermische Behaglichkeit erreichen. Im Falle eines Fahrzeugs, das mit einem Fahrer und einem Beifahrer besetzt ist, kann so etwa eine unterschiedliche Einstellung für die Temperatur und Menge der Luftzufuhr über entsprechende Lüftungs schlitze im Fahrer- bzw. Beifahrerbereich an der automatischen Klimatisierungsvorrichtung eingestellt werden.
Ein vierter Aspekt der Erfindung betrifft eine Vorrichtung zum Steuern einer automatischen Klimatisierung eines zur Aufnahme einer Person geeigneten Raumbereichs, wobei die Vor richtung konfiguriert ist, das Verfahren gemäß dem dritten Aspekt der Erfindung auszufüh ren.
Gemäß einiger Ausführungsformen können die Vorrichtung gemäß dem zweiten Aspekt der Erfindung und/oder die Vorrichtung gemäß dem vierten Aspekt der Erfindung zur personen individuellen Bilderfassung eine Mehrzahl von 3D-Bildsensoren und jeweils zumindest ei nen dem jeweiligen 3D-Bildsensor zugeordneten thermische Bildsensor aufweisen. Auf diese Weise lässt sich besonders vorteilhaft und mit hoher Bildauflösung je Person eine personenindividuelle Erfassung von personenbezogenen Eingangsgrößen zur Bestimmung der der jeweiligen Person zugeordneten thermischen Behaglichkeit erreichen.
Gemäß einiger Ausführungsformen weist die Vorrichtung gemäß dem zweiten Aspekt der Erfindung und/oder die Vorrichtung gemäß dem vierten Aspekt der Erfindung den 3D- Bildsensor bzw. zumindest einen 3D-Bildsensor und den jeweils zugeordneten thermischen Bildsensor auf, wobei zumindest einer der thermischen Bildsensoren eine gegenüber der Bildauflösung des zugeordneten 3D-Bildsensors geringerer Bildauflösung aufweist. Damit kann vorteilhaft die Komplexität der entsprechenden Vorrichtung reduziert werden, ohne dass damit die Genauigkeit der Bestimmung des Schätzwertes für die thermische Behag lichkeit beeinträchtigt werden muss, da der Auflösungsunterschied, insbesondere mittels einer entsprechenden Bildskalierung des Thermobilds auf Basis der Informationen aus dem 3D-Bild, zumindest im Wesentlichen kompensiert werden kann. Da die Herstellungs- bzw. Bezugskosten für den thermischen Bildsensor in der Regel einen Hauptkostenfaktor bei der Herstellung der entsprechenden Vorrichtung bilden, lassen sich zudem auf diese Weise Kosten einsparen.
Die in Bezug auf den ersten Aspekt der Erfindung erläuterten Merkmale und Vorteile gelten entsprechend auch für die weiteren Aspekte der Erfindung.
Weitere Vorteile, Merkmale und Anwendungsmöglichkeiten der vorliegenden Erfindung er geben sich aus der nachfolgenden detaillierten Beschreibung im Zusammenhang mit den Figuren.
Dabei zeigt:
Fig. 1 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsge mäßen Verfahren zur Bestimmung der thermischen Behaglichkeit und zur davon abhängi gen Steuerung einer automatischen Klimatisierung des Raumbereichs, sowie schematisch eine entsprechende Ausführungsform einer Vorrichtung zur Durchführung der Verfahren;
Fig. 2 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsge mäßen Verfahren im Hinblick auf die Bestimmung einer Stoffwechselrate der Person als Eingangsgröße in das Modell zur Bestimmung des Schätzwerts für die thermische Behag lichkeit der Person;
Fig. 3 ein Flussdiagramm zur Veranschaulichung einer Ausführungsform der erfindungsge mäßen Verfahren im Hinblick auf die Identifikation der Person;
Fig. 4 eine Darstellung zur Veranschaulichung einer Erzeugung einer zur Bestimmung des Schätzwerts für die thermische Behaglichkeit als Eingangsgröße nutzbaren und mittels des Verfahrens nach dem ersten Aspekt der Erfindung erhältlichen 3D-Punktwolkenbildes zur Darstellung von Körperteilbezogenen Temperaturverteilungen;
Fig. 5 eine Darstellung eines beispielhaften Tiefenbilds (3D-Bild, bei dem die Tiefeninfor mation durch verschiedene Grauwerte dargestellt ist) und eines dazu korrespondierenden Thermobilds geringerer Auflösung sowie eine schematische Darstellung einer Ausgangssi tuation für die Bestimmung der Bildregistrierung beider Bilder, gemäß einer Ausführungs form der Erfindung; und
Fig. 6 eine fotografische Darstellung eines beispielhaften Referenzobjekts für die Bestim mung der Bildregistrierung gemäß einer Ausführungsform der Erfindung; und
Fig. 7 eine schematische Darstellung zur Illustration bevorzugter Positionen des 3D- Bildsensors und des Thermosensors innerhalb eines Fahrzeugcockpits.
Das in Fig. 1 dargestellte Verfahren 100 soll nun im Weiteren am nichtlimitierenden Beispiel einer Bestimmung der thermischen Behaglichkeit eines Fahrgastes bzw. einer Person P in einer Fahrgastzelle eines Fahrzeugs, insbesondere eines PKWs, und einer davon abhän gigen Steuerung einer automatischen Klimatisierung der Fahrgastzelle erläutert werden. Im Rahmen des Verfahrens, welches von einer entsprechenden zu seiner Ausführung konfi gurierten Vorrichtung 10 durchgeführt werden kann (die Darstellung in Fig. 1 soll andeuten, dass die Vorrichtung 10 zur Ausführung des Verfahrens 100 konfiguriert ist), wird in einem Schritt 101 die Fahrgastzelle zum einen mittels eines 3D-Bildsensors in Form einer TOF- Kamera und zum anderen in einem parallel ablaufenden Schritt 102 mittels eines thermi schen Bildsensors in Form einer FIR-Wärmebildkamera sensorisch erfasst. Die beiden Bildsensoren wurden bereits vorab gegeneinander im Sinne einer Bildregistrierung kalib riert, wie nachfolgend unter Bezugnahme auf die Figuren 5 und 6 im Einzelnen erläutert werden wird.
In einem weiteren Schritt 103, der wie hier gezeigt, sequenziell nachfolgend oder aber auch vor oder gleichzeitig mit der vorausgehend beschriebenen bildsensorischen Erfassung der Fahrgastzelle erfolgen kann, wird festgestellt, ob sich tatsächlich eine Person P in der Fahr gastzelle befindet. Dies kann insbesondere auf bekannte Weise mittels Sitzbelegungssen sorik oder aber auch durch Auswertung des bzw. der bereits erfassten Bilder zumindest eines der vorgenannten Bildsensoren 101 oder 102 und Abgleich von deren Bild bzw. Bil dern mit einem jeweiligen Referenzbild, welches insbesondere zu einer nicht mit einer Per son besetzten Fahrgastzelle korrespondieren kann, erfolgen. Eine kombinierte Auswertung des 3D-Bilds und des thermischen Bilds kann dabei vor allem dazu verwendet werden die Zuverlässigkeit der Anwesenheitsprüfung zu erhöhen. Während beispielsweise eine rein optische Analyse auf Basis des 3D-Bilds eine lebende Person unter Umständen nur unzu verlässig von einer Schaufensterpuppe oder einem sog.„Dummy“, wie sie für Crashtests zum Einsatz kommen, unterscheiden kann, ist eine solche Unterscheidung unter Hinzuzie hung der thermischen Informationen aus dem Thermobild in der Regel mit hoher Zuverläs sigkeit möglich, da damit etwa typische Temperaturunterschiede der Kopfoberfläche ge genüber der Torso-Oberfläche einer lebenden Person erfasst und zur Differenzierung ge nutzt werden können.
Wird bei der Anwesenheitsüberprüfung festgestellt, dass sich keine Person in der Fahrgast zelle, d. h. dem überwachten Raumbereich, befindet, kann das Verfahren beendet werden oder aber in einer Schleife zum ersten Schritt, der Bilderfassung, zurückkehren, um fortlau fend festzustellen, ob sich am Belegungsstatus der Fahrgastzelle etwas geändert hat. Be vorzugt wird das Verfahren 100 jedoch erst dann erneut durchlaufen, wenn eine dazu vor gesehene Sensorik, beispielsweise eine Sensorik die das Öffnen einer Zugangsöffnung zur Fahrgastzelle, etwa einer Fahrzeugtür, detektieren kann, ein entsprechendes Signal aus gibt, welches die Möglichkeit oder eines Zustiegs oder einen tatsächlichen Zustieg einer Person anzeigt.
Im Folgenden wird davon ausgegangen, dass die Prüfung im Schritt 103 das Vorhanden sein einer Person P in der Fahrgastzelle bestätigt hat. Im Rahmen des Verfahrens 100 folgt sodann ein weiterer Schritt 104, bei dem die Person P identifiziert wird. Grundsätzlich kann dies mittels eines beliebigen dazu geeigneten Identifikationsverfahrens erfolgen, beispiels weise auf Basis der sog.„Eigengesichter“-Ttechnik (engl. Eigenfaces) oder einem Gesichts abtastungsverfahren, wie es bei der bekannten„Face ID“ von Apple, Inc. zur Entsperrung elektronischer Endgeräte zum Einsatz kommt. Insbesondere kann die Identifikation jedoch nach dem unter Bezugnahme auf Fig. 3 nachfolgend beschriebenen Verfahren gemäß ei ner Ausführungsform der vorliegenden Erfindung erfolgen, wozu die bereits von den Bildsensoren den Schritten 101 und 102 erfassten Bilder herangezogen werden. Auf Basis dieser Identifikation der Person P wird sodann im Schritt 105 ein gegebenenfalls für die Person P bereits vorhandenes Benutzerprofil abgerufen, beispielsweise aus einem dazu vorgesehenen (nicht dargestellten) lokalen Speicher in der Vorrichtung 10 oder aus einer über eine Kommunikationsverbindung, etwa über das Internet, zugreifbaren Datenbank.
Das Benutzerprofil enthält der identifizierten Person P zugeordnete Nutzerprofildaten, die historisch, beispielsweise durch früher erfasste Benutzereingaben an einer Mensch-Ma- schine-Schnittstelle oder sensorisch erfasste, personenspezifische Anpassungswünsche bezüglich der Klimatisierung repräsentieren, wie etwa den Wunsch nach einer grundsätz lich erhöhten oder einer erniedrigten Temperatureinstellung der Klimatisierung. Dabei dient das Benutzerprofil als eine der Eingangsgrößen für die Bestimmung der individuellen ther mischen Behaglichkeit der Person P in Form eines bestimmten TCI in einem Schritt 1 10 des Verfahrens.
Weitere Eingangsgrößen für die TCI-Bestimmung werden im Schritt 106 aus den in den Schritten 101 und 102 gewonnenen Bilddaten abgeleitet. Solche Eingangsgrößen können insbesondere aus dem Thermobild gewonnene Temperaturdaten oder aus dem 3D-Bild gewonnene Informationen zum Bewegungszustand der Person P sein. Ein weiteres Bei spiel für eine solche Eingangsgröße ist eine aus zumindest einem der beiden Bilder, bevor zugt aus beiden, abgeleitete Stoffwechsel rate (metabolische Rate). Letzteres wird im Wei teren unter Bezugnahme auf Fig. 2 erläutert werden.
Ein einfaches Verfahren zur Detektion des Bewegungszustands auf Basis eines ersten Bild frames zum Zeitpunkt t-1 und eines nachfolgenden Bildframes zum Zweitpunkt t kann bei spielsweise folgende Schritte aufweisen: Es werden zwei Schwellwerte cf und n festgelegt. Dabei stellt d eine Schwelle für den Grad der Änderung eines 2D- oder 3D-Bildpunktwerts (z.B. Grau- oder Farbwerts) beim Übergang vom Zeitpunkt t-1 zum Zeitpunkt t dar, anhand dessen bestimmt wird, ob sich der Bildpunktwert eines bestimmten Bildpunkts im zweiten Bildframe ausreichend gegenüber dem entsprechenden Bildpunktwert im ersten Bildframe verändert hat, um als relevante Änderung berücksichtigt zu werden. Der Wert n stellt zudem eine Schwelle für die erforderliche Mindestanzahl solcher zu berücksichtigender Bildpunkte dar, um diese Änderungen insgesamt als eine Bewegung beim Übergang vom Zeitpunkt t- 1 zum Zeitpunkt t zu klassifizieren. Das Verfahren kann sodann den Bewegungszustand beispielsweise dadurch in Form entsprechender Daten oder Signale liefern, dass allein das Auftreten einer erkannten Bewegung, oder sogar ein Grad der Bewegung, etwa auf Basis der berücksichtigen Bildpunkte, geliefert wird. Als weitere Eingangsgrößen können im Schritt 107 Messwerte der Fahrzeugsensorik, etwa zur Temperatur, zu Luftbewegungen oder zur Sonneneinstrahlung im bzw. in den Raumbe reich (hier Fahrgastzelle) berücksichtigt werden, die zum einen unmittelbar als Eingangs größen zum Schritt 1 10 dienen und/oder zum anderen in die Bestimmung eines noch nicht anhand des Benutzerprofils individualisierten TCI-Werts (z.B. PMV) für die Person P im Schritt 108 einfließen. Zur TCI-Berechnung im Schritt 108 kann insbesondere die eingangs genannte ISO Norm EN ISO 7730 als Berechnungsgrundlage, d.h. insbesondere als Be rechnungsmodell, herangezogen werden.
Im Schritt 1 10 kann sodann auf Basis des im Schritt 108 gewonnen vorläufigen TCI-Werts unter weiterer Berücksichtigung des im Schritt 105 bereitgestellten Benutzerprofils ein indi vidualisierter TCI-Schätzwert bestimmt werden, in dessen Bestimmung nun auf Basis des Benutzerprofils die individuellen Bedürfnisse oder Vorlieben der Person P bezüglich der Klimatisierung des Fahrgastraums einfließen.
Auf Basis des im Schritt 1 10 bestimmten TCI-Schätzwerts kann im Schritt 1 1 1 eine Ansteu erung der Klimatisierungsfunktion bzw. -Vorrichtung des Fahrzeugs für den Fahrgastbereich oder Teile davon im Sinne einer Steuerung oder Regelung erfolgen, um im Fall einer Ab weichung des bestimmen TCI von einem personenunabhängigen oder im Rahmen des Be nutzerprofils personenbezogenen TCI-Sollwert bzw. TCI-Sollwertbereich den Ist-TCI in zu mindest annähernde Übereinstimmung mit diesem Sollwert bzw. Sollwertbereich zu brin gen.
Zudem kann dann in einem weiteren Schritt 1 12 eine Benutzereingabe an einer Mensch- Maschine-Schnittsteile erfolgen, mittels derer die Person P eine weitere Anpassung - bzw. allgemeiner - eine Rückmeldung zu ihrer empfundenen thermischen Behaglichkeit vorneh men kann. Hierbei kann es sich insbesondere wieder um einen Anpassungswunsch an die Temperatur im Raumbereich handeln.
In einem Schritt 109 kann sodann auf Basis dieser Benutzereingabe und den aktuellen Werten der verschiedenen Eingangsgrößen für die TCI-Bestimmung eine Anpassung des zur individuellen TCI-Bestimmung im Schritt 1 10 benutzten Berechnungsmodells erfolgen. Dies kann insbesondere mithilfe maschinellen Lernens erfolgen. Dazu kann etwa ein künst liches neuronales Netz, etwa vom Typ CNN (convolutional neural network) oder RNN (recurrent neural network) eingesetzt werden, das auf diese Weise wiederholt trainiert wer den kann und dessen Ausgaben zum einen zur Anpassung des Benutzerprofils sowie als weitere Eingangsgröße für einen nächsten Durchlauf des Schritts 1 10 verwendet werden können, um so den Bedürfnissen oder Vorlieben der Person P bezüglich der Raumklimati sierung nachhaltig Rechnung tragen zu können.
Unter Bezugnahme auf Fig. 2 soll nun im Folgenden eine Ausführungsform des erfindungs gemäßen Verfahrens im Hinblick auf die in einem optionalen, dem Schritt 106 zuzuordnen den Prozess 200 erfolgende Bestimmung einer Stoffwechselrate der Person als Eingangs größe in das Modell zur Bestimmung des TCI-Schätzwerts für die thermische Behaglichkeit der Person P erläutert werden. Da verschiedenen Personen in derselben Umgebung und bei vergleichbarer körperlicher Aktivität verschiedene Körpertemperaturen bzw. Körper oberflächentemperaturen aufweisen können, reicht zur zuverlässigen Bestimmung der mit der körperlichen Aktivität korrelierten Stoffwechselrate einer Person P grundsätzlich eine reine Temperaturmessung nicht aus.
Die Schritte 201 und 202 des Prozesses 200 entsprechen den Schritten 101 bzw. 102 aus Fig. 1 . Eine Anwesenheitsprüfung im Schritt 204 kann darüber hinaus auf dieselbe Weise erfolgen, wie im Schritt 103, oder mit diesem zusammenfallen. Aus Schritt 101 resultieren insbesondere mithilfe des 3D-Bildsensors gewonnene Tiefendaten (Tiefenkarte) 203 die eine 3D-Punktwolke 208 repräsentieren. Aus Schritt 202 resultieren mittels des thermischen Sensors gewonnene Thermobilddaten 205. Dabei bilden die Tiefendaten 203 und die Ther- mobilddaten 205 jeweils den Raumbereich (Fahrgastzelle) oder zumindest eines Ausschnitt davon ab.
Im Rahmen der Anwesenheitsprüfung im Schritt 204 kann nicht nur bestimmt werden, ob eine Person P in dem Raumbereich anwesend ist, sondern es kann auch deren Bewegung im Raum, insbesondere auch körperteilbezogen, ermittelt werden. Durch geeignete Aus wertung 209 der Tiefendaten 203, der Thermobilddaten 205 und der Ergebnisse der Anwe senheitsprüfung 204 können sodann Rückschlüsse auf die Bewegung der verschiedenen Körperteile der Person P, deren aktuellen Temperaturen und der durch sie gebildeten Kör perpose gezogen werden. Die Auswertung 209 kann dazu insbesondere die Bewegungen mithilfe eines Bewegungsdetektionsalgorithmus bestimmen und mithilfe eines Segmentie rungsverfahrens im Sinne der Bildverarbeitung eine Hintergrundextraktion der Unterdrü ckung sowie eine Extraktion der Abbilder einzelner Körperteile der Person aus den 3D- Bilddaten vornehmen. Insbesondere können solche Bewegungsdetektionsalgorithmen da rauf beruhen, durch die Verwendung eines robusten Hintergrundmodells den Hintergrund vom Vordergrund zu trennen, um die Bewegung zu erkennen und zu lokalisieren.
Zur Bestimmung des Zusammenhangs zwischen der detektierten Bewegung eines Körper teils und seinem Einfluss auf die körperliche Gesamtaktivität bzw. Stoffwechsel rate der Per son in einem Schritt 214 kann eine Datenbank, insbesondere in Form einer sogenannten Lookup-Tabelle bzw. Wertetabelle vorgesehen sein. Die entsprechenden Ergebnisse für die verschiedenen Körperteile können in einem Vektor 213 oder einer anderen Datenstruk tur zusammengefasst werden, der bzw. die als zeitabhängige Eingangsgröße für einen Schritt 215 dient, bei dem mithilfe eines auf maschinellem Lernen beruhenden Modells oder eines sonstigen Regressionsverfahrens ein Rückschluss auf die Stoffwechselrate gezogen wird, um für diese einen Schätzwert 216 zu bestimmen. Wie schon unter Bezugnahme auf Fig. 1 erläutert kann dieser Schätzwert 216 als eine der Eingangsgrößen für die Bestim mung des Schätzwerts für die thermische Behaglichkeit in den Schritten 108 bzw. 1 10 ver wendet werden.
Unter Bezugnahme auf Fig. 3 soll nun eine beispielhafte Ausführungsform des Prozesses aus Schritt 104 der Fig. 1 zur Identifikation der Person P erläutert werden. Die Schritte 301 und 302 des Prozesses 300 entsprechen den Schritten 101 bzw. 102 aus Fig. 1 . Die 3D- Bilderfassung aus Schritt 301 liefert insbesondere zum einen ein 2D-Amplitudenbild 303 sowie zum anderen ein Tiefenbild (Tiefenkarte) 305, während die thermische Bilderfassung ein zweidimensionales Thermobild 310 liefert. Alle diese Bilder werden durch entspre chende digitale Bilddaten repräsentiert.
Auf Basis des 2D-Amplitudenbilds 303 kann mittels eines geeigneten Gesichtsdetektions algorithmus, beispielsweise auf Basis von sog. „Haar-Kaskaden“ bzw. „Haar-Like Fea tures“, im Schritt 304 eine Erkennung des das Gesicht der Person P darstellenden Bildbe reichs vorgenommen werden, während wie schon vorausgehend beschrieben auf Basis des Tiefenbilds 305 und des Thermobilds 310 im Schritt 306 eine Anwesenheitsprüfung hinsichtlich der Anwesenheit einer (lebenden) Person in dem durch die Bilder abgebildeten Raumbereich durchgeführt wird. Aus der Kombination aus dem Tiefenbild 305 und dem Thermobild 310 kann zudem - wie schon erläutert - eine Detektion 307 verschiedener Kör perteile der Person P und in der Folge insbesondere für den Kopf eine Bildsegmentierung 308, insbesondere in Gesicht und andere Kopfbereiche, vorgenommen werden. Im Schritt 309 werden schließlich die so aus den verschiedenen Bildern abgeleiteten Informationen zum Zwecke der Gesichtserkennung und damit Identifikation der Person P anhand ihres Gesichts zusammengeführt und ausgewertet, um im Schritt 31 1 ein entsprechendes Iden tifikationsergebnis auszugeben.
Fig. 4 zeigt eine Darstellung 400 zur Veranschaulichung einer Erzeugung einer zur Bestim mung des Schätzwerts für die thermische Behaglichkeit als Eingangsgröße nutzbaren und mittels des Verfahrens nach dem ersten Aspekt der Erfindung, insbesondere nach Fig. 1 , erhältlichen 3D-Punktwolkenbildes. Dabei werden ein von dem 3D-Bildsensor geliefertes Amplitudenbild 401 sowie ein dazu korrespondierendes als Grauwertbild dargestelltes Thermobild 402 (Wärmebild) von dem thermischen Bildsensor, welches im dargestellten Fall eine deutlich geringere Auflösung aufweist als das Amplitudenbild 401 , zunächst im Sinne einer Bildregistrierung kalibriert. Somit kann darauf beruhend anschließend mittels der zueinander korrespondierenden Informationen aus den beiden Bildern mithilfe eines entsprechenden Klassifikationsalgorithmus, der insbesondere mittels eines auf maschinel lem Lernen beruhenden Systems durchgeführt werden kann und insbesondere ein künstli ches neuronales Netzwerk nutzen kann, eine Klassifikation des Bildes bezüglich verschie dener Körperteile der darin dargestellten Person P vorgenommen werden. Das Ergebnis dieser Klassifikation kann dabei insbesondere in Form eines Falschfarben- oder Grauwert bilds 403 bzw. entsprechender Bilddaten zur Verfügung gestellt werden. Den mittels dieser Klassifikation identifizierten einzelnen Körperteilen können somit auf Basis des Thermobilds 402 jeweils wiederum entsprechende Temperaturen oder Temperaturverläufe zugeordnet werden, und insbesondere in Form einer in Form eines Beispiels in Bild 404 als Grauwert bild oder alternativ als Falschfarbenbild dargestellten Punktwolke wiedergegeben werden. Auf diese Weise ist somit eine Zuordnung von Temperaturen zu Körperteilen möglich, was wiederum als Ausgangspunkt für die Bestimmung einer körperlichen Aktivität der Person P, insbesondere einer Stoffwechselrate, dienen kann, wie schon vorausgehend unter Bezug nahme auf Fig. 2 im Einzelnen beschrieben.
Unter Bezugnahme auf die Figuren 5 und 6 soll nun noch eine beispielhafte Ausführungs form für die Bildregistrierung bzw. Kalibrierung des 3D-Bildsensors und des thermischen Bildsensors erläutert werden. Dazu ist in Fig. 5 übersichtsartig das Grundprinzip dargestellt, bei dem ein von dem 3D-Bildsensor geliefertes Bild, beispielsweise ein Tiefenbild 501 , als Referenzbild dient, bezüglich dessen ein von dem thermischen Bild sensorgeliefertes Ther mobild 502 (als Objektbild) registriert werden soll. Die Bildregistrierung soll dabei eine Transformation sein, mittels derer jeder Bildpunkt des Referenzbildes 501 mit einem ent sprechenden Referenzbildpunkt des Objektbildes verknüpft wird bzw. umgekehrt. Wenn sich, wie im vorliegenden Beispiel, die Auflösungen der beiden Bilder unterscheiden, kann auf bekannte Weise eine entsprechende Auflösungsskalierung zumindest eines der Bilder, bevorzugt des Bildes mit der niedrigeren Auflösung (Upsampling), erfolgen, um die Auflö sungen bei der Bilder anzugleichen.
Das zur Bildregistrierung bzw. Kalibrierung verwendete Verfahren muss dabei geeignet sein, ein Bild im sichtbaren Bereich des elektronischen Spektrums mit einem Bild im Infra rotbereich abzugleichen. Dies kann beispielsweise dadurch erreicht werden, dass ein Re ferenzobjekt, insbesondere ein eines, welches ein Referenzmuster aufweist, das sowohl im optischen als auch im Infrarotbereich sichtbar ist, gleichzeitig durch beide Bildsensoren de- tektiert wird.
Ein beispielhaftes Referenzobjekt, welches ein Schachbrettmuster aufweist, ist in Fig. 6 vierfach für verschiedene Fälle dargestellt. Die vier verschiedenen Fälle korrespondieren zu einem Bildregistrierungsverfahren, welches darauf beruht, dass das Referenzobjekt aus verschiedenen Materialien so zusammengesetzt ist, dass die verschiedenen Schachbrett felder sowohl im sichtbaren Bereich als auch im Infrarotbereich unterschiedliche Absorpti onskoeffizienten aufweisen, sodass jeweils die weißen und die schwarzen Felder des Schachbrettmusters aufgrund ihres entsprechenden Kontrastes unterschieden werden kön nen. In Fig. 6 zeigt Bild 601 das mittels des thermischen Bildsensors generierte Bild des Schachbrettmusters bei einer niedrigen Ausgangstemperatur, bevor das Referenzobjekt ei ner Wärmestrahlungsquelle ausgesetzt wird. Da sich zu diesem Zeitpunkt mangels ausrei chender Wärmezufuhr die verschiedenen Operationskoeffizienten für Infrarotstrahlung noch nicht stark auswirken konnten, ist das Schachbrettmuster im Thermobild nicht bezie hungsweise nur sehr schlecht zu erkennen.
Das gleichzeitig vom 3D-Bildsensor im optischen Bereich des Spektrums aufgenommene Bild 602 dagegen lässt das Schachbrettmuster bereits deutlich erkennen, da hier die Wär mezufuhr kaum eine Rolle spielt. Folglich können bereits, wie durch die einzelnen Kreise in Bild 602 beispielhaft markiert, einzelne Bildpunkte zum Zwecke der Bestimmung der T rans- formation zu Bildregistrierung identifiziert und festgelegt werden. Dasselbe gilt auch nach der Erwärmung, da diese die optischen Eigenschaften des Referenzobjekts nur unwesent lich beeinflusst, sodass auch im zugehörigen Bild 604 die Referenzpunkte klar erkennbar sind.
Nach der Erwärmung sind die entsprechenden Referenzpunkte auch im Thermobild 603 identifizierbar, welches nun aufgrund der unterschiedlichen Absorptionskoeffizienten der schwarzen und weißen Schachbrettfelder das dadurch hervorgerufene schachbrettartige Temperaturprofil zeigt. Auf Basis der Bilder 603 und 604 kann somit mittels Bestimmung einer entsprechenden geometrischen Transformation der zueinander korrespondierenden jeweiligen Referenzpunkte die Bildregistrierungstransformation bestimmt werden. Dazu sind in der Regel im Hinblick auf eine ausreichend zuverlässige Transformationsbestim mung mindestens zwei Referenzpunkte pro Bild erforderlich, die zu entsprechenden Refe renzpunkten im jeweils anderen Bild korrespondieren.
Fig. 7 zeigt eine schematische Übersichtsdarstellung 700 zur Illustration bevorzugter Posi tionen 701 bis 704 des 3D-Bildsensors und des Thermosensors innerhalb eines Fahr zeugcockpits. Dazu können der 3D-Bildsensor und der Thermosensor insbesondere als Baueinheit ausgeführt sein, was insbesondere den Vorteil hat, dass ihre relative Lage zu einander unveränderlich und vorab bekannt ist, ohne nachträglich bei der Installation oder Inbetriebnahme des Systems erst gemessen oder kalibriert werden zu müssen. Dies kann insbesondere zur Vereinfachung der Bildregistrierung genutzt werden. Gemäß Fig. 7 kön nen die Sensoren bzw. die Baueinheit insbesondere am Armaturenbrett (Position 701 ), etwa in horizontal zentraler Lage; im Bereich der unteren Begrenzung der Windschutz scheibe auf der Fahrerseite (Position 702); im vorderen Bereich des Dachhimmels auf der Fahrerseite (Position 703), oder zentral im vorderen Bereich des Dachhimmels (Position 704) angeordnet sein oder werden. Insbesondere dann, wenn die Sensorik bzw. die Bau einheit an Position 704 oder deren unmittelbarer Umgebung angeordnet ist, könne sowohl der Fahrerbereich und somit ein sich darin aufhaltender Fahrer, als auch etwaige auf einem oder mehreren der weiteren Fahrzeugsitze befindliche Personen bildlich erfasst werden und deren jeweilige thermische Behaglichkeit erfindungsgemäß bestimmte werden.
Während vorausgehend wenigstens eine beispielhafte Ausführungsform beschrieben wurde, ist zu bemerken, dass eine große Anzahl von Variationen dazu existiert. Es ist dabei auch zu beachten, dass die beschriebenen beispielhaften Ausführungsformen nur nichtli- mitierende Beispiele darstellen, und es nicht beabsichtigt ist, dadurch den Umfang, die An wendbarkeit oder die Konfiguration der hier beschriebenen Vorrichtungen und Verfahren zu beschränken. Vielmehr wird die vorausgehende Beschreibung dem Fachmann eine Anlei tung zur Implementierung mindestens einer beispielhaften Ausführungsform liefern, wobei sich versteht, dass verschiedene Änderungen in der Funktionsweise und der Anordnung der in einer beispielhaften Ausführungsform beschriebenen Elemente vorgenommen wer den können, ohne dass dabei von dem in den angehängten Ansprüchen jeweils festgeleg ten Gegenstand sowie seinen rechtlichen Äquivalenten abgewichen wird.
Bezuqszeichenliste
P Person
10 Vorrichtung zur Bestimmung der thermischen Behaglichkeit
100 Verfahren zur Bestimmung einer thermischen Behaglichkeit einer Person P 200 Verfahren zur Bestimmung einer Stoffwechselrate der Person P
300 Verfahren zur Identifikation der Person P
400 Verfahren zur Zuordnung von Temperaturen zu Körperteilen der Person P
401 Amplitudenbild des 3D-Bildsensors
402 Thermobild des thermischen Bildsensors
403 Grauwertbild zur Segmentierung bzw. Klassifikation verschiedener Körperteile
404 Grauwertbild zur Zuordnung verschiedener Temperaturen zu den verschiedenen Körperteilen
500 Verfahren zur Bildregistrierung
501 Tiefenbild des 3D-Bildsensors
502 Thermobild des thermischen Bildsensors
600 optische und Wärmebilder eines Referenzobjekts vor bzw. nach Erwärmung
601 Wärmebild des Referenzobjekts vor Erwärmung
602 optisches Bild des Referenzobjekts vor Erwärmung
603 Wärmebild des Referenzobjekts nach Erwärmung
604 optisches Bild des Referenzobjekts nach Erwärmung
700 Übersicht verschiedener Anordnungsmöglichkeiten 701 - 704 für Bildsensorik, ins besondere 3D-Bildsensor und Thermosensor
701 am Armaturenbrett, insbesondere in horizontal zentraler Lage
702 im Bereich der unteren Begrenzung der Windschutzscheibe auf der Fahrerseite
703 im vorderen Bereich des Dachhimmels auf der Fahrerseite
704 zentral im vorderen Bereich des Dachhimmels

Claims

Ansprüche
1. Verfahren (100, 200) zum Bestimmen einer thermischen Behaglichkeit bezüglich ei ner in einem bestimmten Raumbereich befindlichen Person (P), wobei das Verfah ren aufweist:
Erfassen (101 ; 201 ) eines drei räumliche Dimensionen, 3D, abbildenden 3D-Bilds (203) eines ersten Oberflächenbereichs an der Oberfläche der Person (P) mittels eines 3D-Bildsensors;
Erfassen (102; 202) eines Thermobilds (205) eines mit dem ersten Oberflächenbe reich in einem Überlappbereich überlappenden zweiten Oberflächenbereichs an der Oberfläche der Person (P) mittels eines thermischen Bildsensors;
Anwenden einer Bildregistrierungstransformation (500) (500) auf das 3D-Bild (203), das Thermobild (205), oder beide, um die beiden Bilder zumindest bezüglich des Überlappbereichs in Übereinstimmung zu bringen;
Identifizieren (207) von verschiedenen in dem Überlappbereich abgebildeten Kör perteilen der Person (P) mittels entsprechenden Segmentierens (400) des 3D-Bilds; Zuordnen jeweils zumindest eines aus dem Thermobild (205) gewonnenen thermi schen Werts zu jedem der in dem 3D-Bild (203) identifizierten Körperteile auf Basis der Bildregistrierungstransformation (500);
Modellbasiertes Bestimmen (108, 1 10) eines Schätzwerts für die thermische Behag lichkeit der Person (P) in Abhängigkeit von den den identifizierten Körperteilen je weils zugeordneten thermischen Werten.
2. Verfahren nach Anspruch 1 , des Weiteren aufweisend:
Bestimmen der Bildregistrierungstransformation (500), vor deren Durchführung, auf Basis eines mittels des 3D-Bildsensors erfassten Bilds (203) und eines mittels des thermischen Bildsensors erfassten Thermobilds (205).
3. Verfahren nach Anspruch 2, wobei das Bestimmen der Bildregistrierungstransfor mation (500) aufweist:
Gleichzeitiges Erfassen eines Oberflächenabschnitts eines Referenzobjekts mittels des 3D-Bildsensors und des thermischen Bildsensors, wobei der Oberflächenab schnitt des Referenzmodels in abgegrenzte Bereiche unterteilt ist, die sich sowohl bezüglich ihrer Temperatur als auch optisch voneinander unterscheiden; und Bestimmen der Bildregistrierungstransformation (500) auf Basis einer Zuordnung von zueinander korrespondierenden Bildpunkten auf dem von dem 3D-Bildsensor einerseits und dem thermischen Sensor andererseits erfassten Bildern (203; 205) des Oberflächenabschnitts des Referenzobjekts.
4. Verfahren nach einem der vorausgehenden Ansprüche wobei das Verfahren des Weiteren ein Identifizieren (104; 300) der Person (P) sowie zumindest einen der folgenden Prozesse aufweist:
Anpassen (1 10) des Modells zum Bestimmen des Schätzwerts oder eines Ein gangswerts dafür in Abhängigkeit von der erkannten Identität der Person (P);
Festlegen eines Zugangs der Person (P) zu Konfigurationsmöglichkeiten für das Verfahren bzw. ein das Verfahren ausführenden Systems in Abhängigkeit von der erkannten Identität der Person (P).
5. Verfahren nach Anspruch 4, wobei das Anpassen (1 10) des Modells zum Bestim men des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels Erfassung (1 12) einer der identifizierten Person (P) zugeordneten Benutzereingabe an einer Mensch-Maschine-Schnittsteile bestimmt wird.
6. Verfahren nach Anspruch 4 oder 5, wobei das Anpassen (1 10) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür zumindest teilweise mittels eines auf maschinellem Lernen beruhenden Anpassungsverfahrens erfolgt, welches mittels zumindest einer der folgenden Maßnahmen trainiert wird:
eine oder mehrere der identifizierten Person (P) zugeordnete Benutzereinga ben (112) an einer Mensch-Maschine-Schnittsteile;
aus dem 3D-Bild (203), dem Thermobild (205) und/oder einem oder mehreren weiteren sensorisch erfassten und der Person (P) oder dem Raumbereich zu geordneten Sensorwerten abgeleiteten Körperzustände oder Verhaltenswei sen der identifizierten Person (P).
7. Verfahren nach einem der Ansprüche 4 bis 6, wobei der identifizierten Person (P) ein Benutzerprofil (105) zugeordnet wird und das Anpassen (1 10) des Modells zum Bestimmen des Schätzwerts oder eines Eingangswerts dafür in Abhängigkeit von in dem Benutzerprofil (105) der identifizierten Person (P) enthaltenen oder ihm zuge ordneten personenindividuellen Anpassungsinformationen erfolgt.
8. Verfahren nach einem der vorausgehenden Ansprüche, wobei:
das Segmentieren (400) des erfassten 3D-Bilds (203) zur Identifikation von ver schiedenen Körperteilen der Person (P) mittels eines auf maschinellem Lernen be ruhenden Segmentierungsverfahrens erfolgt, welches auf Basis einer entsprechen den Klassifizierung der Bildpunkte des 3D-Bilds (203) im Überlappbereich diesen in verschiedene Bildbereiche klassifiziert, wobei die Klassifikation dieser Bildbereiche jeweils eine Klasse aufweist, die einem unbedeckten Körperteil einer Person (P), einem bekleideten Körperteil einer Person (P) bzw. einem nicht zu einer Person (P) gehörenden Bildhintergrund zugeordnet ist; und
die Bestimmung der den identifizierten Körperteilen der Person (P) jeweils zugeord neten thermischen Werte in Abhängigkeit von der Zuordnung der verschiedenen Bildbereiche und somit identifizierten Körperteile zu dieser Klassifikation erfolgt.
9. Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend:
Sensorisches Erfassen eines Typs oder Materials der Bekleidung der Person (P); Wobei das modellbasierte Bestimmen (108, 1 10) des Schätzwerts für die thermi sche Behaglichkeit der Person (P) zusätzlich in Abhängigkeit von dem erfassten Typs oder Material der Bekleidung der Person (P) erfolgt.
10. Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend:
Dynamisches Erfassen des 3D-Bildes und des Thermobilds (205) der Person (P); Erkennen eines jeweiligen Bewegungszustands der anhand der Segmentierung identifizierten Körperteile mittels eines Bewegungserkennungsalgorithmus;
Bestimmen (106, 200) einer Stoffwechselrate der Person (P) mittels eines Stoff wechselratenmodells (215) auf Basis der den einzelnen identifizierten Körperteilen jeweils zugeordneten thermischen Werte und erkannten Bewegungszustände; wobei das modellbasierte Bestimmen (108, 1 10) des Schätzwerts für die thermische Behaglichkeit der Person (P) in Abhängigkeit von der so bestimmten Stoffwechsel rate erfolgt.
1 1. Verfahren nach einem der vorausgehenden Ansprüche, des Weiteren aufweisend: Prüfen (103), ob sich eine Person (P) in dem Raumbereich aufhält mittels Abglei- chens eines mittels des 3D-Bildsensors erfassten 3D-Bilds (203) des Raumbereichs mit einem mittels des thermischen Bildsensors erfassten Thermobilds (205) des Raumbereichs; und
Durchführen der zur Bestimmung des Schätzwerts erforderlichen Verfahrensschritte nur dann, wenn sich bei dem Prüfen ergibt, dass sich eine Person (P) in dem Raum bereich befindet.
12. Vorrichtung (10) zum Bestimmen einer thermischen Behaglichkeit, insbesondere ei nes thermischen Behaglichkeitsindex, bezüglich einer in einem bestimmten Raum bereich, insbesondere in einem Fahrgastbereich eines Fahrzeugs, befindlichen Per son (P), wobei die Vorrichtung konfiguriert ist, das Verfahren gemäß einem der vo rausgehenden Ansprüche auszuführen.
13. Verfahren (100) zum Steuern einer automatischen Klimatisierung eines zur Auf nahme einer Person (P) geeigneten Raumbereichs, wobei das Verfahren aufweist: Bestimmen einer thermischen Behaglichkeit bezüglich einer in dem Raumbereich befindlichen Person (P) gemäß dem Verfahren nach einem der Ansprüche 1 bis 1 1 ; und
Ansteuern (1 1 1 ) einer Klimatisierungsvorrichtung zur automatischen Klimatisierung des Raumbereichs in Abhängigkeit von der bestimmten thermischen Behaglichkeit der Person (P).
14. Verfahren nach Anspruch 13, wobei das Verfahren individuell für zumindest zwei in dem Raumbereich befindlichen Personen (P) durchgeführt wird, wobei das Ansteu ern der Klimatisierungsvorrichtung so erfolgt, dass dadurch für die Person (P)en in Abhängigkeit von der für sie jeweils bestimmten thermischen Behaglichkeit jeweils eine durch die Klimatisierungsvorrichtung bewirkte individuelle Klimatisierung für ei nen Teilbereich des Raumbereichs, in dem sie sich jeweils befinden, eingestellt wird.
15. Vorrichtung (10) zum Steuern einer automatischen Klimatisierung eines zur Auf nahme einer Person (P) geeigneten Raumbereichs, wobei die Vorrichtung konfigu riert ist, das Verfahren gemäß Anspruch 13 oder 14 auszuführen.
16. Vorrichtung (10) nach Anspruch 12 oder 15, wobei die Vorrichtung zur personenin dividuellen Bilderfassung eine Mehrzahl von 3D-Bildsensoren und jeweils zumindest einen dem jeweiligen 3D-Bildsensor zugeordneten thermische Bildsensor aufweist.
17. Vorrichtung (10) nach einem der Ansprüche 12, 15 oder 16, wobei die Vorrichtung den 3D-Bildsensor bzw. zumindest einen 3D-Bildsensor und den jeweils zugeord neten thermischen Bildsensor aufweist, wobei zumindest einer der thermischen Bildsensoren eine gegenüber der Bildauflösung des zugeordneten 3D-Bildsensors geringerer Bildauflösung aufweist.
PCT/EP2020/067581 2019-06-27 2020-06-24 Verfahren und vorrichtung zum bestimmen einer thermischen behaglichkeit WO2020260328A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019117348.5 2019-06-27
DE102019117348.5A DE102019117348A1 (de) 2019-06-27 2019-06-27 Verfahren und Vorrichtung zum Bestimmen einer thermischen Behaglichkeit

Publications (1)

Publication Number Publication Date
WO2020260328A1 true WO2020260328A1 (de) 2020-12-30

Family

ID=71138760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/067581 WO2020260328A1 (de) 2019-06-27 2020-06-24 Verfahren und vorrichtung zum bestimmen einer thermischen behaglichkeit

Country Status (2)

Country Link
DE (1) DE102019117348A1 (de)
WO (1) WO2020260328A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031117A (zh) * 2021-03-11 2021-06-25 哈尔滨工业大学 一种基于热图像分析的城市开放空间室外人体热舒适预测方法
CN113796839A (zh) * 2021-08-31 2021-12-17 广州蓝仕威克医疗科技有限公司 一种智能跟踪肢体位置并进行分区温度调节方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077522A1 (de) * 2011-06-15 2012-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung der thermischen Behaglichkeit
CN208558936U (zh) * 2018-02-13 2019-03-01 天津大学 一种动态追踪用户的车载空调系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013001679B4 (de) * 2013-01-31 2022-12-29 Audi Ag Verfahren und Vorrichtung zur Bildaufnahme und Bildauswertung für eine Steuerung und/oder Regelung einer Klimaanlage
DE102015111442A1 (de) * 2015-07-15 2017-01-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zum Klimatisieren des Innenraumes eines mit Insassen besetzten Fahrzeuges
DE102016011485B4 (de) * 2016-09-22 2023-03-02 Mercedes-Benz Group AG Verfahren zum Steuern einer Klimaanlage und Kraftfahrzeug damit

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077522A1 (de) * 2011-06-15 2012-12-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Erfassung der thermischen Behaglichkeit
CN208558936U (zh) * 2018-02-13 2019-03-01 天津大学 一种动态追踪用户的车载空调系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
COSMA ANDREI CLAUDIU ET AL: "Thermal comfort modeling in transient conditions using real-time local body temperature extraction with a thermographic camera", BUILDING AND ENVIRONMENT, PERGAMON PRESS, OXFORD, GB, vol. 143, 30 June 2018 (2018-06-30), pages 36 - 47, XP085461618, ISSN: 0360-1323, DOI: 10.1016/J.BUILDENV.2018.06.052 *
LI DA ET AL: "Robust non-intrusive interpretation of occupant thermal comfort in built environments with low-cost networked thermal cameras", APPLIED ENERGY, ELSEVIER SCIENCE PUBLISHERS, GB, vol. 251, 28 May 2019 (2019-05-28), XP085784347, ISSN: 0306-2619, [retrieved on 20190528], DOI: 10.1016/J.APENERGY.2019.113336 *
QIANG CHEN, DEEP DOMAIN ADAPTATION FOR DESCRIBING PEOPLE BASED ON FINE-GRAINED CLOTHING ATTRIBUTES, Retrieved from the Internet <URL:http://oenaccess.thecvf.com/contentcvpr2015/papers/ChenDeepDomainAdaptation2015CVPRpaper.pdf>
SHOTTON J. ET AL.: "Decision Forests for Computer Vision and Medical Image Analysis. Advances in Computer Vision and Pattern Recognition", 2013, SPRINGER, article "Efficient Human Pose Estimation from Single Depth Images"

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031117A (zh) * 2021-03-11 2021-06-25 哈尔滨工业大学 一种基于热图像分析的城市开放空间室外人体热舒适预测方法
CN113796839A (zh) * 2021-08-31 2021-12-17 广州蓝仕威克医疗科技有限公司 一种智能跟踪肢体位置并进行分区温度调节方法
CN113796839B (zh) * 2021-08-31 2023-08-08 广州蓝仕威克医疗科技有限公司 一种智能跟踪肢体位置并进行分区温度调节方法

Also Published As

Publication number Publication date
DE102019117348A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
EP2720607B1 (de) Verfahren und vorrichtung zur erfassung der thermischen behaglichkeit
DE102019209565A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
DE102014100352B4 (de) Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
DE112015006385T5 (de) Bildgebende vorrichtung und bildgebendes verfahren, bedienungsvorrichtung und -verfahren und programm und aufzeichnungsmedium
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE112009000480T5 (de) Dynamische Objektklassifikation
DE102011106050A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
DE102006054571A1 (de) Generator für Virtuelle Realitäts-Szenen zur Erzeugung von Trainingsbildern für einen Mustererkennungs-Klassifikator
WO2020260328A1 (de) Verfahren und vorrichtung zum bestimmen einer thermischen behaglichkeit
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
DE102022100559A1 (de) Materialspektroskopie
DE10226257A1 (de) Verfahren zur Detektion einer Person in einem Raum
DE102022100554A1 (de) Materialspektroskopie
DE102022100672A1 (de) Materialspektroskopie
DE102022111222A1 (de) Detektion von gefälschten bildern
DE102015200434A1 (de) Verfahren und Vorrichtung zur Verbesserung der Objekterkennung bei unterschiedlichenBeleuchtungssituationen
DE102022111220A1 (de) Kameramanipulationsdetektion
DE102020214713A1 (de) Verfahren zum Unterscheiden einer realen Person von einem Surrogat
DE102015200437A1 (de) Verfahren und Vorrichtung zur Ermittlung der Konfidenz einer Objekterkennung
DE102015207768B4 (de) Verbesserte Gestenerkennung für ein Fahrzeug
DE102016013294A1 (de) Adaptive Belichtungssteuerung durch Auswerten einer Mimik und/oder Gestik
DE102013208687A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Raumtemperatur
EP3910538A1 (de) Verfahren und vorrichtung zum biometrischen identifizieren einer person sowie zugangskontrolleinrichtung
DE102022113362A1 (de) Kamerabasierte fahrzeug-sonnenlastabbildung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20734534

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20734534

Country of ref document: EP

Kind code of ref document: A1