WO2020222341A1 - 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기 - Google Patents

사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기 Download PDF

Info

Publication number
WO2020222341A1
WO2020222341A1 PCT/KR2019/005286 KR2019005286W WO2020222341A1 WO 2020222341 A1 WO2020222341 A1 WO 2020222341A1 KR 2019005286 W KR2019005286 W KR 2019005286W WO 2020222341 A1 WO2020222341 A1 WO 2020222341A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
air conditioner
control unit
user
person
Prior art date
Application number
PCT/KR2019/005286
Other languages
English (en)
French (fr)
Inventor
황성목
김상윤
김진옥
박윤식
한다윤
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to JP2021564589A priority Critical patent/JP2022531259A/ja
Priority to US16/490,016 priority patent/US11655995B2/en
Priority to EP19927192.5A priority patent/EP3964762A4/en
Priority to PCT/KR2019/005286 priority patent/WO2020222341A1/ko
Priority to KR1020190095556A priority patent/KR20190099160A/ko
Publication of WO2020222341A1 publication Critical patent/WO2020222341A1/ko
Priority to JP2023158199A priority patent/JP2023164723A/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/65—Electronic processing for selecting an operating mode
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F1/00—Room units for air-conditioning, e.g. separate or self-contained units or units receiving primary air from a central station
    • F24F1/0007—Indoor units, e.g. fan coil units
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/77—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/20—Humidity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/30—Velocity
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/12—Position of occupants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/14—Activity of occupants

Definitions

  • the present invention is a method for controlling the operation of an air conditioner by analyzing a user's behavior pattern and a technology related to an air conditioner.
  • An air conditioner (or air conditioner or air conditioner for short) provides a more comfortable indoor environment for humans by discharging cold and hot air into the room to create a comfortable indoor environment, adjusting the indoor temperature, and purifying the indoor air. Is installed for
  • an air conditioner includes an indoor unit installed indoors, a compressor and a heat exchanger, and an outdoor unit supplying a refrigerant to the indoor unit.
  • the air conditioner may be controlled separately from the indoor unit and the outdoor unit.
  • the air conditioner may be connected to at least one indoor unit to the outdoor unit, and is operated in a cooling or heating mode by supplying a refrigerant to the indoor unit according to a requested operation state.
  • the above-described air conditioner controls airflow and temperature according to the characteristics of users and spaces.
  • development of a technology that supports automatic operation of the air conditioner based on various methods is requested.
  • the present invention is to identify a user by an image of an air conditioner.
  • the present invention is to control an air conditioner so that the air conditioner operates in response to a user's behavior pattern.
  • the present invention is to check the activities of people around the air conditioner to control the air conditioner so that the air conditioner operates appropriately.
  • an air conditioner that controls the operation by analyzing a user's behavior pattern is a blower that discharges air, a camera unit that acquires an image of a space in which an indoor unit of the air conditioner is disposed, and a camera unit is acquired. And a control unit that extracts features from an image, generates an image description, and controls the air conditioner using a parameter generated in response to the image description.
  • an air conditioner that controls the operation by analyzing a user's behavior pattern receives an image, extracts a feature, and calculates an image description including a word by receiving a feature vector and an encoder that calculates a feature vector. It includes a decoder to perform.
  • An air conditioner that analyzes a user's behavior pattern and controls an operation uses image description to determine any one of the wind speed, air volume, wind direction, temperature, or operation mode of the air conditioner. Control one or more.
  • an air conditioner that analyzes a user's behavior pattern and controls an operation increases the importance of an image description for a person located at the center of an image or a person located near the air conditioner in an image.
  • a method of controlling the operation of an air conditioner by analyzing a user's behavior pattern includes the step of acquiring an image of a space in which an indoor unit of the air conditioner is disposed, by a camera unit of the air conditioner.
  • the control unit of the camera extracts features from the image acquired by the camera unit, the control unit generates an image description describing the image based on the extracted features, and the control unit controls the air conditioner using parameters generated in response to the image description. It includes the step of.
  • the air conditioner may acquire an image and calculate information describing people's behavior from the extracted image.
  • the air conditioner can blow air at a suitable temperature and mode for people according to the attributes, conditions, clothes, and locations of people identified in the image.
  • FIG. 1 is a front view showing the configuration of an indoor unit of an air conditioner according to an embodiment of the present invention.
  • FIG. 2 shows a configuration of a control module according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a process of a control module controlling an operation of an air conditioner after image acquisition according to an embodiment of the present invention.
  • FIG. 5 shows a process of generating an image description from an extracted feature according to an embodiment of the present invention.
  • FIG. 6 shows a control method of an air conditioner when a person in an image is identified according to an embodiment of the present invention.
  • FIG. 7 shows a process of analyzing a motion of a person identified in an image distribution according to an embodiment of the present invention.
  • FIG 8 shows a process of operating the air conditioner according to the clothes worn by a person identified in the image distribution according to an embodiment of the present invention.
  • FIG. 9 shows a process of image description according to an embodiment of the present invention.
  • FIG. 10 shows a process of image description focusing on a changed image according to an embodiment of the present invention.
  • first, second, A, B, (a), (b) may be used. These terms are only for distinguishing the component from other components, and the nature, order, order, or number of the component is not limited by the term.
  • a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to that other component, but other components between each component It is to be understood that is “interposed”, or that each component may be “connected”, “coupled” or “connected” through other components.
  • components may be subdivided and described for convenience of description, but these components may be implemented in one device or module, or one component may be a plurality of devices or modules. It can also be implemented by being divided into.
  • an air conditioner is divided into an outdoor unit and an indoor unit as components constituting the air conditioner.
  • One air conditioning system is composed of one or more outdoor units and one or more indoor units.
  • the relationship between the outdoor unit and the indoor unit may be 1:1, 1:N, or M:1.
  • the present invention can be applied to any device that controls cooling or heating. However, for convenience of explanation, the description focuses on cooling. When applied to heating, the embodiments of the present invention can be applied to a process of increasing the temperature and a mechanism for maintaining the elevated temperature.
  • FIG. 1 is a front view showing the configuration of an indoor unit of an air conditioner according to an embodiment of the present invention.
  • the indoor unit of the air conditioner or air conditioner may be a buried type or a stand type installed on the ceiling. Alternatively, it may be a wall-mounted type installed on a wall or may be configured in a movable form. 1 shows a stand-type indoor unit 1 among various embodiments, but the present invention is not limited thereto.
  • the indoor unit 1 may be connected to the outdoor unit 2 disposed in a separate space.
  • the air conditioner may be composed of a stand-type air conditioner that is erected and installed on the floor of the room to be subjected to air conditioning, and in this case, the air conditioner may further include a base 20 that is placed on the floor of the room and supports the air conditioning module 10. .
  • the air conditioning module 10 may be mounted on the base 20, and in this case, the air conditioning module 10 may suck air from a predetermined height in the room to perform air conditioning.
  • the air conditioning module 10 may be detachably coupled to the base 20.
  • the air conditioning module 10 and the base 20 may be integrally configured.
  • the air conditioning module 10 may discharge air from the blower 15.
  • the air conditioning module 10 may intensively discharge air to the front surface, and according to an exemplary embodiment, air may be discharged from air vents arranged in various directions, such as a side surface or an upper surface.
  • the blower 15 may control the wind speed based on the control of the control module 100.
  • the blower 15 may discharge wind of a wind speed composed of a plurality of stages, and for this purpose, it may control one or more individual blowing fans.
  • the blower 15 includes components 11 and 12 for blowing air supplied from the outdoor unit into the wind and inhaling indoor air, and these may be disposed in the air conditioning module 10.
  • a control module 100 for controlling the indoor unit 1 may be disposed in the indoor unit 1.
  • FIG. 1 it is indicated by a dotted line to be disposed inside the indoor unit 1.
  • the outdoor unit 2 controls the temperature of air (wind) discharged by the blower 15.
  • the compressor of the outdoor unit 2 may provide cooling air to the indoor unit 1 by compressing and discharging the gaseous refrigerant at a high temperature and high pressure.
  • the outdoor unit 2 may provide heating air to the indoor unit 1 using a predetermined heat pump.
  • Various methods of providing the outdoor unit 2 with cooling or heating air to the indoor unit 1 may be presented, and the present invention is not limited thereto.
  • the indoor unit 1 exemplarily examined in FIG. 1 measures the state of indoor air and operates to reach a set state.
  • the air conditioner in order to efficiently operate the indoor unit in the process of reaching a specific state, it is necessary for the air conditioner to check the user's behavior pattern in the space where the indoor unit is arranged.
  • control module 100 acquires an image image of a space using a camera, and the control module 100 analyzes the user's behavior pattern in the current space to determine the wind speed/wind direction suitable for the user.
  • the control module 100 may be disposed on the indoor unit 1 and may control the indoor unit 1 and the outdoor unit 2.
  • control module 100 includes a camera unit 110, a control unit 150, a communication unit 180, and an interface unit 190 as components of the control module 100.
  • the camera unit 110 acquires an image of a space in which the indoor unit 1 of the air conditioner is disposed.
  • the controller 150 extracts features from the image acquired by the camera unit 110 to generate an image description, and controls the air conditioner using a parameter generated in response to the image description.
  • the meaning of controlling the air conditioner means that the controller 150 controls one or more of the wind speed, the amount of air, the direction of the air, the temperature, or the operation mode of the air conditioner by using the image description. As a result, the air conditioner can control the operation by analyzing the user's behavior pattern.
  • the camera unit 110 collectively refers to an image sensor.
  • the camera unit 110 may be installed in the indoor unit 1 of the air conditioner or may be separately disposed in a space in which the indoor unit 1 is installed.
  • An image of a space in which the indoor unit 1 is disposed is acquired.
  • the controller 150 extracts features from the image, analyzes the current state of the user, clothes worn, and behavior, and controls the air volume, wind speed, temperature, and airflow of the air conditioner according to the analysis result.
  • the controller 150 includes an encoder 151 that receives an image and extracts a feature to calculate a feature vector, and a decoder 153 that receives a feature vector and calculates an image description including words.
  • control unit 150 describes an image using an encoder 151 that performs feature extraction to analyze a user's behavior, features, and location from image information (video information), and feature vectors extracted through the encoder. It includes a decoder (153). Alternatively, the encoder 151 and the decoder 153 in the control unit 150 may be integrally configured as a software module or a hardware module.
  • the blower 15 may control the direction of the wind.
  • the blower 15 may be composed of a left vane and a right vane.
  • it may be composed of an upper vane and a lower vane.
  • These left and right vanes can determine the left and right direction of the wind, and the upper and lower vanes can determine the distance of the wind.
  • the interface unit 190 allows the user to control the temperature, humidity, air volume or direction of the air conditioner, and provides an interface such as a button type, a remote control type, or a remote control.
  • the interface unit 190 may receive an interrupt input for changing the wind speed, air volume, or temperature of air discharged from the blower 15.
  • FIG. 3 is a diagram illustrating a process of a control module controlling an operation of an air conditioner after image acquisition according to an embodiment of the present invention.
  • the camera unit 110 is disposed on the surface of the indoor unit 1 to capture a space to obtain an image (S31).
  • the control unit 150 performs feature extraction from the image and calculates a feature vector (S32).
  • the control unit 150 can use deep learning, a kind of machine learning, and in this process, it features a learning network that is a deep learning-based artificial neural network (a neural network, ANN). Can be extracted.
  • a neural network ANN
  • Deep learning may represent a set of machine learning algorithms that extract core data from a plurality of data as the level increases.
  • the deep learning structure may include an artificial neural network (ANN), and for example, the deep learning structure consists of a deep neural network (DNN) such as a convolutional neural network (CNN), a recurrent neural network (RNN), and a deep belief network (DBN).
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • DBN deep belief network
  • the learning network to which deep learning is applied may be included in the controller 150, the encoder 151, the decoder 153, and the like. Alternatively, the learning network can be deployed on an external server. And the learning network extracts features or feature vectors from the input image.
  • the artificial neural network may include an input layer, a hidden layer, and an output layer. Each layer includes a plurality of nodes, and each layer is connected to the next layer. Nodes between adjacent layers may be connected to each other with a weight.
  • the controller 150 may extract components that are characteristic from the image and configure these components into a single vector.
  • S32 may be performed by the encoder 151 of the control unit 150.
  • the decoder 153 receives the feature vector extracted by the encoder 151 and converts it into a description (S33).
  • the decoder 153 generates an image description describing the image acquired in S31 by using the converted description (S34). That is, the decoder 153 receives a feature vector and generates an image description necessary to analyze the behavior or characteristics of people in the image.
  • control unit 150 classifies the image according to whether the subject is a person through a subject, a predicate, an object, and a prepositional phrase (position analysis) related to a person in the image description part (S35). That is, the control unit 150 analyzes a sentence included in the image description. As a result of the analysis, the controller 150 may obtain information such as whether a person is a subject, what kind of action a person does (predicate), or what distance a person is from another object (position, using preposition phrases). Of course, the controller 150 can also check whether a person exists in the image.
  • control unit 150 checks whether there is a person in the image (S36), and if it is determined that there is no person, the controller 150 controls the indoor unit 1 or the outdoor unit 2 with the absence detection logic (S40).
  • the controller 150 selects an operation control parameter in response to the above-described image description (S37), estimates the position of the person (S38), and controls the indoor unit 1 or the outdoor unit 2 Do (S39).
  • the control unit 150 may control the airflow (airflow direction, air intensity) and temperature of the air blower 150.
  • RNN Recurrent Neural Network
  • RNN is widely used for natural language processing, etc., and is an effective structure for processing time-series data that changes with the passage of time, and can construct an artificial neural network structure by stacking layers every moment. .
  • DBN Deep Belief Network
  • RBM Restricted Boltzman Machine
  • DBN Deep Belief Network
  • CNN Convolutional Neural Network
  • CNN is a structure that is widely used, especially in the field of object recognition.
  • CNN Convolutional Neural Network
  • CNN is a model that simulates human brain functions based on the assumption that when a person recognizes an object, it extracts basic features of an object, then performs complex calculations in the brain and recognizes the object based on the result. to be.
  • the encoder 151 of the controller 150 may use a CNN among machine learning-based neural networks.
  • the decoder 153 of the controller 150 may use an RNN or LSTM among machine learning-based neural networks.
  • the controller 150 controls the airflow and temperature according to the meaning of the context by using the description (image description) of the image calculated by the decoder 153.
  • FIG. 4 illustrates a process of generating a description by extracting features from an image according to an embodiment of the present invention.
  • 25 of FIG. 4 is an image of a space in which an air conditioner is installed.
  • 25 is an image of a woman sitting on a sofa and reading a book.
  • the image 25 is input to the encoder 151 of the control unit. Further, the encoder 151, for example, a neural network 151a such as a CNN, extracts features from the input image. In 25, the square marked around the TV, the table, the woman's face, the sofa, and the reading area is a visual representation of the features extracted by the CNN network.
  • a neural network 151a such as a CNN
  • FIG. 5 shows a process of generating an image description from an extracted feature according to an embodiment of the present invention.
  • Features extracted from an image by a neural network such as CNN are generated as feature vectors by passing through a preprocessor 151b and a linear 151c.
  • the generated feature vector is input by the decoder 153 and outputs predetermined words.
  • a long short-term memory which is an embodiment of an RNN, may be used as a component of the decoder 153.
  • RNN is suitable for recursive data processing, and LSTM is applied to output a word from an input feature vector (W vocabulary ) and recursively receive the corresponding word to output a new word (W embed ).
  • the control unit 150 may increase or decrease the time of information stored in each cell of the LSTM. For example, the control unit 150 shortens the time of information stored in each cell when there is a lot of user movement. This enables the control unit 150 to control the air conditioner at short time intervals in response to new information.
  • control unit 150 increases the time of information stored in each cell.
  • the controller 150 may control the air conditioner by reflecting a long-term motion in the space in response to the accumulated information.
  • the controller 150 may output the following sentence corresponding to the image in FIG. 4.
  • the control unit 150 determines the wind direction and volume of the air conditioner based on information such as "middle-left side " woman”, “reading a book”, and the chair in the above sentence.
  • FIG. 6 shows a control method of an air conditioner when a person in an image is identified according to an embodiment of the present invention.
  • the controller 150 controls air conditioner airflow and temperature according to the subject and predicate classification. Alternatively, the controller 150 classifies not only the subject and the predicate, but also the object, the characteristic of the worn clothing (whether short sleeves/shorts or long clothes), information on the location of a person through prepositional phrases. Further, the controller 150 controls the airflow direction, wind speed, and air volume of the air conditioner to suit the user by using the acquired information and controls the temperature.
  • the control unit 150 identifies a person in the image description (S41). The control unit 150 checks whether the identified person is either a child or an elderly person (S42). When identified as a child/elderly, in more detail, the control unit 150 sets the attribute information of a person according to whether it is a child or an elderly person (S43) (S45a, S45b).
  • control unit 150 If the control unit 150 does not identify the child/elderly through the image in S42, the control unit 150 sets the attribute information of the person according to whether it is a woman or a man (S44) (S45c, S45d).
  • the control unit 150 identifies clothes worn by the person identified in the image description (S50).
  • control unit 150 checks the location of the person identified in the image description using a preposition phrase in the image description (S55). When the location is confirmed, the controller 150 sets the location information of the identified person. For example, the control unit 150 sets Human.position to any one or more than one of ⁇ near, far, left, right, center ⁇ (S56).
  • the controller 150 calculates a parameter for controlling the air conditioner based on the attribute information on the person set in S45a to S56, and controls the operation of the air conditioner based thereon (S57). In one embodiment, the controller 150 may select any one of a rapid cooling mode/standard mode in terms of temperature.
  • control unit 150 may select any one of direct wind/indirect wind in the airflow.
  • control unit 150 may select the strength of the wind in step S57 from strong wind/medium wind/weak wind.
  • control unit 150 may control the air conditioner based on the identified user's personal characteristics, operation characteristics, and wearable clothing characteristics.
  • control unit 150 may control the air conditioner as follows.
  • the controller 150 may control the air conditioner as follows.
  • the controller 150 may control the air conditioner to operate in a quick cooling mode when the user is far away and in a standard mode when the user is near. Or vice versa.
  • the controller 150 may control the air conditioner to operate in a standard mode when the user is far away and in a rapid cooling mode when the user is near.
  • the controller 150 may control the air conditioner to operate with direct wind when the user is far away and indirect wind when the user is near. Or vice versa.
  • the controller 150 may control the air conditioner to operate as an indirect wind when the user is far away, and a direct wind when the user is near.
  • the controller 150 may increase the wind speed set in the air conditioner or decrease the temperature.
  • the controller 150 may decrease the wind speed set in the air conditioner or increase the temperature when the user is near.
  • the controller 150 extracts characteristics for each user. And if the extracted results match, use them as they are, and adjust if they do not match.
  • the controller 150 calculated a parameter for controlling the air conditioner in "Quick cooling mode/direct wind" for the first user, and " The parameters for controlling the air conditioner in "standard mode/indirect wind” were calculated.
  • the control unit 150 controls the left and right sides 11 and 12 of the blower 15, respectively.
  • the air conditioner 1 on the left, the air conditioner operates with direct wind in the rapid cooling mode, and on the right, the air conditioner operates with indirect air in the standard mode.
  • control unit 150 selects parameters when the positions of the two users are close or when it is difficult to separately control both blowing air.
  • the control unit 150 can select one of the parameters (quick cooling/standard mode, direct wind/indirect wind) set for the two users by selecting "Quick cooling mode” as the mode and "indirect wind” as the wind. have.
  • control unit 150 of the air conditioner 1 analyzes the behavior of users through image information, and according to the analysis result, the air volume, wind speed, and operation mode of the air conditioner 1 , Temperature, etc. can be controlled.
  • control unit 150 controls the air conditioner to provide cool or direct wind in the order of men> women, children> the elderly in the human characteristics of the identified user. Of course, this order can be changed.
  • control unit 150 You can change the set value for the child or the set value for women or men.
  • the controller 150 separately stores information (images) on the identified elderly in the image. Later, when the person identified as “elderly” is the same as the old person in the stored image, the identified person is in a category other than “elderly” (for example, “children” or “female” or “male”). It is judged to belong and controls the air conditioner accordingly.
  • control unit 150 controls the air conditioner according to the process of FIG. 6.
  • the controller responds to the operation of the air conditioner.
  • An example of controlling was shown. Among them, the process of analyzing in detail the dynamic/static characteristics of human motions is examined.
  • FIG. 7 shows a process of analyzing a motion of a person identified in an image distribution according to an embodiment of the present invention.
  • the control unit 150 identifies a person in the image description (S41). In addition, when the identified person is standing, the control unit 150 increases the dynamic attribute value (Human.Active.Count) (S61). Likewise, even when the difference between the current image and the image of the previous viewpoint is large, the control unit 150 increases the dynamic attribute value (Human.Active.Count) (S62).
  • control unit 150 increases the dynamic attribute value (Human.Active.Count) when the identified person's arm is facing up or to the side (S63).
  • control unit 150 collects various pieces of information that enable a person to dynamically infer movement, and then increases the dynamic attribute value (Human.Active.Count), and then according to this value, the control unit 150 controls the air conditioner. Controls the blowing temperature, air volume, wind speed, or mode of the (S64).
  • FIG 8 shows a process of operating the air conditioner according to the clothes worn by a person identified in the image distribution according to an embodiment of the present invention.
  • the control unit 150 identifies a person in the image description (S41).
  • the control unit 150 calculates the ratio of skin color in the identified human body (S66). As a result, if the ratio of skin color is more than the standard (for example, more than 30%), it is determined that the identified person is wearing summer clothes.
  • the controller 150 sets the value of Human.shortcloth to "TRUE" (S67).
  • the controller 150 calculates a value of Human.shortcloth for each.
  • the control unit 150 controls the blowing temperature, air volume, wind speed, or mode of the air conditioner according to the calculated value (S67).
  • the image description may include words describing clothes worn by the identified person in the image.
  • the controller 150 checks the exposure of the skin color for each person. Then, the controller 150 checks whether people in the space wear short sleeves, short shorts, or long sleeves/long pants using the check result.
  • the control unit 150 identifies the person identified as Person1 as being in a close, center-to-left position (Person1, Near/Center-Left). And the control unit 150 identifies the sofa (sofa) disposed behind the "Person1" (Sofa, Behind of Person1). The control unit 150 identifies the person identified as Person2 behind the sofa as being far away and to the right (Person2, Far/Right).
  • control unit 150 increases the importance of the image description for a person located at the center of the image, such as Person1, or a person located near the air conditioner in the image. For example, as a result of the image description, the controller 150 may output a sentence stating that Person1 is a woman and wears long clothes ("Woman wears jacket”). In addition, as a result of the image description, the controller 150 may output a sentence indicating that Person2 is male and wears short sleeves ("Man wears short sleeves shirt”).
  • control unit 150 processes the importance of the image description for Person1 located near or in the center higher than the importance of the image description for Person2. As a result, the controller 150 can control the air conditioner based on the image description for Person1.
  • the image description includes words corresponding to the location of the identified person in the image.
  • the controller 150 generates an image description indicating that Person1 is located in front of Person2, that Person1 is located in front of the sofa, and that the sofa is located in front of Person2.
  • controller 150 may control the operation of the air conditioner according to the positions of these people.
  • the control unit 150 may blow air toward Person1 at the front center-left side.
  • FIG. 10 shows a process of image description focusing on a changed image according to an embodiment of the present invention. Compared with FIG. 9, FIG. 10 shows a state in which Person1 is moved to the left.
  • the control unit 150 compares the first image (image of FIG. 9) acquired at the first point of view and the second image (image of FIG. 10) acquired at a second point of time after the first point of view, Create a description. In other words, since there is no change for the sofa or Person2, the image description is not created, but only for Person1 where the change has occurred. ("Woman wears jacket, Man moves left.”).
  • control unit 150 controls the operation of the air conditioner by focusing on the part where the change has occurred. For example, the control unit 150 may blow air toward Person1 moved to the front left.
  • the controller 150 may store an image for a predetermined period of time.
  • the controller 150 accumulates and stores the image. And it stores the image description generated for each accumulated image.
  • the controller 150 may apply an image description for the currently acquired image using the image description generated in the past.
  • the image description for a fixed or hardly moving object can be stored after repeatedly checking by the controller 150.
  • the controller 150 may store information on objects extracted from the repeated image description as follows.
  • the controller 150 may reflect the location of the sofa and the TV. Even if all the constituent elements constituting the embodiments of the present invention are described as being combined or combined into one operation, the present invention is not necessarily limited to these embodiments, and all constituent elements within the scope of the present invention are one or more. It can also be selectively combined and operated. In addition, although all the components may be implemented as one independent hardware, a program module that performs some or all functions combined in one or more hardware by selectively combining some or all of each It may be implemented as a computer program having Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program is stored in a computer-readable storage medium, and is read and executed by a computer, thereby implementing an embodiment of the present invention.
  • the storage medium of the computer program includes a magnetic recording medium, an optical recording medium, and a storage medium including a semiconductor recording element.
  • the computer program implementing the embodiment of the present invention includes a program module that is transmitted in real time through an external device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Fluid Mechanics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기에 관한 것으로, 본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 공기를 토출하는 송풍부, 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부, 및 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함한다.

Description

사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기
본 발명은 사용자의 행동 패턴을 분석하여 에어컨의 동작을 제어하는 방법 및 에어컨에 관한 기술이다.
공기조화기(또는 에어 컨디셔너 또는 줄여서 에어컨)는, 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절하고, 실내 공기를 정화하도록 함으로서 인간에게 보다 쾌적한 실내 환경을 제공하기 위해 설치된다.
일반적으로 공기조화기는, 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다.
한편, 공기조화기는, 실내기 및 실외기가 분리되어 제어될 수 있다. 또한 공기조화기는, 실외기에 적어도 하나의 실내기가 연결될 수 있으며, 요청되는 운전 상태에 따라, 실내기로 냉매를 공급하여, 냉방 또는 난방모드로 운전된다.
전술한 공기조화기는 사용자 및 공간의 특성에 따라 기류와 온도를 제어한다. 그런데 사용자가 매번 공기조화기를 제어하는 것은 번거롭기 때문에, 다양한 방식에 기반한 공기조화기의 자동 동작을 지원하는 기술의 개발이 요청된다.
따라서, 사용자가 공기조화기를 제어하지 않아도 공기조화기가 사용자에게 적합한 온도와 풍속 또는 풍향의 공기를 제공하는 기술에 대해 살펴본다.
전술한 문제점을 해결하기 위한 것으로, 본 발명은 공기조화기가 사용자를 이미지로 식별하고자 한다.
본 발명은 공기조화기가 사용자의 행동 패턴에 대응하여 동작하도록 공기조화기를 제어하고자 한다.
본 발명은 공기조화기 주변의 사람들의 활동을 확인하여 공기조화기가 이들에 적합하게 동작하도록 공기조화기를 제어하고자 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 공기를 토출하는 송풍부, 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부, 및 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더와 특징 벡터를 입력받아 단어를 포함하는 이미지 디스크립션을 산출하는 디코더를 포함한다.
본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지 디스크립션을 이용하여 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어한다.
본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지에서 중심에 위치한 사람 또는 이미지에서 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높인다.
본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법은 공기조화기의 카메라부가 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 단계, 공기조화기의 제어부가 카메라부가 획득한 이미지에서 특징을 추출하는 단계, 제어부가 추출한 특징에 기반하여 이미지를 설명하는 이미지 디스크립션을 생성하는 단계, 제어부가 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 단계를 포함한다.
본 발명의 실시예들을 적용할 경우, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어할 수 있다.
본 발명의 실시예들을 적용할 경우, 공기조화기는 이미지를 획득하여 추출된 이미지에서 사람들의 행동을 설명하는 정보를 산출할 수 있다.
본 발명의 실시예를 적용할 경우, 이미지에서 확인된 사람들의 속성이나 상태, 복장, 위치에 따라 공기조화기가 사람들에게 적합한 온도와 모드로 송풍할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 공기조화기의 실내기의 구성을 보여주는 정면도이다.
도 2는 본 발명의 일 실시예에 의한 제어모듈의 구성을 보여준다.
도 3은 본 발명의 일 실시예에 의한 이미지 획득 후 공기조화기의 동작을 제어모듈이 제어하는 과정을 보여준다.
도 5는 본 발명의 일 실시예에 의한 추출된 특징에서 이미지 디스크립션을 생성하는 과정을 보여준다.
도 6은 본 발명의 일 실시예에 의한 이미지 내의 사람을 식별한 경우 공기조화기의 제어 방식을 보여준다.
도 7은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람의 동작을 분석하는 과정을 보여준다.
도 8은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람이 착용한 복장에 따라 공기조화기가 동작하는 과정을 보여준다.
도 9는 본 발명의 일 실시예에 의한 이미지 디스크립션의 과정을 보여준다.
도 10은 본 발명의 일 실시예에 의한 변화한 이미지에 중점을 둔 이미지 디스크립션의 과정을 보여준다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 공조조화기를 구성하는 구성요소로 실외기와 실내기로 구분한다. 하나의 공조 시스템은 하나 이상의 실외기와 하나 이상의 실내기로 구성된다. 실외기와 실내기 사이의 관계는 1:1, 1:N, 또는 M:1이 될 수 있다.
본 발명은 냉방 또는 난방을 제어하는 모든 장치에 적용될 수 있다. 다만, 설명의 편의를 위하여 냉방에 중점을 두고 설명한다. 난방에 적용될 경우에는 온도를 높이는 과정과 높인 온도를 유지하는 메커니즘에 본 발명의 실시예들을 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 공기조화기의 실내기의 구성을 보여주는 정면도이다.
에어컨, 또는 공기조화기의 실내기는 천장에 설치되는 매립형 또는 스탠드형이 될 수 있다. 또는 벽에 설치되는 벽걸이형이 될 수도 있고 이동 가능한 형태로 구성될 수 있다. 도 1은 다양한 실시예 중에서 스탠드형 실내기(1)를 제시하고 있으나, 본 발명이 이에 한정되는 것은 아니다. 실내기(1)는 별도의 공간에 배치되는 실외기(2)와 연결될 수 있다.
공조의 대상이 되는 실내의 바닥에 세워져 설치되는 스탠드형 공기조화기로 구성될 수 있으며, 이 경우 공기조화기는 실내의 바닥에 놓여 공조모듈(10)을 지지하는 베이스(20)를 더 포함할 수 있다.
공조모듈(10)은 베이스(20) 위에 올려진 형태로 설치될 수 있고, 이 경우 공조모듈(10)은 실내의 소정 높이에서 공기를 흡입하여 공조시킬 수 있다.
공조모듈(10)은 베이스(20)와 분리 가능하게 결합될 수도 있다. 또한공조모듈(10)과 베이스(20)는 일체로 구성될 수도 있다.
공조모듈(10)은 송풍부(15)에서 공기를 토출할 수 있다. 공조모듈(10)은 전면으로 공기를 집중 토출할 수 있으며, 실시예에 따라 측면 또는 상면 등 다양한 방향에 배치된 송풍구에서 공기를 토출할 수 있다. 송풍부(15)는 제어모듈(100)의 제어에 기반하여 풍속을 제어할 수 있다. 일 실시예로 송풍부(15)는 다수의 단계로 구성된 풍속의 바람을 토출할 수 있으며, 이를 위해 하나 이상의 개별 송풍팬을 제어할 수 있다.
보다 상세히, 송풍부(15)는 실외기로부터 제공받은 공기를 바람으로 내보내고 실내 공기를 흡입하는 구성요소들(11, 12)을 포함하며 이들은 공조모듈(10)에 배치될 수 있다. 또한, 외부에서 식별되지 않으나 실내기(1)를 제어하는 제어모듈(100)이 실내기(1) 내에 배치될 수 있다. 설명의 편의를 위해 도 1에서는 점선으로 표시하여 실내기(1) 내부에 배치되는 것으로 표시하였다.
실외기(2)는 송풍부(15)가 토출하는 공기(바람)의 온도를 제어한다. 일 실시예로 실외기(2)의 압축기는 기상 냉매를 고온 고압의 상태로 압축하여 배출하여 냉방 공기를 실내기(1)에 제공할 수 있다. 뿐만 아니라, 실외기(2)는 소정의 열펌프를 이용하여 난방 공기를 실내기(1)에 제공할 수 있다. 실외기(2)가 냉방 또는 난방 공기를 실내기(1)에 제공하는 방식은 다양하게 제시될 수 있으며, 본 발명이 이에 한정되는 것은 아니다.
도 1에서 예시적으로 살펴본 실내기(1)는 실내 공기의 상태를 측정하여 설정된 상태에 도달하도록 운전한다. 그런데, 특정한 상태에 도달하는 과정에서 실내기가 효율적으로 동작하기 위해서는 실내기가 배치된 공간에서의 사용자의 행동 패턴을 공기조화기가 확인하는 것이 필요하다.
이에, 본 발명의 일 실시예는 제어모듈(100)이 카메라를 이용하여 공간의 영상 이미지를 획득하고, 제어모듈(100)이 현재 공간 내의 사용자의 행동 패턴을 분석하여 사용자에게 알맞은 풍속/풍향의 기류와 온도를 제어하여 실내기 및 실외기를 제어하는 기술을 제시한다.
도 2는 본 발명의 일 실시예에 의한 제어모듈의 구성을 보여준다. 제어모듈(100)은 실내기(1)에 배치될 수 있으며, 실내기(1) 및 실외기(2)를 제어할 수 있다.
보다 상세히, 제어모듈(100)의 구성요소로 카메라부(110), 제어부(150), 통신부(180) 및 인터페이스부(190)를 포함한다.
카메라부(110)는 공기조화기의 실내기(1)가 배치된 공간의 이미지를 획득한다.
제어부(150)는 카메라부(110)가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어한다.
공기조화기를 제어한다는 의미는, 제어부(150)가 이미지 디스크립션을 이용하여 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어한다. 그 결과 공기조화기는 사용자의 행동 패턴을 분석하여 동작을 제어할 수 있다.
카메라부(110)는 영상 센서를 통칭한다. 카메라부(110)는 공기조화기의 실내기(1)에 설치되거나, 또는 실내기(1)가 설치된 공간에 별도로 배치될 수 있다. 실내기(1)가 배치된 공간의 이미지를 획득한다. 제어부(150)는 이미지에서 특징을 추출하여 사용자의 현재 상태나 착용 복장, 행동 등을 분석하여 분석한 결과에 따라 공기조화기의 풍량, 풍속, 온도, 기류 등을 제어한다.
제어부(150)는 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더(151)와 특징 벡터를 입력받아 단어를 포함하는 이미지 디스크립션을 산출하는 디코더(153)를 포함한다.
즉, 제어부(150)는 이미지 정보(영상 정보)에서 사용자의 행동이나 특징, 위치 등을 분석하기 위해 특징 추출을 수행하는 인코더(151)와, 인코더를 통해 추출된 특징 벡터를 이용하여 이미지를 서술하는 디코더(153)를 포함한다. 또는 제어부(150)내에 인코더(151)와 디코더(153)는 소프트웨어 모듈 또는 하드웨어 모듈로 일체로 구성될 수 있다.
송풍부(15)는 바람의 방향을 제어할 수 있다. 예를 들어, 송풍부(15)는 좌측 베인과 우측 베인으로 구성될 수 있다. 또는 상측 베인과 하측 베인으로 구성될 수 있다. 이러한 좌우 베인(vane)은 바람의 좌우 방향을, 상하 베인은 바람의 거리를 결정할 수 있다.
인터페이스부(190)는 사용자가 공기조화기의 온도나 습도, 풍량이나 풍향 등을 제어할 수 있도록 하는 것으로, 버튼 식 혹은 리모컨 식, 혹은 원격 조정 등의 인터페이스를 제공한다. 또한, 인터페이스부(190)는 송풍부(15)에서 토출하는 공기의 풍속, 풍량 또는 온도를 변경하는 인터럽트 입력을 수신할 수 있다.
도 3은 본 발명의 일 실시예에 의한 이미지 획득 후 공기조화기의 동작을 제어모듈이 제어하는 과정을 보여준다.
카메라부(110)는 실내기(1)의 표면에 배치되어 공간을 촬영하여 이미지를 획득한다(S31).
그리고 제어부(150)는 이미지에서 특징 추출(Feature Extraction)을 수행하고 특징 벡터(Feature Vector)를 산출한다(S32). 제어부(150)는 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning)을 이용할 수 있으며, 이 과정에서 딥러닝 기반 인공 신경망(뉴럴 네트워크, Artificial Neural Network, ANN)인 학습 네트워크를 이용하여 특징을 추출할 수 있다.
이는 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다
딥러닝이 적용된 학습 네트워크는 제어부(150) 또는 인코더(151), 디코더(153) 등에 포함될 수 있다. 또는 학습 네트워크는 외부의 서버에 배치될 수 있다. 그리고 학습 네트워크는 입력된 이미지에서 특징을 추출하거나 특징 벡터를 추출한다.
인공신경망(ANN)은 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.
제어부(150)는 이미지에서 특징이 되는 구성요소를 추출하고 이들 구성요소들을 하나의 벡터로 구성할 수 있다.
S32는 제어부(150)의 인코더(151)가 수행할 수 있다. 디코더(153)는 인코더(151)가 추출한 특징 벡터를 입력받아 디스크립션(Description)으로 변환한다(S33). 디코더(153)는 변환한 디스크립션을 이용하여 S31에서 획득한 이미지을 설명하는 이미지 디스크립션(Image Description)을 생성한다(S34). 즉, 디코더(153)는 특징 벡터를 입력받고, 이미지 내의 사람들의 행동이나 특성을 분석하는데 필요한 이미지 디스크립션을 생성한다.
그리고 제어부(150)는 이미지 디스크립션 부분에서 사람에 관련된 주어, 서술어, 목적어, 전치사구 (위치 분석)을 통해 주어가 사람인지 유무에 따라 이미지를 분류한다(S35). 즉, 제어부(150)는 이미지 디스크립션에 포함된 문장을 분석한다. 분석 결과 제어부(150)는 사람이 주어인지, 혹은 사람이 어떤 행동을 하는지(서술어), 또는 사람이 다른 사물과 어떤 거리에 있는지(위치, 전치사구 이용) 등의 정보를 획득할 수 있다. 물론 제어부(150)는 이미지 내에 사람이 존재하는지 여부도 확인할 수 있다.
그 결과 제어부(150)는 이미지 내에 사람이 있는지 확인하고(S36), 사람이 없는 것으로 확인하면 부재 감지 로직으로 실내기(1) 또는 실외기(2)를 제어한다(S40).
한편, 사람이 있는 경우, 제어부(150)는 전술한 이미지 디스크립션에 대응하여 동작 제어 파라미터를 선정하고(S37), 사람의 위치를 추정하여(S38), 실내기(1) 또는 실외기(2)를 제어한다(S39). 일 실시예로, 제어부(150)는 송풍부(150)의 기류(송풍 방향, 송풍 세기)와 온도를 제어할 수 있다.
RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.
CNN(Convolutional Neural Network)은, 특히 객체 인식 분야에서 많이 사용되는 구조이다. CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
일 실시예로 제어부(150)의 인코더(151)는 기계학습 기반의 뉴럴 네트워크 중 CNN을 사용할 수 있다.
또한, 일 실시예로 제어부(150)의 디코더(153)는 기계학습 기반의 뉴럴 네트워크 중 RNN 혹은 LSTM을 사용할 수 있다.
제어부(150)는 디코더(153)가 산출한 이미지에 대한 서술(이미지 디스크립션)을 이용하여 문맥의 의미에 따라 기류 및 온도를 제어한다.
도 4는 본 발명의 일 실시예에 의한 이미지에서 이미지에서 특징 추출을 수행하여 디스크립션을 생성하는 과정을 보여준다. 도 4의 25는 에어컨이 설치된 공간을 촬영한 이미지이다. 25는 여성이 소파에 앉아서 책을 읽는 모습을 촬영한 이미지이다.
이미지(25)가 제어부의 인코더(151)에 입력된다. 그리고 인코더(151), 예를 들어 CNN과 같은 뉴럴 네트워크(151a)는 입력된 이미지에서 특징을 추출한다. 25에서 사각형으로 TV, 테이블, 여성의 얼굴, 소파, 그리고 책읽은 부분의 주변으로 사각형이 마킹된 것은 CNN 네트워크에 의해 특징이 추출된 것을 시각적으로 표현한 것이다.
도 5는 본 발명의 일 실시예에 의한 추출된 특징에서 이미지 디스크립션을 생성하는 과정을 보여준다. CNN과 같은 뉴럴 네트워크가 이미지에서 추출한 특징들은 전처리부(151b) 및 리니어(Linear)(151c)를 통과하여 특징 벡터로 생성된다. 그리고 생성된 특징 벡터는 디코더(153)가 입력받아 소정의 단어들을 출력한다.
일 실시예로, 디코더(153)의 구성 요소로 RNN의 일 실시예인 LSTM(Long Short-Term Memory)을 사용할 수 있다. RNN은 재귀적인 데이터 처리에 적합하며 LSTM은 입력된 특징 벡터에서 단어를 출력하고(Wvocabulary) 해당 단어를 재귀적으로 입력받아 새로운 단어를 출력하는데 적용한다(Wembed).
제어부(150)는 LSTM의 각 셀에 저장되는 정보의 시간을 증감시킬 수 있다. 예를 들어, 제어부(150)는 사용자의 움직임이 많은 경우에는 각 셀에 저장되는 정보의 시간을 단축시킨다. 이는 제어부(150)가 새로운 정보에 대응하여 공기조화기를 짧은 시간 간격으로 제어할 수 있도록 한다.
반대로, 제어부(150)는 사용자의 움직임이 적은 경우에는 각 셀에 저장되는 정보의 시간을 증가시킨다. 제어부(150)는 누적된 정보에 대응하여 공간 내의 장기간 움직임을 반영하여 공기조화기를 제어할 수 있다.
도 5에서 디코더(153)가 산출한 정보들에 기반하여 제어부(150)는 도 4의 이미지에 대응하여 다음과 같은 문장을 출력할 수 있다.
"On the center-left side of the picture, a woman is reading a book in the living room with tv, table, chair."
제어부(150)는 위의 문장에서 "middle-left side "woman", "reading a book", chair" 등의 정보에 기반하여 공기조화기의 풍향과 풍량을 결정한다.
도 6은 본 발명의 일 실시예에 의한 이미지 내의 사람을 식별한 경우 공기조화기의 제어 방식을 보여준다.
제어부(150)는 주어와 서술어 분류에 따라 에어컨 기류 제어 및 온도를 제어한다. 또는 제어부(150)는 주어와 서술어뿐만 아니라 목적어, 착용 의류의 특징(짧은 반팔/반바지인지 긴 옷인지), 전치사구를 통한 사람의 위치에 대한 정보 등을 분류한다. 그리고 제어부(150)는 취득한 정보를 이용하여 사용자에게 적합하게 에어컨의 기류의 방향이나 풍속, 풍량을 제어하고 온도를 제어한다.
제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 제어부(150)는 식별한 사람이 어린이/노인 중 어느 하나인지를 확인한다(S42). 어린이/노인으로 식별된 경우 보다 상세하게 제어부(150)는 어린이인지, 노인인지에 따라(S43) 사람의 속성 정보를 설정한다(S45a, S45b).
일 실시예로 제어부(150)는 식별된 사람이 어린이인 경우 Human.child = TRUE로 설정한다(S45a). 일 실시예로 제어부(150)는 식별된 사람이 노인인 경우 Human.elder = TRUE로 설정한다(S45b).
S42에서 이미지를 통해 제어부(150)가 어린이/노인을 식별하지 않은 경우 다음 단계로 제어부(150)는 여성인지, 남성인지에 따라(S44) 사람의 속성 정보를 설정한다(S45c, S45d).
일 실시예로 제어부(150)는 식별된 사람이 여성인 경우 Human.woman = TRUE로 설정한다(S45c). 일 실시예로 제어부(150)는 식별된 사람이 남성인 경우 Human.man = TRUE로 설정한다(S45d).
또한, 제어부(150)는 이미지 디스크립션에서 식별된 사람에 대한 서술어가 동적인지 아니면 정적인지 판단한다(S46). 일 실시예로 제어부(150)는 식별된 서술어가 동적인 서술어인 경우(게임한다, 뛴다, 움직인다, 청소한다 등) Human.Active = TRUE로 설정한다(S47). 일 실시예로 제어부(150)는 식별된 서술어가 정적인 서술어인 경우(앉아있다. 잔다. 누워있다. 책을 읽는다. 전화를 한다 등) Human.Active = FALSE로 설정한다(S48).
다음으로 제어부(150)는 이미지 디스크립션에서 식별된 사람이 착용한 옷을 구분한다(S50). 일 실시예로 제어부(150)는 식별된 사람이 착용한 옷이 반팔 셔츠 또는 반바지와 같은 여름용 옷인 경우 Human.shortcloth = TRUE로 설정한다(S51). 그리고 S50에서 긴 옷을 입은 경우 제어부(150)는 Human.shortcloth = FALSE로 설정한다(S52).
또한 제어부(150)는 이미지 디스크립션에서 식별된 사람의 위치를 이미지 디스크립션 내의 전치사구 등을 이용하여 확인한다(S55). 위치가 확인되면, 제어부(150)는 확인된 사람의 위치 정보를 설정한다. 예를 들어 제어부(150)는 Human.position에 {near, far, left, right, center} 중의 어느 하나 또는 둘 이상의 정보로 설정한다(S56).
그리고 제어부(150)는 S45a~S56에서 설정된 사람에 대한 속성 정보들에 기반하여 공기조화기를 제어하는 파라미터를 산출하고 이에 기반하여 공기조화기의 동작을 제어한다(S57). 일 실시예로, 제어부(150)는 온도에 있어 급냉모드/표준모드 중 어느 하나를 선택할 수 있다.
또한 제어부(150)는 기류에 있어 직접풍/간접풍 중 어느 하나를 선택할 수 있다. 물론 제어부(150)는 S57 단계에서 바람의 세기도 강풍/중풍/약풍 중에서 선택할 수 있다.
도 6과 같은 프로세스에 기반하여 제어부(150)는 식별된 사용자의 인적 특성과 동작 특성, 착용복장의 특성에 기반하여 공기조화기를 제어할 수 있다.
인적 특성과 동작 특성을 조합할 경우 다음과 같이 제어부(150)가 공기조화기를 제어할 수 있다.
일 실시예로 {"Human.child = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.child = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.elder = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.elder = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.woman = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.woman = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.man = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.man = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다.
인적 특성과 동작 특성, 그리고 착용 의상에 대한 특성을 조합할 경우 다음과 같이 제어부(150)가 공기조화기를 제어할 수 있다.
일 실시예로 {"Human.child = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.child = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.elder = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.elder = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.woman = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.woman = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.
일 실시예로 {"Human.man = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.man = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다.
또한, 전술한 예시 외에도 전치사구 등을 통해 사용자의 위치가 확인된 경우 제어부(150)는 사용자가 멀리 있는 경우 급냉 모드로, 사용자가 가까이 있는 경우 표준 모드로 동작하도록 공기조화기를 제어할 수 있다. 혹은 그 반대인 경우도 가능하다. 예를 들어 제어부(150)는 에너지 절약을 위해, 사용자가 멀리 있는 경우 표준 모드로, 사용자가 가까이 있는 경우 급냉 모드로 동작하도록 공기조화기를 제어할 수 있다.
또는 제어부(150)는 사용자가 멀리 있는 경우 직접풍으로, 사용자가 가까이 있는 경우 간접풍으로 동작하도록 공기조화기를 제어할 수 있다. 혹은 그 반대인 경우도 가능하다. 예를 들어 제어부(150)는 에너지 절약을 위해, 사용자가 멀리 있는 경우 간접풍으로, 사용자가 가까이 있는 경우 직접풍으로 동작하도록 공기조화기를 제어할 수 있다.
또는 제어부(150)는 사용자가 멀리 있는 경우 공기조화기에 설정된 풍속을 증가시키거나 온도를 낮출 수 있다. 물론, 제어부(150)는 사용자가 가까이 있는 경우 공기조화기에 설정된 풍속을 감소시키거나 온도를 높일 수 있다.
또한, 둘 이상의 사용자가 식별된 경우, 제어부(150)는 각 사용자 별로 특성을 추출한다. 그리고 추출된 결과가 일치할 경우 그대로 사용하고 일치하지 않을 경우 조절한다.
예를 들어, 제1, 제2사용자의 특성을 식별한 결과 제어부(150)는 제1사용자에 대해서는 "급냉 모드/직접풍"으로 공기조화기를 제어하는 파라미터를 산출하였고, 제2사용자에 대해서는 "표준 모드/간접풍"으로 공기조화기를 제어하는 파라미터를 산출하였다.
이 경우 제어부(150)는 제1사용자가 왼쪽에, 제2사용자가 오른쪽에 위치한 경우, 송풍부(15)의 좌우측(11, 12)을 각각 제어한다. 그 결과, 공기조화기(1)는 왼쪽으로는 급냉 모드의 직접풍으로 공기조화기가 동작하며 오른쪽으로는 표준 모드의 간접풍으로 공기조화기가 동작한다.
또는 제어부(150)는 두 사용자의 위치가 근접하거나 양쪽 송풍을 별도로 제어하기 어려울 경우, 파라미터들을 각각 선택한다. 예를 들어 제어부(150)는 모드에 있어서는 "급냉 모드"로 선택하고 바람은 "간접풍"으로 선택하여 두 사용자에게 설정된 각각의 파라미터(급냉/표준 모드, 직접풍/간접풍) 중에서 하나씩 선택할 수 있다.
전술한 실시예를 적용할 경우, 공기조화기(1)의 제어부(150)는 영상 정보를 통해서 사용자들의 행동을 분석하고, 분석한 결과에 따라 공기조화기(1)의 풍량, 풍속, 동작 모드, 온도 등을 제어할 수 있다.
도 6에 도시된 바와 같이, 식별된 사용자의 인적 특성은 남성 > 여성, 어린이 > 노인 순으로 시원한 바람 또는 직접풍을 제공하도록 제어부(150)가 공기조화기를 제어한다. 물론, 이러한 순서는 변경될 수 있다.
예를 들어 노인으로 식별하여 약한 바람으로 송풍하도록 제어하였는데 공기조화기의 온도를 낮추거나 바람의 세기를 높이거나 급냉 모드를 선택하는 인터럽트 입력(수동 제어)이 발생한 경우, 제어부(150)는 노인에 대한 설정치를 어린이 또는 여성 또는 남성의 설정치로 변경할 수 있다.
또는 이미지 내의 식별된 노인에 대한 정보(이미지)를 제어부(150)가 별도로 저장한다. 추후 제어부(150)는 "노인"으로 식별된 사람이 저장된 이미지의 노인과 동일한 경우에는 식별된 사람에 대해 "노인"이 아닌 다른 카테고리(예를 들어 "어린이" 또는 여성" 또는 "남성")에 속하는 것으로 판단하고 그에 따라 공기조화기를 제어한다.
반대로, 제어부(150)가 이후에 "노인"으로 식별된 사람이 저장된 이미지의 노인과 상이한 경우에는 도 6의 프로세스에 따라 공기조화기를 제어한다.
도 6은 이미지 디스크립션이 이미지 내에 식별된 사람에 대한 속성 정보 또는 이미지 내에 식별된 사람이 수행하는 동작에 대한 단어 또는 사람을 서술하는 단어를 포함할 경우, 제어부가 이에 대응하여 공기조화기의 동작을 제어하는 실시예를 보여주었다. 이 중에서 사람이 수행하는 동작의 동적/정적인 특성을 상세하게 분석하는 과정에 대해 살펴본다.
도 7은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람의 동작을 분석하는 과정을 보여준다.
제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 또한, 제어부(150)는 식별된 사람이 서있는 경우 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S61). 마찬가지로, 제어부(150)는 현재 이미지와 이전 시점의 이미지 사이의 차이점이 클 경우에도 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S62).
또한, 제어부(150)는 식별된 사람의 팔이 위 또는 옆을 향하는 경우 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S63).
이외에도 제어부(150)는 사람이 동적으로 움직임을 유추할 수 있는 다양한 정보들을 취합하여 동적인 속성의 수치(Human.Active.Count)를 증가시킨 후, 이 값에 따라 제어부(150)는 공기조화기의 송풍 온도, 풍량, 풍속, 또는 모드 등을 제어한다(S64).
도 8은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람이 착용한 복장에 따라 공기조화기가 동작하는 과정을 보여준다.
제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 제어부(150)는 식별된 사람의 신체에서 피부색의 비율을 계산한다(S66). 그 결과 피부색의 비율이 기준 이상(예를 들어 30% 이상)인 경우, 식별된 사람이 여름옷을 입은 것으로 판단한다. 제어부(150)는 Human.shortcloth의 값을 "TRUE"로 설정한다(S67).
이미지 내에 사람들이 다수 식별된 경우, 제어부(150)는 각각에 대해 Human.shortcloth의 값을 산출한다. 그리고 제어부(150)는 산출한 값에 따라 공기조화기의 송풍 온도, 풍량, 풍속, 또는 모드 등을 제어한다(S67).
도 8의 플로우에서 이미지 디스크립션은 이미지 내에 식별된 사람이 착용한 복장을 서술하는 단어를 포함할 수 있다. 또는 이미지 디스크립션에 별도의 복장 설명이 없는 경우 제어부(150)는 각각의 사람 별로 피부색의 노출을 확인한다. 그리고 제어부(150)는 확인한 결과를 이용하여 공간 내의 사람들이 짧은 소매의 옷을 입거나 짧은 반바지를 입었는지, 혹은 긴 소매/긴 바지를 입었는지를 확인한다.
도 9는 본 발명의 일 실시예에 의한 이미지 디스크립션의 과정을 보여준다. 도 9에 표시된 이미지에서 제어부(150)는 Person1으로 식별된 사람이 가까이, 중앙에서 왼쪽으로 치우쳐진 위치에 있는 것으로 식별한다(Person1, Near/Center-Left). 그리고 제어부(150)는 "Person1" 뒤에 배치된 소파(sofa)를 식별한다(Sofa, Behind of Person1). 제어부(150)는 소파 뒤에 Person2로 식별된 사람이 멀리, 오른쪽에 있는 것으로 식별한다(Person2, Far/Right).
이에, 제어부(150)는 Person1과 같이 이미지에서 중심에 위치한 사람 또는 이미지에서 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높인다. 예를 들어 제어부(150)는 이미지 디스크립션 결과 Person1은 여성이고 긴 옷을 입었다는 문장을 출력할 수 있다("Woman wears jacket"). 그리고 제어부(150)는 이미지 디스크립션 결과 Person2는 남성이고 짧은 소매를 입었다는 문장을 출력할 수 있다("Man wears short sleeves shirt").
이때, 제어부(150)는 가까이에 있거나 중심에 위치한 Person1에 대한 이미지 디스크립션의 중요도를 Person2에 대한 이미지 디스크립션의 중요도 보다 높게 처리한다. 그 결과 제어부(150)는 Person1에 대한 이미지 디스크립션에 기반하여 공기조화기를 제어할 수 있다.
또한, 이미지 디스크립션은 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함한다. 제어부(150)는 Person1이 Person2 보다 앞에 위치한다거나, Person1이 소파 앞에 위치하고, 소파가 Person2 앞에 위치한다는 이미지 디스크립션을 생성한다.
그리고 이들 사람들의 위치에 따라 제어부(150)는 공기조화기의 동작을 제어할 수 있다. 예를 들어 제어부(150)는 전방 중앙-좌측의 Person1을 향해 송풍할 수 있다.
도 10은 본 발명의 일 실시예에 의한 변화한 이미지에 중점을 둔 이미지 디스크립션의 과정을 보여준다. 도 9와 비교할 때, 도 10은 Person1이 왼쪽으로 이동한 상태이다.
제어부(150)는 제1시점에 획득된 제1이미지(도 9의 이미지)와 제1시점 이후의 제2시점에 획득된 제2이미지(도 10의 이미지)를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성한다. 즉, 소파나 Person2에 대해서는 변화가 없으므로 이미지 디스크립션을 생성하지 않고, 변화가 발생한 Person1에 대해서만 이미지 디스크립션을 생성한다. ("Woman wears jacket, Woman moves left.").
그리고 변화가 발생한 부분에 중점을 두어 제어부(150)는 공기조화기의 동작을 제어한다. 예를 들어 제어부(150)는 전방 좌측으로 이동한 Person1을 향해 송풍할 수 있다.
이를 위해 제어부(150)는 일정 시간 동안의 이미지를 저장할 수 있다. 1분 또는 5분 기간 내에 10초 간격으로 카메라부(110)가 이미지를 촬영하면, 제어부(150)는 이미지를 누적 저장한다. 그리고 누적된 이미지 별로 생성된 이미지 디스크립션을 저장한다.
이후 제어부(150)는 유사한 이미지가 획득되면 과거에 생성된 이미지 디스크립션을 이용하여 현재 획득된 이미지에 대한 이미지 디스크립션을 적용할 수 있다.
특히, 공기조화기가 설치된 공간에서 변화가 자주 발생하는 것은 사람이며, 소파나 창문, TV 등은 변화하지 않는다. 따라서 고정되거나 거의 움직이지 않는 사물에 대한 이미지 디스크립션은 제어부(150)가 반복 확인한 후 저장할 수 있다.
예를 들어, 제어부(150)는 반복된 이미지 디스크립션에서 추출된 사물들에 대한 정보를 다음과 같이 저장할 수 있다.
Name Position Description
Sofa Near, Left Sofa is located on the left.
TV Far, Center TV is located on the wall.
그리고 이후 사람들의 위치를 확정함에 있어서 제어부(150)는 소파와 TV의 위치를 반영할 수 있다. 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

Claims (14)

  1. 공기를 토출하는 송풍부;
    공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부; 및
    상기 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 상기 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  2. 제1항에 있어서,
    상기 제어부는
    상기 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더; 및
    상기 특징 벡터를 입력받아 단어를 포함하는 상기 이미지 디스크립션을 산출하는 디코더를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  3. 제1항에 있어서,
    상기 제어부는 상기 이미지 디스크립션을 이용하여 상기 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  4. 제1항에 있어서,
    상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람에 대한 속성 정보 또는 상기 이미지 내에 식별된 사람이 수행하는 동작에 대한 단어 또는 상기 사람을 서술하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  5. 제1항에 있어서,
    상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람이 착용한 복장을 서술하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  6. 제1항에 있어서,
    상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  7. 제1항에 있어서,
    상기 제어부는 상기 이미지에서 중심에 위치한 사람 또는 상기 이미지에서 상기 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높이는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  8. 제1항에 있어서,
    상기 제어부는 제1시점에 획득된 제1이미지와 상기 제1시점 이후의 제2시점에 획득된 제2이미지를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
  9. 공기조화기의 카메라부가 상기 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 단계;
    상기 공기조화기의 제어부가 상기 카메라부가 획득한 이미지에서 특징을 추출하는 단계;
    상기 제어부가 상기 추출한 특징에 기반하여 상기 이미지를 설명하는 이미지 디스크립션을 생성하는 단계;
    상기 제어부가 상기 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 단계를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
  10. 제9항에 있어서,
    상기 제어부의 인코더가 상기 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 단계;
    상기 제어부의 디코더가 상기 특징 벡터를 입력받아 단어를 포함하는 상기 이미지 디스크립션을 산출하는 단계를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
  11. 제9항에 있어서,
    상기 제어부가 상기 이미지 디스크립션을 이용하여 상기 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어하는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
  12. 제9항에 있어서,
    상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
  13. 제9항에 있어서,
    상기 제어부가 상기 이미지에서 중심에 위치한 사람 또는 상기 이미지에서 상기 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높이는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
  14. 제9항에 있어서,
    상기 제어부가 제1시점에 획득된 제1이미지와 상기 제1시점 이후의 제2시점에 획득된 제2이미지를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성하는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
PCT/KR2019/005286 2019-05-02 2019-05-02 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기 WO2020222341A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021564589A JP2022531259A (ja) 2019-05-02 2019-05-02 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機
US16/490,016 US11655995B2 (en) 2019-05-02 2019-05-02 Method of controlling operation of air conditioner by analyzing user's behavior pattern and air conditioner
EP19927192.5A EP3964762A4 (en) 2019-05-02 2019-05-02 METHOD OF CONTROLLING THE OPERATION OF AN AIR CONDITIONING SYSTEM THROUGH ANALYSIS OF USER BEHAVIOR PATTERNS AND AIR CONDITIONING
PCT/KR2019/005286 WO2020222341A1 (ko) 2019-05-02 2019-05-02 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기
KR1020190095556A KR20190099160A (ko) 2019-05-02 2019-08-06 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기
JP2023158199A JP2023164723A (ja) 2019-05-02 2023-09-22 使用者の行動パターンを分析して空気調和機の動作を制御する方法、及び空気調和機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005286 WO2020222341A1 (ko) 2019-05-02 2019-05-02 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기

Publications (1)

Publication Number Publication Date
WO2020222341A1 true WO2020222341A1 (ko) 2020-11-05

Family

ID=67806480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005286 WO2020222341A1 (ko) 2019-05-02 2019-05-02 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기

Country Status (5)

Country Link
US (1) US11655995B2 (ko)
EP (1) EP3964762A4 (ko)
JP (2) JP2022531259A (ko)
KR (1) KR20190099160A (ko)
WO (1) WO2020222341A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113531850A (zh) * 2021-06-30 2021-10-22 青岛海尔空调器有限总公司 用于控制空调的方法及装置、电子设备、存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110529989A (zh) * 2019-09-17 2019-12-03 山东浪潮人工智能研究院有限公司 基于人体动态图像追踪技术的空调调节风向的送风方法及装置
KR102389215B1 (ko) * 2019-10-31 2022-04-25 주식회사 쓰리에이치굿스 에어컨 제어용 인공지능 제어시스템
CN110906513A (zh) * 2019-11-27 2020-03-24 广东美的制冷设备有限公司 基于图像识别的空调机器人控制方法和装置
CN111854035A (zh) * 2020-07-13 2020-10-30 珠海格力电器股份有限公司 一种空调的控制方法、装置、空调、存储介质及处理器
CN112303824B (zh) * 2020-09-29 2023-05-26 青岛海尔空调电子有限公司 空调的室内机控制方法及空调
CN114216169A (zh) * 2021-12-17 2022-03-22 宁波奥克斯电气股份有限公司 一种移动空调的控制方法和移动空调
CN115875813A (zh) * 2022-12-06 2023-03-31 珠海格力电器股份有限公司 送风控制方法、空调器及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008051463A (ja) * 2006-08-28 2008-03-06 Sharp Corp 自動空調制御システム
US20150330646A1 (en) * 2013-03-12 2015-11-19 Mitsubishi Electri Corporation Air-conditioning apparatus support system
JP2018059672A (ja) * 2016-10-05 2018-04-12 日立ジョンソンコントロールズ空調株式会社 空気調和機
KR20190026384A (ko) * 2017-09-05 2019-03-13 엘지전자 주식회사 공기조화기 및 그 제어방법
KR20190035007A (ko) * 2017-09-25 2019-04-03 엘지전자 주식회사 인공지능 공기조화장치 및 그의 제어방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0658593A (ja) * 1992-08-05 1994-03-01 Sharp Corp 空気調和機
JP3216280B2 (ja) * 1992-12-11 2001-10-09 松下電器産業株式会社 空気調和機の制御装置と画像処理装置の応用機器
US6645066B2 (en) * 2001-11-19 2003-11-11 Koninklijke Philips Electronics N.V. Space-conditioning control employing image-based detection of occupancy and use
KR101273586B1 (ko) 2006-06-23 2013-06-11 삼성전자주식회사 에어컨 스케줄 자동 생성시스템
JP2010025359A (ja) 2008-07-15 2010-02-04 Fujitsu General Ltd 空気調和機
KR101558504B1 (ko) * 2008-12-26 2015-10-07 엘지전자 주식회사 공기조화기 및 그 동작방법
JP4852159B2 (ja) * 2010-02-24 2012-01-11 株式会社東芝 画像処理装置、画像処理方法および空調制御装置
JP2012037102A (ja) * 2010-08-05 2012-02-23 Panasonic Corp 人物識別装置、人物識別方法及び人物識別装置を備えた空気調和機
JP2012042074A (ja) 2010-08-17 2012-03-01 Panasonic Corp 空気調和機
JP5865784B2 (ja) 2012-06-05 2016-02-17 日立アプライアンス株式会社 空気調和機
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
US9958176B2 (en) * 2013-02-07 2018-05-01 Trane International Inc. HVAC system with camera and microphone
CN110081564B (zh) 2014-02-17 2021-09-14 松下电器产业株式会社 热图像传感器系统以及冷热感推断方法
JP6271294B2 (ja) * 2014-02-26 2018-01-31 シャープ株式会社 空気調和機
JP6267559B2 (ja) 2014-03-25 2018-01-24 株式会社クボタ 食材混合機
KR101823208B1 (ko) * 2015-12-04 2018-01-29 엘지전자 주식회사 공기 조화기 및 그 제어방법
JP6563118B2 (ja) * 2016-04-12 2019-08-21 三菱電機株式会社 空気調和システム
EP3457042A4 (en) * 2016-05-11 2019-05-01 Mitsubishi Electric Corporation AIR CONDITIONING VISUALIZATION SYSTEM
KR20180071031A (ko) * 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008051463A (ja) * 2006-08-28 2008-03-06 Sharp Corp 自動空調制御システム
US20150330646A1 (en) * 2013-03-12 2015-11-19 Mitsubishi Electri Corporation Air-conditioning apparatus support system
JP2018059672A (ja) * 2016-10-05 2018-04-12 日立ジョンソンコントロールズ空調株式会社 空気調和機
KR20190026384A (ko) * 2017-09-05 2019-03-13 엘지전자 주식회사 공기조화기 및 그 제어방법
KR20190035007A (ko) * 2017-09-25 2019-04-03 엘지전자 주식회사 인공지능 공기조화장치 및 그의 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113531850A (zh) * 2021-06-30 2021-10-22 青岛海尔空调器有限总公司 用于控制空调的方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
US11655995B2 (en) 2023-05-23
EP3964762A1 (en) 2022-03-09
KR20190099160A (ko) 2019-08-26
JP2023164723A (ja) 2023-11-10
JP2022531259A (ja) 2022-07-06
EP3964762A4 (en) 2022-12-07
US20210381717A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
WO2020222341A1 (ko) 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기
WO2019160253A1 (ko) 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법
CN103189687A (zh) 能量管理系统
TW494308B (en) Control method
WO2020251217A1 (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
WO2009108018A2 (ko) 책상형 학습 장치 및 이를 이용한 학습 방법
WO2018208044A1 (ko) 개인 맞춤형 피부 관리 가이드 정보 제공 방법 및 장치
WO2014168265A1 (ko) 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
WO2011065653A2 (ko) 사용자 적응형 디스플레이 장치 및 디스플레이 방법
WO2017217725A1 (ko) 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
US20020167403A1 (en) Automatic system for monitoring persons entering and leaving changing room
WO2021157844A1 (en) Air conditioner and method for controlling the same
WO2020040363A1 (ko) 4d 아바타를 이용한 동작가이드장치 및 방법
WO2018042621A1 (ja) 空気調和システム
WO2020207030A1 (zh) 视频编码方法、系统、设备及计算机可读存储介质
CN108361928B (zh) 基于图像识别的空调控制方法及系统
WO2021235833A1 (ko) 출입자의 마스크 탐지 및 체온 보정을 이용한 인공지능 기반 스마트패스 시스템
KR20160114996A (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
WO2020141888A1 (ko) 사육장 환경 관리 장치
WO2019151689A1 (ko) 전자 장치 및 이의 제어 방법
JP2022136702A (ja) 顔認証システムおよび顔認証方法
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
Kim A personal identity annotation overlay system using a wearable computer for augmented reality
WO2022035190A1 (ko) 딥러닝을 이용한 얼굴 인식 기반 미아 찾기 서비스 제공 장치 및 방법
WO2022025597A1 (ko) 공기 조화 장치, 공기 조화 시스템 및 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19927192

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021564589

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019927192

Country of ref document: EP

Effective date: 20211202