WO2019225912A1 - 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기 - Google Patents

인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기 Download PDF

Info

Publication number
WO2019225912A1
WO2019225912A1 PCT/KR2019/005940 KR2019005940W WO2019225912A1 WO 2019225912 A1 WO2019225912 A1 WO 2019225912A1 KR 2019005940 W KR2019005940 W KR 2019005940W WO 2019225912 A1 WO2019225912 A1 WO 2019225912A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
server
air conditioner
human body
space classification
Prior art date
Application number
PCT/KR2019/005940
Other languages
English (en)
French (fr)
Inventor
한동우
송태엽
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP19807767.9A priority Critical patent/EP3805655A4/en
Priority to US17/058,420 priority patent/US11421906B2/en
Publication of WO2019225912A1 publication Critical patent/WO2019225912A1/ko

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63—Electronic processing
    • F24F11/64—Electronic processing using pre-stored data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56—Remote control
    • F24F11/58—Remote control using Internet communication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy
    • F24F2120/12—Position of occupants
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2130/00—Control inputs relating to environmental factors not covered by group F24F2110/00

Definitions

  • the present invention relates to a method, a server and an air conditioner for controlling an air conditioner by recognizing a region based on artificial intelligence.
  • the air conditioner controls the room temperature by discharging cold air into the room to create a comfortable indoor environment.
  • the air conditioner purifies the indoor air to provide a more comfortable indoor environment for humans.
  • an air conditioner includes an indoor unit installed indoors, an outdoor unit configured to supply a refrigerant to the indoor unit, which is composed of a compressor, a heat exchanger, and the like.
  • the air conditioner, the indoor unit and the outdoor unit can be controlled separately.
  • the air conditioner, at least one indoor unit may be connected to the outdoor unit.
  • the outdoor unit supplies coolant or heat to the indoor unit according to the operation state, and is operated in the cooling or heating mode.
  • the indoor unit of the air conditioner is fixedly arranged and operated in a specific space, when the user acquires information on the space and operates based on the information, the user can enjoy comfort by providing a more specialized driving function for the space.
  • the air conditioner is intended to increase the haptic efficiency of cooling or heating efficiency according to the number and location of occupants in the room.
  • the air conditioner may operate by recognizing a living area in a space without additional manipulation.
  • the server and the air conditioner recognize each living area, and the air conditioner can operate based on the accurate area recognition through the results.
  • the communication efficiency is increased by increasing or decreasing the size of the data to be transmitted and received or the number of transmissions to reduce the communication load.
  • the air conditioner transmits the control unit and the human body sensing data to generate a first space classification data for distinguishing two or more blowing areas based on the human body sensing data and images generated by the vision module to the server.
  • a communication unit configured to receive the second space classification data from the server, and the controller compares the first space classification data and the second space classification data to divide the intensive blowing zone and the non-intensive blowing zone to control the operation of the air conditioner.
  • the server receives a human body sensing data from each one of the plurality of air conditioners in accordance with the data transmission unit (a) and based on this space for separating the air blowing area into two or more Generate delimited data.
  • the air conditioner increases the haptic efficiency of the cooling or heating efficiency according to the location or number of occupants in the room so that the air conditioner can operate by recognizing the living area in the space without a separate operation.
  • the server and the air conditioner can recognize the living area in the space.
  • communication efficiency is increased by increasing or decreasing the size or number of data to be transmitted and received according to the number of connected air conditioners to reduce the communication load. Can increase.
  • FIG. 1 is a view showing the configuration of an air conditioner according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating server-based spatial learning logic according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating logic for performing spatial learning according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of recognizing a blowing area according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a data preprocessing process required for space division according to an embodiment of the present invention.
  • FIG. 6 is a view showing a protrusion map and a two-dimensional histogram according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a configuration of a server according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating space classification data according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a process of performing smart care by interworking with an air conditioner and a server according to an embodiment of the present invention.
  • first, second, A, B, (a), and (b) can be used. These terms are only to distinguish the components from other components, and the terms are not limited in nature, order, order, or number of the components. If a component is described as being “connected”, “coupled” or “connected” to another component, that component may be directly connected to or connected to that other component, but between components It will be understood that the elements may be “interposed” or each component may be “connected”, “coupled” or “connected” through other components.
  • the components constituting the air conditioner are classified into an outdoor unit and an indoor unit.
  • One air conditioning system consists of one or more outdoor units and one or more indoor units.
  • the relationship between the outdoor unit and the indoor unit can be 1: 1, 1: N, or M: 1 (N, M are both natural numbers greater than 1).
  • the present invention can be applied to any device for controlling cooling or heating.
  • the present invention may be applied to a device having a function of cleaning air.
  • cooling for the convenience of explanation, the description will focus on cooling.
  • heating embodiments of the present invention can be applied to the process of raising the temperature and the mechanism for maintaining the elevated temperature.
  • the present disclosure looks at real-world area recognition server linkage for air conditioner control.
  • the user can realize the real life area in which the user lives in conjunction with the server with the product.
  • the algorithm is implemented only in the air conditioner, there is a limit to the amount of data that the air conditioner can process, and further learning the algorithm may put a heavy load on the computational power of the air conditioner. Therefore, the air conditioner transmits the position information of the human body to the server, and the server collects and classifies the corresponding information to determine the area with more data, thereby improving reliability, and allowing the algorithm to be updated later.
  • the air conditioner or the server may perform calculation and data processing according to the calculation capability of the air conditioner.
  • the vision module 110 which is a component constituting the air conditioner 100, photographs images of objects and space within a range through which the blower 15 of the air conditioner can send wind.
  • the vision module 110 includes a camera unit 112 for photographing a space where an air conditioner is installed.
  • the vision module 110 may process the image photographed by the camera unit 112 to generate human body sensing data.
  • the human body sensing data is calculated by calculating an angle and a distance of a person in a space.
  • the storage unit 120 stores the captured image or the sensing data in a predetermined amount.
  • the vision module 110, the camera unit 112, the storage unit 120, the interface unit 140, the control unit 150, and the communication unit 180 of FIG. 1 may be implemented as one processor. Or some of them may be implemented in one processor. Processing and memory functions can also be provided by a single processor.
  • the controller 150 generates first space classification data for distinguishing two or more blowing areas based on the human body sensing data and the image generated by the vision module.
  • the space classification data may be divided into a concentrated blowing area and a non-intensive blowing area.
  • the space classification data may include information about an angle and a distance of the concentrated blowing area.
  • the space classification data may include information on the angle and distance of the non-concentrated blowing area.
  • the intensive blowing area is a region in which a quick driving is performed when the user sets the operation of the air conditioner to the quick driving after the quick driving.
  • the controller 150 may classify the intensive blowing area for the plurality of areas based on the location recognition result of the occupants to classify the living area in the indoor space. For example, the controller 150 may classify the living (resident / moving) area into the non-life area using the human body sensing data. As a result, the controller 150 may control the airflow so as to efficiently cool or heat the concentrated blowing area, which is the divided living area, thereby improving cooling / heating efficiency and energy efficiency.
  • the controller 150 controls the blower 15 to send wind to the concentrated blowing area in the smart care process.
  • Smart care means to perform a fast operation to control the amount of blowing, the temperature and direction of the blowing air so as to approach the user's desired temperature within a short time when the air conditioner is first turned on or the user selects smart care.
  • the present invention intensively blows toward the location of the occupant through the human body detection, and performs a comfortable operation after the room temperature is close to the desired temperature or a certain time passes.
  • the controller 150 calculates divided data for distinguishing the concentrated blowing region and the non-intensive blowing region based on the human body detection, which may be performed by the server.
  • the communication unit 180 may perform communication with an external server or communication device.
  • the communication unit 180 transmits the image captured by the camera unit 112 or the human body sensing data calculated by the vision module 110 to the server, and receives the second space classification data for separating the space from the server. Can be.
  • the communication unit 180 may transmit an image captured by the camera unit 112 to an external communication device (tablet, notebook, TV, smartphone, etc.).
  • a higher accuracy is selected to generate a centralized blowing area and a non-intensive blowing area, and then the controller ( 150 may determine the air volume of the blower 15 and the angle (up, down, left, and right) of the wind.
  • the interface unit 140 may provide a function of displaying a current operation state or providing a button for turning on / off from the outside.
  • the interface unit 140 may receive an initialization instruction from the outside (remote control, human button selection, etc.) to instruct to delete the human body sensing data or the space classification data stored in the air conditioner and the human body sensing data or the space classification data stored in the server. Can be.
  • Each component may be integral or remotely located. Therefore, information transmission and reception between them may be based on wired or wireless communication or via a physical communication line. This is referred to as transmission of information to explain the transmission and reception of information.
  • the vision module 110 provides vision information including human body sensing data. In addition, information about the space may be included in the captured image.
  • the control unit 150 controls the communication unit 180 to request space classification (distance, angle) data for distinguishing a blowing area by detecting the occupant of the space from the server 200 (S21). .
  • the communicator 180 may use any one or more of various communication protocols such as Wi-Fi or mobile communication.
  • the server 200 generates space classification (distance, angle) data based on the previously transmitted human body sensing data or previously generated space classification data or the human body sensing data provided from the air conditioner 100 to generate an air conditioner ( 100) (S22).
  • the vision module 110 generates the human body sensing data in step S21 ⁇ S22 (S23) and transmits it to the control unit 150 (S24).
  • the controller 150 transmits the human body sensing data captured by the camera unit 112 and calculated by the vision module 110 to the communication unit 180 (S25).
  • the communicator 180 continuously accumulates data transmitted in steps S23 to S25. In the accumulation process, the communicator 180 may use an internal memory or store it in the storage 120.
  • the communication unit 180 transmits the accumulated data to the server 200 (S27).
  • the server 200 requests the result of performing the cumulative data transmission and space detection (S27).
  • the server 200 transmits data on which space sensing is performed based on the transmitted data (S28).
  • the controller 150 classifies and blows the intensive blowing area and the non-intensive blowing area for smart care.
  • the control unit 150 instructs the vision module 110 and the server 200 to initialize data based on this (S30, S31).
  • the position information of the human body detected by the vision module 110 using the vision module as an embodiment is transmitted to the controller 150 (S24), and the controller 150 transmits the corresponding information to the Wi-Fi module. In one embodiment, and transmits and stores in the communication unit 180 (S25, S26).
  • the communicator 180 transmits the human body position information to a server when a certain quantity (a) is accumulated (S26 to S27).
  • a may be a unit of human body sensing data transmitted from the communication unit 180 to the server 200.
  • the communicator 180 accumulates and stores the human body sensing data generated by the vision module 110, and transmits the accumulated data to the server 200 when the size or number of the accumulated data reaches the data transmission unit (a).
  • the load is not generated in the connection state of the server 200 to communicate with a number of air conditioners.
  • the data transmission unit (a) may be predetermined or may be changed by the server 200 and transmitted to the air conditioner 100. That is, the communication unit 180 receives a value from the server 200.
  • the value of a may be inversely proportional to the number of two or more air conditioners connecting to the server 200 and transmitting the human body sensing data.
  • the server 200 when the number of air conditioners that access the current server 200 or transmit the human body sensing data to the current server 200 is large, the server 200 intermittently increases the a, which is a transmission unit of the human body sensing data. By controlling the air conditioner 100 to transmit data, the bottleneck of the communication connection may be eliminated.
  • the server 200 can communicate and process data in a short time.
  • the air conditioner 100 controls the data to be transmitted more quickly and frequently, thereby improving the real time of the space classification data.
  • the server 200 stores the data sent from the communication unit 180 and inputs it into an algorithm when M (the server judgment unit) is a predetermined quantity to calculate the space classification data (space detection information or space classification information).
  • the communication unit 180 requests the space classification data every time the location information is uploaded to the server (S27), but the server 200 is configured not to send the space classification data until the M pieces of data are collected and run the algorithm. Can be.
  • the spatial information derived from the server 200 is transmitted to the controller 150 through the communication unit 180 (S28).
  • the air conditioner 100 receives the initialization instruction by pressing or selecting the space division data initialization button on the interface unit 140 (S29), the corresponding information is transmitted to the vision module 110 and the server 200 at the same time.
  • Data initialization is performed (S30, S31). That is, the controller 150 deletes the human body sensing data or the space classification data stored in the air conditioner in response to the initialization instruction.
  • controller 150 controls the communication unit 180 and transmits a message requesting the server 200 to delete the stored data.
  • the user may select initialization.
  • the server 200 may maintain a constant level by deleting the oldest data in a unit.
  • the server 200 If the size or number of data transmitted by the communication unit 180 to the server 200 does not reach the server determination unit (M), the server 200 is regarded as not storing enough data to calculate the space classification data. Can be.
  • the air conditioner may control the operation of the air conditioner by dividing it into a concentrated blowing area and a non-intensive blowing area by using the space classification data calculated at the product stage. See in more detail in FIG.
  • 3 is a diagram illustrating logic for performing spatial learning according to an embodiment of the present invention. 3 shows a process controlled according to the presence or absence of the space classification data (space information) classified by the air conditioner 100 and the space classification data classified by the server 200.
  • the controller 150 checks whether the space classification information exists in the server 200 or the air conditioner (product) (S42).
  • the communication unit 180 receives the space classification information (space classification data) that the server has, and separately the control unit 150 checks the space classification data held by the air conditioner. The airflow is controlled based on high reliability results by comparing both results.
  • the controller 150 controls the direction of airflow by applying the space classification data received from the server. On the other hand, if the difference is more than a predetermined reference, the controller 150 controls the direction of the air flow using the space classification data calculated by the air conditioner. In addition, when the direction of the airflow is controlled by using the space classification data of the air conditioner after comparison, only the N (self-determination unit) data of the data (for example, the server determination unit M) of the server is left behind. Delete the data. As a result, only highly reliable data is maintained on the server side. Then, the space classification data may be collected again from the server 200. Look in more detail.
  • the controller 150 is generated by the harmonic.
  • the operation of the air conditioner is controlled by dividing the intensive blowing area and the non-intensive blowing area by using the first space classification data.
  • the air flow is controlled according to the server-based spatial classification data (S54).
  • the controller 150 may determine the first space classification data generated by the harmonic and When the difference occurs below a certain standard (angle, distance, etc.) by comparing the second space classification data generated by the server, the centralized and non-intensive blowing areas are used by using the second space classification data generated by the server.
  • the operation of the air conditioner can be controlled by dividing.
  • the existing space learning may reflect the characteristic of the space where the current product is installed by coping with the impossible to update the algorithm performance after selling the product by mounting the algorithm in the product.
  • the server 200 may also be equipped with an algorithm for classifying the space by receiving a human body detection result (location information) from the air conditioner 100.
  • the air conditioner 100 and the server 200 replace the server algorithm by improving the space discrimination capability of the algorithm, the air conditioner sold may operate with the improved algorithm.
  • the algorithm installed in the server 200 may use a vast storage space when compared to the air conditioner 100. Therefore, it can be seen that there is almost no restriction on the size of data that can be stored in the server 200. As a result, since the server 200 analyzes the space with more data, high reliability of the algorithm result may be secured.
  • the controller 150 compares the result of performing the space division between the algorithm installed in the air conditioner 100 and the algorithm installed in the server 200 based on data, and when the difference occurs by a predetermined level or more, the air conditioner 100 By determining that a change has occurred in the installed environment and controlling the operation to be performed as a result of the algorithm installed in the air conditioner 100, the air conditioner 100 may have the same corresponding speed as that in which the algorithm for classifying the space is mounted. have.
  • the controller 150 may determine a space classification result determined as N pieces of self-determining units (for example, 5000 pieces) of data stored in the air conditioner 100 and M (more than N, stored in the server 200). For example, it is possible to determine the actual use area by selecting one of the two results with respect to the case where the difference is more than a predetermined angle by comparing the result of the space classification determined by the data of 10000). Alternatively, the controller 150 may determine an actual use area by selecting an intermediate value or an average value of two results.
  • the controller gives priority to the first space classification data.
  • the self determination unit N may be the number of data or the size of the data.
  • the collected body position information may be implemented by collecting a certain quantity in the communication unit 180 and collecting them at once to reduce the communication load applied to the server 200.
  • FIG. 4 is a flowchart illustrating a process of recognizing a blowing area according to an exemplary embodiment of the present invention.
  • FIG. 4 illustrates a process in which the vision module 110 recognizes and distinguishes an area in which a user mainly lives in an indoor space as an intensive blowing area.
  • the vision module 110 may receive human body sensing data including a location recognition result of a patient using the photographed image (S61), and accumulate the received human body sensing data (S62).
  • the human body sensing data may configure the indoor unit reference position as an angle and a distance. Distance information can be finely divided into meters or centimeters, or can be divided into near / medium / far.
  • the vision module 110 accumulates the human body sensing data and counts (S63), and if more than a predetermined number (K) of data is accumulated, the vision module 110 may generate a two-dimensional histogram (S64).
  • the two-dimensional histogram is constructed in two dimensions to reflect the angle and distance that are calculated as a result of detecting occupants. Histogram generation will be described later.
  • the controller 150 generates the space classification data divided into the plurality of areas of the blowing area on the basis of machine learning using the generated histogram as input data (S66). In one embodiment, it may be divided into a concentrated blowing area and a non-intensive blowing area.
  • Machine learning may use techniques such as SVM (Support Vector Machine), Adaboost, and more preferably, deep learning.
  • SVM Small Vector Machine
  • Adaboost Adaboost
  • the controller 150 includes an artificial neural network previously learned by machine learning, accumulates the result of recognizing the distance and direction of the occupants, generates histograms for a plurality of regions, and generates the generated histograms. By using the input data of the artificial neural network, it is possible to distinguish the intensive blowing area and the non-intensive blowing area.
  • controller 150 may divide the area where a large number of occupants are sensed into an intensive blowing area and a non-intensive blowing area based on a histogram accumulated without additional machine learning.
  • the blowing region may be classified into one or more concentrated blowing regions and one or more non-intensive blowing regions (S68).
  • FIG. 5 is a diagram illustrating a data preprocessing process required for space division according to an embodiment of the present invention.
  • Performing the pretreatment in S65 of FIG. 5 can be largely composed of two steps. It is operable in the vision module 110.
  • the vision module 110 inputs the result of detecting the human body (that is, the angle and distance of the detected position) to the controller 150 (S71)
  • the controller 150 may construct a saliency map (S71).
  • S72 This means that the frequency module is updated after quantizing the position information (angle / distance) of the human body sensed by the vision module 110.
  • the top, bottom, left and right areas are also accumulated together to express the area well. This process is repeated until P detection results are input (S73).
  • the vision module 110 recognizes the presence of the occupants and the distance and direction of the occupants in the image acquired by the camera unit 112.
  • the controller 150 divides the living areas into a plurality of areas based on the result recognized by the occupants.
  • FIG. 6 is a view showing a protrusion map and a two-dimensional histogram according to an embodiment of the present invention.
  • 77 of FIG. 6 is a configuration in which the protrusion map is disposed on the X-Y axis corresponding to the distance and angle based on the protrusion map.
  • 78 shows a two-dimensional histogram resulting from the continuous accumulation of protrusion maps.
  • FIG. 7 is a diagram illustrating a configuration of a server according to an embodiment of the present invention.
  • the server may be configured of a storage unit 220, a controller 250, and a communication unit 280.
  • the communication unit 280 receives the human body sensing data from one of the plurality of air conditioners according to the data transmission unit (a).
  • the controller 250 generates spatial classification data for distinguishing two or more blowing regions based on the received human body sensing data.
  • the storage unit 220 stores the human body sensing data or the space classification data. Since the server 200 provides the space classification data to the plurality of air conditioners, the storage unit 220 may store the space classification data or the human body sensing data together with the identification information of each air conditioner.
  • the communication unit 280 transmits the above-described space classification data to the air conditioner 100.
  • the air conditioner 100 may determine whether to use the received space classification data in the process as shown in FIG. 3.
  • the server 200 may change the data transmission unit (a).
  • the controller 250 may set a value in proportion to the number of air conditioners that transmit human body sensing data. That is, when the number of air conditioners increases, the controller 250 may decrease the number of communication by increasing a value. On the contrary, when the number of air conditioners decreases, the controller 250 may increase a processing speed by decreasing a value.
  • the communication unit 280 transmits a value to the air conditioner in response to the increase or decrease of the number of air conditioners at regular time intervals.
  • the server 200 may accumulate data by a certain level (or number) from a specific air conditioner, and then generate and transmit the space classification data to the air conditioner. For example, when the size or number of data received by each air conditioner reaches the server determination unit M, the controller 250 may generate space classification data for the air conditioner.
  • the controller 250 deletes data corresponding to the air conditioner from the storage unit 220. .
  • control unit 250 sequentially deletes data of a specific air conditioner from the storage unit 220 to generate space classification data based on the latest data.
  • 8 is a diagram illustrating space classification data according to an embodiment of the present invention. 8 is an embodiment in which the space classification data divides the blowing area into a concentrated blowing area, a first non-concentrating blowing area, and a second non-concentrating blowing area.
  • the space compared and selected by the controller 150 among the space classification data generated by the controller 150 or the server 200 in a situation in which a smart care operation is selected, the air conditioner 100 is turned on, or intensive blowing is selected.
  • the air conditioner 100 may operate in the concentrated operation mode for the concentrated blowing region defined in the classification data.
  • the first non-intensive blowing area and the concentrated blowing area may be operated in the non-intensive driving mode.
  • the intensive operation mode means to reach a target temperature quickly, and the non-intensive operation mode may operate the air conditioner 100 according to the instruction of the controller 150 after the operation of the intensive operation mode is completed. In one embodiment, control is performed.
  • the air conditioner 100 resides in the air blowing area defined in the space classification data generated by the server 100 or the air conditioner 100, that is, the living area is resident / emergency
  • the airflow can be controlled to be limited to the space where the user mainly resides.
  • the air conditioner 100 may continuously update algorithms independent of the installation environment to acquire and adapt changed living area information. Separating the ventilation area can also update the location of the occupants by continuously photographing the space.
  • the communication unit 192 receives data necessary for software upgrade from the outside and continuously updates deep learning to be updated with a deep learning module having higher accuracy.
  • the controller 150 may select differently according to the reliability of the server 200.
  • the controller 150 determines that the reliability of the calculated data of the server 200 is increased by a predetermined level or more.
  • the controller 150 mixes two pieces of spatial classification data in a manner of varying an average value, a median value, or a weight of the second space classification data calculated by the server and the first space classification data calculated by the air conditioner.
  • the result of the mixing includes third space classification data including a concentrated blowing area and a non-intensive blowing area.
  • the vision module judges and controls the final result by comparing the result of detecting the space through the human body detection (first space classification data) and the result determined based on the accumulated data on the server (second space classification data). , Can improve the accuracy.
  • FIG. 9 is a diagram illustrating a process of performing smart care by interworking with an air conditioner and a server according to an embodiment of the present invention.
  • the air conditioner 100 enters the smart care mode (S81)
  • the air conditioner checks the space classification data and the space classification data received from the server.
  • the controller 150 sets the centralized blowing area and the non-centralized blowing area by using the final space classification data in which one of these is selected or a combination thereof (S82). That is, the controller 150 controls the operation of the air conditioner by comparing the two pieces of divided data into a concentrated blowing area and a non-concentrating blowing area by using the space sorting data selected or selected from the combination.
  • the controller 150 controls the airflow toward the concentrated blowing area to perform rapid operation (cooling or heating) (S83). After that, when the temperature in the space reaches the target temperature (S84), a comfortable operation (cooling or heating) is performed (S85). In the comfortable driving mode, the controller 150 controls the airflow toward both the concentrated area and the non-focused area.
  • the present invention is not necessarily limited to these embodiments, and all of the components are within the scope of the present invention. It can also be combined to operate selectively.
  • all of the components may be implemented in one independent hardware, each or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware.
  • It may be implemented as a computer program having a. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention.
  • the storage medium of the computer program includes a storage medium including a magnetic recording medium, an optical recording medium and a semiconductor recording element.
  • the computer program for implementing an embodiment of the present invention includes a program module transmitted in real time through an external device.
  • control unit 180 communication unit

Abstract

본 발명은 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기에 관한 기술로, 본 발명의 일 실시예에 의한 공기조화기는 비전모듈에서 생성된 인체 감지 데이터 및 상기 이미지에 기반하여 송풍 영역을 둘 이상으로 구분하는 제1공간 구분 데이터를 생성하는 제어부와 인체 감지 데이터를 서버로 전송하고 상기 서버로부터 제2공간 구분 데이터를 수신하는 통신부를 포함하며, 제어부는 상기 제1공간 구분 데이터와 상기 제2공간 구분 데이터를 비교하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어한다.

Description

인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기
본 발명은 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기에 관한 기술이다.
공기조화기는, 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절한다. 또한, 공기조화기는 실내 공기를 정화하여 인간에게 보다 쾌적한 실내 환경을 제공한다.
일반적으로 공기조화기는, 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다.
한편, 공기조화기는, 실내기 및 실외기가 분리되어 제어될 수 있다. 또한 공기조화기는, 실외기에 적어도 하나의 실내기가 연결될 수 있다. 또한 실외기는 운전 상태에 따라, 실내기로 냉매나 열을 공급하여, 냉방 또는 난방모드로 운전된다.
최근 사용자가 위치하는 공간에 대해서만 냉방 또는 난방 공기를 토출할 수 있도록 사용자를 인식하는 기술이 제안되는데, 이는 사용자의 위치를 정확하게 인식하는 것을 필요로 한다. 그런데 사용자의 위치 만으로는 공간에 적합한 운전 방식을 설정하는데 한계가 있다.
예를 들어, 본 발명의 출원인이 출원하여 등록한 등록번호 10-1569414 출원의 경우, 인체를 감지하고 감지된 결과에 따라 일회성으로 풍량과 풍향을 제어하는 방식으로 공간을 파악하는 기능은 없다. 단지 인체만을 감지한 결과에 기반하여 일회적으로 동작하므로, 인체 감지의 부정확성을 해결하는 방안이 부족하다.
특히, 공기조화기의 실내기는 특정한 공간에 고정되어 배치되어 동작하므로, 공간의 정보를 취득하여 이에 기반하여 동작할 경우 해당 공간에 보다 특화된 운전 기능을 제공하여 사용자가 쾌적함을 향유할 수 있으므로, 공기조화기 제어를 위한 실생활 영역을 인식하는 방법 및 이를 구현하는 방법 및 이를 적용한 공기조화기에 대해 살펴본다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 공기조화기가 재실 인원의 위치나 수 등에 따라 냉방 또는 난방 효율의 체감 효율을 높이고자 한다.
본 명세서에서는 별도의 조작 없이도 공기조화기가 공간 내의 생활 영역을 인지하여 동작할 수 있도록 한다.
본 명세서에서는 서버와 공기조화기가 각각 생활 영역을 인식하여 그 결과를 통해 정확한 영역 인식에 기반하여 공기조화기가 동작할 수 있도록 한다.
본 명세서에서는 서버에 다수의 공기조화기가 통신을 통해 정보를 전송하는 경우 통신 부하를 줄이기 위해 송수신할 데이터의 크기나 전송 횟수를 접속한 공기조화기의 수에 따라 증감시켜 통신 효율을 높이고자 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 공기조화기는 비전모듈에서 생성된 인체 감지 데이터 및 이미지에 기반하여 송풍 영역을 둘 이상으로 구분하는 제1공간 구분 데이터를 생성하는 제어부와 인체 감지 데이터를 서버로 전송하고 서버로부터 제2공간 구분 데이터를 수신하는 통신부를 포함하며, 제어부는 제1공간 구분 데이터와 제2공간 구분 데이터를 비교하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어한다.
본 발명의 일 실시예에 의한 서버는 다수의 공기조화기 중 어느 하나의 공기조화기로부터 각각 인체 감지 데이터를 데이터 송신 단위(a)에 따라 수신하여 이에 기반하여 송풍 영역을 둘 이상으로 구분하는 공간 구분 데이터를 생성한다.
본 발명의 실시예들을 적용할 경우, 공기조화기가 재실 인원의 위치나 수 등에 따라 냉방 또는 난방 효율의 체감 효율을 높여서 별도의 조작 없이도 공기조화기가 공간 내의 생활 영역을 인지하여 동작할 수 있다.
본 발명의 실시예들을 적용할 경우, 공간 내의 생활 영역을 서버와 공기조화기가 인식할 수 있도록 한다.
본 발명의 실시예들을 적용할 경우, 다수의 공기조화기가 통신을 통해 정보를 전송하는 경우 통신 부하를 줄이기 위해 송수신할 데이터의 크기나 전송 횟수를 접속한 공기조화기의 수에 따라 증감시켜 통신 효율을 높일 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 의한 공기조화기의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 서버기반 공간 학습 로직을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 공간학습을 수행하는 로직을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 송풍 영역의 인식 과정을 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 의한 공간 구분에 필요한 데이터 전처리 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 돌출맵과 2차원의 히스토그램을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 서버의 구성을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 공간 구분 데이터를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 공기조화기와 서버가 연동하여 스마트케어를 수행하는 과정을 보여주는 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 공조조화기를 구성하는 구성요소로 실외기와 실내기로 구분한다. 하나의 공조 시스템은 하나 이상의 실외기와 하나 이상의 실내기로 구성된다. 실외기와 실내기 사이의 관계는 1:1, 1:N, 또는 M:1(N, M 모두 1보다 큰 자연수)이 될 수 있다.
본 발명은 냉방 또는 난방을 제어하는 모든 장치에 적용될 수 있다. 또는 공기를 청정하는 기능을 가진 장치에도 적용될 수 있다. 다만, 설명의 편의를 위하여 냉방에 중점을 두고 설명한다. 난방에 적용될 경우에는 온도를 높이는 과정과 높인 온도를 유지하는 메커니즘에 본 발명의 실시예들을 적용할 수 있다.
즉, 본 명세서에서는 본 발명에 따른 실시예를 냉방을 위주로 설명하지만 난방의 경우에도 동일 또는 유사하게 실시될 수 있다.
이하, 본 명세서에서는 공기조화기 제어를 위한 실생활 영역 인식 서버연동에 대해 살펴본다. 공기조화기의 냉방 혹은 난방 효율 및 사용자 쾌적성을 증대를 위해 사용자가 거주하는 실생활 영역 인식을 제품내부와 더불어 서버와 연동하여 구현할 수 있도록 한다. 만약, 공기조화기 내부에서만 알고리즘을 구현할 경우 공기조화기가 처리 가능한 데이터의 양에 한계가 있고, 알고리즘을 추가 학습하는 것이 공기조화기의 계산 능력에 많은 부하를 줄 수 있다. 따라서 공기조화기가 서버로 인체 위치 정보를 전송하고, 서버가 해당 정보를 수집 분류하여 더 많은 데이터를 가지고 영역을 판단하여 신뢰성을 개선하고, 추후 알고리즘의 업데이트가 가능하도록 한다.
즉, 공기조화기의 계산 능력에 따라 연산과 데이터 처리를 공기조화기가 수행하거나 또는 서버가 수행할 수 있다.
또한, 공기조화기가 판단한 공간과 서버가 판단한 공간을 비교하여 최종 공간 결과를 생성함으로써 공간 인식에 대한 신뢰도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 의한 공기조화기의 구성을 보여주는 도면이다. 공기조화기(100)을 구성하는 구성요소인 비전모듈(110)는 공기조화기의 송풍부(15)가 바람을 보낼 수 있는 범위 내에 객체들과 공간에 대한 이미지를 촬영한다. 비전모듈(110)은 공기조화기가 설치된 공간을 촬영하는 카메라부(112)를 포함한다. 카메라부(112)가 촬영한 이미지를 비전모듈(110)이 프로세싱하여 인체 감지 데이터를 생성할 수 있다. 인체 감지 데이터는 공간 내에 사람의 위치를 각도와 거리로 산출한 것을 일 실시예로 한다. 그리고 저장부(120)는 촬영한 이미지 또는 감지 데이터를 일정한 분량으로 저장한다.
도 1의 비전모듈(110), 카메라부(112), 저장부(120), 인터페이스부(140), 제어부(150), 통신부(180)는 하나의 프로세서로 구현될 수 있다. 또는 이들 중 일부 구성요소들이 하나의 프로세서로 구현될 수 있다. 또한 프로세싱 기능과 메모리 기능 역시 하나의 프로세서가 제공할 수 있다.
제어부(150)는 비전모듈에서 생성된 인체 감지 데이터 및 이미지에 기반하여 송풍 영역을 둘 이상으로 구분하는 제1공간 구분 데이터를 생성한다.
공간 구분 데이터는 일 실시예로 집중 송풍 영역과 비집중 송풍 영역으로 나눌 수 있다. 공간 구분 데이터는 집중 송풍 영역의 각도 및 거리에 대한 정보를 포함할 수 있다. 마찬가지로 공간 구분 데이터는 비집중 송풍 영역의 각도 및 거리에 대한 정보를 포함할 수 있다.
집중 송풍 영역은 스마트케어와 같이 사용자가 공기조화기의 동작을 쾌속 운전 후 쾌적 운전으로 설정하는 경우에 쾌속 운전을 수행하는 영역을 일 실시예로 한다. 제어부(150)는 재실자의 위치 인식 결과에 기초하여 복수의 영역에 대하여 집중 송풍 영역을 구분하여 실내 공간 내의 생활 영역을 구분할 수 있다. 예를 들어, 제어부(150)는 인체감지 데이터를 이용하여 생활(상주/이동)영역과 미생활 영역으로 구분할 수 있다. 그 결과 제어부(150)는 구분된 생활 영역인 집중 송풍 영역에 대해 효율적으로 냉방 혹은 난방을 수행할 수 있도록 기류를 제어함으로써, 냉방/난방 효율 및 에너지 효율을 향상시킬 수 있다.
제어부(150)는 스마트 케어 과정에서 집중 송풍 영역으로 송풍부(15)가 바람을 보내도록 제어한다. 스마트 케어란 공기조화기가 처음 켜지거나 사용자가 스마트케어를 선택한 경우 빠른 시간 내에 사용자의 희망 온도에 근접하도록 송풍의 양과 송풍 공기의 온도, 방향 등을 제어하는 쾌속 운전을 수행하는 것을 의미한다.
따라서, 본 발명은 인체 감지를 통해 재실자의 위치를 향해 집중적으로 송풍한 후, 실내 온도가 희망 온도에 근접하거나 일정 시간이 흐른 후에 쾌적 운전을 수행한다.
이에, 제어부(150)는 인체 감지에 기반하여 집중 송풍 영역과 비집중 송풍 영역을 구분하는 구분 데이터를 산출하는데, 이를 서버에서도 수행할 수 있다.
이를 위해 통신부(180)는 외부의 서버 또는 통신 장치와 통신을 수행할 수 있다. 일 실시예로 통신부(180)는 카메라부(112)가 촬영한 이미지 또는 비전 모듈(110)이 산출한 인체 감지 데이터를 서버로 전송하고, 서버로부터 공간을 구분하는 제2공간 구분 데이터를 수신할 수 있다. 또는 통신부(180)는 외부의 통신 장치(태블릿, 노트북, TV, 스마트폰 등)에게 카메라부(112)가 촬영한 이미지를 전송할 수 있다.
통신부(180)가 수신한 제2공간 구분 데이터와 제어부(150)가 생성한 제1고간 구분 데이터 중에서 보다 정확도가 높은 것을 선택하여 집중 송풍 영역과 비집중 송풍 영역을 생성하여 스마트 케어 과정에서 제어부(150)가 송풍부(15)의 풍량 및 바람의 각도(상하 또는 좌우)를 결정할 수 있다.
인터페이스부(140)는 현재 동작 상황을 표시하거나 외부로부터 온/오프를 할 수 있도록 버튼을 제공하는 등의 기능을 제공한다. 또한 인터페이스부(140)는 외부로부터(리모컨, 사람의 버튼 선택 등) 공기조화기에 저장된 인체 감지 데이터 또는 공간 구분 데이터와 서버에 저장된 인체 감지 데이터 또는 공간 구분 데이터의 삭제를 지시하는 초기화 지시를 수신할 수 있다.
각 구성요소들은 일체로 구성될 수도 있고 원격으로 배치될 수도 있다. 따라서 이들 간의 정보 송수신은 유선 또는 무선 통신에 기반하거나 혹은 물리적 통신선을 통해 구현할 수 있다. 이에 대해 정보의 송수신을 설명하기 위해 정보의 전송으로 나타낸다.
도 2는 본 발명의 일 실시예에 의한 서버기반 공간 학습 로직을 보여주는 도면이다. 비전모듈(110)는 인체 감지 데이터를 포함한 비전 정보를 제공한다. 뿐만 아니라 공간에 대한 정보 역시 촬영한 이미지에 포함될 수 있다.
제어부(150)는 공기조화기가 켜지면(S20) 통신부(180)를 제어하여 서버(200)로부터 공간의 재실자를 감지하여 송풍 영역을 구분하는 공간 구분(거리, 각도) 데이터를 요청한다(S21). 통신부(180)는 Wi-Fi 혹은 이동통신 등 다양한 통신 프로토콜 중 어느 하나 이상을 이용할 수 있다. 서버(200)는 이전에 전송된 인체 감지 데이터 도는 이전에 생성한 공간 구분 데이터 또는 공기조화기(100)로부터 제공된 인체 감지 데이터를 기반으로 공간 구분(거리, 각도) 데이터를 생성하여 공기조화기(100)에게 전송한다(S22). 한편, S21~S22 과정에서 비전모듈(110)는 인체 감지 데이터를 생성하여(S23) 이를 제어부(150)에게 전송한다(S24). 그리고 제어부(150)는 카메라부(112)가 촬영하고 비전모듈(110)이 산출한 인체감지 데이터를 통신부(180)에게 전송한다(S25).
통신부(180)는 S23 내지 S25 과정에서 전송되는 데이터들은 계속 누적한다. 누적 과정에서 통신부(180)는 내장된 메모리를 사용할 수도 있고 저장부(120)에 저장할 수도 있다. 그리고 일정한 수의 데이터가 누적되면(S26) 통신부(180)는 누적된 데이터를 서버(200)에게 전송한다(S27). 또한, 서버(200)에게 누적 데이터 전송과 공간 감지를 수행한 결과를 요청한다(S27). 서버(200)는 전송된 데이터들에 기반하여 공간 감지를 수행한 데이터를 전송한다(S28). 제어부(150)는 이에 기반하여 스마트 케어를 위해 집중 송풍 영역과 비집중 송풍 영역을 구분하여 송풍한다.
한편, 인터페이스부(140)가 공간 구분을 초기화하는 명령을 수신하면(S29) 제어부(150)는 이에 기반하여 비전모듈(110) 및 서버(200)에게 데이터 초기화를 지시한다(S30, S31).
도 2의 실시예를 살펴보면, 비전 모듈을 일 실시예로 하는 비전모듈(110)이 감지한 인체의 위치정보를 제어부(150)로 전송하고(S24), 제어부(150)는 해당 정보를 와이파이 모듈을 일 실시예로 하는 통신부(180)에 전송 및 저장한다(S25, S26).
통신부(180)는 인체위치정보가 일정 수량(a개) 쌓이면 서버로 전송한다(S26~S27). 여기서 a개는 통신부(180)가 서버(200)로 전송하는 인체 감지 데이터의 단위가 될 수 있다.
통신부(180)는 비전모듈(110)이 생성한 인체 감지 데이터를 누적하여 저장하며, 누적된 데이터의 크기 또는 개수가 데이터 송신 단위(a)에 도달한 경우 누적된 데이터를 서버(200)에게 전송하여 수많은 공기조화기와 통신하는 서버(200)의 접속 상태에 부하가 발생하지 않도록 한다.
데이터 송신 단위(a)는 미리 정해질 수도 있고 서버(200)가 유동적으로 변경하여 공기조화기(100)에게 전송할 수 있다. 즉, 통신부(180)는 a 값을 서버(200)로부터 수신한다. a 값은 서버(200)에 접속하여 인체 감지 데이터를 전송하는 둘 이상의 공기조화기의 수에 반비례할 수 있다.
예를 들어, 현재 서버(200)에 접속하거나 현재 서버(200)에게 인체 감지 데이터를 전송하는 공기조화기의 수가 많을 경우, 서버(200)는 인체 감지 데이터의 전송 단위인 a를 증가시켜서 간헐적으로 공기조화기(100)가 데이터를 전송하도록 제어하여 통신 연결의 병목 현상을 제거할 수 있다.
마찬가지로, 현재 서버(200)에 접속하거나 현재 서버(200)에게 인체 감지 데이터를 전송하는 공기조화기의 수가 많을 경우, 서버(200)는 빠른 시간 내에 통신 및 데이터 처리가 가능하므로, 인체 감지 데이터의 전송 단위인 a를 감소시켜서 공기조화기(100)가 보다 빨리, 자주 데이터를 전송하도록 제어하여 공간 구분 데이터의 실시간성을 높일 수 있다.
서버(200)는 통신부(180)에서 보내온 데이터를 저장하고 있다가 일정 수량인 M(서버판단단위)이 되면 알고리즘에 입력하여 공간 구분 데이터(공간 감지 정보 또는 공간 구분 정보)를 산출한다.
일 실시예로 통신부(180)는 위치정보를 서버로 올릴 때마다 공간구분 데이터를 요청하지만(S27), 서버(200)에서는 M개의 데이터가 모여서 알고리즘을 돌리기 전까지는 공간 구분 데이터를 보내주지 않도록 구성될 수 있다.
이후 서버(200)에서 도출된 공간 정보는 통신부(180)를 통해서 제어부(150)에게 전달된다(S28). 공기조화기(100)는 인터페이스부(140) 상의 공간 구분 데이터 초기화 버튼이 눌려지거나 선택되어 초기화 지시를 수신하는 경우(S29), 해당 정보가 비전모듈(110) 및 서버(200)로 전달되어 동시에 데이터 초기화가 이뤄진다(S30, S31). 즉, 제어부(150)는 초기화 지시에 대응하여 공기조화기 내에 저장된 인체 감지 데이터 또는 공간 구분 데이터를 삭제한다.
또한, 제어부(150)는 통신부(180)를 제어하여 서버(200)에게 저장된 데이터의 삭제를 요청하는 메시지를 전송한다. 이사, 공기조화기의 실내기 위치 이동 등으로 변화가 발생한 경우에 사용자가 초기화를 선택할 수 있다.
여기서 서버(200) 역시 관리하는 개별 공기조화기별 데이터의 수가 서버판단단위인 M개를 넘어가면 가장 오래된 데이터를 a개 단위로 삭제하면서 일정 수준을 유지할 수 있다.
만약 통신부(180)가 서버(200)에 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하지 않은 경우 서버(200)는 공간 구분 데이터를 산출할 만큼 충분한 데이터를 저장하지 못한 것으로 볼 수 있다. 이 경우 공기조화기는 제품 단에서 산출한 공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어할 수 있다. 도 3에서 보다 상세히 살펴본다.
도 3은 본 발명의 일 실시예에 의한 공간학습을 수행하는 로직을 보여주는 도면이다. 도 3은 공기조화기(100)에서 구분한 공간 구분 데이터(공간 정보)와 서버(200)에서 구분한 공간 구분 데이터의 유무에 따라 제어되는 과정을 보여준다.
공기조화기(100)가 스마트케어(smart care) 상태로 진입하면(S41), 제어부(150)는 공간 구분 정보가 서버(200) 혹은 공기조화기(제품) 내에 존재하는지를 확인한다(S42). 일 실시예로 통신부(180)가 서버가 가지고 있는 공간 구분 정보(공간 구분 데이터)를 수신하고, 이와 별도로 제어부(150)는 공기조화기가 보유하고 있는 공간 구분 데이터를 확인한다. 그리고 양쪽의 결과를 비교하여 신뢰성이 높은 결과를 기준으로 기류를 제어한다.
확인 결과 차이가 일정 기준 이하로 적을 경우에는 제어부(150)는 서버로부터 수신된 공간 구분 데이터를 적용하여 기류의 방향을 제어한다. 반면, 그 차이가 일정 기준 이상일 경우에는 제어부(150)는 공기조화기가 산출한 공간 구분 데이터를 이용하여 기류의 방향을 제어한다. 또한, 비교 후 공기조화기의 공간 구분 데이터를 이용하여 기류의 방향을 제어한 경우, 서버가 가진 데이터(예를 들어 서버 판단 단위 M) 중에서 최근 기준으로 N개(자체판단단위) 데이터만 남기고 그전 데이터를 삭제한다. 그 결과, 서버 측에 신뢰성이 높은 데이터만 유지된다. 그리고 이후 서버(200)로부터 공간 구분 데이터를 다시 수집할 수 있다. 보다 상세히 살펴본다.
확인 결과(S43) 서버 기반 공간 구분 데이터가 없는 경우 조화기에 저장된, 조화기 기반 정보(공간 구분 데이터)가 있는지 확인한다(S44). 그리고 조화기 기반 공간 구분 데이터 역시 없는 경우라면 공간 구분을 위한 최소의 데이터가 모이지 않은 상태로 전체 풀 스윙한다(S45).
한편 S44에서 서버 기반 정보(공간 구분 데이터)는 없으나, 조화기 기반 공간구분 정보가 있는 경우에는 해당 정보에 맞춰 기류를 제어한다(S59). S43 및 S44의 판단의 실시예로는 통신부(180)가 서버(200)에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하지 않은 경우, 제어부(150)는 조화기에서 생성된 제1공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는 것을 일 실시예로 한다.
한편 S43에서 서버기반 정보는 있으나, 조화기 기반 정보가 없는 경우는 조화기를 구성하는 제어부(150)의 메모리 혹은 저장부(120)에 이상이 발생한 경우로, 서버기반 공간구분 데이터에 따라 기류를 제어한다(S54).
한편 S43 및 S51에 기반하여 서버와 조화기 기반의 공간구분 데이터가 모두 존재하는 경우는 생활영역 좌우 경계 각도 값의 차이를 비교한다(S52). 비교 결과 두 경계 모두 일정 크기, 예를 들어 10도 미만의 차이를 갖는다면 서버기반 공간 구분 데이터가 신뢰도가 더 높은 것으로 판단하여 서버 결과로 기류 제어한다(S56).
S53의 판단은 통신부(180)가 서버(200)에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달한 경우에, 제어부(150)는 조화기에서 생성된 제1공간 구분 데이터 및 서버에서 생성된 제2공간 구분 데이터를 비교하여 일정 기준 이하(각도, 거리 등)로 차이가 발생하는 경우, 서버에서 생성한 제2공간 구분 데이터를 이용하여 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어할 수 있다.
반면, S52에서 비교 결과 두 경계 중 하나라도 10도 이상의 차이가 발생하면 실내 공간 구분 데이터에 변화가 생긴 것(가구 위치이동 등)으로 판단하여 공기조화기 기반 공간 구분 데이터로 기류를 제어하고(S56), 서버에는 새로운 학습을 위해 최근 N개 외에 데이터는 삭제하고 알고리즘 구동을 위한 데이터를 다시 수집한다(S57).
도 3과 같은 구성을 적용할 경우, 기존의 공간학습은 제품 내에 알고리즘을 탑재하여 제품 판매 후 알고리즘 성능 개선을 위한 업데이트가 불가능한 것에 대처하여 현재 제품이 설치된 공간의 특성을 반영할 수 있다.
만약 도 3과 달리, 공기조화기 내에서 알고리즘 만으로 제어할 경우 알고리즘에 입력하는 데이터의 양에 한계가 있으며, 이로 인해 데이터로 공간을 구분할 경우 신뢰도가 낮을 우려가 있다. 반면, 서버에서만 많은 데이터로 공간을 구분할 경우 공간 내 특성 변화에 대응이 늦어지는 문제가 발생한다.
또한, 도 3과 달리, 공간학습을 서버연동으로 구현할 때 인체감지 결과 정보를 감지될 때마다 서버로 전송하게 되면 수많은 공기조화기들이 동시에 정보를 서버로 전달하여 서버 쪽에 정보를 처리하는데 있어 부하가 커지는 문제가 있다.
그러나, 도 3과 같이 서버 및 공기조화기 내에 저장된 정보를 기반으로 동작할 경우, 처리 속도를 높이면서도 신뢰성을 높일 수 있다.
즉, 공기조화기(100) 내에 공간학습 알고리즘을 구현하면서도 이와 더불어 서버(200)도 공기조화기(100)로부터 인체감지 결과(위치정보)를 받아서 공간을 구분하는 알고리즘이 탑재될 수 있다.
그 결과 공기조화기(100) 및 서버(200)는 알고리즘의 공간 구분 능력을 개선하여 서버 알고리즘을 교체하면 판매된 공기조화기도 개선된 알고리즘으로 작동할 수 있다.
서버(200)에 설치된 알고리즘은 공기조화기(100)와 비교할 때, 방대한 저장 공간을 사용할 수 있다. 따라서 서버(200)에 저장 가능한 데이터 크기에 제약이 거의 없다고 볼 수 있다. 이로 인해 서버(200)는 더 많은 데이터로 공간을 분석하므로 알고리즘 결과의 높은 신뢰도가 확보될 수 있다.
제어부(150)는 공기조화기(100)에 설치된 알고리즘과 서버(200)에 설치된 알고리즘이 데이터에 기반하여 공간 구분을 수행한 결과를 비교하여 일정 수준 이상 차이가 발생하면 공기조화기(100)가 설치된 환경에 변화가 생긴 것으로 판단하여 공기조화기(100)에 설치된 알고리즘의 수행 결과로 운전되도록 제어함으로써, 공기조화기(100)에만 공간을 구분하는 알고리즘이 탑재된 경우와 동일한 대응 속도를 가질 수 있다.
즉, 제어부(150)는 공기조화기(100)에 저장된 자체판단단위 N개(예를 들어 5000개)의 데이터로 판단한 공간 구분 결과와 서버(200)에 저장된 M개(N 보다 큰, 예를 들어 10000개)의 데이터로 판단한 공간 구분 결과를 비교하여 일정 각도 이상 차이가 날 경우와 아닌 경우에 대하여 두 결과 중 어느 하나를 선택하여 실사용 영역을 판단할 수 있다. 또는 제어부(150)는 두 결과의 중간값이나 평균값 등을 선택하여 실사용 영역을 판단할 수 있다.
또한, 제어부(150)는 조화기 내에 누적된 데이터의 크기 또는 개수가 자체판단단위(N)에 도달한 경우 제어부는 제1공간 구분 데이터에 우선순위를 부여한다. 자체판단단위(N)는 데이터의 수가 될 수도 있고 데이터의 크기가 될 수도 있다.
뿐만 아니라, 감지된 인체 위치 정보를 통신부(180)에서 일정 수량을 수집한 뒤 이를 한번에 모아서 전달하는 방식으로 구현하여 서버(200)에 가해지는 통신 부하를 줄일 수 있다.
도 4는 본 발명의 일 실시예에 따른 송풍 영역의 인식 과정을 도시한 순서도이다. 도 4는 비전 모듈(110)이 실내 공간 중 사용자가 주로 생활하는 영역을 집중 송풍 영역으로 인식 및 구분하는 과정을 도시한 것이다.
비전 모듈(110)은 촬영된 이미지를 이용하여 재실자의 위치 인식 결과를 포함하는 인체감지 데이터를 입력받고(S61), 입력받은 인체감지 데이터를 누적할 수 있다(S62). 여기서 인체 감지 데이터는 실내기 기준 위치를 각도와 거리로 구성할 수 있다. 거리 정보는 세밀하게 미터 또는 센티미터로 구분할 수도 있고 근거리/중거리/원거리로 구분할 수도 있다.
비전 모듈(110)은 인체감지 데이터를 누적하며 카운팅(counting)하다가(S63), 일정수(K) 이상의 데이터가 누적되었다면, 2차원의 히스토그램을 생성할 수 있다(S64). 2차원 히스토그램은 재실자를 감지한 결과 산출되는 각도와 거리를 반영할 수 있도록 2차원으로 구성된다. 히스토그램 생성에 대해서는 후술한다.
이후, 2차원 히스토그램에 기반하여 송풍 영역을 감지하기 위해 각 데이터에 대해 전처리를 수행하고 특징을 추출한다(S65). 그리고 제어부(150)는 생성한 히스토그램을 입력데이터로 사용하여 머신러닝 기반으로 송풍 영역을 다수의 영역으로 구분된 공간 구분 데이터를 생성한다(S66). 일 실시예로 집중 송풍 영역과 비집중 송풍 영역으로 구분할 수 있다.
또는 더 세분화하여 제1집중 송풍 영역, 제2집중 송풍 영역, ..., 제1비집중 송풍 영역, 제2비집중 송풍 영역, ... 등으로 구분할 수 있다. 머신러닝은 SVM(Support Vector Machine), Adaboost와 같은 기법을 이용할 수 있고, 더욱 바람직하게는 딥러닝(Deep Learning) 기법을 이용할 수 있다. 그리고 일정하게 결과가 누적되면(Q개 이상 누적되면)(S67), 머신 러닝 기반 송풍 영역을 최종적으로 분류한 결과를 도출한다(S68).
즉, 제어부(150)는, 머신러닝으로 기학습된 인공신경망(Artificial Neural Network)을 포함하고, 재실자의 거리와 방향을 인식한 결과를 누적하여 복수의 영역별 히스토그램을 생성하며, 생성된 히스토그램을 인공신경망의 입력데이터로 사용하여 집중 송풍 영역과 비집중 송풍 영역을 구분할 수 있다.
물론, 제어부(150)는 별도의 머신러닝 없이 누적된 히스토그램에 기반하여 재실자가 많이 센싱된 영역을 집중 송풍 영역과 비집중 송풍 영역으로 구분할 수도 있다.
또한, 실시예에 따라서는, 송풍 영역을 구분한 결과의 정확도를 높이기 위하여, S65의 과정을 반복 수행하면서(S67), 복수의 구분 결과를 취합하여 취합된 결과에 기초하여 최종적으로 실내 공간의 복수의 송풍 영역을 하나 이상의 집중 송풍 영역과 하나 이상의 비집중 송풍 영역으로 분류할 수 있다(S68).
즉, 공간 구분 결과가 일정 수 이상 누적되었을 때, 최종 결과를 도출함으로써, 공간 내의 재실자 인식 결과의 신뢰성을 확보하고, 인체감지 오류로 인해 발생한 미생활 영역의 일시적인 오류를 제거할 수 있다.
도 5는 본 발명의 일 실시예에 의한 공간 구분에 필요한 데이터 전처리 과정을 보여주는 도면이다.
도 5의 S65에서 전처리를 수행하는 것은 크게 두 가지의 단계로 구성될 수 있다. 비전 모듈(110)에서 동작 가능하다. 비전 모듈(110)이 인체를 감지한 결과(즉 감지된 위치의 각도와 거리)를 제어부(150)에 입력하면(S71), 제어부(150)는 돌출맵 (saliency map)을 구성할 수 있다(S72). 이는 비전 모듈(110)이 감지한 인체의 위치 정보 (각도/거리)를 양자화한 후 빈도수를 갱신하는 것을 의미한다. 이 과정에서 영역을 잘 표현하게 하기 위해 상하, 좌우 영역도 함께 누적시킨다. 이 과정을 P개의 감지 결과가 입력될 때까지 반복한다(S73).
충분히 감지 결과가 중복될 만큼 반복된 경우, 필터링 및 보간(Filtering and Interpolation)을 수행한다(S74). 이는 특정 각도/거리 영역에 편중된 감지 결과를 방지하기 위해 최대/최소 빈도값 필터링 및 보간(interpolation)을 수행하여 연속적인 2차원의 히스토그램(2 Dimensional Histogram)으로 변환한다(S75).
비전 모듈(110)은 카메라부(112)가 획득하는 영상에서 재실자의 존재 여부 및 재실자의 거리와 방향을 인식한다. 그리고 제어부(150)는 재실자에 대해 인식한 결과에 기초하여 복수의 영역에 대하여 생활 영역을 구분한다.
도 6은 본 발명의 일 실시예에 의한 돌출맵과 2차원의 히스토그램을 보여주는 도면이다. 도 6의 77은 돌출맵 기반으로 거리와 각도에 대응하여 X-Y 축으로 돌출맵이 배치된 구성이다. 78은 돌출맵이 지속하여 누적된 결과 생성된 2차원의 히스토그램을 보여준다.
도 7은 본 발명의 일 실시예에 의한 서버의 구성을 보여주는 도면이다.
서버의 구성은 저장부(220), 제어부(250) 및 통신부(280)로 구성될 수 있다. 통신부(280)는 다수의 공기조화기 중 어느 하나의 공기조화기로부터 각각 인체 감지 데이터를 데이터 송신 단위(a)에 따라 수신한다. 제어부(250)는 수신한 인체 감지 데이터에 기반하여 송풍 영역을 둘 이상으로 구분하는 공간 구분 데이터를 생성한다.
저장부(220)는 인체 감지 데이터 또는 공간 구분 데이터를 저장한다. 서버(200)가 다수의 공기조화기에게 공간 구분 데이터를 제공하므로, 저장부(220)는 각각의 공기조화기의 식별 정보와 함께 공간 구분 데이터 또는 인체 감지 데이터를 저장할 수 있다.
그리고 통신부(280)는 전술한 공간 구분 데이터를 공기조화기(100)에게 전송한다. 공기조화기(100)는 수신한 공간 구분 데이터를 사용할 것인지 여부를 도 3과 같은 과정에서 판단할 수 있다.
또한, 서버(200)는 데이터 송신 단위(a)를 변경할 수 있다. 예를 들어, 제어부(250)는 인체 감지 데이터를 전송하는 공기조화기의 수에 비례하여 a 값을 설정할 수 있다. 즉, 공기조화기의 수가 증가하면 제어부(250)는 a 값을 증가시켜 통신 횟수를 줄일 수 있다. 반대로 공기조화기의 수가 감소하면 제어부(250)는 a값을 감소시켜 처리 속도를 높일 수 있다. 통신부(280)는 일정한 시간 간격 또는 공기조화기의 수의 증감에 대응하여 a값을 공기조화기에게 전송한다.
또한, 서버(200)는 특정 공기조화기로부터 일정 수준의 크기(또는 개수)만큼 데이터가 누적된 후에 해당 공기조화기에게 공간 구분 데이터를 생성하여 전송할 수 있다. 예를 들어 통신부(280)가 공기조화기 별로 수신한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달한 경우에 제어부(250)는 공기조화기에 대한 공간 구분 데이터를 생성할 수 있다.
또한, 초기화를 요청하는 메시지, 즉 저장된 데이터의 삭제를 요청하는 메시지를 통신부(280)가 공기조화기로부터 수신한 경우 제어부(250)는 공기조화기에 해당하는 데이터를 저장부(220)에서 삭제한다.
그 외에도 제어부(250)는 저장부(220)에서 특정 공기조화기의 데이터를 순차적으로 삭제하여 최신 데이터에 기반하여 공간 구분 데이터를 생성할 수 있도록 한다.
도 8은 본 발명의 일 실시예에 의한 공간 구분 데이터를 보여주는 도면이다. 도 8은 공간 구분 데이터가 송풍 영역을 집중 송풍 영역과 제1비집중 송풍 영역, 제2비집중 송풍 영역으로 구분한 실시예이다. 스마트 케어 동작이 선택되거나 공기조화기(100)가 턴온 되거나 혹은 집중 송풍이 선택된 경우 등의 상황에서 제어부(150) 또는 서버(200)에서 생성한 공간 구분 데이터 중에서 제어부(150)가 비교 및 선택한 공간 구분 데이터에서 정의된 집중 송풍 영역에 대해 공기조화기(100)는 집중 운전 모드로 동작할 수 있다.
그리고 일정 기간 집중 운전 모드로 동작한 후, 제1비집중 송풍 영역과 집중 송풍 영역에 대해 비집중 운전 모드로 동작할 수 있다. 이 과정에서 집중 운전 모드는 온도를 빨리 목표 온도에 도달 시키는 것을 의미하고, 비집중 운전 모드는 집중 운전 모드의 동작이 완료한 후 제어부(150)의 지시에 따라 공기조화기(100)의 운전을 제어하는 것을 일 실시예로 한다.
전술한 실시예들을 적용할 경우, 공기조화기(100)는 서버(100) 또는 공기조화기(100)가 생성한 공간 구분 데이터에 정의된 송풍 영역에서 집중 송풍 영역, 즉 생활영역을 상주/비상주영역으로 추정한 결과를 이용하여 사용자가 주로 거주하는 공간에 한정하여 기류를 제어할 수 있다. 그 결과, 벽면 등의 불필요한 영역으로 향하는 기류를 제한하고, 사용자 맞춤 운전이 가능하여, 냉방/난방 효율을 증대화할 수 있으며 사용자에게 편의성 및 쾌적감 제공할 수 있다. 또한, 집중 운전 모드와 비집중 운전 모드를 나눌 수 있어 사용자에게 빠른 시간 내에 주된 송풍 공간(집중 송풍 영역)의 온도를 목표 온도에 도달시킬 수 있다.
또한 실시예들을 적용할 경우, 공기조화기(100)는 설치 환경에 독립적인 알고리즘을 지속적으로 업데이트하여 변경된 생활영역 정보를 습득하여 적응할 수 있다. 송풍 영역을 구분하는 것 역시 공간 내를 지속적으로 촬영하여 재실자의 위치를 업데이트할 수 있다. 그리고 통신부(192)는 외부로부터 소프트웨어 업그레이드에 필요한 데이터를 수신하여 딥러닝을 지속적으로 업데이트하여 보다 높은 정확도를 가지는 딥러닝 모듈로 업데이트될 수 있도록 한다.
또한, 서버(200) 및 공기조화기(100)의 공간 구분 데이터가 일정 크기 이상 차이가 발생할 경우, 서버(200)의 신뢰도에 따라 제어부(150)가 달리 선택할 수 있다.
만약, 서버(200)에 업로드된 데이터의 수가 서버판단단위(M)에는 못미치지만, 자체판단단위(N) 보다 많은 상황이 발생할 수 있다. 이 때 제어부(150)는 서버(200)의 산출 데이터의 신뢰도를 일정 수준 이상 높아진 것으로 판단한다. 그리고, 제어부(150)는 서버에서 산출된 제2공간 구분 데이터와 공기조화기에서 산출된 제1공간 구분 데이터의 평균값 혹은 중간값, 혹은 가중치를 달리하는 방식으로 두 개의 공간 구분 데이터를 믹스한 결과를 산출한다.
믹스한 결과는 집중 송풍 영역과 비집중 송풍 영역을 포함하는 제3 공간 구분 데이터를 포함한다. 그 결과 비전 모듈이 인체 감지를 통해 공간을 감지한 결과(제1공간 구분 데이터)와 서버에서 여러 누적된 데이터에 기반하여 판단한 결과(제2공간 구분 데이터)를 비교하여 최종 결과를 판단하고 제어하므로, 정확도를 향상시킬 수 있다.
도 9는 본 발명의 일 실시예에 의한 공기조화기와 서버가 연동하여 스마트케어를 수행하는 과정을 보여주는 도면이다. 공기조화기(100)가 스마트케어 모드로 진입하면(S81), 공기조화기가 가지고 있는 공간 구분 데이터 및 서버로부터 수신한 공간 구분 데이터를 확인한다. 제어부(150)는 이 중에서 어느 하나를 선택하거나 이들을 조합한 최종 공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역을 설정한다(S82). 즉, 제어부(150)는 두 개의 구분 데이터를 비교하여 이 중에서 선택되거나 이들을 조합하여 산출된 공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어한다.
따라서, 제어부(150)는 집중 송풍 영역을 향해 기류를 제어하여 쾌속 운전(냉방 또는 난방)을 수행한다(S83). 이후 공간 내의 온도가 목표 온도에 도달하면(S84), 쾌적 운전(냉방 또는 난방)을 수행한다(S85). 쾌적 운전 모드에서 제어부(150)는 집중 영역과 비집중 영역 모두를 향해 기류를 제어한다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
부호의 설명
100: 공기조화기 110: 비전모듈
120: 저장부 140: 인터페이스부
150: 제어부 180: 통신부
200: 서버

Claims (18)

  1. 공기조화기가 설치된 공간을 촬영하는 카메라부를 포함하며 상기 카메라부가 촬영한 이미지에서 인체 감지 데이터를 생성하는 비전모듈;
    상기 비전모듈에서 생성된 인체 감지 데이터 및 상기 이미지에 기반하여 송풍 영역을 둘 이상으로 구분하는 제1공간 구분 데이터를 생성하는 제어부; 및
    상기 인체 감지 데이터를 서버로 전송하고 상기 서버로부터 제2공간 구분 데이터를 수신하는 통신부를 포함하며,
    상기 제어부는 상기 제1공간 구분 데이터와 상기 제2공간 구분 데이터를 비교하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는, 공기조화기.
  2. 제1항에 있어서,
    상기 통신부는 상기 비전모듈이 생성한 인체 감지 데이터를 누적하여 저장하며, 상기 누적된 데이터의 크기 또는 개수가 데이터 송신 단위(a)에 도달한 경우 상기 누적된 데이터를 상기 서버에게 전송하는, 공기조화기.
  3. 제2항에 있어서,
    상기 통신부는 상기 a 값을 상기 서버로부터 수신하며, 상기 a 값은 상기 서버에 접속하여 인체 감지 데이터를 전송하는 둘 이상의 공기조화기의 수에 비례하는 것을 특징으로 하는, 공기조화기.
  4. 제2항에 있어서,
    상기 통신부가 상기 서버에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하지 않은 경우,
    상기 제어부는 상기 제1공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는, 공기조화기.
  5. 제2항에 있어서,
    상기 통신부가 상기 서버에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하였으며,
    상기 제어부가 상기 제1공간 구분 데이터 및 상기 제2공간 구분 데이터를 비교하여 일정 기준 이하로 차이가 발생하는 경우, 상기 제2공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는, 공기조화기.
  6. 제1항에 있어서,
    상기 누적된 데이터의 크기 또는 개수가 자체판단단위(N)에 도달한 경우 상기 제어부는 상기 제1공간 구분 데이터에 우선순위를 부여하는, 공기조화기.
  7. 제1항에 있어서,
    외부로부터 상기 공기조화기에 저장된 인체 감지 데이터 또는 상기 공간 구분 데이터와 상기 서버에 저장된 인체 감지 데이터 또는 공간 구분 데이터의 삭제를 지시하는 초기화 지시를 수신하는 인터페이스부를 더 포함하며,
    상기 제어부는 상기 초기화 지시에 대응하여 상기 공기조화기 내에 저장된 인체 감지 데이터 또는 상기 공간 구분 데이터를 삭제하며,
    상기 통신부는 상기 서버에게 저장된 데이터의 삭제를 요청하는 메시지를 전송하는, 공기조화기.
  8. 다수의 공기조화기 중 어느 하나의 공기조화기로부터 각각 인체 감지 데이터를 데이터 송신 단위(a)에 따라 수신하는 통신부;
    상기 수신한 인체 감지 데이터에 기반하여 상기 송풍 영역을 둘 이상으로 구분하는 공간 구분 데이터를 생성하는 제어부; 및
    상기 인체 감지 데이터 또는 상기 공간 구분 데이터를 저장하는 저장부를 포함하며,
    상기 공간 구분 데이터를 상기 통신부가 상기 공기조화기에 전송하는, 서버.
  9. 제8항에 있어서,
    상기 제어부는 인체 감지 데이터를 전송하는 공기조화기의 수에 비례하여 상기 a 값을 설정하며,
    상기 통신부는 일정한 시간 간격 또는 상기 공기조화기의 수의 증감에 대응하여 상기 a값을 상기 공기조화기에게 전송하는, 서버.
  10. 제8항에 있어서,
    상기 통신부가 상기 공기조화기 별로 수신한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달한 경우,
    상기 제어부는 상기 공기조화기에 대한 상기 공간 구분 데이터를 생성하는, 서버.
  11. 제8항에 있어서,
    상기 통신부는 상기 공기조화기로부터 저장된 데이터의 삭제를 요청하는 메시지를 수신하며,
    상기 제어부는 상기 공기조화기에 해당하는 데이터를 상기 저장부에서 삭제하는, 서버.
  12. 비전모듈이 공기조화기가 설치된 공간을 촬영하는 카메라부를 포함하며 상기 카메라부가 촬영한 이미지에서 인체 감지 데이터를 생성하는 단계;
    제어부가 상기 비전모듈에서 생성된 인체 감지 데이터 및 상기 이미지에 기반하여 송풍 영역을 둘 이상으로 구분하는 제1공간 구분 데이터를 생성하는 단계; 및
    통신부가 상기 인체 감지 데이터를 서버로 전송하고 상기 서버로부터 제2공간 구분 데이터를 수신하는 단계를 포함하며,
    상기 제어부가 상기 제1공간 구분 데이터와 상기 제2공간 구분 데이터를 비교하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는 단계를 포함하는, 공기조화기를 제어하는 방법.
  13. 제12항에 있어서,
    상기 통신부는 상기 비전모듈이 생성한 인체 감지 데이터를 누적하여 저장하며, 상기 누적된 데이터의 크기 또는 개수가 데이터 송신 단위(a)에 도달한 경우 상기 누적된 데이터를 상기 서버에게 전송하는 단계를 더 포함하는, 공기조화기를 제어하는 방법.
  14. 제13항에 있어서,
    상기 통신부는 상기 a 값을 상기 서버로부터 수신하며, 상기 a 값은 상기 서버에 접속하여 인체 감지 데이터를 전송하는 둘 이상의 공기조화기의 수에 비례하는 것을 특징으로 하는, 공기조화기를 제어하는 방법.
  15. 제13항에 있어서,
    상기 통신부가 상기 서버에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하지 않은 경우,
    상기 제어부는 상기 제1공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는 단계를 더 포함하는, 공기조화기를 제어하는 방법.
  16. 제13항에 있어서,
    상기 통신부가 상기 서버에게 전송한 데이터의 크기 또는 개수가 서버판단단위(M)에 도달하였으며,
    상기 제어부가 상기 제1공간 구분 데이터 및 상기 제2공간 구분 데이터를 비교하여 일정 기준 이하로 차이가 발생하는 경우, 상기 제2공간 구분 데이터를 이용하여 집중 송풍 영역과 비집중 송풍영역으로 구분하여 공기조화기의 운전을 제어하는 단계를 더 포함하는, 공기조화기를 제어하는 방법.
  17. 제12항에 있어서,
    상기 누적된 데이터의 크기 또는 개수가 자체판단단위(N)에 도달한 경우 상기 제어부는 상기 제1공간 구분 데이터에 우선순위를 부여하는 단계를 더 포함하는, 공기조화기를 제어하는 방법.
  18. 제12항에 있어서,
    외부로부터 상기 공기조화기에 저장된 인체 감지 데이터 또는 상기 공간 구분 데이터와 상기 서버에 저장된 인체 감지 데이터 또는 공간 구분 데이터의 삭제를 지시하는 초기화 지시를 수신하는 인터페이스부를 더 포함하며,
    상기 제어부는 상기 초기화 지시에 대응하여 상기 공기조화기 내에 저장된 인체 감지 데이터 또는 상기 공간 구분 데이터를 삭제하며,
    상기 통신부는 상기 서버에게 저장된 데이터의 삭제를 요청하는 메시지를 전송하는 단계를 더 포함하는, 공기조화기를 제어하는 방법.
PCT/KR2019/005940 2018-05-24 2019-05-17 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기 WO2019225912A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19807767.9A EP3805655A4 (en) 2018-05-24 2019-05-17 METHOD FOR CONTROLLING AIR CONDITIONER BY ZONE RECOGNITION BASED ON ARTIFICIAL INTELLIGENCE, SERVER AND AIR CONDITIONER
US17/058,420 US11421906B2 (en) 2018-05-24 2019-05-17 Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server and air conditioner

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180059298A KR102464667B1 (ko) 2018-05-24 2018-05-24 인공지능에 기반하여 영역을 인식하고 공기조화기를 제어하는 서버 및 공기조화기
KR10-2018-0059298 2018-05-24

Publications (1)

Publication Number Publication Date
WO2019225912A1 true WO2019225912A1 (ko) 2019-11-28

Family

ID=68616164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005940 WO2019225912A1 (ko) 2018-05-24 2019-05-17 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기

Country Status (4)

Country Link
US (1) US11421906B2 (ko)
EP (1) EP3805655A4 (ko)
KR (1) KR102464667B1 (ko)
WO (1) WO2019225912A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240054806A (ko) * 2022-10-19 2024-04-26 삼성전자주식회사 서버 및 그 제어방법
KR102596848B1 (ko) * 2022-12-29 2023-11-01 가천대학교 산학협력단 인공지능 기반 재실인원에 따른 에너지 소비량 추정방법, 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008281241A (ja) * 2007-05-09 2008-11-20 Toko Electric Corp 空調制御システム
KR20090087365A (ko) * 2008-02-12 2009-08-17 엘지전자 주식회사 공기조화기 및 그 제어방법
JP2011158157A (ja) * 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 換気制御装置
KR101072399B1 (ko) * 2009-05-25 2011-10-11 김명수 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법
KR101569414B1 (ko) 2008-12-26 2015-11-16 엘지전자 주식회사 공기조화기 및 그 동작방법
KR20180051729A (ko) * 2016-11-08 2018-05-17 엘지전자 주식회사 공기조화기 및 그 제어방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6645066B2 (en) 2001-11-19 2003-11-11 Koninklijke Philips Electronics N.V. Space-conditioning control employing image-based detection of occupancy and use
US20100068923A1 (en) 2008-09-02 2010-03-18 Edouard Tabet Side mounted patch panel
KR101558504B1 (ko) * 2008-12-26 2015-10-07 엘지전자 주식회사 공기조화기 및 그 동작방법
CN102679493B (zh) * 2012-04-28 2013-07-24 华南理工大学 基于日程表的教学楼中央空调末端设备管理方法及系统
US9791872B2 (en) 2013-03-14 2017-10-17 Pelco, Inc. Method and apparatus for an energy saving heating, ventilation, and air conditioning (HVAC) control system
US11651258B2 (en) * 2014-01-08 2023-05-16 Yechezkal Evan Spero Integrated docking system for intelligent devices
JP2017048930A (ja) * 2015-08-31 2017-03-09 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー（ホンコン）リミテッド 空気調和機およびプログラム
JP6807556B2 (ja) * 2015-10-01 2021-01-06 パナソニックＩｐマネジメント株式会社 空調制御方法、空調制御装置及び空調制御プログラム
KR20170054708A (ko) 2015-11-10 2017-05-18 엘지이노텍 주식회사 멀티 코일 무선 충전 방법 및 그를 위한 장치 및 시스템
KR20180071031A (ko) 2016-12-19 2018-06-27 엘지전자 주식회사 공기조화기 및 그 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008281241A (ja) * 2007-05-09 2008-11-20 Toko Electric Corp 空調制御システム
KR20090087365A (ko) * 2008-02-12 2009-08-17 엘지전자 주식회사 공기조화기 및 그 제어방법
KR101569414B1 (ko) 2008-12-26 2015-11-16 엘지전자 주식회사 공기조화기 및 그 동작방법
KR101072399B1 (ko) * 2009-05-25 2011-10-11 김명수 카메라 영상분석을 통한 오브젝트 인식기반의 지능형 제어장치를 제어하기 위한 제어방법
JP2011158157A (ja) * 2010-01-29 2011-08-18 Sanyo Electric Co Ltd 換気制御装置
KR20180051729A (ko) * 2016-11-08 2018-05-17 엘지전자 주식회사 공기조화기 및 그 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3805655A4

Also Published As

Publication number Publication date
EP3805655A4 (en) 2022-03-16
KR102464667B1 (ko) 2022-11-07
US20210215373A1 (en) 2021-07-15
US11421906B2 (en) 2022-08-23
KR20190134101A (ko) 2019-12-04
EP3805655A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
WO2019160253A1 (ko) 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법
KR101333661B1 (ko) 공기 조화기, 및 공기 조화기의 제어 방법
US9602783B2 (en) Image recognition method and camera system
WO2019120252A1 (en) Systems and methods for controlling an air-conditioning system based on gait recognition
JP4478510B2 (ja) カメラシステム、カメラ、及びカメラの制御方法
EP2759778A1 (en) Device control apparatus, program, device control server, and device control system
EP3379163A2 (en) Air conditioner and control method thereof
KR20110119118A (ko) 로봇 청소기, 및 이를 이용한 원격 감시 시스템
WO2019225912A1 (ko) 인공지능에 기반하여 영역을 인식하여 공기조화기를 제어하는 방법, 서버 및 공기조화기
US10140826B2 (en) Surveillance system and method of controlling the same
CN103968507A (zh) 空调器和空调器控制方法及系统
KR102586962B1 (ko) 감시 시스템 및 그 제어 방법
KR102314903B1 (ko) 영상 기반 건물 제어 방법 및 장치
US20130293721A1 (en) Imaging apparatus, imaging method, and program
WO2018030577A1 (ko) 자가 학습 로봇
KR100413382B1 (ko) 통신망을 이용한 감시 카메라의 통합 원격 제어 시스템 및방법과 이를 이용한 영상 데이터 처리 방법
US20190019383A1 (en) Camera with wireless power transmitter
KR102150642B1 (ko) 무선충전을 이용한 스마트 도어 시스템
KR100929921B1 (ko) 유비퀴터스 일체형 보안영상장치 및 시스템
JP2014016173A (ja) 空気調和機
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
KR102395440B1 (ko) 클라우드 기반 건물 관리 시스템 및 방법
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2016040519A (ja) 空気調和機
CN108566535A (zh) 智能移动相机以及智能移动监控系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19807767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019807767

Country of ref document: EP

Effective date: 20210111