KR20180051729A - Air conditioner and control method thereof - Google Patents

Air conditioner and control method thereof Download PDF

Info

Publication number
KR20180051729A
KR20180051729A KR1020160148071A KR20160148071A KR20180051729A KR 20180051729 A KR20180051729 A KR 20180051729A KR 1020160148071 A KR1020160148071 A KR 1020160148071A KR 20160148071 A KR20160148071 A KR 20160148071A KR 20180051729 A KR20180051729 A KR 20180051729A
Authority
KR
South Korea
Prior art keywords
texture
camera
machine learning
recognized
data
Prior art date
Application number
KR1020160148071A
Other languages
Korean (ko)
Inventor
송태엽
김상윤
황성목
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160148071A priority Critical patent/KR20180051729A/en
Publication of KR20180051729A publication Critical patent/KR20180051729A/en

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/70Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/74Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity
    • F24F11/77Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling air flow rate or air velocity by controlling the speed of ventilators
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/70Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • F24F2120/12Position of occupants
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B30/00Energy efficient heating, ventilation or air conditioning [HVAC]
    • Y02B30/70Efficient control or regulation technologies, e.g. for control of refrigerant flow, motor or heating

Abstract

An air conditioner according to one aspect of the present invention comprises: a camera obtaining an exterior image; an object recognition module for recognizing an object from the image obtained by the camera; and a control portion for controlling an air flow based on the location and a texture of the recognized object, thereby capable of improving a cooling efficiency.

Description

공기조화기 및 그 제어방법{Air conditioner and control method thereof}[0001] The present invention relates to an air conditioner and a control method thereof,

본 발명은 공기조화기 및 그 제어방법에 관한 것으로, 객체의 위치를 판별하여 기류를 제어하는 공기조화기 및 그 제어방법에 관한 것이다. The present invention relates to an air conditioner and a control method thereof, and more particularly, to an air conditioner for controlling the airflow by determining the position of an object and a control method thereof.

공기조화기는 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절하고, 실내 공기를 정화하도록 함으로서 인간에게 보다 쾌적한 실내 환경을 제공하기 위해 설치된다. The air conditioner is installed to provide a comfortable indoor environment for humans by discharging cold air to the room to adjust the room temperature and purify the room air to create a pleasant indoor environment.

일반적으로 공기조화기는 열교환기로 구성되어 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다. Generally, the air conditioner includes an indoor unit which is constituted by a heat exchanger and installed in a room, and an outdoor unit which is constituted by a compressor, a heat exchanger and the like and supplies the refrigerant to the indoor unit.

공기조화기는 열교환기로 구성된 실내기와, 압축기 및 열교환기 등으로 구성된 실외기로 분리되어 제어되며, 압축기 또는 열교환기로 공급되는 전원을 제어함으로써 동작된다. 또한, 공기조화기는 실외기에 적어도 하나의 실내기가 연결될 수 있으며, 요청되는 운전 상태에 따라, 실내기로 냉매를 공급하여, 냉방 또는 난방모드로 운전된다. The air conditioner is operated by being controlled separately by an indoor unit constituted by a heat exchanger, an outdoor unit constituted by a compressor, a heat exchanger and the like, and supplied to a compressor or a heat exchanger. Also, at least one indoor unit may be connected to the outdoor unit, and the air conditioner is operated in the cooling or heating mode by supplying the refrigerant to the indoor unit according to the requested operation state.

그러나 실내기가 설치되는 위치 또는 공간의 형태에 따라 실제 토출되는 기류가 도달하지 않는 영역이 발생하는 등 실내 공간에 균일하게 토출된 기류가 도달하지 못하는 문제점이 있었다.However, there is a problem that a uniformly discharged airflow can not reach the indoor space, such as an area where the airflow actually discharged does not reach depending on the position or space where the indoor unit is installed.

종래 기술 1(공개특허공보 10-2008-0048866호)은 공기조화기 및 이의 기류제어방법에 관한 발명으로, 재실자의 위치를 판단하여 기류 방향을 제어한다.Prior Art 1 (Laid-Open Patent Publication No. 10-2008-0048866) is an invention relating to an air conditioner and its airflow control method, and it controls the airflow direction by determining the position of occupant.

하지만, 종래 기술 1은 감지 대상이 인체로 한정되므로, 다양한 열원으로 인해 빠른 냉방의 효과를 기대할 수 없다.However, in the prior art 1, since the object to be sensed is limited to the human body, rapid cooling effect can not be expected due to various heat sources.

또한, 인체를 향해 직접 기류를 제어하기 때문에 사용자에 따른 체감효율이 상이할 수 있다는 문제점이 있었다.In addition, since the airflow is directly controlled toward the human body, there is a problem that the efficiency of haptic sense may vary depending on the user.

종래 기술 2(공개특허공보 10-2009-0050434호)은 열화상 이미지를 생성하는 공기조화기 및 열화상 이미지생성방법에 관한 발명으로, 열화상 카메라를 이용하여 재실자의 위치를 판단하여 기류 방향을 제어한다.Background Art [0002] Conventional art 2 (Japanese Unexamined Patent Application Publication No. 10-2009-0050434) relates to an air conditioner for generating a thermal image and a method for generating a thermal image, wherein the position of the occupant is determined using a thermal camera, .

하지만, 종래 기술 2도 감지 대상이 인체로 한정되므로, 다양한 열원, 객체의 존재로 인해 빠른 냉방의 효과를 기대할 수 없다.However, since the sensing object is limited to the human body in the prior art 2, rapid cooling effect can not be expected due to existence of various heat sources and objects.

또한, 열화상 카메라의 채용으로 제조 비용이 증가하고, 인체를 향해 직접 기류를 제어하기 때문에 사용자에 따른 체감효율이 상이할 수 있다는 문제점이 있었다.In addition, since the production cost is increased by adopting the thermal imaging camera and the airflow is directly controlled toward the human body, there is a problem in that the user's sensory perception efficiency may be different.

한편, 최근에는 인공지능과 딥러닝 등 머신 러닝에 관한 관심이 크게 증가하고 있다.On the other hand, interest in machine learning such as artificial intelligence and deep running has greatly increased recently.

종래의 머신 러닝은 통계학 기반의 분류, 회귀, 군집 모델이 중심이었다. 특히, 분류, 회귀 모델의 지도 학습에서는 학습 데이터의 특성과 이러한 특성을 기반으로 새로운 데이터를 구별하는 학습 모델을 사람이 사전에 정의했다. 이와 달리, 딥러닝은 컴퓨터가 스스로 특성을 찾아내고 판별하는 것이다.Conventional machine learning was centered on statistical based classification, regression, and cluster models. In particular, in the learning of classification and regression model learning, a learning model that distinguishes the characteristics of learning data and new data based on these characteristics was defined by a person in advance. Deep learning, on the other hand, is one in which a computer identifies and identifies its own characteristics.

딥러닝의 발전을 가속화한 요인 중 하나로 오픈소스로 제공되는 딥러닝 프레임워크를 들 수 있다. 딥러닝 프레임워크들의 공개에 따라, 효과적인 학습 및 인식을 위해, 딥러닝 알고리즘 외에 학습 과정, 학습 방법, 학습에 사용하는 데이터의 추출 및 선정이 더욱 중요해지고 있다.One of the factors that accelerated the development of deep learning is the deep-running framework that is provided as open source. With the release of deep learning frameworks, in addition to deep learning algorithms, the extraction and selection of data used in learning processes, learning methods, and learning are becoming more important for effective learning and perception.

또한, 인공지능과 머신 러닝을 다양한 제품, 서비스에 이용하기 위한 연구가 증가하고 있다.Also, researches are being conducted to utilize artificial intelligence and machine learning in various products and services.

공기조화기를 가동시킬 때 가정/업소에 존재하는 다양한 열원으로 인해 빠르고 균등한 냉방효과를 기대할 수 없다. 따라서, 본 발명은 미리 학습된 영상기반 객체 검출기를 이용하여 재실자 및 열원에 해당하는 객체를 인식하고 냉방 패턴을 상황에 맞게 변경함으로써, 냉방효율 및 사용자 편리성을 증대시키는 제어 방법을 제안한다.When the air conditioner is operated, it is impossible to expect a quick and uniform cooling effect due to various heat sources present in the home / business. Accordingly, the present invention proposes a control method of increasing the cooling efficiency and the user convenience by recognizing the object corresponding to the occupant and the heat source using the previously learned image-based object detector and changing the cooling pattern according to the situation.

1. 공개특허공보 10-2008-0048866호 (공개일자 2008. 6. 3.)1. Published Patent Application No. 10-2008-0048866 (Published on June 3, 2008) 2. 공개특허공보 10-2009-0050434호 (공개일자 2009. 5. 20.)2. Published Patent Application No. 10-2009-0050434 (Published on May 20, 2009)

본 발명의 목적은, 객체 인식을 통해, 냉방 효율이 향상된 공기조화기 및 그 제어방법을 제공함에 있다.An object of the present invention is to provide an air conditioner having improved cooling efficiency through object recognition and a control method thereof.

본 발명의 목적은, 열 발생 물체 및 비열이 높은 물체로 인해 발생하는 냉방효율 저하를 방지할 수 있는 공기조화기 및 그 제어방법을 제공함에 있다.An object of the present invention is to provide an air conditioner and a control method thereof that can prevent the cooling efficiency from being lowered due to a heat generating object and a high specific heat.

본 발명의 목적은, 머신 러닝에 기반하여 열원을 인식하고, 효율적으로 냉방 기능을 수행할 수 있는 공기조화기 및 그 제어방법을 제공함에 있다.An object of the present invention is to provide an air conditioner and a control method thereof capable of recognizing a heat source based on machine learning and efficiently performing a cooling function.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 공기조화기는, 외부의 영상을 획득하는 카메라, 카메라가 획득하는 영상에서 객체를 인식하는 객체 인식 모듈, 및, 인식된 객체의 위치 및 질감에 기초하여 기류를 제어하는 제어부를 포함함으로써, 냉방 효율을 향상시킬 수 있다.According to an aspect of the present invention, there is provided an air conditioner comprising: a camera for acquiring an external image; an object recognition module for recognizing an object in an image acquired by the camera; The cooling efficiency can be improved.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따른 공기조화기의 제어방법은, 카메라를 통하여, 외부의 영상을 획득하는 단계, 카메라가 획득하는 영상에서 객체를 인식하는 단계, 및, 인식된 객체의 위치에 기초하여 기류를 제어하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of controlling an air conditioner, including: obtaining an external image through a camera; recognizing an object in an image acquired by the camera; And controlling the air flow based on the position of the object.

본 발명의 실시 예들 중 적어도 하나에 의하면, 객체 인식을 통해, 냉방 효율이 향상된 공기조화기 및 그 제어방법을 제공할 수 있다.According to at least one of the embodiments of the present invention, it is possible to provide an air conditioner and its control method with improved cooling efficiency through object recognition.

본 발명의 실시 예들 중 적어도 하나에 의하면, 열 발생 물체 및 비열이 높은 물체로 인해 발생하는 냉방효율 저하를 방지할 수 있다.According to at least one of the embodiments of the present invention, it is possible to prevent cooling efficiency deterioration caused by a heat generating object and a high-specific object.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 머신 러닝에 기반하여 열원을 인식하고, 효율적으로 냉방 기능을 수행할 수 있다.Further, according to at least one of the embodiments of the present invention, the heat source can be recognized based on the machine learning and the cooling function can be efficiently performed.

한편, 그 외의 다양한 효과는 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.Meanwhile, various other effects will be directly or implicitly disclosed in the detailed description according to the embodiment of the present invention to be described later.

도 1은 본 발명의 일 실시 예에 따른 공기조화기의 간략한 개념도이다.
도 2는 본 발명의 일 실시 예에 따른 공기조화기의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 공기조화기의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 공기조화기의 제어 방법을 도시한 순서도이다.
도 5 내지 도 7은 딥러닝(Deep Learning)에 대한 설명에 참조되는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 질감 인식기에 관한 설명에 참조되는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 질감 인식에 관한 설명에 참조되는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 객체 인식기에 관한 설명에 참조되는 도면이다.
도 11과 도 12는 본 발명의 일 실시 예에 따른 객체 인식에 관한 설명에 참조되는 도면이다.
도 13은 본 발명의 일 실시 예에 따른 서버의 내부 블록도이다.
1 is a schematic diagram of an air conditioner according to an embodiment of the present invention.
2 is a block diagram illustrating the control relationship between the main components of the air conditioner according to the embodiment of the present invention.
3 is a block diagram illustrating the control relationship between the main components of the air conditioner according to the embodiment of the present invention.
4 is a flowchart illustrating a method of controlling an air conditioner according to an embodiment of the present invention.
5 to 7 are diagrams referred to in explanation of Deep Learning.
FIG. 8 is a diagram referred to the description of a texture recognizer according to an embodiment of the present invention.
9 is a diagram referred to in description of texture recognition according to an embodiment of the present invention.
10 is a diagram referred to the description of an object recognizer according to an embodiment of the present invention.
FIGS. 11 and 12 are views referred to the description of object recognition according to an embodiment of the present invention.
13 is an internal block diagram of a server according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시 예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, it is needless to say that the present invention is not limited to these embodiments and can be modified into various forms.

도면에서는 본 발명을 명확하고 간략하게 설명하기 위하여 설명과 관계없는 부분의 도시를 생략하였으며, 명세서 전체를 통하여 동일 또는 극히 유사한 부분에 대해서는 동일한 도면 참조부호를 사용한다. In the drawings, the same reference numerals are used for the same or similar parts throughout the specification.

한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffix "module" and " part "for components used in the following description are given merely for convenience of description and do not give special significance or role in themselves. Accordingly, the terms "module" and "part" may be used interchangeably.

도 1은 본 발명의 일 실시 예에 따른 공기조화기의 간략한 개념도이고, 도 2는 본 발명의 일 실시 예에 따른 공기조화기의 주요 구성들 간의 제어관계를 도시한 블록도이다.FIG. 1 is a simplified conceptual diagram of an air conditioner according to an embodiment of the present invention, and FIG. 2 is a block diagram illustrating a control relationship between main configurations of an air conditioner according to an embodiment of the present invention.

도 1과 도 2를 참조하면, 본 발명의 일 실시 예에 따른 공기조화기(100)는, 외부의 영상을 획득하는 카메라(110), 상기 카메라(110)가 획득하는 영상에서 열원 등 객체를 인식하는 객체 인식 모듈(150), 및, 상기 인식된 객체의 위치 및 질감에 기초하여 기류를 제어하는 제어부(140)를 포함할 수 있다.1 and 2, an air conditioner 100 according to an exemplary embodiment of the present invention includes a camera 110 for acquiring an external image, an object such as a heat source in an image acquired by the camera 110, And a control unit 140 for controlling the air flow based on the position and the texture of the recognized object.

도 1을 참조하면, 공기조화기의 실내기에는 실내공기가 흡입되도록 흡입구(미도시)와 흡입구를 통해 흡입된 공기가 다시 실내로 토출되도록 토출구(190)가 형성될 수 있다.Referring to FIG. 1, the indoor unit of the air conditioner may have a discharge port (not shown) and a discharge port 190 so that the air sucked through the suction port may be discharged to the room again.

또한, 토출구(190)에는, 토출구(190)를 개폐시키고, 토출되는 공기의 풍향을 조절하는 로버(미도시)가 배치되고, 제어부(140)의 제어에 따라 모터 등을 구동하여 로버의 각도 및 방향을 전환할 수 있다. The discharge port 190 is provided with a rover (not shown) that opens and closes the discharge port 190 and adjusts the airflow direction of the discharged air. The controller 140 drives the motor, You can switch the direction.

이에 따라, 토출구(190)를 통해 토출되는 공기의 풍향을 조절할 수 있다.Accordingly, the airflow direction of the air discharged through the discharge port 190 can be adjusted.

한편, 공기조화기 내부에는 흡입구로 흡입된 실내의 공기가 토출구(190)를 통해 실내 공간으로 배출되는 흐름을 제어하기 위한 팬이 설치되어 있는데, 상기 팬은 팬 모터에 의해 회전이 조절되고, 상기 팬 모터의 작동은 제어부(140)에 의해 제어된다.Meanwhile, in the air conditioner, there is provided a fan for controlling the flow of the indoor air sucked by the suction port to the indoor space through the discharge port 190. The fan is controlled to rotate by the fan motor, The operation of the fan motor is controlled by the control unit 140.

따라서, 제어부(140)는 상기 로버 및 상기 팬 모터를 제어하여 공기조화기로부터 토출되는 공기의 흐름(기류)를 제어할 수 있다. 제어부(140)는 팬 모터의 속도를 제어하여 기류의 양과 속도를 제어하고, 로버를 제어하여 기류의 방향을 제어할 수 있다.Accordingly, the controller 140 controls the rover and the fan motor to control the air flow (air flow) discharged from the air conditioner. The control unit 140 controls the speed of the fan motor to control the amount and speed of the airflow, and controls the direction of the airflow by controlling the rover.

또한, 제어부(140)는 특정 객체가 위치하는 영역을 빨리 냉방할 수 있도록 기류의 방향과 속도를 제어할 수 있다.Also, the controller 140 can control the direction and speed of the airflow so that the area where the specific object is located can be cooled quickly.

특히, 제어부(140)는 객체의 질감을 인식함으로써, 해당 객체의 비열의 높고 낮음을 판단하여, 객체의 비열에 따라 냉방 속도를 조절할 수 있다. In particular, the controller 140 can determine the specific heat of the object by recognizing the texture of the object, and adjust the cooling rate according to the specific heat of the object.

예를 들어, 제어부(140)는 철로 만든 의자와 가죽으로 만든 소파가 인식되면, 가죽으로 만든 소파가 위치하는 영역에 대해 냉방 강도를 더 높일 수 있도록 기류를 제어할 수 있다. For example, when the seat made of iron and the sofa made of leather are recognized, the control unit 140 can control the airflow so that the cooling intensity can be further increased for the area where the sofa made of leather is located.

또한, 제어부(140)는 객체의 질감을 인식하고, 객체의 질감에 기초하여 객체의 비열을 판별하여 비열이 높은 객체가 위치하는 영역에 대하여 집중 냉방을 수행하도록 제어할 수 있다.In addition, the controller 140 recognizes the texture of the object, determines the specific heat of the object based on the texture of the object, and controls the concentrated cooling for the region where the object having a high specific heat is located.

본 발명의 일 실시 예에 따른 공기조화기는, 머신 러닝(machine learning) 기반의 객체 인식을 수행할 수 있다. 여기서, 상기 객체 인식 모듈(150)은, 카메라(110)를 통하여 획득된 영상을 머신 러닝(machine learning)으로 기학습된 인공신경망(Artificial Neural Network)의 입력 데이터로 사용하여 영상 내에 포함되는 열원 등 객체를 인식할 수 있다. 머신 러닝 및 딥러닝에 관해서는 도 5 내지 도 7을 참조하여 후술한다.The air conditioner according to an embodiment of the present invention can perform object recognition based on machine learning. Here, the object recognition module 150 may use an image obtained through the camera 110 as input data of an artificial neural network learned by machine learning, The object can be recognized. The machine learning and the deep learning will be described later with reference to Figs. 5 to 7.

한편, 제어부(140)는 상기 객체 인식 모듈(150)의 객체 인식 결과에 따라 기류를 제어할 수 있다. 예를 들어, 제어부(140)는 인식된 객체의 위치에 기초하여 대응하는 영역을 빨리 냉방할 수 있도록 기류의 방향과 세기를 제어할 수 있다.Meanwhile, the control unit 140 may control the airflow according to the object recognition result of the object recognition module 150. For example, the control unit 140 may control the direction and intensity of the airflow so that the corresponding area can be cooled quickly based on the position of the recognized object.

즉, 객체 인식 모듈(150)은 머신 러닝에 기반하여 실내의 열원 등 객체의 분포를 인식하고, 제어부(140)는 인식된 객체 분포에 따라 팬 모터 및 로버를 제어하여 최적화된 기류제어를 수행할 수 있다.That is, the object recognition module 150 recognizes the distribution of the object such as the heat source in the room based on the machine learning, and the control unit 140 controls the fan motor and the rover according to the recognized object distribution to perform the optimized airflow control .

또한, 제어부(140)는 상기 기류제어를 반복하여 수행하도록 제어할 수 있다.In addition, the control unit 140 may control the airflow control to be repeatedly performed.

객체 인식 모듈(150)은 상기 카메라(110)가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류를 인식하는 객체 인식기(152)와 상기 카메라(110)가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 상기 객체의 질감을 인식하는 질감 인식기(151)를 포함할 수 있다.The object recognition module 150 includes an object recognizer 152 that recognizes the type of object based on data learned through machine learning from the image acquired by the camera 110, And a texture recognizer 151 for recognizing the texture of the object based on the data learned through machine learning.

즉, 객체 인식기(152)는 객체를 식별하고, 질감 인식기(151)는 객체의 질감을 식별함으로써, 동일한 객체라도 비열이 높은 물체를 식별할 수 있다.That is, the object recognizer 152 identifies the object, and the texture recognizer 151 identifies the texture of the object, so that even the same object can identify an object having a high specific heat.

또한, 제어부(140)는 상기 인식된 객체 및 객체의 질감에 기초하여 팬 모터의 구동 속도 및 로버 각도 등을 조절할 수 있다.In addition, the control unit 140 may adjust the driving speed and the angle of the fan motor based on the recognized texture of the object and the object.

한편, 실시 예에 따라서는, 상기 객체 인식 모듈(150)은, 상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성하는 신호 생성부(153)를 더 포함할 수 있고, 제어부(140)는 상기 신호 생성부(153)에서 생성된 제어 신호에 따라 팬 모터 및 로버를 제어할 수 있다.According to an embodiment of the present invention, the object recognition module 150 may further include a signal generation unit 153 for generating a control signal based on the type and texture of the recognized object, Can control the fan motor and the rover according to the control signal generated by the signal generation unit 153. [

실시 예에 따라서는, 상기 객체 인식 모듈(150)은 상기 제어부(140)와 별도로 구비되지 않고, 상기 제어부(140)의 일부 볼록으로 구성될 수 있다.According to an embodiment, the object recognition module 150 may not be provided separately from the controller 140, and may be configured as a convex portion of the controller 140. [

도 3은 본 발명의 일 실시 예에 따른 공기조화기의 주요 구성들 간의 제어관계를 도시한 블록도로, 제어부(140) 내에 객체 인식 모듈(145)이 구비되는 예를 도시한 것이다.FIG. 3 is a block diagram illustrating a control relationship between the main components of the air conditioner according to an embodiment of the present invention. In FIG. 3, an object recognition module 145 is provided in the controller 140.

이 경우에도, 객체 인식 모듈(145)은, 상기 카메라(110)가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류를 인식하는 객체 인식기와 상기 카메라(110)가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 상기 객체의 질감을 인식하는 질감 인식기를 포함할 수 있다.In this case, the object recognition module 145 may include an object recognizer that recognizes the type of the object based on data learned through machine learning from the image acquired by the camera 110, And a texture recognizer that recognizes the texture of the object based on data previously learned from the image acquired by the machine learning.

또한, 객체 인식 모듈(145)은 상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성하는 신호 생성부를 더 포함할 수 있다.The object recognition module 145 may further include a signal generator for generating a control signal based on the type and texture of the recognized object.

한편, 상기 객체 인식 모듈(150, 145)은, 상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류 및 질감을 인식할 수 있다.Meanwhile, the object recognition module 150 and 145 can recognize the type and texture of the object based on the data learned by machine learning in the image acquired by the camera.

또한, 상기 제어부(140)는, 상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성할 수 있고, 상기 인식된 객체의 종류 및 질감에 기초하여 팬 모터 및 로버를 제어할 수 있다.In addition, the controller 140 may generate a control signal based on the type and texture of the recognized object, and may control the fan motor and the rover based on the type and texture of the recognized object.

또는, 상기 객체 인식 모듈(150, 145)은, 상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류 및 질감을 인식하고, 상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성할 수 있다. 상기 제어부(140)는, 생성된 제어 신호에 따라 팬 모터 및 로버를 제어할 수 있다.Alternatively, the object recognition module (150, 145) recognizes the type and texture of the object based on the data learned through machine learning in the image acquired by the camera, The control signal can be generated based on the texture. The control unit 140 may control the fan motor and the rover according to the generated control signal.

한편, 상기 객체 인식 모듈(150, 145)은, 상기 카메라가 획득하는 영상에서 일정 화소 단위로 윈도우(window)를 슬라이딩(sliding)시켜, 서브 윈도우(sub window)를 추출하고, 추출된 서브 윈도우를 기학습된 인공신경망(Artificial Neural Network)의 입력데이터로 사용하여 객체의 종류를 인식할 수 있다.Meanwhile, the object recognition module 150 or 145 may extract a sub window by sliding a window in a predetermined pixel unit in an image acquired by the camera, And the type of the object can be recognized by using it as input data of the learned artificial neural network (Artificial Neural Network).

또한, 상기 객체 인식 모듈(150, 145)은, 상기 카메라가 획득하는 영상에서 일정 화소 단위로 서브 윈도우(sub window)를 추출하고, 추출된 서브 윈도우를 기학습된 인공신경망(Artificial Neural Network)의 입력데이터로 사용하여 객체의 질감을 인식할 수 있다.In addition, the object recognition module 150 or 145 may extract a sub window on a predetermined pixel basis from the image acquired by the camera, and extract the extracted sub window using an artificial neural network The texture of the object can be recognized by using it as input data.

한편, 공기조화기는 메모리(미도시), 통신부(170) 등을 포함할 수 있다.On the other hand, the air conditioner may include a memory (not shown), a communication unit 170, and the like.

상기 메모리(145)에는 공기조화기의 동작제어를 위한 데이터와, 통신부(170)를 통해 수신되는 데이터가 저장될 수 있다. The memory 145 may store data for controlling the operation of the air conditioner and data received through the communication unit 170.

한편, 공기조화기는 데이터를 임시 저장하는 버퍼를 포함할 수 있고, 상기 버퍼는 제어부(140) 또는 메모리에 포함될 수 있다. On the other hand, the air conditioner may include a buffer for temporarily storing data, and the buffer may be included in the controller 140 or memory.

제어부(140)는 통신부(170)를 통해 수신된 각종 데이터를 처리하여 메모리 를 갱신할 수 있다. 예를 들어, 통신부(170)를 통해 입력된 데이터가 메모리에 기저장된 운전 프로그램에 대한 업데이트 데이터인 경우에는 이를 이용하여 메모리에 업데이트시키고, 입력된 데이터가 신규한 운전 프로그램인 경우에는 메모리에 이를 추가로 저장시킬 수 있다.The control unit 140 may process various data received through the communication unit 170 to update the memory. For example, when the data input through the communication unit 170 is update data for an operation program pre-stored in the memory, the update data is used to update the data in the memory. If the input data is a new operation program, . ≪ / RTI >

제어부(140)는 공기조화기로 입력되거나 출력되는 데이터의 흐름을 제어하고, 제어명령을 생성하여 인가할 수 있다.The control unit 140 controls the flow of data input to or output from the air conditioner, and generates and applies a control command.

통신부(170)는 하나 이상의 통신 모듈을 구비하여 외부의 기기와 통신 연결될 수 있다.The communication unit 170 may include one or more communication modules and may be communicatively coupled to an external device.

또한, 상기 통신부(170)는, 상기 카메라(110)가 획득된 영상 중 적어도 일부를 소정 서버로 전송하고, 상기 소정 서버로부터 머신 러닝과 관련된 데이터를 수신할 수 있다.In addition, the communication unit 170 may transmit at least a part of the images obtained by the camera 110 to a predetermined server, and receive data related to machine learning from the predetermined server.

또한, 상기 객체 인식 모듈(150, 145)은, 상기 소정 서버로부터 수신된 머신 러닝과 관련된 데이터에 기초하여 업데이트(update)될 수 있다.In addition, the object recognition module 150 and 145 may be updated based on data related to machine learning received from the predetermined server.

도 4는 본 발명의 일 실시 예에 따른 공기조화기의 제어 방법을 도시한 순서도이다.4 is a flowchart illustrating a method of controlling an air conditioner according to an embodiment of the present invention.

도 4를 참조하면, 먼저, 카메라(110)를 통하여, 외부의 영상을 획득할 수 있다(S410).Referring to FIG. 4, an external image can be acquired through the camera 110 (S410).

객체 인식 모듈(150, 145)은, 상기 카메라(110)가 획득하는 영상에서 객체를 인식할 수 있다(S420). 예를 들어, 객체 인식 모듈(150, 145)은 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 열원을 인식할 수 있다(S420).The object recognition modules 150 and 145 may recognize the object in the image acquired by the camera 110 (S420). For example, the object recognition modules 150 and 145 can recognize the heat source based on the data learned through the machine learning (S420).

상기 객체 인식 모듈(150, 145)은 상기 카메라(110)가 획득하는 영상에 포함되는 객체의 종류 및 질감을 인식할 수 있다.The object recognition module 150 or 145 can recognize the type and texture of an object included in the image acquired by the camera 110. [

제어부(140)는, 상기 인식된 객체의 위치에 기초하여 기류를 제어할 수 있다(S430). 예를 들어, 상기 제어부(140)는, 상기 인식된 객체의 종류 및 질감에 기초하여 팬 모터 및 로버를 제어할 수 있다.The control unit 140 may control the airflow based on the position of the recognized object (S430). For example, the control unit 140 may control the fan motor and the rover based on the type and texture of the recognized object.

한편, 상기 객체 인식 모듈(150, 145)의 신호 생성부(153) 또는 제어부(140)는 상기 객체 인식 결과에 기초한 제어 신호를 생성할 수 있다(S430).The signal generator 153 or the controller 140 of the object recognition module 150 or 145 may generate a control signal based on the object recognition result at step S430.

실시 예에 따라서는, 상기 카메라(110)를 통하여 획득된 영상 중 적어도 일부를 소정 서버로 전송할 수 있다. 이 경우에, 상기 소정 서버로부터 머신 러닝과 관련된 데이터를 수신하면, 상기 소정 서버로부터 수신된 머신 러닝과 관련된 데이터에 기초하여 상기 기학습된 데이터를 업데이트(update)할 수 있다.According to an embodiment, at least a part of the images obtained through the camera 110 may be transmitted to a predetermined server. In this case, upon receipt of data related to machine learning from the predetermined server, the pre-learned data may be updated based on data related to machine learning received from the predetermined server.

도 5 내지 도 7은 딥러닝(Deep Learning)에 대한 설명에 참조되는 도면이다. 5 to 7 are diagrams referred to in explanation of Deep Learning.

머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.Deep Learning, a type of machine learning, is a multi-level, deep learning process based on data.

딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다. Deep learning can represent a set of machine learning algorithms that extract key data from multiple sets of data as they step up.

딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다The deep learning structure may include an artificial neural network (ANN). For example, the deep learning structure may include a deep neural network (DNN) such as CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), DBN Be able to

도 5를 참조하면, 인공신경망(ANN)은 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다. Referring to FIG. 5, the ANN may include an input layer, a hidden layer, and an output layer. Each layer contains a plurality of nodes, and each layer is associated with the next layer. The nodes between adjacent layers can be connected to each other with a weight.

도 6을 참조하면, 컴퓨터(머신)는 투입된 입력 데이터(610)로부터 일정한 패턴을 발견해 특징맵(Feature Map)을 형성한다. 컴퓨터(머신)는 하위레벨 특징(620)부터, 중간레벨 특징(630), 상위레벨 특징(640)까지 추출하여, 대상을 인식하고 그 결과를 출력(650)할 수 있다. Referring to FIG. 6, the computer (machine) finds a certain pattern from the input data 610 and forms a feature map. The computer (machine) can extract from the low level feature 620, the intermediate level feature 630, and the high level feature 640, recognize the object, and output the result 650.

인공신경망은 다음 순서의 레이어로 갈수록 더욱 상위레벨의 특징으로 추상화할 수 있다. The artificial neural network can be abstracted into higher-level features as it goes to the next layer.

도 5와 도 6을 참조하면, 각 노드들은 활성화 모델에 기초하여 동작할 수 있고, 활성화 모델에 따라 입력값에 대응하는 출력값이 결정될 수 있다. Referring to FIGS. 5 and 6, each node may operate based on an activation model, and an output value corresponding to an input value may be determined according to an activation model.

임의의 노드, 예를 들어, 하위레벨 특징(620)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 중간레벨 특징(630)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 중간레벨 특징(630)의 노드는 하위레벨 특징(620)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다. The output value of any node, e.g., lower level feature 620, may be input to the next layer associated with that node, e.g., a node of the intermediate level feature 630. A node of the next layer, for example, a node of the intermediate level feature 630, may receive values output from a plurality of nodes of the lower level feature 620.

이 때, 각 노드의 입력값은 이전 레이어의 노드의 출력값에 웨이트(weight)가 적용된 값일 수 있다. 웨이트(weight)는 노드간의 연결 강도를 의미할 수 있다.In this case, the input value of each node may be a value to which a weight is applied to the output value of the node of the previous layer. The weight can mean the link strength between nodes.

또한, 딥러닝 과정은 적절한 웨이트(weight)를 찾아내는 과정으로도 볼 수 있다.Also, the deep running process can be seen as a process of finding an appropriate weight.

한편, 임의의 노드, 예를 들어, 중간레벨 특징(630)의 출력값은 해당 노드와 연결된 다음 레이어, 예를 들어, 상위레벨 특징(640)의 노드로 입력될 수 있다. 다음 레이어의 노드, 예를 들어, 상위레벨 특징(640)의 노드는 중간레벨 특징(630)의 복수의 노드로부터 출력되는 값들을 입력받을 수 있다. On the other hand, the output value of any node, e. G., The intermediate level feature 630, may be input to the node of the next layer associated with that node, e. G. A node of the next layer, e.g., a node of the higher level feature 640, may receive values output from a plurality of nodes of the intermediate level feature 630.

인공신경망은 각 레벨에 대응하는 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다. 인공신경망은 순차적으로 추상화하여, 가장 상위 레벨의 특징 정보를 활용하여 소정 대상을 인식할 수 있다. The artificial neural network can extract feature information corresponding to each level using a learned layer corresponding to each level. The artificial neural network is sequentially abstracted, and a predetermined object can be recognized using the feature information of the highest level.

예를 들어, 딥러닝에 의한 얼굴인식 과정을 살펴보면, 컴퓨터는 입력 영상으로부터, 픽셀의 밝기에 따라 밝은 픽셀과 어두운 픽셀을 구분하고, 테두리, 에지 등 단순한 형태를 구분한 후, 조금 더 복잡한 형태와 사물을 구분할 수 있다. 최종적으로 컴퓨터는 인간의 얼굴을 규정하는 형태를 파악할 수 있다.For example, if we look at the face recognition process by deep learning, the computer distinguishes between bright pixels and dark pixels according to the brightness of a pixel from the input image, distinguishes simple forms such as a border and an edge, You can distinguish things. Finally, the computer can grasp the form that defines the human face.

본 발명에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등일 수 있다.The deep running structure according to the present invention can utilize various known structures. For example, the deep learning structure according to the present invention may be a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), a Deep Belief Network (DBN), or the like.

RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.Recurrent Neural Network (RNN) is widely used in natural language processing, and it is possible to construct an artificial neural network structure by stacking layers at each moment with an effective structure for time-series data processing that varies with time .

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다. Deep Belief Network (DBN) is a deep-run structure consisting of multiple layers of deep-running RBM (Restricted Boltzman Machine). The Restricted Boltzman Machine (RBM) learning is repeated, and a DBN (Deep Belief Network) having a corresponding number of layers can be constituted by a certain number of layers.

CNN(Convolutional Neural Network)은, 특히 객체 인식 분야에서 많이 사용되는 구조로써, 도 7을 참조하여 설명한다.CNN (Convolutional Neural Network) is a structure widely used in the field of object recognition, and will be described with reference to FIG.

CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다. CNN (Convolutional Neural Network) is a model that simulates a person's brain function based on the assumption that when a person recognizes an object, it extracts the basic features of the object, then undergoes complicated calculations in the brain and recognizes the object based on the result to be.

도 7은 CNN(Convolutional Neural Network) 구조를 도시한 도면이다.7 is a view showing a CNN (Convolutional Neural Network) structure.

CNN(Convolutional Neural Network)도 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. The CNN (Convolutional Neural Network) may also include an input layer, a hidden layer, and an output layer.

입력 레이어(Input Layer)에는 소정 이미지(710)가 입력된다. A predetermined image 710 is input to an input layer.

도 7을 참조하면, 히든 레이어(Hiddent Layer)는 복수의 레이어로 구성되고, 컨볼루션 레이어(convolution layer)와 서브-샘플링 레이어(sub-sampling layer)를 포함할 수 있다. Referring to FIG. 7, the hidden layer is composed of a plurality of layers, and may include a convolution layer and a sub-sampling layer.

CNN(Convolutional Neural Network)에서는 기본적으로 컨볼루션(convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용된다.In the CNN (Convolutional Neural Network), various filters for extracting features of images through convolution operations and pooling or non-linear activation functions for adding nonlinear characteristics Is used.

컨볼루션(convolution)은 영상 처리 분야에서 주로 필터 연산에 사용되며 영상으로부터 특징(feature)을 추출하기 위한 필터를 구현하는데 사용된다.Convolution is mainly used in filter processing in image processing and is used to implement a filter for extracting features from an image.

예를 들어, 소정 크기의 윈도우를 이동하면서 영상 전체에 대해서 컨볼루션 연산을 반복적으로 수행하게 되면 윈도우의 가중치(weight) 값에 따라 적정한 결과를 얻을 수 있다.For example, if the convolution operation is repeatedly performed on the whole image while moving a window of a predetermined size, an appropriate result can be obtained according to the weight value of the window.

컨볼루션 레이어(convolution layer)는 컨볼루션 필터를 이용하여 입력된 영상 데이터(710, 712)에 컨볼루션 연산을 수행하고, 입력 이미지(710)의 특징이 표현된 특징맵(711, 713)을 생성한다. The convolution layer performs a convolution operation on the input image data 710 and 712 using a convolution filter and generates feature maps 711 and 713 in which features of the input image 710 are expressed do.

컨볼루션 필터링의 결과로서, 컨볼루션 레이어(convolution layer)에 포함된 필터의 개수에 따라 필터 개수만큼의 필터링 영상들이 생성될 수 있다. 컨볼루션 레이어는 필터링 영상들에 포함된 노드들로 구성될 수 있다.As a result of the convolutional filtering, filtering images corresponding to the number of filters can be generated according to the number of filters included in the convolution layer. The convolution layer may consist of the nodes included in the filtered images.

또한, 컨볼루션 레이어(convolution layer)와 쌍을 이루는 서브-샘플링 레이어(sub-sampling layer)는 쌍을 이루는 컨볼루션 레이어(convolution layer)와 동일한 수의 특징맵들을 포함할 수 있다. In addition, a sub-sampling layer paired with a convolution layer may include the same number of feature maps as a convolution layer that forms a pair.

서브-샘플링 레이어(sub-sampling layer)는 샘플링 또는 풀링(pooling)을 통해 특징맵(711, 713)의 차원을 감소시킨다.The sub-sampling layer reduces the dimension of the feature maps 711, 713 through sampling or pooling.

출력 레이어(Output Layer)는 특징맵(714)에 표현된 다양한 특징을 조합하여 입력 이미지(710)를 인식한다. The output layer recognizes the input image 710 by combining the various features represented in the feature map 714.

본 발명에 따른 공기조화기의 객체 인식 모듈은 상술한 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 본 발명이 한정되는 것은 아니나, 영상 내 객체 인식에서 많이 사용되고 있는 CNN(Convolutional Neural Network) 구조를 이용할 수 있다.The object recognition module of the air conditioner according to the present invention can use the above-described various deep-running structures. For example, although the present invention is not limited, a CNN (Convolutional Neural Network) structure widely used in object recognition in an image can be used.

한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.On the other hand, the learning of the artificial neural network can be achieved by adjusting the weight of the inter-node connection line so that the desired output is obtained for a given input. Also, the artificial neural network can continuously update the weight value by learning. Back propagation can be used for artificial neural network learning.

도 8은 본 발명의 일 실시 예에 따른 질감 인식기에 관한 설명에 참조되는 도면으로, 학습 과정과 인식과정으로 나눠진다. FIG. 8 is a drawing referred to in explaining a texture recognizer according to an embodiment of the present invention, and is divided into a learning process and a recognition process.

도 9는 본 발명의 일 실시 예에 따른 질감 인식에 관한 설명에 참조되는 도면이다. 9 is a diagram referred to in description of texture recognition according to an embodiment of the present invention.

도 8을 참조하면, 질감 데이터를 수집하여 질감 영상 데이터베이스(DB)를 구축하고, 특징을 추출한 후 질감 인식기의 인공 신경망 학습을 통해 신경망의 파라미터(parameter)들(가중치(weight)와 편향(bias))을 추정하여 모델을 구할 수 있다(점선 흐름). Referring to FIG. 8, the texture data is collected to construct a texture image database (DB), and the parameters (weight and bias) of the neural network are determined through artificial neural network learning of the texture recognizer, ) To estimate the model (dotted line flow).

이후, 학습된 모델 파라미터를 이용하여 카메라(110)가 획득하여 새로 입력되는 영상에 포함되는 객체의 질감을 인식할 수 있다(실선 흐름). Thereafter, the texture of the object included in the newly acquired image acquired by the camera 110 can be recognized using the learned model parameters (solid line flow).

도 9를 참조하면, 카메라(110)를 통하여 인식된 영상에서 화소(pixel) 기준으로 서브 윈도우(sub window, 910)를 추출하고, 기학습된 질감 인식기(151)를 통해 화소 단위로 질감 인식을 수행, 영상 전체의 질감을 분류한다. 9, a sub window 910 is extracted on the basis of a pixel in an image recognized through the camera 110, and texture recognition is performed on a pixel-by-pixel basis using the learned text recognizer 151 Perform, and classify the texture of the entire image.

기학습된 질감 인식기(151)는 'wood' 등 화소 단위 질감 인식 결과(920)를 출력할 수 있다.The learned texture recognizer 151 can output the pixel unit texture recognition result 920 such as 'wood'.

동일한 종류의 객체라도 그 재료의 질감에 따라서 비열이 달라진다. 따라서, 본 발명은 객체의 질감을 인식하여 비열이 높은 객체를 판별하고, 해당 영역에 대한 기류의 방향과 세기를 조절하여 냉방 성능을 향상시킬 수 있다.Even objects of the same kind vary in specific heat depending on the texture of the material. Accordingly, the present invention recognizes the texture of an object, discriminates an object having a high specific heat, and adjusts the direction and intensity of an air flow to the area, thereby improving cooling performance.

한편, 질감 인식기(151)는, 머신러닝 기반 인식기 학습 및 인식 과정을 수행하며, 각각 SNM(Support Vector Machine), Adaboost, 딥러닝(Deep Learning) 등의 머신러닝 기법이 사용될 수 있다.Meanwhile, the texture recognizer 151 performs a machine learning based recognizer learning and recognition process, and each of the machine learning techniques such as SNM (Support Vector Machine), Adaboost, and Deep Learning may be used.

도 8에서 점선으로 표시된 학습 과정은 학습 전 수집된 질감 영상 데이터베이스에 대해 모두 특징을 추출하고, 인식기를 학습하는 과정이다. 이때 영상 데이터베이스는 각각 어떤 범주에 속하는지 알고 있는 영상이다. In FIG. 8, the learning process indicated by a dotted line is a process of extracting all the features of the texture image database collected before learning and learning the recognizer. At this time, the image database is an image that knows which category belongs.

도 8에서 실선으로 표시된 인식 과정은 학습 과정을 통해 학습된 인식기를 이용하여 입력된 영상에 대해 특징 추출 후 질감 인식 과정을 수행하는 과정이다.The recognition process indicated by the solid line in FIG. 8 is a process of performing a texture recognition process after extracting features of an input image using a recognizer learned through a learning process.

도 10은 본 발명의 일 실시 예에 따른 객체 인식기에 관한 설명에 참조되는 도면이고, 도 11과 도 12는 본 발명의 일 실시 예에 따른 객체 인식에 관한 설명에 참조되는 도면이다. FIG. 10 is a diagram referred to a description of an object recognizer according to an embodiment of the present invention, and FIGS. 11 and 12 are views referencing a description of object recognition according to an embodiment of the present invention.

도 10을 참조하면, 객체 데이터를 수집하여 객체 영상 데이터베이스(DB)를 구축하고, 특징을 추출한 후 객체 인식기의 인공 신경망 학습을 통해 신경망의 파라미터(parameter)들(가중치(weight)와 편향(bias))을 추정하여 모델을 구할 수 있다(점선 흐름). 10, the object data is collected and an object image database DB is constructed. After extracting features, parameters of the neural network (weight and bias) are determined through artificial neural network learning of the object recognizer. ) To estimate the model (dotted line flow).

이후, 학습된 모델 파라미터를 이용하여 카메라(110)가 획득하여 새로 입력되는 영상에 포함되는 객체의 종류 및 위치를 인식할 수 있다(실선 흐름). Thereafter, the type and position of the objects included in the newly acquired image acquired by the camera 110 can be recognized using the learned model parameters (solid line flow).

도 11을 참조하면, 카메라(110)를 통하여 인식된 영상에서 일정 화소 단위로 서브 윈도우(1110)를 추출하고, 슬라이딩시켜 객체(1111)를 추출하는 슬라이딩 윈도우(sliding window) 방식을 사용하며, 각 서브 윈도우(1110)에 대해 미리 학습된 객체 인식기(152)를 통해 영상 내 객체의 종류 및 위치를 추정할 수 있다. Referring to FIG. 11, a sliding window method is used in which a sub window 1110 is extracted and sliced to extract an object 1111 from a recognized image through a camera 110, The type and position of the object in the image can be estimated through the object recognizer 152 previously learned for the sub window 1110.

기학습된 객체 인식기(152)는 'TV' 등 객체 인식 결과(1120)를 출력할 수 있다.The learned object recognizer 152 can output the object recognition result 1120 such as 'TV'.

또한, 도 12와 같이, 동일한 영상 내에서 'TV', 'Chair' 등 복수의 객체를 인식하고, 그 결과를 출력할 수 있다.Also, as shown in FIG. 12, it is possible to recognize a plurality of objects such as 'TV' and 'Chair' in the same image and output the result.

한편, 객체 인식기(152)는, 머신러닝 기반 인식기 학습 및 인식 과정을 수행하며, 각각 SNM(Support Vector Machine), Adaboost, 딥러닝(Deep Learning) 등의 머신러닝 기법이 사용될 수 있다.On the other hand, the object recognizer 152 performs a machine learning based recognizer learning and recognition process, and a machine learning technique such as a support vector machine (SNM), an adaboost, and a deep learning may be used.

도 10에서 점선으로 표시된 학습 과정은 학습 전 수집된 객체 영상 데이터베이스에 대해 모두 특징을 추출하고, 인식기를 학습하는 과정이다. 이때 영상 데이터베이스는 각각 어떤 범주에 속하는지 알고 있는 영상이다. In FIG. 10, a learning process indicated by a dotted line is a process of extracting all the features of the object image database collected before learning and learning the recognizer. At this time, the image database is an image that knows which category belongs.

도 10에서 실선으로 표시된 인식 과정은 학습 과정을 통해 학습된 인식기를 이용하여 입력된 영상에 대해 특징 추출 후 객체 인식 과정을 수행하는 과정이다.The recognition process indicated by the solid line in FIG. 10 is a process of performing the object recognition process after the feature extraction for the input image using the recognizer learned through the learning process.

한편, 제어부(140)는 인식된 객체의 종류, 위치, 질감에 기초하여 팬 모터의 회전 수 또는 로버의 각도 또는 가이드의 각도 등을 조절하여 기류를 제어할 수 있다.On the other hand, the controller 140 can control the air flow by adjusting the number of revolutions of the fan motor, the angle of the rover, the angle of the guide, or the like based on the type, position, and texture of the recognized object.

또한, 공기조화기는 카메라(110)를 통해 일정 주기로 입력되는 영상을 학습된 심층 인공 신경망(DNN)을 이용하여 객체 검출 및 질감 인식을 수행함으로써, 재실자 및 객체, 비열이 높은 물체의 위치를 검출할 수 있다. 이를 이용하여 기류 제어 및 본체에 설치된 팬 모터의 회전수 또는 로버의 각도 또는 가이드의 각도 등을 조절함으로써, 열 발생 물체 및 비열이 높은 물체로 인해 발생하는 냉방효율 저하를 방지하고, 냉방 성능을 높일 수 있다.In addition, the air conditioner performs object detection and texture recognition using the learned deep artificial neural network (DNN) to detect images of occupants and objects and objects with a high specific heat . By controlling the airflow control and the number of revolutions of the fan motor installed in the main body, the angle of the rover, the angle of the guide, etc., it is possible to prevent the cooling efficiency from being lowered due to the heat generating object and the object having a high specific heat, .

한편, 본 발명에 따른 질감 인식기(151) 및 객체 인식기(152)의 학습, 업데이트는 외부의 서버를 통해서 수행될 수도 있다.Meanwhile, learning and updating of the texture recognizer 151 and the object recognizer 152 according to the present invention may be performed through an external server.

도 13은 본 발명의 일 실시 예에 따른 서버의 내부 블록도이다.13 is an internal block diagram of a server according to an embodiment of the present invention.

도 13을 참조하면, 서버(1300)는, 통신부(1320), 저장부(1330), 학습모듈(1340), 및 프로세서(1310)를 구비할 수 있다.13, the server 1300 may include a communication unit 1320, a storage unit 1330, a learning module 1340, and a processor 1310.

프로세서(1310)는, 서버(1300)의 전반적인 동작을 제어할 수 있다.The processor 1310 may control the overall operation of the server 1300. [

한편, 서버(1300)는, 공기조화기 등 홈 어플라이언스 제조사가 운영하는 서버 또는 서비스 제공자가 운영하는 서버일 수 있고, 일종의 클라우드(Cloud) 서버일 수 있다.Meanwhile, the server 1300 may be a server operated by a home appliance manufacturer such as an air conditioner or a server operated by a service provider, or may be a kind of a cloud server.

통신부(1320)는, 휴대 단말기, 공기조화기 등 홈 어플라이언스, 게이트웨이 등으로부터 상태 정보, 동작 정보, 조작 정보 등 각종 데이터를 수신할 수 있다. The communication unit 1320 can receive various kinds of data such as state information, operation information, and operation information from a portable appliance, an air conditioner, and the like, a home appliance, a gateway, and the like.

그리고 통신부(1320)는 수신되는 각종 정보에 대응하는 데이터를 휴대 단말기, 공기조화기 등 홈 어플라이언스, 게이트웨이 등으로 송신할 수 있다.The communication unit 1320 can transmit data corresponding to the received various information to a home appliance such as a portable terminal, an air conditioner, a gateway, and the like.

이를 위해, 통신부(1320)는 인터넷 모듈, 이동 통신 모듈 등 하나 이상의 통신 모듈을 구비할 수 있다.To this end, the communication unit 1320 may include one or more communication modules such as an Internet module and a mobile communication module.

저장부(1330)는, 수신되는 정보를 저장하고, 이에 대응하는 결과 정보 생성을 위한 데이터를 구비할 수 있다.The storage unit 1330 may store received information and may include data for generating result information corresponding thereto.

또한, 저장부(1330)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.In addition, the storage unit 1330 may store data used for machine learning, result data, and the like.

학습모듈(1340)은 상기 공기조화기 등 홈 어플라이언스의 학습기 역할을 수행할 수 있다.The learning module 1340 may serve as a learning device of the home appliances such as the air conditioner.

상기 학습모듈(1340)에는 인공신경망, 예를 들어, CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다.The learning module 1340 may include a Deep Neural Network (DNN) such as an artificial neural network, for example, a Convolutional Neural Network (RNN), a Recurrent Neural Network (RNN) Neural networks can be learned.

상기 학습모듈(1340)의 학습 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다.As the learning method of the learning module 1340, both unsupervised learning and supervised learning can be used.

한편, 상기 제어부(1310)는 설정에 따라 학습 후 상기 공기조화기 등 홈 어플라이언스의 인공신경망 구조를 학습된 인공신경망 구조로 업데이트시키도록 제어할 수 있다.Meanwhile, the controller 1310 may control the artificial neural network structure of the home appliance such as the air conditioner to be updated to the learned artificial neural network structure after learning according to the setting.

공기조화기를 효율적으로 운전하여 사용자의 불편을 최소화하기 위해서는 열원 등 객체 및 비열이 높은 객체의 위치를 정확히 추출하여 집중 냉방 운전함으로써 실내 온도를 제어해야 한다. In order to minimize the inconvenience of the user by efficiently operating the air conditioner, the room temperature should be controlled by accurately extracting the position of the object such as the heat source and the object having a high specific heat and performing the concentrated cooling operation.

따라서 본 발명은 카메라를 통해 입력된 영상에서 실내 물체를 대상으로 객체검출. 질감(Texture) 인식을 수행하여 열원/비열이 높은 물체의 위치를 검출하여 최우선적으로 냉방하도록 제어함으로써 냉방효율 향상 및 높은 편의성을 제공한다.Accordingly, the present invention provides a method for detecting an object of an indoor object in an image input through a camera. Texture recognition is performed to detect the position of an object having a high heat source / specific heat and to control the cooling to be a top priority, thereby improving cooling efficiency and providing high convenience.

또한, 본 발명은 객체 및 질감 인식을 수행하기 위해 기계학습 알고리즘을 사용한다. 이때 머신러닝 기술 중 하나인 딥러닝(Deep Learning) 기반 인공신경망을 사용할 수 있다. The present invention also uses machine learning algorithms to perform object and texture recognition. Deep Learning based Artificial Neural Network, which is one of the machine learning technologies, can be used at this time.

본 발명의 실시 예들 중 적어도 하나에 의하면, 객체 인식을 통해, 냉방 효율이 향상된 공기조화기 및 그 제어방법을 제공할 수 있다.According to at least one of the embodiments of the present invention, it is possible to provide an air conditioner and its control method with improved cooling efficiency through object recognition.

본 발명의 실시 예들 중 적어도 하나에 의하면, 열 발생 물체 및 비열이 높은 물체로 인해 발생하는 냉방효율 저하를 방지할 수 있다.According to at least one of the embodiments of the present invention, it is possible to prevent cooling efficiency deterioration caused by a heat generating object and a high-specific object.

또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 머신 러닝에 기반하여 열원을 인식하고, 효율적으로 냉방 기능을 수행할 수 있다.Further, according to at least one of the embodiments of the present invention, the heat source can be recognized based on the machine learning and the cooling function can be efficiently performed.

본 발명에 따른 공기조화기는 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The air conditioner according to the present invention is not limited to the configuration and method of the embodiments described above, but the embodiments may be modified so that all or some of the embodiments are selectively combined .

한편, 본 발명의 실시 예에 따른 공기조화기의 제어방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the control method of the air conditioner according to the embodiment of the present invention can be implemented as a code that can be read by a processor on a recording medium readable by the processor. The processor-readable recording medium includes all kinds of recording apparatuses in which data that can be read by the processor is stored. Examples of the recording medium that can be read by the processor include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet . In addition, the processor-readable recording medium may be distributed over network-connected computer systems so that code readable by the processor in a distributed fashion can be stored and executed.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

카메라: 110
제어부: 140
객체 인식 모듈: 150
통신부: 170
Camera: 110
Control section: 140
Object recognition module: 150
Communication department: 170

Claims (15)

외부의 영상을 획득하는 카메라;
상기 카메라가 획득하는 영상에서 객체를 인식하는 객체 인식 모듈; 및
상기 인식된 객체의 위치 및 질감에 기초하여 기류를 제어하는 제어부;를 포함하는 공기조화기.
A camera for acquiring an external image;
An object recognition module for recognizing an object in an image acquired by the camera; And
And controlling the airflow based on the position and the texture of the recognized object.
제1항에 있어서,
상기 객체 인식 모듈은,
상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 상기 객체의 종류를 인식하는 객체 인식기와
상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 상기 객체의 질감을 인식하는 질감 인식기를 포함하는 공기조화기.
The method according to claim 1,
Wherein the object recognition module comprises:
An object recognizer for recognizing the type of the object based on data learned through machine learning in an image acquired by the camera;
And a texture recognizer that recognizes the texture of the object based on data previously learned by machine learning in an image acquired by the camera.
제2항에 있어서,
상기 객체 인식 모듈은,
상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성하는 신호 생성부를 더 포함하는 것을 특징으로 하는 공기조화기.
3. The method of claim 2,
Wherein the object recognition module comprises:
Further comprising a signal generator for generating a control signal based on the type and texture of the recognized object.
제1항에 있어서,
상기 객체 인식 모듈은,
상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류 및 질감을 인식하는 것을 특징으로 하는 공기조화기.
The method according to claim 1,
Wherein the object recognition module comprises:
Wherein the type of the object and the texture of the object are recognized based on data previously learned by machine learning in an image acquired by the camera.
제4항에 있어서,
상기 제어부는, 상기 인식된 객체의 종류 및 질감에 기초하여 제어 신호를 생성하는 것을 특징으로 하는 공기조화기.
5. The method of claim 4,
Wherein the control unit generates a control signal based on the type and texture of the recognized object.
제1항에 있어서,
상기 제어부는, 상기 인식된 객체의 종류 및 질감에 기초하여 팬 모터 및 로버를 제어하는 것을 특징으로 하는 공기조화기.
The method according to claim 1,
Wherein the control unit controls the fan motor and the rover based on the type and texture of the recognized object.
제1항에 있어서,
상기 객체 인식 모듈은, 상기 카메라가 획득하는 영상에서 일정 화소 단위로 윈도우(window)를 슬라이딩(sliding)시켜, 서브 윈도우(sub window)를 추출하고, 추출된 서브 윈도우를 기학습된 인공신경망(Artificial Neural Network)의 입력데이터로 사용하여 객체의 종류를 인식하는 것을 특징으로 하는 공기조화기.
The method according to claim 1,
The object recognition module extracts a sub window by sliding a window in a predetermined pixel unit in an image acquired by the camera and extracts the extracted sub window from the learned artificial neural network Neural Network), and recognizes the type of the object.
제1항에 있어서,
상기 객체 인식 모듈은, 상기 카메라가 획득하는 영상에서 일정 화소 단위로 서브 윈도우(sub window)를 추출하고, 추출된 서브 윈도우를 기학습된 인공신경망(Artificial Neural Network)의 입력데이터로 사용하여 객체의 질감을 인식하는 것을 특징으로 하는 공기조화기.
The method according to claim 1,
The object recognition module extracts a sub window on a predetermined pixel basis from the image acquired by the camera and uses the extracted sub window as input data of the learned artificial neural network, Wherein the air conditioner recognizes the texture.
제1항에 있어서,
상기 획득된 영상 중 적어도 일부를 소정 서버로 전송하고, 상기 소정 서버로부터 머신 러닝과 관련된 데이터를 수신하는 통신부;를 더 포함하는 것을 특징으로 하는 공기조화기.
The method according to claim 1,
And a communication unit for transmitting at least a part of the obtained images to a predetermined server and receiving data related to machine learning from the predetermined server.
제9항에 있어서,
상기 소정 서버로부터 수신된 머신 러닝과 관련된 데이터에 기초하여 상기 객체 인식 모듈을 업데이트(update)하는 것을 특징으로 하는 공기조화기.
10. The method of claim 9,
And updates the object recognition module based on data related to machine learning received from the predetermined server.
카메라를 통하여, 외부의 영상을 획득하는 단계;
상기 카메라가 획득하는 영상에서 객체를 인식하는 단계; 및,
상기 인식된 객체의 위치 및 질감에 기초하여 기류를 제어하는 단계;를 포함하는 공기조화기의 제어방법.
Acquiring an external image through a camera;
Recognizing an object in an image acquired by the camera; And
And controlling the airflow based on the position and the texture of the recognized object.
제11항에 있어서,
상기 객체 인식 단계는,
상기 카메라가 획득하는 영상에서 머신 러닝(machine learning)으로 기학습된 데이터에 기초하여 객체의 종류 및 질감을 인식하는 것을 특징으로 하는 공기조화기의 제어방법.
12. The method of claim 11,
Wherein the object recognition step comprises:
Wherein the type and the texture of the object are recognized based on data learned by machine learning in the image acquired by the camera.
제11항에 있어서,
상기 기류 제어 단계는,
상기 인식된 객체의 종류 및 질감에 기초하여 팬 모터 및 로버를 제어하는 것을 특징으로 하는 공기조화기의 제어방법.
12. The method of claim 11,
Wherein the airflow control step includes:
And controlling the fan motor and the rover based on the type and texture of the recognized object.
제11항에 있어서,
상기 획득된 영상 중 적어도 일부를 소정 서버로 전송하는 단계;
상기 소정 서버로부터 머신 러닝과 관련된 데이터를 수신하는 단계;를 더 포함하는 공기조화기의 제어방법.
12. The method of claim 11,
Transmitting at least a part of the acquired images to a predetermined server;
And receiving data related to machine learning from the predetermined server.
제14항에 있어서,
상기 소정 서버로부터 수신된 머신 러닝과 관련된 데이터에 기초하여 상기 기학습된 데이터를 업데이트(update)하는 단계;를 더 포함하는 공기조화기의 제어방법.
15. The method of claim 14,
And updating the pre-learned data based on data related to machine learning received from the predetermined server.
KR1020160148071A 2016-11-08 2016-11-08 Air conditioner and control method thereof KR20180051729A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160148071A KR20180051729A (en) 2016-11-08 2016-11-08 Air conditioner and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160148071A KR20180051729A (en) 2016-11-08 2016-11-08 Air conditioner and control method thereof

Publications (1)

Publication Number Publication Date
KR20180051729A true KR20180051729A (en) 2018-05-17

Family

ID=62486278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160148071A KR20180051729A (en) 2016-11-08 2016-11-08 Air conditioner and control method thereof

Country Status (1)

Country Link
KR (1) KR20180051729A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225912A1 (en) * 2018-05-24 2019-11-28 엘지전자 주식회사 Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server, and air conditioner
KR102264285B1 (en) * 2020-10-29 2021-06-14 주식회사 에스아이에이 Method for quantifying algal for management of water quality
US11301673B2 (en) 2019-12-11 2022-04-12 Lg Electronics Inc. Apparatus and method for controlling electronic device
WO2022097859A1 (en) * 2020-11-05 2022-05-12 엘지전자 주식회사 Home appliance and control method thereof
US11460210B2 (en) 2019-12-12 2022-10-04 Samsung Electronics Co., Ltd. Air conditioning device and control method thereof
US11508067B2 (en) 2020-10-29 2022-11-22 Si Analytics Co., Ltd Method for quantifying algal for management of water quality

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019225912A1 (en) * 2018-05-24 2019-11-28 엘지전자 주식회사 Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server, and air conditioner
US11421906B2 (en) 2018-05-24 2022-08-23 Lg Electronics Inc. Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server and air conditioner
US11301673B2 (en) 2019-12-11 2022-04-12 Lg Electronics Inc. Apparatus and method for controlling electronic device
US11460210B2 (en) 2019-12-12 2022-10-04 Samsung Electronics Co., Ltd. Air conditioning device and control method thereof
KR102264285B1 (en) * 2020-10-29 2021-06-14 주식회사 에스아이에이 Method for quantifying algal for management of water quality
US11508067B2 (en) 2020-10-29 2022-11-22 Si Analytics Co., Ltd Method for quantifying algal for management of water quality
WO2022097859A1 (en) * 2020-11-05 2022-05-12 엘지전자 주식회사 Home appliance and control method thereof

Similar Documents

Publication Publication Date Title
US10871302B2 (en) Artificial intelligence air conditioner and control method thereof
KR20180051729A (en) Air conditioner and control method thereof
KR102040953B1 (en) Air-conditioner with region selective operation based on artificial intelligence, cloud server, and method of operating thereof
KR102648234B1 (en) Data learning server and method for generating and using thereof
US10832136B2 (en) Passive pruning of filters in a convolutional neural network
US11022333B2 (en) Control for device in a predetermined space area
US11353218B2 (en) Integrated management method and system for kitchen environment using artificial intelligence
US11649980B2 (en) Air conditioner communicating with moving agent to sense indoor space
EP3857860B1 (en) System and method for disambiguation of internet-of-things devices
KR102121785B1 (en) Air-conditioner controlling direction of the wind using artificial intelligence by instructed position and method of controlling thereof
US10970128B2 (en) Server, air conditioner and method for controlling thereof
JP2005531844A (en) Enhanced background model that employs object classification for improved background / foreground segmentation
KR20190109640A (en) Air conditioner and method for control thereof
EP3964762A1 (en) Method for controlling operation of air conditioner by analyzing user behavior patterns, and air conditioner
KR20190035007A (en) Air Conditioner And Control Method Thereof
CN110017588B (en) Operation control method, operation control device, air conditioner and computer readable storage medium
CN111694280A (en) Control system and control method for application scene
CN103900207B (en) A kind of instruction executing method and air-conditioning
US20230410546A1 (en) Home appliance and control method thereof
CN114838470A (en) Control method and system for heating, ventilating and air conditioning
US20220172061A1 (en) Method and system for low-query black-box universal attacks
US20210103778A1 (en) Apparatus and method for recognizing a face based on artificial intelligence
KR102464667B1 (en) Server of controlling air conditioner with area recognition based on artificial intelligence and air conditioner
KR20220014620A (en) Air conditioner, air conditioner system and cotrol method thereof
Safaei et al. DeePLT: personalized lighting facilitates by trajectory prediction of recognized residents in the smart home

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application