KR20190099160A

KR20190099160A - 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기

Info

Publication number: KR20190099160A
Application number: KR1020190095556A
Authority: KR
Inventors: 황성목; 김상윤; 김진옥; 박윤식; 한다윤
Original assignee: 엘지전자 주식회사
Priority date: 2019-05-02
Filing date: 2019-08-06
Publication date: 2019-08-26
Also published as: US11655995B2; EP3964762A4; JP2022531259A; EP3964762A1; US20210381717A1; JP2023164723A; WO2020222341A1

Abstract

본 발명은 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기에 관한 것으로, 본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 공기를 토출하는 송풍부, 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부, 및 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함한다.

Description

사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법 및 공기조화기{METHOD OF CONTROLLING OPERATION OF AIR CONDITIONER BY ANALYZING USER'S BEHAVIOR PATTERN AND AIR CONDITIONER}

본 발명은 사용자의 행동 패턴을 분석하여 에어컨의 동작을 제어하는 방법 및 에어컨에 관한 기술이다.

공기조화기(또는 에어 컨디셔너 또는 줄여서 에어컨)는, 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절하고, 실내 공기를 정화하도록 함으로서 인간에게 보다 쾌적한 실내 환경을 제공하기 위해 설치된다.

일반적으로 공기조화기는, 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다.

한편, 공기조화기는, 실내기 및 실외기가 분리되어 제어될 수 있다. 또한 공기조화기는, 실외기에 적어도 하나의 실내기가 연결될 수 있으며, 요청되는 운전 상태에 따라, 실내기로 냉매를 공급하여, 냉방 또는 난방모드로 운전된다.

전술한 공기조화기는 사용자 및 공간의 특성에 따라 기류와 온도를 제어한다. 그런데 사용자가 매번 공기조화기를 제어하는 것은 번거롭기 때문에, 다양한 방식에 기반한 공기조화기의 자동 동작을 지원하는 기술의 개발이 요청된다.

따라서, 사용자가 공기조화기를 제어하지 않아도 공기조화기가 사용자에게 적합한 온도와 풍속 또는 풍향의 공기를 제공하는 기술에 대해 살펴본다.

전술한 문제점을 해결하기 위한 것으로, 본 발명은 공기조화기가 사용자를 이미지로 식별하고자 한다.

본 발명은 공기조화기가 사용자의 행동 패턴에 대응하여 동작하도록 공기조화기를 제어하고자 한다.

본 발명은 공기조화기 주변의 사람들의 활동을 확인하여 공기조화기가 이들에 적합하게 동작하도록 공기조화기를 제어하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 공기를 토출하는 송풍부, 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부, 및 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더와 특징 벡터를 입력받아 단어를 포함하는 이미지 디스크립션을 산출하는 디코더를 포함한다.

본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지 디스크립션을 이용하여 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어한다.

본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기는 이미지에서 중심에 위치한 사람 또는 이미지에서 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높인다.

본 발명의 일 실시예에 의한 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법은 공기조화기의 카메라부가 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 단계, 공기조화기의 제어부가 카메라부가 획득한 이미지에서 특징을 추출하는 단계, 제어부가 추출한 특징에 기반하여 이미지를 설명하는 이미지 디스크립션을 생성하는 단계, 제어부가 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어할 수 있다.

본 발명의 실시예들을 적용할 경우, 공기조화기는 이미지를 획득하여 추출된 이미지에서 사람들의 행동을 설명하는 정보를 산출할 수 있다.

본 발명의 실시예를 적용할 경우, 이미지에서 확인된 사람들의 속성이나 상태, 복장, 위치에 따라 공기조화기가 사람들에게 적합한 온도와 모드로 송풍할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 본 발명의 일 실시예에 따른 공기조화기의 실내기의 구성을 보여주는 정면도이다.
도 2는 본 발명의 일 실시예에 의한 제어모듈의 구성을 보여준다.
도 3은 본 발명의 일 실시예에 의한 이미지 획득 후 공기조화기의 동작을 제어모듈이 제어하는 과정을 보여준다.
도 5는 본 발명의 일 실시예에 의한 추출된 특징에서 이미지 디스크립션을 생성하는 과정을 보여준다.
도 6은 본 발명의 일 실시예에 의한 이미지 내의 사람을 식별한 경우 공기조화기의 제어 방식을 보여준다.
도 7은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람의 동작을 분석하는 과정을 보여준다.
도 8은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람이 착용한 복장에 따라 공기조화기가 동작하는 과정을 보여준다.
도 9는 본 발명의 일 실시예에 의한 이미지 디스크립션의 과정을 보여준다.
도 10은 본 발명의 일 실시예에 의한 변화한 이미지에 중점을 둔 이미지 디스크립션의 과정을 보여준다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

본 명세서에서 공조조화기를 구성하는 구성요소로 실외기와 실내기로 구분한다. 하나의 공조 시스템은 하나 이상의 실외기와 하나 이상의 실내기로 구성된다. 실외기와 실내기 사이의 관계는 1:1, 1:N, 또는 M:1이 될 수 있다.

본 발명은 냉방 또는 난방을 제어하는 모든 장치에 적용될 수 있다. 다만, 설명의 편의를 위하여 냉방에 중점을 두고 설명한다. 난방에 적용될 경우에는 온도를 높이는 과정과 높인 온도를 유지하는 메커니즘에 본 발명의 실시예들을 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 공기조화기의 실내기의 구성을 보여주는 정면도이다.

에어컨, 또는 공기조화기의 실내기는 천장에 설치되는 매립형 또는 스탠드형이 될 수 있다. 또는 벽에 설치되는 벽걸이형이 될 수도 있고 이동 가능한 형태로 구성될 수 있다. 도 1은 다양한 실시예 중에서 스탠드형 실내기(1)를 제시하고 있으나, 본 발명이 이에 한정되는 것은 아니다. 실내기(1)는 별도의 공간에 배치되는 실외기(2)와 연결될 수 있다.

공조의 대상이 되는 실내의 바닥에 세워져 설치되는 스탠드형 공기조화기로 구성될 수 있으며, 이 경우 공기조화기는 실내의 바닥에 놓여 공조모듈(10)을 지지하는 베이스(20)를 더 포함할 수 있다.

공조모듈(10)은 베이스(20) 위에 올려진 형태로 설치될 수 있고, 이 경우 공조모듈(10)은 실내의 소정 높이에서 공기를 흡입하여 공조시킬 수 있다.

공조모듈(10)은 베이스(20)와 분리 가능하게 결합될 수도 있다. 또한공조모듈(10)과 베이스(20)는 일체로 구성될 수도 있다.

공조모듈(10)은 송풍부(15)에서 공기를 토출할 수 있다. 공조모듈(10)은 전면으로 공기를 집중 토출할 수 있으며, 실시예에 따라 측면 또는 상면 등 다양한 방향에 배치된 송풍구에서 공기를 토출할 수 있다. 송풍부(15)는 제어모듈(100)의 제어에 기반하여 풍속을 제어할 수 있다. 일 실시예로 송풍부(15)는 다수의 단계로 구성된 풍속의 바람을 토출할 수 있으며, 이를 위해 하나 이상의 개별 송풍팬을 제어할 수 있다.

보다 상세히, 송풍부(15)는 실외기로부터 제공받은 공기를 바람으로 내보내고 실내 공기를 흡입하는 구성요소들(11, 12)을 포함하며 이들은 공조모듈(10)에 배치될 수 있다. 또한, 외부에서 식별되지 않으나 실내기(1)를 제어하는 제어모듈(100)이 실내기(1) 내에 배치될 수 있다. 설명의 편의를 위해 도 1에서는 점선으로 표시하여 실내기(1) 내부에 배치되는 것으로 표시하였다.

실외기(2)는 송풍부(15)가 토출하는 공기(바람)의 온도를 제어한다. 일 실시예로 실외기(2)의 압축기는 기상 냉매를 고온 고압의 상태로 압축하여 배출하여 냉방 공기를 실내기(1)에 제공할 수 있다. 뿐만 아니라, 실외기(2)는 소정의 열펌프를 이용하여 난방 공기를 실내기(1)에 제공할 수 있다. 실외기(2)가 냉방 또는 난방 공기를 실내기(1)에 제공하는 방식은 다양하게 제시될 수 있으며, 본 발명이 이에 한정되는 것은 아니다.

도 1에서 예시적으로 살펴본 실내기(1)는 실내 공기의 상태를 측정하여 설정된 상태에 도달하도록 운전한다. 그런데, 특정한 상태에 도달하는 과정에서 실내기가 효율적으로 동작하기 위해서는 실내기가 배치된 공간에서의 사용자의 행동 패턴을 공기조화기가 확인하는 것이 필요하다.

이에, 본 발명의 일 실시예는 제어모듈(100)이 카메라를 이용하여 공간의 영상 이미지를 획득하고, 제어모듈(100)이 현재 공간 내의 사용자의 행동 패턴을 분석하여 사용자에게 알맞은 풍속/풍향의 기류와 온도를 제어하여 실내기 및 실외기를 제어하는 기술을 제시한다.

도 2는 본 발명의 일 실시예에 의한 제어모듈의 구성을 보여준다. 제어모듈(100)은 실내기(1)에 배치될 수 있으며, 실내기(1) 및 실외기(2)를 제어할 수 있다.

보다 상세히, 제어모듈(100)의 구성요소로 카메라부(110), 제어부(150), 통신부(180) 및 인터페이스부(190)를 포함한다.

카메라부(110)는 공기조화기의 실내기(1)가 배치된 공간의 이미지를 획득한다.

제어부(150)는 카메라부(110)가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어한다.

공기조화기를 제어한다는 의미는, 제어부(150)가 이미지 디스크립션을 이용하여 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어한다. 그 결과 공기조화기는 사용자의 행동 패턴을 분석하여 동작을 제어할 수 있다.

카메라부(110)는 영상 센서를 통칭한다. 카메라부(110)는 공기조화기의 실내기(1)에 설치되거나, 또는 실내기(1)가 설치된 공간에 별도로 배치될 수 있다. 실내기(1)가 배치된 공간의 이미지를 획득한다. 제어부(150)는 이미지에서 특징을 추출하여 사용자의 현재 상태나 착용 복장, 행동 등을 분석하여 분석한 결과에 따라 공기조화기의 풍량, 풍속, 온도, 기류 등을 제어한다.

제어부(150)는 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더(151)와 특징 벡터를 입력받아 단어를 포함하는 이미지 디스크립션을 산출하는 디코더(153)를 포함한다.

즉, 제어부(150)는 이미지 정보(영상 정보)에서 사용자의 행동이나 특징, 위치 등을 분석하기 위해 특징 추출을 수행하는 인코더(151)와, 인코더를 통해 추출된 특징 벡터를 이용하여 이미지를 서술하는 디코더(153)를 포함한다. 또는 제어부(150)내에 인코더(151)와 디코더(153)는 소프트웨어 모듈 또는 하드웨어 모듈로 일체로 구성될 수 있다.

송풍부(15)는 바람의 방향을 제어할 수 있다. 예를 들어, 송풍부(15)는 좌측 베인과 우측 베인으로 구성될 수 있다. 또는 상측 베인과 하측 베인으로 구성될 수 있다. 이러한 좌우 베인(vane)은 바람의 좌우 방향을, 상하 베인은 바람의 거리를 결정할 수 있다.

인터페이스부(190)는 사용자가 공기조화기의 온도나 습도, 풍량이나 풍향 등을 제어할 수 있도록 하는 것으로, 버튼 식 혹은 리모컨 식, 혹은 원격 조정 등의 인터페이스를 제공한다. 또한, 인터페이스부(190)는 송풍부(15)에서 토출하는 공기의 풍속, 풍량 또는 온도를 변경하는 인터럽트 입력을 수신할 수 있다.

도 3은 본 발명의 일 실시예에 의한 이미지 획득 후 공기조화기의 동작을 제어모듈이 제어하는 과정을 보여준다.

카메라부(110)는 실내기(1)의 표면에 배치되어 공간을 촬영하여 이미지를 획득한다(S31).

그리고 제어부(150)는 이미지에서 특징 추출(Feature Extraction)을 수행하고 특징 벡터(Feature Vector)를 산출한다(S32). 제어부(150)는 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning)을 이용할 수 있으며, 이 과정에서 딥러닝 기반 인공 신경망(뉴럴 네트워크, Artificial Neural Network, ANN)인 학습 네트워크를 이용하여 특징을 추출할 수 있다.

이는 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다. 딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.

딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다

딥러닝이 적용된 학습 네트워크는 제어부(150) 또는 인코더(151), 디코더(153) 등에 포함될 수 있다. 또는 학습 네트워크는 외부의 서버에 배치될 수 있다. 그리고 학습 네트워크는 입력된 이미지에서 특징을 추출하거나 특징 벡터를 추출한다.

인공신경망(ANN)은 입력 레이어(Input Layer), 히든 레이어(Hiddent Layer), 및 출력 레이어(Output Layer)를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 각 레이어는 다음 레이어와 연결된다. 인접한 레이어 사이의 노드들은 웨이트(weight)를 가지고 서로 연결될 수 있다.

제어부(150)는 이미지에서 특징이 되는 구성요소를 추출하고 이들 구성요소들을 하나의 벡터로 구성할 수 있다.

S32는 제어부(150)의 인코더(151)가 수행할 수 있다. 디코더(153)는 인코더(151)가 추출한 특징 벡터를 입력받아 디스크립션(Description)으로 변환한다(S33). 디코더(153)는 변환한 디스크립션을 이용하여 S31에서 획득한 이미지을 설명하는 이미지 디스크립션(Image Description)을 생성한다(S34). 즉, 디코더(153)는 특징 벡터를 입력받고, 이미지 내의 사람들의 행동이나 특성을 분석하는데 필요한 이미지 디스크립션을 생성한다.

그리고 제어부(150)는 이미지 디스크립션 부분에서 사람에 관련된 주어, 서술어, 목적어, 전치사구 (위치 분석)을 통해 주어가 사람인지 유무에 따라 이미지를 분류한다(S35). 즉, 제어부(150)는 이미지 디스크립션에 포함된 문장을 분석한다. 분석 결과 제어부(150)는 사람이 주어인지, 혹은 사람이 어떤 행동을 하는지(서술어), 또는 사람이 다른 사물과 어떤 거리에 있는지(위치, 전치사구 이용) 등의 정보를 획득할 수 있다. 물론 제어부(150)는 이미지 내에 사람이 존재하는지 여부도 확인할 수 있다.

그 결과 제어부(150)는 이미지 내에 사람이 있는지 확인하고(S36), 사람이 없는 것으로 확인하면 부재 감지 로직으로 실내기(1) 또는 실외기(2)를 제어한다(S40).

한편, 사람이 있는 경우, 제어부(150)는 전술한 이미지 디스크립션에 대응하여 동작 제어 파라미터를 선정하고(S37), 사람의 위치를 추정하여(S38), 실내기(1) 또는 실외기(2)를 제어한다(S39). 일 실시예로, 제어부(150)는 송풍부(150)의 기류(송풍 방향, 송풍 세기)와 온도를 제어할 수 있다.

RNN(Recurrent Neural Network)은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.

DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)를 구성할 수 있다.

CNN(Convolutional Neural Network)은, 특히 객체 인식 분야에서 많이 사용되는 구조이다. CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.

일 실시예로 제어부(150)의 인코더(151)는 기계학습 기반의 뉴럴 네트워크 중 CNN을 사용할 수 있다.

또한, 일 실시예로 제어부(150)의 디코더(153)는 기계학습 기반의 뉴럴 네트워크 중 RNN 혹은 LSTM을 사용할 수 있다.

제어부(150)는 디코더(153)가 산출한 이미지에 대한 서술(이미지 디스크립션)을 이용하여 문맥의 의미에 따라 기류 및 온도를 제어한다.

도 4는 본 발명의 일 실시예에 의한 이미지에서 이미지에서 특징 추출을 수행하여 디스크립션을 생성하는 과정을 보여준다. 도 4의 25는 에어컨이 설치된 공간을 촬영한 이미지이다. 25는 여성이 소파에 앉아서 책을 읽는 모습을 촬영한 이미지이다.

이미지(25)가 제어부의 인코더(151)에 입력된다. 그리고 인코더(151), 예를 들어 CNN과 같은 뉴럴 네트워크(151a)는 입력된 이미지에서 특징을 추출한다. 25에서 사각형으로 TV, 테이블, 여성의 얼굴, 소파, 그리고 책읽은 부분의 주변으로 사각형이 마킹된 것은 CNN 네트워크에 의해 특징이 추출된 것을 시각적으로 표현한 것이다.

도 5는 본 발명의 일 실시예에 의한 추출된 특징에서 이미지 디스크립션을 생성하는 과정을 보여준다. CNN과 같은 뉴럴 네트워크가 이미지에서 추출한 특징들은 전처리부(151b) 및 리니어(Linear)(151c)를 통과하여 특징 벡터로 생성된다. 그리고 생성된 특징 벡터는 디코더(153)가 입력받아 소정의 단어들을 출력한다.

일 실시예로, 디코더(153)의 구성 요소로 RNN의 일 실시예인 LSTM(Long Short-Term Memory)을 사용할 수 있다. RNN은 재귀적인 데이터 처리에 적합하며 LSTM은 입력된 특징 벡터에서 단어를 출력하고(W_vocabulary) 해당 단어를 재귀적으로 입력받아 새로운 단어를 출력하는데 적용한다(W_embed).

제어부(150)는 LSTM의 각 셀에 저장되는 정보의 시간을 증감시킬 수 있다. 예를 들어, 제어부(150)는 사용자의 움직임이 많은 경우에는 각 셀에 저장되는 정보의 시간을 단축시킨다. 이는 제어부(150)가 새로운 정보에 대응하여 공기조화기를 짧은 시간 간격으로 제어할 수 있도록 한다.

반대로, 제어부(150)는 사용자의 움직임이 적은 경우에는 각 셀에 저장되는 정보의 시간을 증가시킨다. 제어부(150)는 누적된 정보에 대응하여 공간 내의 장기간 움직임을 반영하여 공기조화기를 제어할 수 있다.

도 5에서 디코더(153)가 산출한 정보들에 기반하여 제어부(150)는 도 4의 이미지에 대응하여 다음과 같은 문장을 출력할 수 있다.

"On the center-left side of the picture, a woman is reading a book in the living room with tv, table, chair."

제어부(150)는 위의 문장에서 "middle-left side "woman", "reading a book", chair" 등의 정보에 기반하여 공기조화기의 풍향과 풍량을 결정한다.

도 6은 본 발명의 일 실시예에 의한 이미지 내의 사람을 식별한 경우 공기조화기의 제어 방식을 보여준다.

제어부(150)는 주어와 서술어 분류에 따라 에어컨 기류 제어 및 온도를 제어한다. 또는 제어부(150)는 주어와 서술어뿐만 아니라 목적어, 착용 의류의 특징(짧은 반팔/반바지인지 긴 옷인지), 전치사구를 통한 사람의 위치에 대한 정보 등을 분류한다. 그리고 제어부(150)는 취득한 정보를 이용하여 사용자에게 적합하게 에어컨의 기류의 방향이나 풍속, 풍량을 제어하고 온도를 제어한다.

제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 제어부(150)는 식별한 사람이 어린이/노인 중 어느 하나인지를 확인한다(S42). 어린이/노인으로 식별된 경우 보다 상세하게 제어부(150)는 어린이인지, 노인인지에 따라(S43) 사람의 속성 정보를 설정한다(S45a, S45b).

일 실시예로 제어부(150)는 식별된 사람이 어린이인 경우 Human.child = TRUE로 설정한다(S45a). 일 실시예로 제어부(150)는 식별된 사람이 노인인 경우 Human.elder = TRUE로 설정한다(S45b).

S42에서 이미지를 통해 제어부(150)가 어린이/노인을 식별하지 않은 경우 다음 단계로 제어부(150)는 여성인지, 남성인지에 따라(S44) 사람의 속성 정보를 설정한다(S45c, S45d).

일 실시예로 제어부(150)는 식별된 사람이 여성인 경우 Human.woman = TRUE로 설정한다(S45c). 일 실시예로 제어부(150)는 식별된 사람이 남성인 경우 Human.man = TRUE로 설정한다(S45d).

또한, 제어부(150)는 이미지 디스크립션에서 식별된 사람에 대한 서술어가 동적인지 아니면 정적인지 판단한다(S46). 일 실시예로 제어부(150)는 식별된 서술어가 동적인 서술어인 경우(게임한다, 뛴다, 움직인다, 청소한다 등) Human.Active = TRUE로 설정한다(S47). 일 실시예로 제어부(150)는 식별된 서술어가 정적인 서술어인 경우(앉아있다. 잔다. 누워있다. 책을 읽는다. 전화를 한다 등) Human.Active = FALSE로 설정한다(S48).

다음으로 제어부(150)는 이미지 디스크립션에서 식별된 사람이 착용한 옷을 구분한다(S50). 일 실시예로 제어부(150)는 식별된 사람이 착용한 옷이 반팔 셔츠 또는 반바지와 같은 여름용 옷인 경우 Human.shortcloth = TRUE로 설정한다(S51). 그리고 S50에서 긴 옷을 입은 경우 제어부(150)는 Human.shortcloth = FALSE로 설정한다(S52).

또한 제어부(150)는 이미지 디스크립션에서 식별된 사람의 위치를 이미지 디스크립션 내의 전치사구 등을 이용하여 확인한다(S55). 위치가 확인되면, 제어부(150)는 확인된 사람의 위치 정보를 설정한다. 예를 들어 제어부(150)는 Human.position에 {near, far, left, right, center} 중의 어느 하나 또는 둘 이상의 정보로 설정한다(S56).

그리고 제어부(150)는 S45a~S56에서 설정된 사람에 대한 속성 정보들에 기반하여 공기조화기를 제어하는 파라미터를 산출하고 이에 기반하여 공기조화기의 동작을 제어한다(S57). 일 실시예로, 제어부(150)는 온도에 있어 급냉모드/표준모드 중 어느 하나를 선택할 수 있다.

또한 제어부(150)는 기류에 있어 직접풍/간접풍 중 어느 하나를 선택할 수 있다. 물론 제어부(150)는 S57 단계에서 바람의 세기도 강풍/중풍/약풍 중에서 선택할 수 있다.

도 6과 같은 프로세스에 기반하여 제어부(150)는 식별된 사용자의 인적 특성과 동작 특성, 착용복장의 특성에 기반하여 공기조화기를 제어할 수 있다.

인적 특성과 동작 특성을 조합할 경우 다음과 같이 제어부(150)가 공기조화기를 제어할 수 있다.

일 실시예로 {"Human.child = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.child = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.elder = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.elder = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.woman = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.woman = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.man = TRUE" & "Human.Active = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.man = TRUE" & "Human.Active = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다.

인적 특성과 동작 특성, 그리고 착용 의상에 대한 특성을 조합할 경우 다음과 같이 제어부(150)가 공기조화기를 제어할 수 있다.

일 실시예로 {"Human.child = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.child = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.elder = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.elder = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.woman = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 간접풍으로 제어할 수 있다. 일 실시예로 {"Human.woman = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 간접풍으로 제어할 수 있다.

일 실시예로 {"Human.man = TRUE" & "Human.Active = TRUE" & "Human.shortcloth = TRUE"} 인 경우 제어부(150)는 공기조화기를 급냉 모드의 직접풍으로 제어할 수 있다. 일 실시예로 {"Human.man = TRUE" & "Human.Active = FALSE" & "Human.shortcloth = FALSE"} 인 경우 제어부(150)는 공기조화기를 표준 모드의 직접풍으로 제어할 수 있다.

또한, 전술한 예시 외에도 전치사구 등을 통해 사용자의 위치가 확인된 경우 제어부(150)는 사용자가 멀리 있는 경우 급냉 모드로, 사용자가 가까이 있는 경우 표준 모드로 동작하도록 공기조화기를 제어할 수 있다. 혹은 그 반대인 경우도 가능하다. 예를 들어 제어부(150)는 에너지 절약을 위해, 사용자가 멀리 있는 경우 표준 모드로, 사용자가 가까이 있는 경우 급냉 모드로 동작하도록 공기조화기를 제어할 수 있다.

또는 제어부(150)는 사용자가 멀리 있는 경우 직접풍으로, 사용자가 가까이 있는 경우 간접풍으로 동작하도록 공기조화기를 제어할 수 있다. 혹은 그 반대인 경우도 가능하다. 예를 들어 제어부(150)는 에너지 절약을 위해, 사용자가 멀리 있는 경우 간접풍으로, 사용자가 가까이 있는 경우 직접풍으로 동작하도록 공기조화기를 제어할 수 있다.

또는 제어부(150)는 사용자가 멀리 있는 경우 공기조화기에 설정된 풍속을 증가시키거나 온도를 낮출 수 있다. 물론, 제어부(150)는 사용자가 가까이 있는 경우 공기조화기에 설정된 풍속을 감소시키거나 온도를 높일 수 있다.

또한, 둘 이상의 사용자가 식별된 경우, 제어부(150)는 각 사용자 별로 특성을 추출한다. 그리고 추출된 결과가 일치할 경우 그대로 사용하고 일치하지 않을 경우 조절한다.

예를 들어, 제1, 제2사용자의 특성을 식별한 결과 제어부(150)는 제1사용자에 대해서는 "급냉 모드/직접풍"으로 공기조화기를 제어하는 파라미터를 산출하였고, 제2사용자에 대해서는 "표준 모드/간접풍"으로 공기조화기를 제어하는 파라미터를 산출하였다.

이 경우 제어부(150)는 제1사용자가 왼쪽에, 제2사용자가 오른쪽에 위치한 경우, 송풍부(15)의 좌우측(11, 12)을 각각 제어한다. 그 결과, 공기조화기(1)는 왼쪽으로는 급냉 모드의 직접풍으로 공기조화기가 동작하며 오른쪽으로는 표준 모드의 간접풍으로 공기조화기가 동작한다.

또는 제어부(150)는 두 사용자의 위치가 근접하거나 양쪽 송풍을 별도로 제어하기 어려울 경우, 파라미터들을 각각 선택한다. 예를 들어 제어부(150)는 모드에 있어서는 "급냉 모드"로 선택하고 바람은 "간접풍"으로 선택하여 두 사용자에게 설정된 각각의 파라미터(급냉/표준 모드, 직접풍/간접풍) 중에서 하나씩 선택할 수 있다.

전술한 실시예를 적용할 경우, 공기조화기(1)의 제어부(150)는 영상 정보를 통해서 사용자들의 행동을 분석하고, 분석한 결과에 따라 공기조화기(1)의 풍량, 풍속, 동작 모드, 온도 등을 제어할 수 있다.

도 6에 도시된 바와 같이, 식별된 사용자의 인적 특성은 남성 > 여성, 어린이 > 노인 순으로 시원한 바람 또는 직접풍을 제공하도록 제어부(150)가 공기조화기를 제어한다. 물론, 이러한 순서는 변경될 수 있다.

예를 들어 노인으로 식별하여 약한 바람으로 송풍하도록 제어하였는데 공기조화기의 온도를 낮추거나 바람의 세기를 높이거나 급냉 모드를 선택하는 인터럽트 입력(수동 제어)이 발생한 경우, 제어부(150)는 노인에 대한 설정치를 어린이 또는 여성 또는 남성의 설정치로 변경할 수 있다.

또는 이미지 내의 식별된 노인에 대한 정보(이미지)를 제어부(150)가 별도로 저장한다. 추후 제어부(150)는 "노인"으로 식별된 사람이 저장된 이미지의 노인과 동일한 경우에는 식별된 사람에 대해 "노인"이 아닌 다른 카테고리(예를 들어 "어린이" 또는 여성" 또는 "남성")에 속하는 것으로 판단하고 그에 따라 공기조화기를 제어한다.

반대로, 제어부(150)가 이후에 "노인"으로 식별된 사람이 저장된 이미지의 노인과 상이한 경우에는 도 6의 프로세스에 따라 공기조화기를 제어한다.

도 6은 이미지 디스크립션이 이미지 내에 식별된 사람에 대한 속성 정보 또는 이미지 내에 식별된 사람이 수행하는 동작에 대한 단어 또는 사람을 서술하는 단어를 포함할 경우, 제어부가 이에 대응하여 공기조화기의 동작을 제어하는 실시예를 보여주었다. 이 중에서 사람이 수행하는 동작의 동적/정적인 특성을 상세하게 분석하는 과정에 대해 살펴본다.

도 7은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람의 동작을 분석하는 과정을 보여준다.

제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 또한, 제어부(150)는 식별된 사람이 서있는 경우 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S61). 마찬가지로, 제어부(150)는 현재 이미지와 이전 시점의 이미지 사이의 차이점이 클 경우에도 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S62).

또한, 제어부(150)는 식별된 사람의 팔이 위 또는 옆을 향하는 경우 동적인 속성의 수치(Human.Active.Count)를 증가시킨다(S63).

이외에도 제어부(150)는 사람이 동적으로 움직임을 유추할 수 있는 다양한 정보들을 취합하여 동적인 속성의 수치(Human.Active.Count)를 증가시킨 후, 이 값에 따라 제어부(150)는 공기조화기의 송풍 온도, 풍량, 풍속, 또는 모드 등을 제어한다(S64).

도 8은 본 발명의 일 실시예에 의한 이미지 디스트립션 내에 식별된 사람이 착용한 복장에 따라 공기조화기가 동작하는 과정을 보여준다.

제어부(150)는 이미지 디스크립션에서 사람을 식별한다(S41). 제어부(150)는 식별된 사람의 신체에서 피부색의 비율을 계산한다(S66). 그 결과 피부색의 비율이 기준 이상(예를 들어 30% 이상)인 경우, 식별된 사람이 여름옷을 입은 것으로 판단한다. 제어부(150)는 Human.shortcloth의 값을 "TRUE"로 설정한다(S67).

이미지 내에 사람들이 다수 식별된 경우, 제어부(150)는 각각에 대해 Human.shortcloth의 값을 산출한다. 그리고 제어부(150)는 산출한 값에 따라 공기조화기의 송풍 온도, 풍량, 풍속, 또는 모드 등을 제어한다(S67).

도 8의 플로우에서 이미지 디스크립션은 이미지 내에 식별된 사람이 착용한 복장을 서술하는 단어를 포함할 수 있다. 또는 이미지 디스크립션에 별도의 복장 설명이 없는 경우 제어부(150)는 각각의 사람 별로 피부색의 노출을 확인한다. 그리고 제어부(150)는 확인한 결과를 이용하여 공간 내의 사람들이 짧은 소매의 옷을 입거나 짧은 반바지를 입었는지, 혹은 긴 소매/긴 바지를 입었는지를 확인한다.

도 9는 본 발명의 일 실시예에 의한 이미지 디스크립션의 과정을 보여준다. 도 9에 표시된 이미지에서 제어부(150)는 Person1으로 식별된 사람이 가까이, 중앙에서 왼쪽으로 치우쳐진 위치에 있는 것으로 식별한다(Person1, Near/Center-Left). 그리고 제어부(150)는 "Person1" 뒤에 배치된 소파(sofa)를 식별한다(Sofa, Behind of Person1). 제어부(150)는 소파 뒤에 Person2로 식별된 사람이 멀리, 오른쪽에 있는 것으로 식별한다(Person2, Far/Right).

이에, 제어부(150)는 Person1과 같이 이미지에서 중심에 위치한 사람 또는 이미지에서 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높인다. 예를 들어 제어부(150)는 이미지 디스크립션 결과 Person1은 여성이고 긴 옷을 입었다는 문장을 출력할 수 있다("Woman wears jacket"). 그리고 제어부(150)는 이미지 디스크립션 결과 Person2는 남성이고 짧은 소매를 입었다는 문장을 출력할 수 있다("Man wears short sleeves shirt").

이때, 제어부(150)는 가까이에 있거나 중심에 위치한 Person1에 대한 이미지 디스크립션의 중요도를 Person2에 대한 이미지 디스크립션의 중요도 보다 높게 처리한다. 그 결과 제어부(150)는 Person1에 대한 이미지 디스크립션에 기반하여 공기조화기를 제어할 수 있다.

또한, 이미지 디스크립션은 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함한다. 제어부(150)는 Person1이 Person2 보다 앞에 위치한다거나, Person1이 소파 앞에 위치하고, 소파가 Person2 앞에 위치한다는 이미지 디스크립션을 생성한다.

그리고 이들 사람들의 위치에 따라 제어부(150)는 공기조화기의 동작을 제어할 수 있다. 예를 들어 제어부(150)는 전방 중앙-좌측의 Person1을 향해 송풍할 수 있다.

도 10은 본 발명의 일 실시예에 의한 변화한 이미지에 중점을 둔 이미지 디스크립션의 과정을 보여준다. 도 9와 비교할 때, 도 10은 Person1이 왼쪽으로 이동한 상태이다.

제어부(150)는 제1시점에 획득된 제1이미지(도 9의 이미지)와 제1시점 이후의 제2시점에 획득된 제2이미지(도 10의 이미지)를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성한다. 즉, 소파나 Person2에 대해서는 변화가 없으므로 이미지 디스크립션을 생성하지 않고, 변화가 발생한 Person1에 대해서만 이미지 디스크립션을 생성한다. ("Woman wears jacket, Woman moves left.").

그리고 변화가 발생한 부분에 중점을 두어 제어부(150)는 공기조화기의 동작을 제어한다. 예를 들어 제어부(150)는 전방 좌측으로 이동한 Person1을 향해 송풍할 수 있다.

이를 위해 제어부(150)는 일정 시간 동안의 이미지를 저장할 수 있다. 1분 또는 5분 기간 내에 10초 간격으로 카메라부(110)가 이미지를 촬영하면, 제어부(150)는 이미지를 누적 저장한다. 그리고 누적된 이미지 별로 생성된 이미지 디스크립션을 저장한다.

이후 제어부(150)는 유사한 이미지가 획득되면 과거에 생성된 이미지 디스크립션을 이용하여 현재 획득된 이미지에 대한 이미지 디스크립션을 적용할 수 있다.

특히, 공기조화기가 설치된 공간에서 변화가 자주 발생하는 것은 사람이며, 소파나 창문, TV 등은 변화하지 않는다. 따라서 고정되거나 거의 움직이지 않는 사물에 대한 이미지 디스크립션은 제어부(150)가 반복 확인한 후 저장할 수 있다.

예를 들어, 제어부(150)는 반복된 이미지 디스크립션에서 추출된 사물들에 대한 정보를 다음과 같이 저장할 수 있다.

Name	Position	Description
Sofa	Near, Left	Sofa is located on the left.
TV	Far, Center	TV is located on the wall.

그리고 이후 사람들의 위치를 확정함에 있어서 제어부(150)는 소파와 TV의 위치를 반영할 수 있다. 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다. 이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

Claims

공기를 토출하는 송풍부;
공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 카메라부; 및
상기 카메라부가 획득한 이미지에서 특징을 추출하여 이미지 디스크립션을 생성하고 상기 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 제어부를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 제어부는
상기 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 인코더; 및
상기 특징 벡터를 입력받아 단어를 포함하는 상기 이미지 디스크립션을 산출하는 디코더를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 제어부는 상기 이미지 디스크립션을 이용하여 상기 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람에 대한 속성 정보 또는 상기 이미지 내에 식별된 사람이 수행하는 동작에 대한 단어 또는 상기 사람을 서술하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람이 착용한 복장을 서술하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 제어부는 상기 이미지에서 중심에 위치한 사람 또는 상기 이미지에서 상기 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높이는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
제1항에 있어서,
상기 제어부는 제1시점에 획득된 제1이미지와 상기 제1시점 이후의 제2시점에 획득된 제2이미지를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성하는, 사용자의 행동 패턴을 분석하여 동작을 제어하는 공기조화기.
공기조화기의 카메라부가 상기 공기조화기의 실내기가 배치된 공간의 이미지를 획득하는 단계;
상기 공기조화기의 제어부가 상기 카메라부가 획득한 이미지에서 특징을 추출하는 단계;
상기 제어부가 상기 추출한 특징에 기반하여 상기 이미지를 설명하는 이미지 디스크립션을 생성하는 단계;
상기 제어부가 상기 이미지 디스크립션에 대응하여 생성된 파라미터를 이용하여 공기조화기를 제어하는 단계를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
제9항에 있어서,
상기 제어부의 인코더가 상기 이미지를 입력받아 특징을 추출하여 특징 벡터를 산출하는 단계;
상기 제어부의 디코더가 상기 특징 벡터를 입력받아 단어를 포함하는 상기 이미지 디스크립션을 산출하는 단계를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
제9항에 있어서,
상기 제어부가 상기 이미지 디스크립션을 이용하여 상기 공기조화기가 토출하는 공기의 풍속, 풍량, 풍향, 온도 또는 공기조화기의 동작 모드 중 어느 하나 이상을 제어하는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
제9항에 있어서,
상기 이미지 디스크립션은 상기 이미지 내에 식별된 사람의 위치에 대응하는 단어를 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
제9항에 있어서,
상기 제어부가 상기 이미지에서 중심에 위치한 사람 또는 상기 이미지에서 상기 공기조화기에 가까이 위치한 사람에 대한 이미지 디스크립션의 중요도를 높이는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.
제9항에 있어서,
상기 제어부가 제1시점에 획득된 제1이미지와 상기 제1시점 이후의 제2시점에 획득된 제2이미지를 비교하여 변화가 발생한 부분의 이미지 디스크립션을 생성하는 단계를 더 포함하는, 사용자의 행동 패턴을 분석하여 공기조화기의 동작을 제어하는 방법.