KR102121785B1 - 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법 - Google Patents

Abstract

본 발명은 인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법에 관한 기술로, 본 발명의 일 실시예에 의한 지시된 위치로 풍향을 제어하는 에어컨은 에어컨 내의 카메라부가 촬영한 이미지 내의 객체를 인식하는 객체 인식부와 객체를 지시하는 음성 명령을 수신하는 음성 인식부, 그리고 음성 명령에 포함된 객체의 위치로 송풍부의 바람을 보내도록 제어하는 제어부를 포함한다.

Description

인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법{AIR-CONDITIONER CONTROLLING DIRECTION OF THE WIND USING ARTIFICIAL INTELLIGENCE BY INSTRUCTED POSITION AND METHOD OF CONTROLLING THEREOF}

본 발명은 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법에 관한 기술이다.

공기조화기는, 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절하고, 실내 공기를 정화하도록 함으로서 인간에게 보다 쾌적한 실내 환경을 제공하기 위해 설치된다.

일반적으로 공기조화기는, 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다.

한편, 공기조화기는, 실내기 및 실외기가 분리되어 제어될 수 있다. 또한 공기조화기는, 실외기에 적어도 하나의 실내기가 연결될 수 있으며, 요청되는 운전 상태에 따라, 실내기로 냉매를 공급하여, 냉방 또는 난방모드로 운전된다.

또한, 공기조화기의 실내기는 특정한 온도로 실내 공기를 변화시키기 위해 설정된 방향으로 바람을 제공한다. 그런데, 이러한 설정은 사용자의 제어를 필요로 한다는 점에서 문제가 있다. 과거, 본 발명의 출원인이 출원하였던 출원번호 10-2008-0012758의 발명을 살펴보면, 에어컨에 설치된 카메라를 이용하여 획득한 2차원 이미지에서 사람을 검출하는 내용이 제시된다. 도 1에서 보다 상세히 살펴본다.

도 1은 종래에 공기 조화기가 인체의 위치를 판단하여 풍향을 조절하는 과정을 보여주는 도면이다. 카메라로부터 실내 영상이 촬영되면(S1) 촬영된 영상을 영상처리하여 판독 가능한 디지털 신호로 변환되어 영상데이터가 생성된다.

그리고 인체를 감지하여(S2) 재실자가 감지된 경우, 영상데이터 내에서 인체인 것으로 추정되는 영상영역의 최하단의 좌표를 측정하여 검출하고(S3), 기 저장된 좌표데이터를 이용하여, 검출된 좌표에 따른 실내영역에서의 실제 위치를 산출하고, 재실자의 위치를 판단한다(S4, S5). 그리고 풍향 및 온도를 조절한다(S6).

도 1의 종래 기술은 카메라를 통해 사람의 위치나 거리를 판단하여 해당 방향으로 바람을 보내는 방식이다. 그런데, 개인 취향에 따라 에어컨 바람을 원하는 경우도 있지만 절대 원하지 않는 경우도 있다. 종래 기술은 사용자의 의도와는 상관없이 무조건 사용자에게 바람을 보내도록 제어되므로 사용자가 번거롭지 않게 사용할 수 있는 편의성, 모든 사람들이 사용 가능한 일반성 측면에서 사용자 요구를 충족시키지 못한다.

이에, 사용자가 원하는 방식으로 에어컨이 송풍할 수 있도록 제어하되, 사용자가 원격에서도 방향을 정확하게 조절할 수 있는 방법이 필요하다.

본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 공기조화기의 팬을 조절하지 않고 사용자가 원하는 위치를 에어컨에게 제공하여 에어컨의 풍향을 조절하는 에어컨 및 풍향을 제어하는 방법을 제공하고자 한다.

본 명세서에서는 사용자가 음성을 통해서 특정한 위치를 발성하고 에어컨이 이에 대응하여 풍향을 조절하는 방안을 제공하고자 한다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명의 일 실시예에 의한 지시된 위치로 풍향을 제어하는 에어컨은 에어컨 내의 카메라부가 촬영한 이미지 내의 객체를 인식하는 객체 인식부와 객체를 지시하는 음성 명령을 수신하는 음성 인식부, 그리고 음성 명령에 포함된 객체의 위치로 송풍부의 바람을 보내도록 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 지시된 위치로 풍향을 제어하는 에어컨은 에어컨 내의 카메라부가 촬영한 이미지 내의 특정한 위치를 선택한 정보가 통신 장치로부터 수신하는 통신부와, 이미지 내의 위치에 대응하여 송풍부의 바람을 보내도록 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 의한 지시된 위치로 에어컨의 풍향을 제어하는 방법은 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 포함된 이미지를 촬영하여 이미지 내에 객체를 인식하는 단계와, 상기 객체 중 사람을 지시하는 음성 명령어가 입력되면 둘 이상의 음성 인식부에 음성이 인식되는 시간차 및 객체 인식된 결과를 이용하여 송풍부의 바람을 보내도록 제어하는 단계를 포함한다.

본 발명의 실시예들을 적용할 경우, 공기조화기의 팬을 조절하지 않고 실내의 특정한 위치를 사용자가 음성 입력하여 사용자가 원하는 위치를 향해 에어컨이 송풍하여 정확하고 쾌적하게 에어컨 바람을 제공할 수 있다.

본 발명의 실시예들을 적용할 경우, 둘 이상의 사용자가 위치한 상태에서 음성으로 사람을 기준으로 하는 위치를 입력할 경우, 에어컨은 실내 객체들의 위치에서 사람의 위치를 판별하고 음성이 입력된 시간차이를 이용하여 해당 사용자의 음성 명령에 적합하게 풍향을 조절할 수 있다.

본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.

도 1은 종래에 공기 조화기가 인체의 위치를 판단하여 풍향을 조절하는 과정을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 에어컨 시스템의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 객체 식별 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 거실 내에 배치된 에어컨이 거실 내 객체들의 위치를 산출하여 이에 대응하는 바람의 벡터를 설정한 구성을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 사용자가 앱을 통하여 객체를 인식하도록 명령하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 통신 장치에 표시된 이미지를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 도 7의 이미지에 각 지점별 그리드 및 이에 대응하는 벡터 정보를 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 그리드 방식의 제어를 수행하는 과정을 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 의한 명령자의 위치를 파악하는 과정을 보여주는 도면이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.

본 명세서에서는 객체 인식(또는 감지)(object detection) 알고리즘을 기반으로, 에어컨에 설치된 카메라를 통해 획득한 이미지 내의 다양한 물체들의 종류와 위치를 찾아낸다. 또한 음성인식 기능을 제공하여 사용자가 특정 물체를 말하면 이미지 내의 해당 물체의 실제위치가 계산되어 물체의 방향으로 에어컨 바람 방향이 제어된다.

뿐만 아니라, 사용자가 소지한 스마트폰 또는 태블릿 컴퓨터, 또는 TV와 같이 영상의 디스플레이 기능을 가지는 장치에 에어컨의 카메라가 촬영한 영상을 출력하여 사용자가 카메라가 촬영한 이미지에서 특정 위치를 선택 또는 터치하면 해당 방향의 실제 위치가 계산되어 그 위치로 에어컨 바람 방향이 제어될 수 있도록 한다. 그 결과, 이를 통해 사용자는 편리하게 원하는 방향으로 바람을 제어할 수 있다.

도 2는 본 발명의 일 실시예에 의한 에어컨 시스템의 구성을 보여주는 도면이다. 도 2의 구성을 살펴보면, 에어컨(100)을 구성하는 구성요소들이 제시된다. 카메라부(110)는 에어컨의 송풍부(15)가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영한다. 객체 인식부(130)는 이미지에서 객체를 인식한다.

보다 상세히 객체인식부(130)는 카메라부(110)가 촬영한 이미지를 다수 저장하는 이미지 데이터 수집부(132), 수집된 이미지 데이터에서 객체를 구분하여 하나 이상의 식별 정보로 저장하는 식별 정보 생성부(134), 이미지 상에 배치된 각각의 구분된 객체에게 송풍하기 위한 방향 벡터를 생성하는 연산부(136)를 포함할 수 있다.

그리고 음성 인식부(120)는 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신한다. 객체를 식별하는 식별 정보란, 객체의 명칭, 객체의 색상, 객체의 높이 혹은 면적, 또는 객체가 포함된 사물의 카테고리 등이 될 수 있다. TV, 소파, 커튼 등이 될 수 있다. 사람을 지시할 수도 있고 "TV 위쪽으로"와 같이 특정한 방향을 제시할 수 있다. "나에게"와 같이 객체 중 자신을 지시하도록 식별 정보가 포함된 음성 명령 역시 인식될 수 있다.

이후, 제어부(150)는 음성 명령에 포함된 객체의 식별 정보와 이미지에서 인식된 객체를 비교하여 객체를 기준으로 음성 명령에서 지시된 방향으로 송풍부(15)가 바람을 보내도록 제어한다.

통신부(180)는 외부의 서버 또는 통신 장치와 통신을 수행할 수 있다. 일 실시예로 통신부(180)는 객체인식부(130)가 객체를 인식하는데 필요한 데이터를 서버로부터 수신하여 객체인식부(130)에 제공할 수 있다. 또는 외부의 통신 장치(태블릿, 노트북, TV, 스마트폰 등)에게 카메라부(110)가 촬영한 이미지 또는 이미지 내에서 인식된 객체의 이미지(또는 객체의 식별 정보)를 전송할 수 있다.

이 경우, 사용자는 통신 장치에서 이미지 상의 특정 위치 정보(좌표 정보)를 터치 등으로 선택하거나, 특정한 객체를 선택한 정보가 통신부(180)에 전송될 수 있다. 이러한 정보에 기반하여 제어부(150)는 통신 장치에서 선택된 객체를 기준으로 지시된 방향으로 송풍부(15)가 바람을 보내도록 제어할 수 있다.

또는 카메라부(110)가 촬영한 이미지에 대하여 별도의 객체 인식 과정 없이 전체 이미지를 그리드 단위로 나누어 사용자가 특정한 그리드 단위를 선택하면 해당 그리드 방향으로 송풍하도록 제어부(150)가 제어할 수 있다.

인터페이스부(140)는 현재 동작 상황을 표시하거나 외부로부터 온/오프를 할 수 있도록 버튼을 제공하는 등의 기능을 제공한다.

도 3은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다. 카메라부(110)가 이미지를 촬영한다(S21). 이미지의 촬영은 일정 시간동안 반복하여 이루어질 수 있다. 이 과정에서 객체 인식부(130)는 변화가 발생한 객체와 변화가 발생하지 않은 객체를 식별할 수 있다.

예를 들어, 소파나 TV 등의 가구나 붙박이식 전자제품의 경우 한번 설치되면 위치에 있어서 변화가 없다. 반면, 전등의 경우 켜지고 꺼지는 변화가 있다. 그리고 커튼이나 블라인드 역시 매번 상이한 형상으로 이미지로 촬영될 수 있다.

객체 인식부(130)는 누적된 이미지들을 이용하여 객체 인식을 위한 학습을 진행한다(S22). 특히, 식별 정보 생성부(134)는 이미지를 구별하기 위해 외부로부터 정보를 이용할 수 있다.

일 실시예로, 식별 정보 생성부(134)는 통신부(180)를 통해 외부의 서버나 통신 장치들로부터 이미지를 다수 수신할 수 있다. 그리고 수신한 이미지에는 이미지를 설명하는 메타 정보가 포함될 수 있다.

식별 정보 생성부(134)는 카메라부가 촬영하지 않고 외부로부터 전달된 이미지 및 상기 이미지에 대한 메타 정보에 기반하여 학습을 진행할 수 있다. 일 실시예로 카메라부에서 촬영한 이미지와 외부의 데이터를 지속적으로 누적하여 이들 중에서 유사성이 있는 객체들을 확인하여 해당 객체의 식별 정보를 설정할 수 있다(S23).

예를 들어, 에어컨이 배치될 수 있는 다양한 실내 촬영 이미지들이 외부 데이터로 식별 정보 생성부(134)에 제공될 수 있다. 그리고 외부 데이터에는 촬영된 객체에 대한 식별 정보도 메타 정보로 포함될 수 있다. 식별 정보 생성부(134)는 일정 기간 동안 누적하여 각 이미지들을 학습할 수 있다.

특히, 이미지 내에서 각각의 객체를 구분하였으나 각 객체가 어떤 사물인지 확인되지 않은 경우, 외부의 다른 이미지들과 지속적으로 비교하여 해당 객체에 대한 식별 정보를 산출할 수 있다. S22 및 S23 과정에서 객체의 판별이 이루어지면, 객체 인식부(130)는 해당 객체의 위치 정보를 확인할 수 있다.

에어컨에 배치된 카메라부(150)를 통해 수집한 이미지, 그리고 외부의 웹사이트에서 수집한 이미지 및 메타 정보, 혹은 해당 공간의 사용자의 스마트폰, 태블릿 컴퓨터 등에 저장된 이미지 및 메타 정보 등을 객체 인식부(130)가 이용할 수 있다.

이 과정에서 객체 인식(object detection)을 위해 다양한 알고리즘(Faster RCNN, YOLOv2, Mask RCNN)을 적용할 수 있으며, 식별 정보 생성부(134)는 이들 알고리즘을 적용하여 객체를 감지하기 위한 모델을 내장하고 학습할 수 있다. 객체가 구별된 경우, 해당 객체의 종류나 카테고리, 그리고 공간 내에서의 위치를 객체인식부(130)가 확인할 수 있다.

객체의 위치는 X-Y 축에 기반한 2차원 위치 정보(상하-좌우)를 산출할 수 있다. 또는 카메라부(150)외에 별도의 뎁스 카메라부를 더 포함하여 각 객체에 대한 뎁스 정보를 산출하여 Z정보(거리)를 산출할 수도 있다. 이 경우, 제어부(150)는 풍향뿐만 아니라 풍속 또는 풍량을 객체의 위치에 따라 제어할 수 있다.

예를 들어, 가까이 있는 객체를 타겟으로 송풍이 지시된 경우, 제어부(150)는 작은 풍속과 작은 풍량으로 송풍할 수 있으나, 멀리 있는 객체를 타겟으로 송풍이 지시된 경우, 제어부(150)는 큰 풍속과 큰 풍량으로 송풍할 수도 있다.

도 4는 본 발명의 일 실시예에 의한 객체 식별 과정을 보여주는 도면이다. 도 4에서 이미지 데이터 수집부(132)는 이미지 데이터를 수집한다(S31). 이때 수집은 에어컨이 배치된 공간 내에서 촬영된 이미지 데이터를 수집(input data)하는 것과 외부로부터 학습 모델 생성을 위해 다양한 환경에서 촬영된 다양한 이미지를 수집(learning data)하는 것을 모두 포함한다.

수집된 이미지는 식별 정보 생성부(134)에 입력되고(S32), 식별정보 생성부(134)는 학습 및 모델을 생성한다(S33).

학습은 1회 모델을 생성한 후 N일 주기로 반복될 수도 있다. 에어컨의 카메라부(110)를 통해 이미지 데이터 수집부(132)는 다양한 물체를 포함한 이미지를 일정량 이상 확보한다. 이 과정에서 촬영하지 않은 외부의 이미지 역시 학습을 위해 포함될 수 있다.

식별 정보 생성부(134)는 딥러닝을 일 실시예로 하는 학습 기반 객체 인식을 위해 Faster RCNN, YOLO9000, Mask RCNN 등을 적용하여 수집한 이미지를 학습하여 모델을 생성한다. 일정 신뢰도 이상이 될 때까지 학습은 반복된다.

이후 객체 식별 및 식별 정보를 생성한다(S34). 이때 객체 식별에서 산출되는 정보는 해당 객체의 명칭이나 카테고리, 위치 등이 될 수 있다. 뿐만 아니라 식별 정보는 컬러 정보도 포함될 수 있다. 예를 들어 사용자가 "쇼파로 바람을 보내" 라고 말할 수 있으나. "왼쪽 검은 색 쪽으로 바람을 보내"라고 음성 명령이 인식될 수 있다.

따라서, 객체에 대한식별 정보는 위치 정보와 컬러 정보, 또는 높이 정보 등 다양하게 객체를 식별할 수 있는 정보를 포함한다. 식별정보 생성부(134)는 식별된 객체 정보를 연산부(136)에 제공하고(S35) 연산부(136)는 각 객체에 대응하는 방향 벡터를 생성한다(S36).

방향 벡터는 식별된 객체 정보와 한 쌍으로 방향 테이블을 구성할 수 있다. N시간 주기로 생성하되 명령 입력 시마다 변화에 대응하여 새로이 생성할 수 있다. 식별 정보 생성부(134) 내에 일정 신뢰도 이상의 학습모델이 생성되면 촬영된 이미지가 들어왔을 경우 식별 정보 생성부(134)는 이미지 내에서 인식된 물체의 위치를 연산부(136)에 전달한다.

같은 종류의 물체가 인식되었을 경우 왼쪽부터 식별 번호를 할당할 수 있으며 같은 객체임을 연산부(136)에 지시할 수 있다. 연산부(136)는 이미지 상의 각 객체들의 위치(X, Y)를 에어컨 날개 기준 방향벡터로 변환하여 테이블을 생성한다.

여기서 에어컨이 설치된 공간의 물체의 위치의 변경 주기는 최소한 N시간 이상이므로 N시간에 1번씩 방향 테이블을 갱신하거나, 또는 사람을 인식하기 위해 바람방향전환 명령이 들어왔을 때마다 갱신할 수 있다.

이 과정에서 주로 고정된 객체(쇼파, TV)와 변화가 발생하는 객체(커튼, 전구) 등에 대해 정보가 누적될 수 있으며, 변화가 발생하지 않는 객체에 대해서는 한번 객체 식별 정보를 생성한 후 별도로 업데이트하지 않을 수 있다.

객체 대응 방향 벡터가 포함된 테이블이 생성되면, 사용자가 에어컨 바람 방향의 변경을 원할 경우 음성으로 물체의 종류를 말하거나 앱에서 물체의 종류를 터치를 통해 명령을 내린다(S38). 제어부(150)는 연산부(136)의 방향 테이블 내에 저장된 방향 벡터를 이용하여 에어컨 바람의 전환 방향을 판단하여 송풍부(15)를 제어하여 바람방향을 지시된 객체의 방향으로 변경한다(S39).

도 5는 본 발명의 일 실시예에 의한 거실 내에 배치된 에어컨이 거실 내 객체들의 위치를 산출하여 이에 대응하는 바람의 벡터를 설정한 구성을 보여주는 도면이다.

40a는 거실 내의 이미지를 촬영하여 각 객체를 식별한 도면이다. 전구(41), TV(42), 커튼(43, 44), 의자(45), 테이블(46), 쇼파(47)의 주변에 사각형이 표시되어 객체로 인식되었음을 보여준다. 이들 각 객체들의 이미지 내에서의 위치 및 이들 객체로 송풍하기 위한 벡터 값은 40b와 같이 표시되어 있다.

따라서, 사용자가 "전구 쪽으로 냉풍" 이라 명령어를 입력하면 제어부(150)는 송풍부(15)의 팬을 위로 47, 우측으로 12만큼 방향을 제어한 뒤, 바람을 보내도록 할 수 있다.

도 5와 같은 구성에서 사용자가 음성 명령을 통해 바람을 전환하고 싶은 방향에 배치된 객체의 명칭을 발성하면 에어컨은 음성에서 객체를 인식한 후 해당 방향으로 바람방향을 변경한다. 이 때 물체는 에어컨 카메라 이미지 내에 포함된 물체이며 객체 인식을 통해 각 객체의 위치가 확보된 상태이다.

도 6은 본 발명의 일 실시예에 의한 사용자가 앱을 통하여 객체를 인식하도록 명령하는 과정을 보여주는 도면이다. 스마트폰을 일 실시예로 하는 통신장치(200)의 앱에서 "Detection" 버튼(51)을 선택하면 에어컨의 카메라부(110)가 객체들을 촬영하고 도 4의 과정을 거쳐서 53과 같이 공간 내의 객체들의 정보를 출력한다. 여기서 카메라부(110) 및 객체인식부(130)가 객체를 인식하는 과정을 보여주기 위해 52와 같이 현재의 객체 인식 진행 상태를 표시할 수 있다.

사용자는 53에 표시된 객체들 중에서 특정한 객체를 선택하면, 해당 객체의 방향으로 에어컨 바람 방향이 변경될 수 있다. 특정한 객체 둘 이상을 선택하면, 선택된 객체들을 바람이 송풍할 수 있는 방향의 범위로 제어부(150)가 판단하여 바람이 회전하며 송풍될 수 있도록 한다.

예를 들어 도 5와 같은 배치에서 사용자가 의자와 쇼파를 선택한 경우, 제어부(150)는 의자와 쇼파를 바람을 보낼 수 있는 경계로 설정하여 쇼파와 의자 사이로 좌우 회전하며 바람을 송풍할 수 있도록 한다. 마찬가지로 전구와 테이블을 선택한 경우, 제어부(150)는 전구와 테이블 사이로 상하 회전하며 바람을 송풍할 수 있도록 한다.

도 6에서 사람 1 및 사람 2는 현재 인식된 객체들 중에서 사람을 판단하여 인식된 객체를 의미한다. 53의 출력 방식으로 사람 1 및 사람 2 대신, "에어컨에 근접한 사람"과 "에어컨에서 멀리 있는 사람"으로 보다 쉽게 확인할 수 있도록 출력하는 것을 다른 실시예로 한다.

도 6의 실시예를 살펴보면, 통신부(180)는 인식된 객체에 대한 정보를 통신장치(200)에게 전송한다. 이때, 객체의 식별 정보(명칭)을 전송할 수도 있고 객체의 이미지를 전송할 수도 있다. 그리고 통신부(180)는 통신장치(200)로부터 특정 객체에 대한 선택 정보를 수신한다. 통신부(180)가 수신한 선택 정보에 기반하여 제어부(150)는 선택된 객체를 기준으로 지시된 방향으로 송풍부가 바람을 보내도록 제어할 수 있다.

도 3 내지 도 6의 실시예에서는 에어컨에 배치된 카메라부(110)를 통해 이미지를 획득하고, 객체 인식 알고리즘을 통해 해당 이미지에서 어느 위치에 어떤 객체가 있는지에 대한 정보를 생성한다. 이미지는 2차원 데이터이므로 객체와 에어컨 사이의 방향 예측이 가능하다. 또한, 사용자가 음성으로 특정 객체의 명칭을 발화하며 해당 객체로 바람을 보내라고 말하거나, 도 6에서 살펴본 바와 같이 앱을 통해 객체를 선택할 경우 해당 객체의 방향으로 에어컨 방향이 전환될 수 있다.

한편, 본 발명의 다른 실시예에 의하면, 그리드 기반으로 이미지를 사용자의 통신 장치(200)에게 제공하고, 사용자가 이미지 중에서 특정 위치를 선택하여 바람의 방향을 제어할 수 있다.

도 7은 본 발명의 일 실시예에 의한 통신 장치에 표시된 이미지를 보여주는 도면이다. 통신장치(200)는 에어컨의 통신부(180)로부터 에어컨의 카메라부(110)가 촬영한 이미지를 확인할 수 있다 여기에는 각 객체들에 대한 인식 과정 없이 카메라부(110)가 촬영한 이미지만이 표시된다. 이 이미지 상에서 사용자가 특정 위치를 선택하고 하단의 "방향 적용" 버튼을 누르면 선택한 방향으로 송풍부(15)의 바람이 제공된다.

이는 카메라부(110)와 물체 사이에 방향이 같은 경우 거리와 무관하게 같은 이미지 상의 방향으로 투영되므로, 사용자는 특정한 지점을 선택함으로써 에어컨의 바람을 제어할 수 있다.

도 8은 본 발명의 일 실시예에 의한 도 7의 이미지에 각 지점별 그리드 및 이에 대응하는 벡터 정보를 보여주는 도면이다. 도 7의 이미지에 대해 도 8과 같이 제어부(150)는 각 이미지 별로 7x6의 그리드를 설정한 정보를 저장할 수 있다. 도 8의 그리드는 사용자에게 표시되지 않을 수 있다. 그리드의 식별 정보(G00~~G41) 및 각 그리드에 대응하는 에어컨 바람의 방향이 그리드 테이블(60)에 표시된다.

사용자가 특정 그리드를 선택할 경우, 해당 그리드 좌표가 통신 장치(200)에서 통신부(180)를 통해 제어부(150)에게 제공되면, 제어부(150)는 그리드 테이블(60)에서 선택된 그리드에 대한 벡터 정보를 추출하여 벡터 정보에 대응하여 바람의 방향을 제어할 수 있다. 즉, 제어부는 각각의 그리드에 대해 에어컨 날개 기준 방향값(또는 해당 방향으로 제어하기 위해 추가 연산된 값)을 구하여 그리드 테이블(60)을 만들 수 있다.

여기서 카메라부(110)가 다양한 각도로 회전이 가능하다면, 카메라부(110)의 회전에 대응하여 촬영된 이미지에 대응하여 별도의 그리드 테이블(60)을 제어부(150)가 생성할 수 있다.

도 9는 본 발명의 일 실시예에 의한 그리드 방식의 제어를 수행하는 과정을 보여주는 도면이다.

카메라부(110)가 이미지를 촬영하고 통신 장치(200)에 이미지를 송신한다(S61). 그리고, 송신과 독립적으로 제어부(150)는 이미지를 그리드로 변환한다(S62). 이후 제어부(150)는 각 그리드에 대응하는 에어컨의 송풍 방향을 매핑하여 그리드 테이블(60)을 생성한다(S63). 한편, 이미지를 수신받은 통신 장치(200)로부터 통신부(180)가 사용자가 이미지의 한 지점 또는 두 지점, 또는 그 이상의 지점 등에 대한 좌표 정보를 수신한다(S64). 제어부(150)는 좌표 정보에 대응하는 그리드에 설정된 방향으로 송풍을 제어한다(S65).

카메라부(110)가 고정된 경우, 카메라부(110)가 촬영하는 이미지의 방향은 고정될 수 있으므로, 이를 기반으로 하는 그리드 테이블 역시 고정될 수 있다. 반면 카메라부(110)가 회전 가능한 경우, 카메라부(110)가 회전하며 촬영한 이미지에 대해 카메라부(110)의 회전 각도를 적용하여 그리드 테이블을 생성할 수 있다.

사용자가 한 곳을 터치한 경우 해당 방향으로 에어컨의 송풍부(15)의 팬을 회전시켜 바람의 방향을 변경할 수 있다. 두 지점을 선택한 경우, 제어부(150)가 두 지점을 각각 엔드 포인트(end point)로 하여 송풍부(15)과 좌우 혹은 상하 등으로 회전할 수 있도록 제어한다. 세 지점 혹은 그 이상을 선택한 경우, 제어부(150)가 에어컨의 송풍부(15)의 팬이 세 지점을 타겟으로 번갈아 방향을 변경하며 송풍하도록 제어할 수 있다.

예를 들어, 도 8에 살펴본 바와 같이, 좌측 최상단 그리드를 G00, 우측 최상단 바로 아래의 그리드를 G13이라 지정하며, 사용자가 G00만을 선택한 경우 그리드 테이블(60)의 정보에 따라 에어컨은 위로 30도, 왼쪽으로 45도 팬의 방향을 변경하여 송풍한다. 또한, 통신 장치(200)에서 G00 및 G13을 터치한 경우 에어컨의 송풍부는 위로 30도 및 왼쪽 45도 지점에서 위로 15도 및 우측으로 45도의 각도 범위 내에서 회전하며 송풍할 수 있다.

또한, 동작 과정에서 특정 지점을 사용자가 터치하여 바람의 세기를 증가시키거나 혹은 에어컨의 송풍을 중단시킬 수도 있다. 혹은 이미지 상에서 에어컨의 온/오프를 제어하는 버튼을 별도로 추가하여 통신 장치(200)를 이용하여 사용자가 원격에서 에어컨을 온/오프 할 수 있다.

도 7 내지 도 9를 정리하면 다음과 같다. 통신부(180)는 카메라부(110)가 촬영한 이미지를 통신 장치(200)에게 전송하고, 통신 장치(200)로부터 이미지 내의 특정한 좌표 정보를 수신한다. 제어부(150)는 선택된 좌표 정보를 기준으로 지시된 방향으로 송풍부가 바람을 보내도록 제어한다. 이 과정에서 둘 이상의 좌표가 선택된 경우, 해당 좌표를 송풍 방향의 끝단으로 하여 회전하며 송풍할 수 있도록 한다.

제어부(150)는 이미지를 둘 이상의 그리드로 구분하여 각각의 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성한다. 그리고 통신부(180)는 이미지를 외부의 통신 장치에게 송신하고, 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신한다. 그리고 제어부는 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 송풍부(15)가 바람을 보내도록 제어한다.

도 7 내지 도 9의 실시예를 적용하면, 에어컨의 카메라부(110)가 획득한 이미지를 제어부(150)가 K개의 그리드로 분할한다. 그리고 각각의 그리드들에 대하여 에어컨 날개를 기준으로 방향 벡터(또는 방향전환을 위한 제어값)와 매칭시켜 60과 같이 그리드 테이블을 생성한다. 여기서도 앞서 객체 인식과 마찬가지로 객체와 카메라 간 거리와는 상관없이 방향성을 산출할 수 있다.

즉, 같은 방향일 경우 같은 픽셀에 프로젝션된다. 그 결과 사용자는 도 7 및 도 8과 같이 앱에서 확보한 이미지에서 원하는 위치를 터치하면 제어부(150)는 터치된 그리드에 해당하는 벡터 값을 이용하여 해당 위치로 에어컨 바람 방향이 전환되도록 송풍부(15)를 제어한다. 이 과정에서 이미지 내에서 위치 2곳을 터치하면 해당 위치 2곳을 엔드 포인트로 설정하여 에어컨 바람이 회전하며 송풍된다. 추가적으로 일정 시간동안 터치횟수를 증가시킬 경우 바람세기를 변화시킬 수도 있다. 물론, 이러한 엔드 포인트를 설정하는 방식에서 음성으로도 입력할 수 있다. "쇼파에서 TV까지 회전 냉풍"가 같이 음성 입력하여 두 곳 사이에서 바람이 회전할 수 있도록 제어한다.

사용자가 거실에 다수 있을 경우, 도 6과 같이 인식된 객체 중에 사람 1/사람 2로 표시될 수 있다. 이 경우, 특정인이 "나에게 바람을 보내"라고 명령어를 입력하면, 제어부(150)는 두 명의 사람들 중 누구에게 바람을 보낼 것인지를 판단해야 한다. 이를 위해 에어컨에 둘 이상의 음성 인식부를 배치할 수 있다.

도 10은 본 발명의 일 실시예에 의한 명령자의 위치를 파악하는 과정을 보여주는 도면이다. 예를 들어, 에어컨의 좌우에 각각 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 배치된 것을 일 실시예로 한다. 그리고 음성이 인식되면 각 음성 인식부들(120a, 120b)이 음성을 인식한 시간을 구별하여 발화자의 위치를 확인할 수 있다.

예를 들어, 도 5와 같은 이미지에서 소파(47)에 사람1이 있고 의자(45)에 사람 2가 위치한 실시예를 가정한다. 두 사람이 객체로 인식된 상태에서 "나에게 바람보내", "바람을 보내", "사람" 등과 같은 음성 명령이 인식되면, 특정한 사람에게 바람 방향을 전환해야 한다. 이 과정에서 제1음성 인식부(120a) 및 제2음성 인식부(120b)에 음성이 입력된 시간차를 계산하면 사람의 방향을 확인할 수 있다.

만약, 도 5의 구성에서 의자(45)에 사람 2가 위치한 경우 도 10과 같이 에어컨의 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 동시에 음성을 인식할 수 있다. 반면, 소파(47)에 사람 1이 위치한 경우, 도 10과 같이 제1음성 인식부(120a)에 먼저 음성이 입력될 수 있다.

따라서 제어부(150)는 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 음성을 인식한 시간 차와 이미지 내에서 사람으로 객체 인식된 위치를 확인하여 명령어를 음성으로 입력한 사람의 위치를 확인하여 해당 방향으로 송풍 방향을 조절할 수 있다.

정리하면, 다음과 같다. 제1음성 인식부(120a)는 제1방향으로부터 발화된 음성을 제2음성 인식부(120b) 보다 먼저 수신하도록 배치된다. 그리고 제2음성 인식부(120b)는 제2방향으로부터 발화된 음성을 제1음성 인식부(120a) 보다 먼저 수신하도록 배치된다. 그리고 제어부(150)는 제1음성 인식부(120a) 및 제2음성 인식부(120b)에서 인식된 음성의 시간차에 따라 제1방향 또는 제2방향 이들 사이의 중간의 방향으로 바람을 보내도록 제어할 수 있다.

종래에는 에어컨의 풍향을 변경하기 위해서는 리모컨 버튼을 이용하여 원하는 방향으로 조절하여, 대기하며 팬이 회전하여 원하는 방향에 바람이 도달할 때 풍향의 전환을 스탑시킬 수 있었다. 이 과정에서 원하는 방향으로 조절하는데 있어 시간이 소요되며 또한 방향을 설정하는데 있어서도 조절 시간 차로 인해 방향 설정이 정확하게 이루어지지 않는 문제가 있었다. 또한, 에어컨에 대해서는 회전 또는 특정 방향으로의 송풍과 같이 두 개의 옵션 중에서만 선택이 가능하다는 한계가 있었다.

반면, 본 발명의 실시예를 적용할 경우, 원하는 방향으로 에어컨 바람을 제어할 수 있으며, 특정한 두 지점을 선택하여 에어컨의 회전 각도의 범위를 설정할 수도 있다. 즉, 에어컨의 바람 방향을 설정함에 있어서 본 발명의 실시예들은 편의성을 증가시킨다.

또한 무조건적으로 사람을 향해 송풍 방향을 제어하는 것이 아니라, 사용자의 지시에 따라 송풍 방향을 제어할 수 있다. 예를 들어, 도 10의 구성에서 사람 1이 "내게 바람을 보내"라고 음성 명령을 내리고, 사람 2가 "내겐 바람을 보내지 마"라고 음성 명령을 내리면, 에어컨은 사람 1의 방향으로만 송풍하도록 제어된다. 따라서, 사람에 따라 무조건 송풍되는 것이 아니라, 사용자의 지시에 따라 다변화시킬 수 있다.

본 발명을 적용할 경우, 무조건적인 인체 감지를 통해 사람에게 바람을 송풍하는 대신, 사용자의 음성 명령 또는 앱을 통한 터치 선택에 기반하여 더 편리하고, 더 직관적으로, 더 정확하게 에어컨의 바람 방향을 조절할 수 있다. 또한, 에어컨의 객체 인식부(130)가 인식한 객체를 앱을 통해 사용자가 확인할 수 있다.

본 발명의 실시예를 적용하면, 에어컨의 카메라를 통해 이미지를 획득하고, 객체 인식 알고리즘을 통해 이미지 내에 어떤 물체가 어느 위치에 있는지 알아낸다. 그 후 이미지 상의 위치와 에어컨의 방향간의 관계를 수식화한다.

그리고 사용자가 에어컨에 음성을 통해 물체를 말하거나 앱에서 물체를 입력하면 에어컨은 해당 물체의 방향으로 바람을 보낼 수 있다. 따라서, 에어컨 내의 카메라부가 촬영한 이미지 내의 객체를 인식하는 객체 인식부와 객체를 지시하는 음성 명령을 수신하는 음성 인식부, 그리고 음성 명령에 포함된 객체의 위치로 송풍부의 바람을 보내도록 제어하는 제어부를 포함하는 에어컨을 구현할 수 있다.

본 발명의 실시예를 적용하면, 에어컨의 카메라를 통해 이미지를 획득 후 K개의 그리드로 변환한 뒤 이미지 상의 그리드의 위치와 에어컨의 방향간의 관계를 수식화한다. 그 뒤 사용자가 에어컨이 촬영한 이미지에서 원하는 곳을 터치하면 해당 방향으로 에어컨 바람 방향을 변경한다.

일정시간 내 터치횟수에 따라 바람세기 조절도 가능하다. 예를 들어 쇼파를 2번 터치할 경우 grade-2(중간 바람)의 강도로 바람을 송풍하고 쇼파를 3번 터치할 경우 grade-3(강한 바람)의 강도로 바람을 송풍할 수 있다. 따라서, 에어컨 내의 카메라부가 촬영한 이미지 내의 특정한 위치를 선택한 정보가 통신 장치로부터 수신하는 통신부와, 이미지 내의 위치에 대응하여 송풍부의 바람을 보내도록 제어하는 제어부를 포함하는 에어컨을 구현할 수 있다.

본 발명의 실시예를 적용하면, 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 포함된 이미지를 촬영하여 이미지 내에 객체를 인식하는 단계와, 상기 객체 중 사람을 지시하는 음성 명령어가 입력되면 둘 이상의 음성 인식부에 음성이 인식되는 시간차 및 객체 인식된 결과를 이용하여 송풍부의 바람을 보내도록 제어하는 단계에 기반하여 에어컨의 송풍 방향을 제어할 수 있다.

본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.

이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.

10: 실외기 15: 송풍부
100: 에어컨
110, 카메라부 120: 음성인식부
130: 객체인식부 150: 제어부
200: 통신장치

Claims (12)

1. 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 카메라부;
   상기 이미지에서 객체를 인식하는 객체 인식부;
   상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 음성 인식부;
   상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 제어부를 포함하며,
   상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며,
   상기 제1음성 인식부는 제1방향으로부터 발화된 음성을 상기 제2음성 인식부 보다 먼저 수신하며;
   상기 제2음성 인식부는 제2방향으로부터 발화된 음성을 상기 제1음성 인식부 보다 먼저 수신하며,
   상기 제어부는 상기 제1음성인식부 및 상기 제2음성인식부에서 인식된 음성의 시간차에 따라 상기 제1방향 또는 제2방향으로 상기 송풍부가 바람을 보내도록 제어하며,
   상기 에어컨의 통신부가 상기 인식된 객체 또는 상기 이미지를 통신 장치에게 전송하여 특정한 객체에 대한 선택 정보 또는 상기 이미지 내에서 선택된 좌표 정보를 수신하며,
   상기 제어부가 상기 통신 장치에서 선택된 객체 또는 선택된 좌표 정보를 기준으로 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
2. 제1항에 있어서,
   상기 객체 인식부는
   상기 카메라부가 촬영한 이미지를 다수 저장하는 이미지 데이터 수집부;
   싱기 수집된 이미지 데이터에서 객체를 구분하여 하나 이상의 식별 정보로 저장하는 식별 정보 생성부;
   상기 이미지 상에 배치된 상기 구분된 객체에게 송풍하기 위한 방향 벡터를 생성하는 연산부를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
3. 제2항에 있어서,
   상기 식별 정보 생성부는 상기 카메라부가 촬영하지 않고 외부로부터 전달된 이미지 및 상기 이미지에 대한 메타 정보에 기반하여 상기 객체를 구분하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
4. 제1항에 있어서,
   상기 식별 정보는 상기 객체의 명칭, 상기 객체의 색상, 상기 객체의 높이 혹은 면적, 또는 상기 객체가 포함된 사물의 카테고리 중 어느 하나를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
5. 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 카메라부;
   상기 이미지에서 객체를 인식하는 객체 인식부;
   상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 음성 인식부;
   상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 제어부; 및
   상기 인식된 객체 또는 상기 이미지를 통신 장치에게 전송하여 특정한 객체에 대한 선택 정보 또는 상기 이미지 내에서 선택된 좌표 정보를 수신하는 통신부를 포함하며,
   상기 제어부는 상기 통신 장치에서 선택된 객체 또는 선택된 좌표 정보를 기준으로 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하며,
   상기 제어부는 상기 이미지를 둘 이상의 그리드로 구분하여 상기 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성하며,
   상기 통신부는 상기 이미지를 외부의 통신 장치에게 송신하고, 상기 통신 장치로부터 상기 이미지 내에서 상기 두 개 이상의 그리드를 선택한 그리드 선택 정보를 수신하며,
   상기 제어부는 상기 그리드 선택 정보에 포함된 두 개의 그리드를 엔드 포인트로 하여 상기 송풍부가 좌우 또는 상하로 바람을 보내도록 제어하며,
   상기 제어부는 상기 그리드의 식별 정보와 상기 각각의 그리드에 대응하는 에어컨 바람의 방향을 저장한 그리드 테이블을 더 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
6. 제5항에 있어서,
   상기 통신부는 상기 이미지 내에서 상기 세 개 이상의 그리드를 선택한 그리드 선택 정보를 수신하며,
   상기 제어부는 상기 송풍부가 상기 세 개 이상의 그리드를 타겟으로 번갈아 바람을 변경하여 송풍하도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
7. 제5항에 있어서,
   상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며,
   상기 제1음성 인식부는 제1방향으로부터 발화된 음성을 상기 제2음성 인식부 보다 먼저 수신하며;
   상기 제2음성 인식부는 제2방향으로부터 발화된 음성을 상기 제1음성 인식부 보다 먼저 수신하며,
   상기 제어부는 상기 제1음성인식부 및 상기 제2음성인식부에서 인식된 음성의 시간차에 따라 상기 제1방향 또는 제2방향으로 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
8. 제5항에 있어서,
   상기 객체 인식부는
   상기 카메라부가 촬영한 이미지를 다수 저장하는 이미지 데이터 수집부;
   싱기 수집된 이미지 데이터에서 객체를 구분하여 하나 이상의 식별 정보로 저장하는 식별 정보 생성부;
   상기 이미지 상에 배치된 상기 구분된 객체에게 송풍하기 위한 방향 벡터를 생성하는 연산부를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
9. 제8항에 있어서,
   상기 식별 정보 생성부는 상기 카메라부가 촬영하지 않고 외부로부터 전달된 이미지 및 상기 이미지에 대한 메타 정보에 기반하여 상기 객체를 구분하는, 지시된 위치로 풍향을 제어하는 에어컨.
   
10. 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 단계;
    상기 에어컨의 객체 인식부가 상기 이미지에서 객체를 인식하여 상기 객체에 대한 식별 정보를 생성하는 단계;
    상기 에어컨의 음성 인식부가 상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 단계;
    상기 에어컨의 제어부가 상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 단계를 포함하며,
    상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며,
    제1방향으로부터 발화된 음성을 상기 제1음성 인식부가 상기 제2음성 인식부보다 먼저 수신하는 단계; 및
    상기 제어부는 상기 제1방향으로 상기 송풍부가 바람을 보내도록 제어하며,
    상기 에어컨의 통신부가 상기 인식된 객체 또는 상기 이미지를 통신 장치에게 전송하여 특정한 객체에 대한 선택 정보 또는 상기 이미지 내에서 선택된 좌표 정보를 수신하는 단계; 및
    상기 제어부가 상기 통신 장치에서 선택된 객체 또는 선택된 좌표 정보를 기준으로 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 단계를 더 포함하는, 지시된 위치로 에어컨의 풍향을 제어하는 방법.
    
11. 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 카메라부;
    상기 이미지에서 객체를 인식하는 객체 인식부;
    상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 음성 인식부;
    상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 제어부를 포함하며,
    상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며,
    상기 제1음성 인식부는 제1방향으로부터 발화된 음성을 상기 제2음성 인식부 보다 먼저 수신하며;
    상기 제2음성 인식부는 제2방향으로부터 발화된 음성을 상기 제1음성 인식부 보다 먼저 수신하며,
    상기 제어부는 상기 제1음성인식부 및 상기 제2음성인식부에서 인식된 음성의 시간차에 따라 상기 제1방향 또는 제2방향으로 상기 송풍부가 바람을 보내도록 제어하며,
    상기 제어부는 상기 이미지를 둘 이상의 그리드로 구분하여 상기 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성하고,
    상기 에어컨의 통신부가 상기 이미지를 외부의 통신 장치에게 송신하고, 상기 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신하면,
    상기 제어부는 상기 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.
    
12. 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 단계;
    상기 에어컨의 객체 인식부가 상기 이미지에서 객체를 인식하여 상기 객체에 대한 식별 정보를 생성하는 단계;
    상기 에어컨의 음성 인식부가 상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 단계;
    상기 에어컨의 제어부가 상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 단계를 포함하며,
    상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며,
    제1방향으로부터 발화된 음성을 상기 제1음성 인식부가 상기 제2음성 인식부보다 먼저 수신하는 단계; 및
    상기 제어부는 상기 제1방향으로 상기 송풍부가 바람을 보내도록 제어하며,
    상기 제어부는 상기 이미지를 둘 이상의 그리드로 구분하여 상기 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성하는 단계;
    통신부는 상기 이미지를 외부의 통신 장치에게 송신하고, 상기 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신하는 단계; 및
    상기 제어부는 상기 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 상기 송풍부가 바람을 보내도록 제어하는 단계를 더 포함하는, 지시된 위치로 에어컨의 풍향을 제어하는 방법.
    
    

Images