KR102001782B1 - 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기 - Google Patents

인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기 Download PDF

Info

Publication number
KR102001782B1
KR102001782B1 KR1020180106147A KR20180106147A KR102001782B1 KR 102001782 B1 KR102001782 B1 KR 102001782B1 KR 1020180106147 A KR1020180106147 A KR 1020180106147A KR 20180106147 A KR20180106147 A KR 20180106147A KR 102001782 B1 KR102001782 B1 KR 102001782B1
Authority
KR
South Korea
Prior art keywords
sound
input
air
information
unit
Prior art date
Application number
KR1020180106147A
Other languages
English (en)
Inventor
권영탁
김상윤
윤상혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180106147A priority Critical patent/KR102001782B1/ko
Application granted granted Critical
Publication of KR102001782B1 publication Critical patent/KR102001782B1/ko

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/32Responding to malfunctions or emergencies
    • F24F11/38Failure diagnosis
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • F24F11/58Remote control using Internet communication
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2130/00Control inputs relating to environmental factors not covered by group F24F2110/00
    • F24F2130/40Noise

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

본 발명은 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기에 관한 기술로, 본 발명의 일 실시예에 의한 공기청정기는 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 청정부와, 주변의 소리를 입력받는 마이크부와, 상기 입력된 소리의 패턴 정보에 대응하여 상기 청정부의 동작을 제어하는 제어부를 포함한다.

Description

인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기{METHOD OF CONTROLLING AIR-CLEANER USING ARTIFICIAL INTELLIGENCE BASED ON INPUT SOUND AND AIR-CLEANER IMPLEMENTING THEREOF}
본 발명은 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기에 관한 기술이다.
공기청정기는 실내의 오염된 공기를 흡입 후, 흡입된 공기 내에서 오염 물질을 제거하는 등의 정화 작용을 수행하고, 정화된 공기를 배출시키는 장치를 지칭한다. 일반적으로 공기청정기는 사용자의 제어에 따라, 혹은 흡입된 공기 내에 분포된 오염 물질의 정도에 따라 공기청정의 기능을 선택하거나 자동으로 공기 청정 기능을 수행할 수 있다.
한편, 공기청정기가 보다 다양하게 자동으로 동작될 수 있도록 하기 위해서는 공기청정기가 주변의 정보를 확인하여 이에 기반하여 동작을 제어할 수 있다.
동일 분야 내에서 출원된 발명들을 살펴보면, 출원번호 10-2014-0185898의 경우, 공기청정기는 주변의 조도를 감지하는 조도 센서를 이용하여 센싱된 조도에 따라 공기청정기의 동작을 제어하는 기술을 제시하고 있다. 도 1에서 보다 상세히 살펴본다.
도 1은 출원번호 10-2014-0185898에서 보여주는 조도에 기반한 공기청정기의 동작 과정을 보여주는 도면이다. S1 내지 S9까지의 동작 과정을 살펴보면, 공기청정기는 배치된 조도 센서에 의해 감지된 조도를 제1 임계치와 비교할 수 있고(S1), 조도가 제 1 임계치 이하이면(예를 들어, 사용자가 취침을 위해 실내의 조명을 끈 경우) 오염도 표시부를 오프(OFF)로 제어하고(S2), 조도 센서에 의해 감지된 조도에 따른 제어를 중단할 수 있다(S3). 또한, 공기청정기가 장착된 조명부를 온(ON)으로 제어할 수 있다(S4). 이후, 공기청정기는 조명부를 온(ON)으로 제어한 후 점등 설정 시간이 경과하였는지 판단하고(S5), 점등 설정 시간 이 경과한 경우 조명부를 오프(OFF)로 제어하고(S6), 공기청정기에 배치된 조도 센서에 의해 감지된 조도에 따른 제어를 재개 할 수 있다(S7). 다음으로, 공기청정기는 조도센서에 의해 감지된 조도를 제2 임계치와 비교할 수 있고(S8), 조도 센서에 의해 감지된 조도가 제2 임계치 이상이면(예를 들어, 아침이 되어 실내가 밝아진 경우) 오염도 표시부를 온(ON)으로 제어할 수 있다(S9).
도 1과 같은 구성은 공기청정기가 외부의 조명의 상태에 따라 동작을 제어하는 것을 보여준다. 그런데, 조명의 상태가 반드시 공기청정기의 외부 변화를 보여주는 것은 아니므로 이는 공기청정기의 자율적인 동작의 효과에 큰 영향을 미치지 못한다.
다음으로, 본 발명의 출원인이 출원 및 등록한 10-1010687호의 특허를 살펴보면, 인체의 움직임과 오염을 감지하는 기술을 제시한다. 도 2에서 상세히 살펴본다.
도 2는 등록번호 10-1010687호의 공기청정기 구성을 보여주는 도면이다. 도 2의 공기청정기(11)는 오염감지센서(14)와 생체감지수단(15), 마이컴(13), 타이머(12), 그리고 송풍기(16)로 구성된다. 생체감지수단(15)은 초음파를 이용하여 생물체를 센싱하고, 마이컴(13)은 센싱된 생물체에 따라 공기청정기가 동작할 수 있도록 제어한다. 이 과정에서 생물체의 활동량을 체크하여 이에 따라 공기청정기의 풍량을 제어하는 구성을 보여준다.
그런데, 생물체의 움직임을 초음파로 센싱할 경우, 생물체의 정확한 움직임 혹은 움직임의 의도를 파악할 수 없으며, 공기청정기와 거리가 멀어질 경우에 공기청정기가 공기청정의 정도를 결정하기 어렵다.
따라서, 공기청정기가 주변 상황을 보다 정확하게 판단하여 공기청정 기능을 수행하는 방안이 필요하다.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 외부의 소리에 대응하여 상황을 인지하고 이에 적합하게 공기청정기가 동작하도록 제어하는 기술을 제공하고자 한다.
본 명세서에서는 외부의 소리의 종류나 소리의 움직임에 기반하여 공기청정기의 청정 파워를 조절하여 사용자의 청각적 컨텐츠 소비 상황에 적합하게 공기청정기가 동작할 수 있도록 한다.
본 명세서에서는 공기의 질에 영향을 미치는 사용자의 활동에 대응하여 공기청정기가 동작할 수 있도록 한다.
본 명세서에서는 공기 청정의 효과를 최고로 할 경우 공기청정효과가 높이지지만 소음이 발생하는 경우에 공기청정이 주변 소음에 적응적으로 대응하여 팬을 회전시켜 공기청정을 수행할 수 있도록 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 의한 공기청정기는 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 청정부, 주변의 소리를 입력받는 마이크부, 및 입력된 소리의 패턴 정보에 대응하여 청정부의 동작을 제어하는 제어부를 포함한다.
본 발명의 일 실시예에 의한 클라우드 서버는 공기청정기로부터 사운드 파일을 수신받는 통신부 및 사운드 파일을 입력받아 이에 대응하는 액티비티 정보를 생성하는 제어부를 포함하며, 통신부가 생성된 액티비티 정보를 공기청정기에게 전송하거나 또는 제어부가 액티비티 정보에 대응하는 공기청정기의 기능에 대한 정보를 생성하고 통신부가 전송한다.
본 발명의 일 실시예에 의한 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법은 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 청정부와 마이크부, 제어부를 포함하는 공기청정기에 있어서, 마이크부가 주변의 소리를 입력받는 단계와 제어부가 입력된 소리의 패턴 정보에 대응하여 청정부의 동작을 제어하는 단계를 포함한다.
본 발명의 실시예에 의한 공기청정기 또는 이를 제어하는 방법을 구현할 경우 외부의 소리에 대응하여 상황을 인지하고 이에 적합하게 공기청정기가 동작할 수 있다.
본 발명의 실시예에 의한 공기청정기 또는 이를 제어하는 방법을 구현할 경우 외부의 소리의 종류나 소리의 움직임에 기반하여 공기청정기의 청정 파워를 조절하여 사용자의 청각적 컨텐츠 소비 상황에 적합하게 공기청정기가 동작할 수 있다.
본 발명의 실시예에 의한 공기청정기 또는 이를 제어하는 방법을 구현할 경우 공기의 질에 영향을 미치는 사용자의 활동에 대응하여 공기청정기가 동작할 수 있다.
본 발명의 실시예에 의한 공기청정기 또는 이를 제어하는 방법을 구현할 경우, 공기청정효과와 소음 사이에서 균형점을 확인하여 공기청정이 주변 소음에 적응적으로 대응하여 팬을 회전시켜 공기청정을 수행할 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 출원번호 10-2014-0185898에서 보여주는 조도에 기반한 공기청정기의 동작 과정을 보여주는 도면이다.
도 2는 등록번호 10-1010687호의 공기청정기 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 공기청정기의 구성을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 공기청정기가 입력된 소리를 통해 동작을 제어하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 제어부 내에 구성된 학습 네트워크에서 결과를 출력하는 과정을 보여주는 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 의한 센싱부와 마이크부를 이용하여 입력된 소리의 패턴 정보를 파악하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 공기청정기가 입력된 소리의 크기에 대응하여 공기청정기의 동작이 제어되는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 학습 네트워크의 구성을 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 의한 클라우드 서버에 학습 네트워크가 배치되어 공기청정기와 동작하는 과정을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 의한 학습 네트워크가 제어 정보를 생성 및 이를 공기청정기에게 제공한 뒤, 변경 사항이 발생한 경우, 학습 네트워크의 구성을 업데이트하는 과정을 보여주는 도면이다.
도 12는 본 발명의 일 실시예에 의한 청소 상황을 공기청정기가 확인하고 이에 대응하여 공기 청정 기능을 수행하는 과정을 보여주는 도면이다.
도 13은 본 발명의 일 실시예에 의한 요리 상황을 공기청정기가 확인하고 이에 대응하여 공기 청정 기능을 수행하거나 환기 가이드를 수행하는 과정을 보여주는 도면이다.
도 14는 본 발명의 일 실시예에 의한 공기청정기가 특정한 소리의 발생 후 사용자가 공기청정기의 기능을 제어할 경우 이를 학습하는 과정을 보여주는 도면이다.
도 15는 본 발명의 일 실시예에 의한 공기청정기에 입력된 사운드 파일과 사운드 입력 후 특정한 기능이 선택된 시간 간격, 그리고 기능에 대한 정보를 제어부가 저장한 구성을 보여주는 도면이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
본 명세서에서 공기청정기는 다양한 형태와 구성요소로 구현될 수 있다. 본 명세서에서 사용하는 공기청정기는 공기청정 기능만을 제공하는 장치 외에도 공기청정을 제공하며 냉방 또는 난방의 기능을 제공하는 에어컨 역시 공기청정기의 일 실시예로 한다. 따라서, 공기청정의 기능과 그 외 기능을 제공하는 장치들 역시 본 명세서의 공기청정기에 포함된다. 공기청정을 수행하는 다양한 종류의 에어컨, 난방기, 그리고 공기청정 기능만을 수행하는 공기청정기 모두 본 명세서에서 언급하는 공기청정기에 포함된다. 설명의 편의를 위하여 본 명세서에서는 공기청정기라는 명칭 하에 설명을 하지만, 본 발명이 이러한 명칭의 기기에 한정되는 것은 아니며, 공기청정을 주로 또는 부차적으로 제공하는 모든 기기에 본 발명을 적용할 수 있다.
도 3은 본 발명의 일 실시예에 의한 공기청정기의 구성을 보여주는 도면이다. 청정부(110)는 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 구성요소이다. 보다 상세하게 공기를 흡입하는 흡입부와, 흡입한 공기의 오염물질을 제거하는 필터부, 그리고 오염물질이 제거된 공기를 토출하는 송풍부로 구성될 수 있다. 필터부는 화학적 필터와 물리적 필터 등 다양하게 구성될 수 있다. 예를 들어 필터부는 탈취 필터, 항균 필터, 헤파(High Efficiency Particulate Air, HEPA) 필터, 울파(Ultra-Low Penetration Air, ULPA) 필터, 활성탄 필터, 전기 집진기 중 적어도 하나를 포함할 수 있다.
마이크부(120)는 공기청정기(100)가 배치된 공간에서 발생하는 다양한 주변의 소리들을 입력받는다. 그리고 이들 소리의 패턴(소리가 발생한 시간에 대한 패턴 또는 소리의 음향적 패턴)을 확인하여 공기청정기가 동작할 수 있도록 한다. 마이크부(120)는 둘 이상 공기청정기(100)에 배치될 수 있으며, 입력된 소리의 방향성을 확인할 수있다.
제어부(150)는 입력된 소리에 대한 분석을 수행한다. 입력된 소리의 패턴 정보에 대응하여 청정부(110)의 동작을 제어한다. 소리에 대한 분석은 소리가 입력된 시간에 대한 패턴, 음향적 패턴, 소리의 크기 등으로 분류할 수 있다. 이 과정에서 수신된 소리를 디지털화시킨 사운드 파일이 어떠한 유형의 사운드인지를 분류할 수 있다. 또는 통신부(160)를 이용하여, 사운드 파일을 클라우드 서버(미도시)에 송신하고 서버로부터 해당 사운드의 유형 또는 패턴에 대한 정보를 수신할 수도 있다.
즉, 마이크부(120)는 집안에서 발생하는 생활패턴(청소기를 이용한 청소, 요리, 애완동물 키움)에 따른 소음들을 입력받고, 입력된 소리(생활패턴 또는 음향패턴)를 기반으로 제어부(150)는 외부의 상황을 추정하여 공기청정기(100) 제어에 활용할 수 있다.
선택적으로 저장부(180)는 집안에서 발생하는 다양한 소리들의 샘플 사운드 파일을 저장할 수 있다. 예를 들어, 청소기 모터회전 소리를 메이커별, 청소기 기종 별로 생성된 샘플 사운드 파일들이 저장부(180)에 저장될 수 있다.
센싱부(130)는 마이크부(120)에 입력된 소리의 패턴을 보다 명확하게 판단할 수 있도록 보조적인 정보를 제공한다. 일 실시예로 센서부(130)는 적외선 센서 또는 초음파 센서를 포함할 수 있는데, 이는 센싱부(130)가 공기청정기(100) 주변의 사람들이나 동물들 등 사물의 움직임을 센싱할 수 있도록 한다. 또한 센싱부(130)는 사람들의 움직임 정도도 센싱할 수 있다. 센싱부(130)가 센싱한 사물의 움직임 정보를 반영하여 제어부(150)는 마이크부(120)에서 입력된 소리의 패턴을 확인하거나 정확도를 높일 수 있다. 물론, 센싱부(130)는 공기의 오염 상태를 확인하기 위한 오염 물질 센싱 기능도 함께 제공할 수 있다.
일 실시예로, 공기청정기(100)는 오염된 먼지를 많이 빨아들이고 청정된 공기를 멀리 보낼 수 있게 동작하기 위해서 청정부(110)의 흡입부 또는 송풍부의 팬(fan)을 더 강력히 동작시켜야 한다. 그러나, 이러한 소음이 사용자를 불편하게 할 수 있다. 그러나, 본 발명의 실시예를 적용할 경우, 주위의 소음 레벨이나 움직임 정도 등을 측정하여 공기청정기 자체의 팬의 소음이 실내 주위 소음에 묻혀서 거슬리지 않도록 공기청정기 제어에 활용할 수 있다.
뿐만 아니라, 주위에서 더 많은 공기 청정의 기능이 필요한지를 확인하여 그에 적합하게 공기청정기능을 자동으로 설정할 수 있다.
도 3에서 공기청정기(100)는 학습 네트워크(260)를 선택적으로 포함할 수 있다. 학습 네트워크(260)는 입력된 소리에서 특징을 추출하여 해당 소리가 어떤 패턴을 가지는지를 판단한다. 학습 네트워크(260)에 대해서는 후술한다.
도 4는 본 발명의 일 실시예에 의한 공기청정기가 입력된 소리를 통해 동작을 제어하는 과정을 보여주는 도면이다.
마이크부에서 소리를 입력받으면(S201) 제어부는 입력된 소리를 분석하여 패턴 정보를 생성하여(S202) 이에 기반하여 제어부(150)는 상황을 인지하여 정의된 상황인지를 확인한다(S203). 패턴 정보는 소리의 크기, 또는 소리를 통해 분석된 공간에서 발생한 액티비티 정보, 또는 소리에 대응하여 공기청정기가 동작해야 하는 기능 정보 중 어느 하나 이상을 포함한다.
즉, 생성된 패턴 정보에 기반하여 상황을 인지한 결과 공기청정기를 제어함에 있어서 미리 정의된 상황인지를 제어부(150)는 확인한다. 확인 결과, 정의된 상황이 아닌 경우에는 패턴 정보는 소리의 크기에 대한 정보만을 포함할 수 있다. S202 및 S203은 제어부(150)가 학습을 통해 구축한 딥러닝 네트워크의 입력 노드에 마이크부에 입력된 소리를 입력하고, 딥러닝 네트워크의 출력 노드에서 출력되는 소정의 패턴 정보를 통해 상황 인지를 확인할 수 있다.
만약, 정의된 상황이 아닌 경우에는 제어부(150)는 패턴 정보의 소리의 크기, 즉 소음의 레벨에 맞추어 청정부(110)의 운전을 제어할 수 있다(S204). 이 과정에서 소음 레벨을 마이크부(120)에서 한번 더 측정하여 소음의 레벨을 정확하게 측정할 수도 있다.
즉, S203에서 정의된 상황의 음향이 아닌 경우, 주변 소음 레벨을 측정하여 공기청정기 자체 소음 레벨이 주변 소음 레벨보다 커지지 않는 한도내의 최대 강력모드로 운전 제어를 수행할 수 있다.
한편, S203에서 패턴 정보에 특정한 액티비티 정보가 포함된 경우, 즉 특정하게 정의된 상황을 지시하는 정보가 포함된 경우에는 이에 적합하게 운전을 제어한다. 일 실시예로, 공기청정기의 운전에 영향을 미치는 소리인지를 확인하고(S206), 영향을 미치는 경우, 정의된 상황, 즉 액티비티 정보에 적합하게 제어부(150)가 청정부(110)의 운전을 제어한다.
여기서, 제어부(150)는 2개 이상의 마이크부에서 입력된 소리의 차이로 방향성을 추정하여 방향성의 변경 유무에 따라서 음원의 출처를 파악할 수 있다. 예를 들어 실제 사람이나 동물의 움직임으로 인해 발생한 소리인지, 아니면 TV나 라디오나 컴퓨터 혹은 외부에서 유입된 소리인지를 구분할 수 있다. 이는 전술한 센싱부(130)에서 사물의 움직임을 센싱하여 사람의 움직임이 없는 상태에서 소리가 입력된 경우에는 제어부(150)는 TV나 라디오에서 발생한 음원이거나 혹은 주변에 사람이 없는 상태로 판단할 수 있다.
만약 S206에서 입력된 소리의 패턴 정보가 공기청정기의 운전에 영향을 미칠 수 있는 음향이라고 판단되면 제어부(150)는 정의된 상황의 음향인지 아닌지 딥러닝으로 추론하여, 정의된 상황의 음향이라면 그 상황에 맞는 운전 및 사용자에게 가이드를 할 수 있도록 제어할 수 있다(S207).
일 실시예로 패턴 정보가 청소기 동작이라는 액티비티 정보를 포함할 경우, 이러한 액티비티 정보를 제어부(150) 내의 학습 네트워크에 입력하여 공기청정기의 동작을 지시하는 운전 정보를 산출할 수 있다.
S207에서 운전 제어를 하는 과정에서 S204와 같이 소음 레벨에 맞추어 운전을 제어할 수도 있다.
전술한 본 발명의 실시예는 본 발명은 음향, 소음의 레벨, 또는 입력된 소리의 패턴 정보를 이용하여 공기청정기가 배치된 집안 내에서 발생할 수 있는 상황들을 인지한다. 그리고 제어부(150)는 인지된 정보를 통하여 공기청정기가 가장 효율적으로 운전될 있도록 사용자에게 가이드를 주거나 자동운전할 수 있다.
도 5는 본 발명의 일 실시예에 의한 제어부 내에 구성된 학습 네트워크에서 결과를 출력하는 과정을 보여주는 도면이다.
학습 네트워크는 사전에 다양한 음원 정보 및 이에 매칭되는 패턴 정보들을 통해 학습이 된 상태이다. 예를 들어 딥러닝(Deep learning) 네트워크의 경우, 입력된 소리에서 특징(feature)를 추출하고 특징을 딥러닝 네트워크에 입력하여 결과로 특정 액티비티 정보(청소, 요리, 애완동물의 움직임 등)가 출력될 수 있다.
마이크부(120)는 210과 같이 소리를 입력받는다. 입력된 소리는 디지털 신호로 변환된다.
그리고 제어부(150)는 입력된 소리에서 특징을 추출하여 220과 같이 특징 데이터(Feature data)를 생성한다. 이 데이터는 해당 소리가 어떤 패턴을 가지는지를 판단하는 학습 네트워크(260)에 입력된다.
특징 데이터는 음원의 크기, 에너지 등을 산출하는 것을 일 실시예로 한다. 제어부(150)는 Spectrogram, MFCC(Mel-Frequency Cepstral Coefficients), CRP(Cross Recurrence Plot)등으로 소리의 특징을 이미지화 할 수 있도록 데이터를 추출한다.
물론, 제어부(150)는 입력된 음원에서 추출한 특징 데이터와 이미 패턴으로 정리한 음원을 비교할 수도 있다. 별도의 데이터베이스에 저장된 다양한 종류의 음원과 입력된 소리를 비교하여 입력된 소리가 어떤 상황에서 도출된 것인지를 확인할 수 있다.
학습 네트워크(260)는 추출된 이미지화된 특징들을 CNN(Convolution Neural Network), CRNN(Convolutional Recurrent Neural Network)등과 같은 딥러닝 학습기를 이용하여 학습한 네트워크이다. 따라서, 학습 네트워크(260)의 입력노드에 전술한 특징 데이터를 입력하면, 학습 네트워크(260) 내의 히든 노드 및 이들 노드 간의 가중치 등에 의해 최종적으로 출력 노드에서 음원의 패턴 정보를 출력한다.
패턴 정보는 입력된 소리를 통해 확인되는 주변 환경의 상황을 지시하는 액티비티 정보를 일 실시예로 한다. 액티비티 정보란, "청소상황", "요리상황", "애완동물 활동", "애완동물 동거", "운동상황" 등과 같이 공기에 영향을 미치는 특정한 상황을 지시하는 정보를 일 실시예로 한다.
뿐만 아니라 패턴 정보는 공기청정기의 동작을 지시하는 정보를 포함할 수도 있다. 예를 들어, 청소가 진행되는 상황에서 도출되는 패턴 정보는 다음과 같이 구성될 수 있다.
음원1.패턴정보 = {청소상황&파워청정}
이는 청소 상황에서 공기청정기의 청정부(110)가 수행해야 할 청정 기능을 지시한다. 청소 상황에 대한 정보와 파워 청정에 대한 정보 역시 학습 네트워크(260)에서 산출될 수 있다. 또는 청소 상황에 대한 정보만 학습 네트워크(260)에서 산출되고 파워 청정에 대한 정보는 제어부(150)가 산출할 수 있다.
도 5의 과정은 입력된 소리를 통해 공기청정기 주변에서 발생한 상황을 확인하고, 이에 대응하여 공기청정기가 수행해야 하는 동작을 자동으로 선택하거나, 혹은 동작에 대한 변환을 문자 혹은 음성으로 출력하여 사용자가 이를 확인할 수 있도록 한다.
또한, 도 5의 과정에서 산출되는 패턴 정보 중에서 소리의 크기 역시 패턴 정보를 구성할 수 있으며, 발생한 소리 보다 작은 소음을 발생하며 공기청정기가 동작하도록, 제어부(150)는 청정부(110)를 제어할 수 있다.
도 6 및 도 7은 본 발명의 일 실시예에 의한 센싱부와 마이크부를 이용하여 입력된 소리의 패턴 정보를 파악하는 과정을 보여주는 도면이다.
도 6에서 둘 이상의 마이크부들(120)에서 소리가 입력되면(S211), 제어부(150)는 각각의 마이크부들(120)에서 입력받은 소리의 차이를 이용하여 방향성을 추정한다(S212).
그리고, 제어부(150)는 소리가 발생한 영역에서 움직임이 있는지를 확인한다(S213). 이는 해당 영역에서 소리의 발생이 이동 없이 이루어지는지 아니면 움직이면서 소리가 발생하는지를 확인할 수 있다. 또한, 움직임 발생을 정확하게 확인하기 위하여 제어부(150)는 센싱부(130)를 이용하여 소리가 발생한 방향으로 움직임이 발생했는지를 더 확인할 수 있다. 센싱부(130)는 적외선 센서 또는 초음파 센서 등을 포함하여 사물의 움직임을 포착한다.
제어부(150)는 사물의 움직임 여부, 즉 움직임 정보를 반영하여 입력된 소리의 패턴 정보를 생성한다(S214). 움직임이 없는 소리, 예를 들어 TV 또는 라디오에서 나오는 소리로 확인된 경우, 공기청정기의 동작 소음이 TV 또는 라디오의 소리 보다 작도록 제어하는 패턴 정보를 {TV&Vol_5}와 같이 생성할 수 있다.
그리고 생성된 패턴 정보에 따라 제어부(150)는 청정부(110)의 동작을 제어할 수있다. 제어부(150)는 청정부(110)에서 동작하는 과정에서 발생하는 소음의 크기가 5 보다 작도록 청정부(110)의 동작을 제어할 수 있다.
또는 패턴 정보가 {요리&10시방향} 으로 방향 정보가 산출된 경우, 해당 방향에서 요리가 이루어지고 있으므로, 청정부(110)는 해당 방향으로 집중 청정을 수행하는 청정 기능을 수행할 수 있다.
도 6의 실시예를 적용할 경우, 마이크부(120)를 통해 입력되는 소음의 레벨을 측정하고 공기청정기 자체의 소음이 측정된 소음 레벨보다 넘지 않는 선에서 최대 자동운전을 통하여 공기 청정의 품질향상 및 사용자의 편의성을 제공할 수 있다.
움직임 정보가 정지인 경우, 사물이 움직이지 않는 것으로 판단하고, 제어부(150)는 소리의 패턴 정보를 컨텐츠 재생으로 판단하여 재생되는 컨텐츠의 소리 크기에 따라 청정부(110)를 제어할 수 있다. TV나 라디오에서 청소기 소리가 나오더라도 움직임이 없다면 이는 청소 상황이 아닌 것으로 제어부(150)가 판단하고 청정부(110)를 이에 대응하여 제어할 수 있다.
도 7은 본 발명의 일 실시예에 의한 공기청정기에 마이크부가 배치된 모습을 보여주는 도면이다.
도면에서 21은 공기청정기(100a)의 전면을 보여준다. 공기청정기의 4면에 4개의 마이크부(110a, 110b, 110c, 110d)가 배치된다. 110d는 후면이라 미도시된 상태이다. 마이크부들이 배치된 지점의 횡단면을 22에서 살펴보면 4개 방향으로 마이크부가 배치되어 있다.
이들 마이크부들이 지향성 마이크인 경우, 특정한 방향에서 발생한 소리와 그렇지 않은 방향에서 발생한 소리를 입력받음에 있어 차이가 발생한다. 예를 들어, 25에서 발생한 소리는 110a의 마이크부에서 가장 잘 입력되며, 26에서 발생한 소리는 110c의 마이크부에서 가장 잘 입력된다. 그리고 다른 마이크부들은 소리가 다소 약하게 입력된다.
따라서, 제어부(150)는 마이크부들의 위치 및 소리가 발생한 지점의 위치에 기반하여 특정한 액티비티가 발생한 위치를 확인할 수 있다. 또한, 입력된 소리의 위치의 변화(마이크부에 입력되는 소리의 크기 변화)가 발생하였는지를 판단하여 움직임 발생 여부를 확인할 수 있다.
이에 더하여 센싱부들이 마이크부들과 동일한 방향으로 배치된 경우, 소리를 발생시킨 사물이 움직이는지 여부를 보다 정확하게 확인할 수 있다.
확인된 정보에 기반하여 움직임이 없는 경우, 제어부(150)는 멀티미디어 컨텐츠에서 발생된 소리로 판단할 수 있다. 반대로 움직임이 있는 경우 청소기나 아이들 움직임 또는 운동 등의 상황으로 판단하여 제어부(150)는 패턴 정보를 생성할 수 있다. 움직임에 대한 판단은 센싱부(130)를 이용하여 판단의 정확성을 높일 수 있다
도 7의 실시예를 적용할 경우, 공기청정기에 장착된 다수의 마이크부(120)로 입력되는 소리의 방향성을 추정할 수 있다. TV 또는 라디오 혹은 외부에서 유입되는 소리등과 같은 공기청정기의 운전제어에 영향이 미치지 않는 정보들은 필터링하는 기능을 제공한다.
도 8은 본 발명의 일 실시예에 의한 공기청정기가 입력된 소리의 크기에 대응하여 공기청정기의 동작이 제어되는 과정을 보여주는 도면이다.
마이크부(120)가 소리를 입력받는다(S221). 제어부(150)는 입력된 소리의 크기를 산출한다(S222). 또한, 입력된 소리의 크기의 변화를 산출한다(S223). 이는 일시적으로 소리가 커진 경우인지 일정하게 계속 소리가 발생하는 상황인지를 확인하기 위해 1~2초 단위로 측정하는 것을 의미한다.
이후, 제어부(150)는 학습 네트워크(260)를 이용하거나 자체 저장된 음원과의 비교 등을 통해 입력된 소리의 패턴 정보를 생성한다.
산출된 소리의 패턴정보가 TV 소리인 경우에는 컨텐츠 시청을 방해하지 않도록, 제어부(150)는 청정부(110)의 동작이 TV 소리의 크기보다 낮게 제어한다. 산출된 소리의 패턴정보가 요리를 수행하는 상황에서 발생한 소리인 경우, 요리를 함에 있어서 청정부(110)의 소리가 방해가 되지는 않는다. 따라서, 제어부(150)는 청정부(110)의 동작이 요리 과정에서 발생하는 소리의 크기에 한정되지 않도록 제어한다. 예를 들어 제어부(150)는 요리 과정에서 공기 청정이 필요한 경우 청정부(110)의 공기청정 기능을 강력 모드로 제어하여 청정부(110)의 팬의 회전에서 발생하는 소리에 상관없이 공기청정 효과를 높이도록 한다.
또한, 제어부(150)는 야간에 주변에서 입력되는 소리가 지속적으로 작은 크기인 경우에는 사용자가 수면 상태인 것으로 확인하고 청정부(110)를 제어하여 공기청정시 발생하는 소리를 작게 제어한다.
이는 다음과 같이 주변에서 입력된 소리의 크기 별 청정부(110)가 동작 가능한 범위의 예시로 제어부(150)는 입력된 주변 소음이 100dB 이며 소음의 패턴 정보가 TV 시청이나 컴퓨터 컨텐츠 재생과 같은 경우, 90dB 정도의 최강 모드로 청정기(110)를 동작 시킬 수 있다. 또는 그보다 낮은 크기의 소음이 발생하도록 청정부(120)를 제어할 수 있다.
마찬가지로 제어부(150)는 입력된 소리의 크기가 80dB인 경우, 70dB 이하의 동작 모드(강모드)로 제어하고, 입력된 소리의 크기가 40dB인 경우 35dB 이하의 동작 모드(약모드)로 설정할 수 있다.
또한 입력된 소리의 크기가 20dB 이하인 경우, 제어부(150)는 현재 시간에 사용자가 댁내 거주할 가능성(밤 시간인 경우 수면 상태, 오전 시간인 경우 외출 등 과거 행동 패턴), 센싱부(130)가 센싱한 주변 사물의 움직임 등을 반영하여 수면으로 판단되면 매우 작은 소리를 발생하도록 청정부(110)를 제어한다. 반대로 외출한 것으로 판단되면 공기청정 능력을 올리도록 최강 모드로 수행할 수 있다.
도 9는 본 발명의 일 실시예에 의한 학습 네트워크의 구성을 보여주는 도면이다.
학습 네트워크는 입력된 음원에서 추출된 다양한 K개의 특징 데이터(Feature Data)들이 입력되는 입력 노드들로 구성된 입력 레이어(input)와, 입력된 음원의 패턴 정보를 출력하는 출력 노드들로 구성된 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 하나 이상의 M 개의 히든 레이어를 포함한다.
특징 데이터는 입력된 음원에서 가장 큰 레벨의 소리에 해당하는 부분, 또는 반복되는 소리에 해당하는 부분, 사람의 목소리, 또는 특정 기기의 동작 음원에 유사한 소리 부분 등이 될 수 있다.
또는 특징 데이터는 소리의 크기, 소리가 발생한 시간, 소리에 대응하여 움직임이 발생했는지 여부 등도 포함한다. 사용자의 시간대 동작 특징에 대한 정보도 누적되어 특징 데이터가 될 수 있다. 예를 들어, 사용자가 TV를 시청하는 시간대가 일정한 경우, 또는 사용자가 청소기를 사용하는 시간대가 일정한 경우, 해당 시간에 대한 정보 역시 특징 데이터가 될 수 있다.
학습 네트워크(260)는 학습 초기에는 특징 데이터의 예시들과 그에 대응하는 출력 노드들의 값을 제공하여 학습 네트워크(260)를 구성하는 노드 및 에지의 설정치를 변경한다.
레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정되며, 이 가중치 혹은 에지의 유무는 학습 과정에서 추가되거나 제거되거나 혹은 업데이트 될 수 있다. 따라서, 학습 과정에 의해 또는 인터럽트 입력에 의해 k개의 입력 노드와 i개의 출력 노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
이들 학습을 통해 노드들 및 에지들의 가중치가 결정되면, 이후 특징 데이터가 입력 노드에 주어질 경우, 출력 노드는 이에 대응하는 결과, 즉 입력된 소리에 대한 패턴 정보를 산출한다.
출력 노드는 공기청정기의 동작을 설정함에 있어서 대응하는 패턴 정보의 일 실시예로, 액티비티의 카테고리로 나뉘어질 수 있다.
예를 들어 "청소상황", "운동상황", "요리상황", "취침상황", "아이들움직임", "애완동물 움직임" 등과 같이 분류될 수 있다.
또는 출력 노드는 공기청정기의 동작을 설정함에 있어서 대응하는 패턴 정보의 일 실시예로, 운전 모드의 카테고리로 나뉘어질 수 있다.
예를 들어, "강력모드-운전", "중모드-운전", "약모드-운전", "수면모드-운전"과 같이 공기청정기의 운전 기능을 그대로 지시하는 정보가 출력될 수 있다.
또는 각각의 액티비티 카테고리 또는 운전기능 카테고리에 대응하도록 출력노드들이 대응되며, 각 출력노드는 확률값을 산출할 수 있다.
출력 노드 및 입력 노드를 어떤 값으로 구성할 것인지 혹은 어떤 카테고리로 구성할 것인지는 학습 과정에서 설정될 수 있다.
학습 네트워크(260)가 학습을 수행하기 전에는 모든 노드와 에지가 초기값으로 설정될 수 있다. 그러나, 누적하여 학습을 위한 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 특징 데이터와 패턴 정보 사이의 매칭이 이루어질 수 있다.
도 9의 학습 네트워크(260)는 클라우드 서버에서 학습된 후, 공기청정기(100)에 설치될 수 있다. 또는 학습 네트워크(260)는 클라우드 서버에 그대로 배치되며, 공기청정기(100)가 특징 데이터를 서버에 전송하고 서버가 이에 대한 패턴 정보를 공기청정기(100)에게 전송할 수 있다.
클라우드 서버를 이용하여 학습할 경우 학습 네트워크(260)는 수많은 특징 데이터들을 수신할 수 있으므로 학습부(260)가 방대한 데이터에 기반하여 학습을 수행할 수 있다.
도 10은 본 발명의 일 실시예에 의한 클라우드 서버에 학습 네트워크가 배치되어 공기청정기와 동작하는 과정을 보여주는 도면이다.
다수의 공기청정기들(100a, ..., 100n)은 클라우드 서버(300)와 통신할 수 있다. 클라우드 서버(300) 내에는 학습 네트워크(260)가 배치된다. 따라서, 각각의 공기청정기들(100a, ..., 100n)은 주변에서 입력된 소리를 사운드 파일로 변환하여, 이를 클라우드 서버(300)에게 전송한다(S231a, S231b). 물론 이러한 전송은 순서에 상관없이 소리가 입력된 시점에 이루어진다.
클라우드 서버(300)의 통신부(360)는 사운드 파일을 수신하고, 이를 학습 네트워크(260)에 입력한다. 제어부(350)는 학습 네트워크(260)를 제어하여 입력된 사운드 파일에 대응하는 액티비티 정보를 산출한다. 따라서 제어부(350) 또는 학습 네트워크(260)에 의해 사운드 파일에 대응하는 액티비티 정보가 생성된다. 클라우드 서버(300)의 제어부(350)는 사운드 파일을 전송한 공기청정기를 식별하고 해당 공기청정기에게 액티비티 정보 또는 이에 대응하는 공기청정기의 동작을 제어하는 제어 정보를 전송한다(S232a, S232b).
클라우드 서버(300) 또는 공기청정기(100)에 배치된 학습 네트워크(260)는 미리 학습을 통해 구현될 수도 있고, 공기청정기(100)의 제어 변경에 따라 학습을 추가로 진행할 수 있다.
도 10의 과정을 정리하면 다음과 같다. 마이크부(120)에 입력된 소리를 통신부(160)가 클라우드 서버(300)에게 전송한다(S232a, S232b). 클라우드 서버는 수신된 소리를 학습 네트워크(260)에 입력하여 소리에 대응하는 액티비티 정보를 산출하고, 이를 다시 공기청정기(100)에게 전송한다(S232a, S232b).
도 11은 본 발명의 일 실시예에 의한 학습 네트워크가 제어 정보를 생성 및 이를 공기청정기에게 제공한 뒤, 변경 사항이 발생한 경우, 학습 네트워크의 구성을 업데이트하는 과정을 보여주는 도면이다.
학습 네트워크(260)는 미리 학습된 상태에서 입력된 소리에 대응하는 제어 정보를 생성한다. 그런데, 생성한 제어 정보에 따라 공기청정기가 동작하지 않고, 사용자가 공기청정기의 동작을 변경할 수 있다. 이러한 변경 상황이 발생하면 공기청정기에 보다 적합한 제어 정보를 생성하기 위해 앞서 입력되었던 소리에 새로 변경된 공기청정기의 기능을 매칭시켜 학습 네트워크를 업데이트할 수 있다.
학습 네트워크(260)는 입력된 소리에 대응하여 제1제어 정보를 생성한다(S241). 그리고 제1제어 정보에 따라 공기청정기가 동작하도록 공기청정기의 제어부(150)가 공기청정기의 청정부(110)를 제어한다(S242).
S242 과정에서 공기청정기(100)의 인터페이스부(170)는 제1제어 정보와 상이한 동작을 지시하는 명령을 입력받는다. 명령의 입력은 리모트 컨트롤에서의 제어 신호 입력 또는 공기청정기(100)에 배치된 버튼 입력 등에 의해 구현될 수 있다.
제1제어 정보와 상이한 동작이란, 청정부(110)의 동작의 세기에 있어 반대되는 동작을 명령하는 것을 포함한다.
예를 들어, 입력된 소리가 운동하는 소리이며, 소리의 패턴 정보가 {운동상황}이며, 이에 대응하는 제1제어 정보가 파워 청정인데, 사용자가 이와 달리 청정 기능을 약하게 조절하도록 제어할 수 있다. 이는 제1제어 정보와 반대되는 동작이다. 학습 네트워크(260)는 반대되는 명령 입력에 대해 일정하게 누적하고 누적된 횟수가 반복되면 학습 네트워크(260)를 수정한다(S244).
즉, 애초에 학습된 구성은 {운동상황}에 대해 공기 청정 기능을 강하게 산출하도록 {파워청정}이 제어 정보로 출력되도록, 또는 {운동상황:파워청정}과 같은 패턴 정보로 출력되도록 학습 네트워크(260)가 구성되었으나, 누적된 반대 명령 입력에 대응하여 학습 네트워크(260)는 {운동상황}에 대해 공기 청정 기능을 약하게 산출하도록 변경된다. 학습 네트워크(260)의 변경은 도 9에 제시된 바와 같이 히든 레이어를 구성하는 노드들 또는 이들 노드들 간의 가중치를 변경할 수 있다.
도 3 내지 도 11에서 살펴본 공기청정기(100) 또는 이와 함께 동작하는 클라우드 서버(300)를 구현할 경우, 공기청정기에 장착된 마이크부(120)를 통해 입력되는 "청소기를 이용한 청소" 과정에서 발생하는 소리, "요리" 과정에서 발생하는 소리, "애완동물의 울음소리"등과 같은 소리들에 기반하여 공기청정기의 동작을 자동으로 제어할 수 있다.
따라서, 입력되는 소리들, 즉 음향에 대해 패턴 정보를 매칭하고, 매칭된 패턴에 따라 공기청정기의 동작을 제어하도록 학습 네트워크(260)를 구성할 수 있다.
특히, 음향의 패턴을 확인하기 위해 미리 다양한 상황에 대응하여 정의된 음향의 에너지 값과 같은 요소들을 이미지화하여 CNN과 같은 딥러닝(Deep Learning)으로 학습하고 추정하여 사용자의 올바른 사용에 대한 가이드를 주거나 자동운전 제어에 활용할 수 있다.
도 12는 본 발명의 일 실시예에 의한 청소 상황을 공기청정기가 확인하고 이에 대응하여 공기 청정 기능을 수행하는 과정을 보여주는 도면이다.
청소기(400)가 기능 수행으로 모터 회전 소리가 발생하면(S401), 이 소리가 공기청정기(100)의 마이크부(120)에 전달되고, 마이크부(120)에 청소기의 동작 소리가 입력된다(S402). 제어부(150)는 기 저장된 청소기의 동작 소리와 입력된 소리를 비교한다(S403). 이 경우 저장부(180)에 다양한 청소기 모터 회전 소리에 대한 샘플 사운드 파일이 저장될 수 있다. 제어부(150)는 입력된 모터 회전 소리와 저장부(180)에 저장된 샘플 사운드 파일을 비교하여 청정부의 청정 능력을 증가시키도록 기능을 제어할 수 있다.
또는 제어부(150)는 학습 네트워크(260)에 확인된 소리를 입력하여 소리에 대한 패턴 정보(또는 어떤 액티비티가 발생한다는 액티비티 정보)를 산출한다. 이때 청소기 모터 소리에 대응하여 "청소" 라는 액티비티 정보가 학습 네트워크(260)에서 산출될 수 있다.
S403에서 기 저장된 청소기의 소리와 비교하거나 또는 학습 네트워크(260)에서 산출된 결과에 따라 제어부(150)는 패턴 정보를 생성하고 이를 이용하여 공기청정기의 기능을 파워 청정으로 변경한다(S404). 그리고 공기청정기(100)는 파워 청정으로 동작하며, 이 과정에서 인터페이스부(170)는 청소기의 동작으로 인해 파워 청정 모드로 기능을 변경하여 동작한다는 메시지를 음성 또는 시각 데이터로 출력한다. 예를 들어 파워 청정 모드로 변경하며 "현재 청소기 사용이 확인되어 파워 청정 모드로 동작을 시작합니다"와 같이 음성 메시지를 출력할 수 있다.
이후, 청소기(400)가 청소를 종료하면, 모터 회전 소리가 중지된다(S411). 지속적으로 발생하던 소리가 더 이상 발생하지 않으면, 이는 마이크부(120)가 청소기의 동작 소리 입력이 중단됨을 확인할 수 있다(S412). 이때, 제어부(150)는 청소기의 중단에 대한 패턴 정보를 생성하여 공기청정기의 기능을 기본 청정으로 변경한다(S413).
그리고 인터페이스부(170)를 통해 파워 청정 모드에서 기본 청정 모드로 변경함을 출력할 수 있다(S414). 예를 들어, 공기청정기(100)는 "현재 청소기 사용의 종료가 확인되어 기본 청정 모드로 동작을 시작합니다"와 같이 음성 메시지를 출력할 수 있다.
집안 생활 활동 중 진공청소기를 이용한 청소, 부엌에서 후드를 켜고 요리, 애완동물의 털날림 등은 공기청정기 운전에 큰 영향을 주는 요소들이다. 이런 실생활 상황들에 대한 음향 패턴을 딥러닝 기술을 이용하여 학습하고 classification 하여 그 상황에 맞는 공기청정기 운전 모드로 운전하면 좀더 효율적인 공기청정기 사용이 될 것이다.
전술한 실시예들을 적용할 경우, 집안내의 생활 활동 중 공기청정기의 운전에 큰 영향을 주는 요소들을 집안 내에서 발생한 소리와 움직임 상황 등에 기반하여 확인할 수 있다. 예를 들어 본 명세서의 실시예를 적용할 경우, 진공청소기를 이용한 청소, 부엌에서 후드를 켜고 요리, 애완동물의 털날림 등에 대한 상황을 마이크부(120) 또는 움직임 센싱을 통해 공기청정기(100)가 확인하고, 이들 상황에서 발생한 음향 패턴을 딥러닝 기술을 이용하여 학습하고 분류(classification)하여 그 상황에 맞는 공기청정기 운전 모드로 운전할 수 있다. 이는 공기청정기 사용의 효율성을높일 수 있다,
또한, 공기청정기를 강력모드로 운전하게 되면 팬의 소리가 심해서 사용자의 일상생활에 방해가 될 수 있다. 이를 방지하기 위해 도 4에서 살펴본 바와 같이, 사용자의 주위 환경 소음 크기를 분류하여 팬의 소리가 주위 환경 소음 크기에 묻힐 수 있을 정도의 크기로 운전을 할 수 있도록 하는 것이다. 
이 경우, 현재 상황에 가장 적합한 팬의 소리로 공기의 대류 현상을 발생시켜 공기청정 기능을 향상시킬 수 있다.
그리고 대기 공기질(먼지/청정)은 온도(따듯한 공기 위쪽/찬 공기는 아래쪽)와는 달리 자연스러운 대류현상이 발생하는 성질이 아니기 때문에 외부에서 힘을 가해서 청정이 필요한 공간 구석구석 대류현상이 발생하도록 공기청정기를 강력모드로 운전해 주는 것이 좋다.
도 12와 같은 실시예는 공기청정을 우선하여 동작할 수 있도록 한다. 즉, 청소 중이라는 상황에서는 공기청정기(100)에 장착된 마이크부(120)에서 소리를 인식하여 빠른 시간에 먼지를 흡입할 수 있도록 강력모드(파워 청정 모드)로 공기청정기(100)가 자동으로 운전할 수 있다.
도 13은 본 발명의 일 실시예에 의한 요리 상황을 공기청정기가 확인하고 이에 대응하여 공기 청정 기능을 수행하거나 환기 가이드를 수행하는 과정을 보여주는 도면이다. 요리 상황 발생시에는 다양한 조리 제품으로부터 소리가 발생한다. 따라서, 주방의 후드 소리, 가스레인지의 점화에서 발생하는 소리, 전자레인지나 전기레인지를 동작시키는 과정에서 발생하는 소리, 또는 그 외 요리 과정에서 발생하는 소리들에 대해 미리 공기청정기(100)의 제어부(150)가 미리 저장할 수 있다. 또는 학습 네트워크(260)를 이용하여 입력된 소리가 요리에 관한 소리인지를 확인할 수 있다. 공기청정기(100)는 주방의 후드 소리 및 요리 상황을 인지하여 사용자에게 유증기 발생으로 필터 수명이 급격히 줄어든다는 것과 환기를 할 수 있게 가이드 해주고 요리가 끝날 때까지 잠시 운전을 멈추는 것으로 기능을 변경할 수 있다.
공기청정기(100)는 마이크부(120)에 요리에서 발생하는 소리를 입력받는다(S421). 제어부(150)는 기 저장된 조리 도구의 소리 또는 요리 발생시의 소리와 입력된 소리를 비교하거나, 학습 네트워크에 소리를 입력시켜 패턴 정보를 확인할 수 있다(S422).
이후, 제어부(150)는 현재 주변의 상황이 요리를 수행하는 것으로 확인한 경우, 요리 상황으로 인해 유증기 발생으로 필터 수명이 줄어든다는 메시지를 인터페이스부(170)에서 출력하고 공기청정기의 동작을 중단시킨다(S423).
이후, 지속적으로 외부에서 발생하는 소리는 마이크부(120)에 입력되며, 제어부(150)는 요리에 관련하여 발생된 소리의 입력이 줄어들거나 중단됨을 확인한다(S424). 공기청정을 재시작할 수 있는 시점이므로, 제어부(150)는 요리 상황 종료에 기반하여 공기청정기의 기능을 기본 청정으로 변경 한다(S425). 그리고 제어부(150)는 인터페이스부(170)를 제어하여 요리 상황 종료로인한 기본 청정 모드로의 기능 변경을 음성 메시지 또는 시각적 메시지로 출력한다(S426).
도 12 또는 도 13은 공기청정기가 동작함에 있어서 어떠한 동작을 선택하는지를 예시적으로 보여준다. 이외에도 털 먼지가 많이 발생하는 강아지, 고양이와 같은 애완동물의 소리가 반복하여 마이크부(120)에 입력되면, 공기청정기(100)의 제어부는 가정 내에 애완동물이 존재함을 감지하고, 공기청정기의 필터를 보다 자주 청소/교환이 필요하다고 음성 메시지 또는 시각적 메시지를 출력할 수 있다.
도 13의 실시예에서 S423의 경우 조리 상황에 대응하여 실내의 냄새 제거 및 공기 청정이 반드시 필요하며, 현재의 청정 능력을 파워 청정으로 변경하는 것을 사용자에게 알리는 메시지를 출력할 수 있다. 이 경우, S424 내지 S426과 달리, 사용자에게 파워 청정 수행에 대해 메시지를 음성 데이터 또는 시각적 데이터로 출력한 뒤, 자동으로 현재의 공기 청정 능력을 파워 청정으로 변경하여 환기 불가능한 경우에도 조리 상황에 따라 요청되는 공기 청정 능력을 제공할 수 있다.
또한, 일 실시예에 의하면 조리 과정이 진행됨에 따라 공기의 오염도가 증가할 수 있으므로, 이에 따라 공기 청정 능력을 조절할 수 있다. 또한 공기 청정 방향도 조절할 수 있다.
예를 들어, 공기 청정 단계가 약-청정/중-청정/강-청정/파워청정으로 구성된 경우에, 사용자가 조리를 시작한 경우에는 공기 청정을 중-청정으로 한다. 그리고 계속 조리가 지속되는 경우, 해당 공간의 오염도가 증가함을 공기 내 오염 물질을 센싱부(130)가 센싱하여 오염도가 증가하면 중-청정에서 강-청정으로, 그리고 파워 청정으로 조절할 수 있다. 그리고 공기 청정기의 공기 흡입 및 토출 방향을 조리가 진행되는 장소를 향하도록 청정부(110)가 제어부(150)에 의해 제어될 수 있다.
도 14는 본 발명의 일 실시예에 의한 공기청정기가 특정한 소리의 발생 후 사용자가 공기청정기의 기능을 제어할 경우 이를 학습하는 과정을 보여주는 도면이다.
마이크부(120)는 소리를 입력받는다(S431). 그리고 소리가 입력된 시점을 기준으로 일정한 시간 범위(예를 들어 10초 또는 1분 등)내에 사용자가 공기청정기의 기능을 파워 청정 또는 강력 청정 모드로 변경시키는 횟수를 제어부(150)가 기록한다(S432). 이는 미리 정의되지 않은 상황이 반복하여 발생하며, 사용자가 이에 대응하여 공기청정기의 기능을 제어하면, 공기청정기(100)는 누적된 소리에 대해 자동으로 동작할 수 있도록 소리 정보를 저장한다.
이후, 특정 소리에 대응하여 공기청정기의 기능 변경 횟수가 일정 기준 이상 누적된 경우, 제어부(150)는 해당 소리에 대응하여 파워 청정 모드로 패턴 정보를 저장한다(S433). 예를 들어 특정 주파수 대역의 "삑~"하는 소리가 발생하고 이후 30초 이내에 사용자가 공기청정기(100)를 제어하는 횟수가 5회 이상 누적될 수 있다. 이 경우, 공기청정기(100)의 제어부(150)는 소리를 저장하고 이에 대응하여 공기청정기(100)의 기능을 매칭시켜, 향후 동일한 소리가 발생하면 "반복 저장된 상황에 대해 공기청정을 시작합니다" 라고 인터페이스부(170)에서 메시지를 출력하고 공기청정기가 동작하는 실시예를 포함한다.
도 15는 본 발명의 일 실시예에 의한 공기청정기에 입력된 사운드 파일과 사운드 입력 후 특정한 기능이 선택된 시간 간격, 그리고 기능에 대한 정보를 제어부가 저장한 구성을 보여주는 도면이다.
제어부(150)는 내장 메모리 또는 별도의 저장장치 등을 이용하여 도 15와 같이 특정한 음향이 발생하고 일정 기준(20초) 이내에 공기청정기의 기능이 제어된 경우, 사운드 파일과 시간 간격, 그리고 기능을 저장한다. 그리고 도 15와 같이 동일한 소리의 발생에 대응하여 지속하여 파워청정 기능을 선택한 것으로 저장되면, 이후 "Sound1.wav"와 동일하거나 유사한 음향이 입력되면 제어부(150)는 공기청정기의 기능을 "파워청정"으로 변경한다.
즉, 마이크부(120)가 주변의 소리를 입력받은 후, 일정 시간 이내에 공기 청정기의 기능이 제어되면, 제어부(150)는 도 15와 같이 입력받은 소리에 대한 사운드 파일 및 기능 제어를 기록한다. 그리고 제어부(150)는 입력받은 소리에 대한 사운드 파일 및 기능 제어가 반복하여 저장되면 소리에 대응하여 공기청정기(100)의 기능을 패턴 정보로 저장하여 이후 동일하거나 유사한 사운드가 발생시 파워청정 기능을 활성화시킨다.
물론 도 14 및 도 15는 클라우드 서버에서도 구현될 수 있다. 예를 들어, 클라우드 서버(300)에게 S431의 입력받은 소리가 사운드 파일로 전송될 수 있다. 즉, 도 15에 저장되는 사운드 파일 및 시간 간격 정보와 제어된 공기 청정기의 기능에 대한 정보가 클라우드 서버(300)로 전송되어 통신부(360)가 수신하면 클라우드 서버(300)의 제어부(350)는 공기청정기 별로 도 15와 같이 정보를 저장한다. 그리고 반복하여 동일/유사 범위의 사운드 파일과 기능 선택 정보가 전송되면 이를 패턴 정보로 구성한다.
그 결과 클라우드 서버(300)는 해당 공기청정기가 "Sound1.wav"와 같은 사운드 파일을 전송하면 "파워청정"이라는 정보를 공기청정기에게 전송하여 공기청정기가 파워 청정을 수행할 수 있도록 한다.
앞서 도 1과 같이 종래 공기청정기는 조도 센서를 이용한 밝고 어두움에 따른 제어만 가능하기 때문에 주 생활시간대의 환경정보에 따른 자동제어 불가하였다. 또한 도 2와 같은 종래 공기청정기는 물체의 움직임만으로는 어느 정도의 오염이 발생될지 알 수 없기 때문에 주변환경의 상황에 맞는 자동운전이 불가하였다.
그러나, 본 명세서의 실시예들을 적용할 경우, 공기청정기기가 배치되어 동작하는 주변 환경에서 발생한 음향을 공기청정기가 입력받으면, 입력된 소리에 기반하여 주변 상황을 학습 네트워크를 통해 인지하고 인지된 상황에 최적으로 자동운전을 수행하고, 이를 음성출력 또는 시각데이터 출력으로 사용자에게 가이드를 제공한다. 이는 주변 상황에 따라 필터수명을 연장할 수 있는 공기청정기의 동작 또는 공기청정 능력을 극대화시키는 동작 등을 음성/시각 정보로 출력하고 그에 따라 동작하는 것을 포함한다.
또한, 본 명세서의 실시예들을 적용할 경우, 사용자가 공기청정기에서 발생하는 소음에 대해 불쾌감을 느끼지 않는 범위 내에서 최대한 공기청정 능력을 향상시키는 운전을 제어할 수 있다. 또한, 사용자의 활동이나 액티비티 상황에 따라 오염발생을 사전에 방지하기 위해 공기청정기가 동작할 수 있으며, 이를 통해 실내 공기의 청정효과를 극대화시킬 수 있다.
예를 들어, 먼지나 공기 오염을 유발하는 특정 상황이 발생하면, 이를 소리를 통해 인식하여 미리 공기청정 기능을 수행함으로써 공기청정 효과를 높일 수 있다.
본 발명의 실시예를 적용할 경우, 공기청정기에 장착된 마이크를 통해 입력되는 실생활 소음(청소기를 이용한 청소, 요리, 애완동물 키움)에서 공기청정기(100)는 주변 상황을 인지하여 발생한 상황에 맞는 공기청정기의 기능을 운전하며, 운전에 대한 정보를 사용자에게 음성/시각 메시지로 출력하여 사용자 가이드를 제공할 수 있다.
또한, 공기청정기 자체에서 발생되는 소음레벨 크기가 공기청정기에 장착된 마이크를 통해 측정된 주변 환경 소음레벨 크기 보다 작도록 제어하여, 사용자가 공기청정기를 사용함에 있어서 소음의 불편함을 느끼지 않는 범위 내에서 최대치의 강력 운전모드로 기능할 수 있다.
특히, TV 또는 라디오 혹은 외부에서 유입되는 소리 등과 같이 공기의 청정과 무관한 상황에서, 사용자의 공기청정기에 영향을 미치지 않는 음향정보들이 입력되면, 공기청정기에 장착된 마이크부(120)를 이용하여 소리의 방향성을 추정하고 변화가 없는 음향에 대해서는 필터링하여 공기청정기(100)가 상황에 적응적으로 동작할 수 있도록 한다.
정리하면, 본 발명의 실시예를 적용할 경우, 공기청정기에 장착된 마이크를 통해 입력되는 실생활 소음(청소기를 이용한 청소, 요리, 애완동물 키움)에 기반하여 공기청정기 주변의 상황을 인지하여 상황에 적합하게 공기청정기가 운전하도록 제어하며, 이에 따라 사용자 가이드 역시 제공할 수 있다.
또한, 공기청정기 자체에서 발생되는 소음레벨 크기가 공기청정기에 장착된 마이크를 통해 측정된 주변 환경 소음레벨 크기보다 작도록 공기청정기의 동작을 제어하여 사용자에게 불편함이 느껴지지 않는 최대치 강력 운전모드로 운전할 수 있도록 한다.
특히, TV나 라디오 혹은 외부에서 유입되는 소리 등, 사용자의 특정한 활동(청소, 요리)가 아니라 단지 컨텐츠 소비로써 소리가 발생하는 경우, 이들은 사용자의 공기청정기에 영향을 미치지 않는 음향정보들로 확인할 수 있따. 이를 위해 공기청정기에 장착된 마이크로 소리의 방향성을 추정하고 변화가 없는 음향에 대해서는 필터링 할 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
100: 공기청정기 110: 청정부
150: 제어부 260: 학습네트워크
300: 클라우드 서버

Claims (20)

  1. 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 청정부;
    주변의 소리를 입력받는 둘 이상의 마이크부;
    공기청정기의 동작을 지시하는 명령을 입력받는 인터페이스부; 및
    상기 입력된 소리의 패턴 정보에 대응하여 상기 청정부의 동작을 제어하며, 상기 둘 이상의 마이크부에서 입력된 소리의 차이로 방향성을 추정하여 움직임으로 인한 소리를 구분하는 제어부를 포함하며,
    상기 패턴 정보는 공간에서 발생한 액티비티 정보를 포함하며,
    상기 제어부는 상기 입력된 소리에 대응하는 상기 액티비티 정보를 산출하는 학습 네트워크를 더 포함하며,
    상기 학습 네트워크는 상기 입력된 소리에 대응하여 제어 정보를 생성하여 상기 제어부가 상기 제어 정보에 따라 상기 청정부를 제어한 후, 상기 인터페이스부가 상기 제어 정보와 상이한 동작을 지시하여 상기 공기청정기의 동작을 변경하는 명령을 입력받고, 상기 명령 입력의 누적된 횟수가 반복되면 상기 학습 네트워크는 상기 학습 네트워크를 구성하는 노드들 또는 상기 노드들 간의 가중치를 변경하며,
    상기 제어부는 상기 학습 네트워크를 이용하여 입력된 소리가 요리에 관한 소리인지를 확인하여 유증기 발생으로 필터 수명이 줄어든다는 메시지를 상기 인터페이스부에서 출력하고 상기 공기청정기의 동작을 중단시키는, 공기청정기.
  2. 제1항에 있어서,
    사물의 움직임을 센싱하는 센싱부를 더 포함하며,
    상기 제어부는 상기 소리의 패턴 정보를 확인함에 있어서 상기 센싱부가 센싱한 사물의 움직임 정보를 반영하는, 공기청정기.
  3. 제2항에 있어서,
    상기 움직임 정보가 정지인 경우,
    상기 제어부는 상기 소리의 패턴 정보를 컨텐츠 재생으로 판단하고 상기 재생되는 컨텐츠의 소리 크기에 따라 상기 청정부를 제어하는, 공기청정기.
  4. 제1항에 있어서,
    상기 마이크부에서 입력된 소리의 패턴 정보는 상기 소리의 크기를 포함하며,
    상기 제어부는 상기 소리의 크기 보다 작은 소음이 발생하도록 상기 청정부를 제어하는, 공기청정기.
  5. 제1항에 있어서,
    상기 학습 네트워크는 입력된 음원에서 추출된 다양한 K개의 특징 데이터들이 입력되며, 상기 특징 데이터는 사용자의 시간대 동작 특징에 대한 정보를 포함하는, 공기청정기.
  6. 제5항에 있어서,
    상기 학습 네트워크는 특징 데이터들이 입력되는 입력 노드들로 구성된 입력 레이어와, 입력된 음원의 패턴 정보를 출력하는 출력 노드들로 구성된 출력 레이어와, 입력 레이어와 출력 레이어 사이에 배치되는 히든 레이어를 포함하며,
    상기 히든 레이어를 구성하는 노드들 또는 노드들 간의 가중치는 반대 명령 입력의 누적 반복에 따라 수정되는, 공기청정기.
  7. 제1항에 있어서,
    상기 입력된 소리를 클라우드 서버에게 전송하고, 상기 클라우드 서버로부터 상기 액티비티 정보를 수신하는 통신부를 더 포함하는, 공기청정기.
  8. 제1항에 있어서,
    상기 인터페이스부는 상기 액티비티 정보에 대응하여 메시지를 음성으로 출력하거나 또는 텍스트나 이미지로 출력하는, 공기청정기.
  9. 제5항에 있어서,
    상기 마이크부가 주변의 소리를 입력받은 후, 일정 시간 이내에 공기 청정기의 기능이 변경되면,
    상기 제어부는 상기 입력받은 소리에 대한 사운드 파일 및 상기 기능 제어를 기록하며,
    상기 제어부는 상기 사운드 파일 및 상기 기능 변경 횟수가 일정 기준 이상 누적된 경우, 상기 소리에 대응하여 상기 공기청정기의 변경된 기능을 패턴 정보로 저장하는, 공기청정기.
  10. 삭제
  11. 삭제
  12. 공기를 흡입 및 송풍하며 공기 청정 기능을 수행하는 청정부와 둘 이상의 마이크부, 제어부를 포함하는 공기청정기에 있어서,
    상기 마이크부가 주변의 소리를 입력받는 단계; 및
    상기 제어부가 상기 입력된 소리의 패턴 정보에 대응하여 상기 청정부의 동작을 제어하며, 상기 둘 이상의 마이크부에서 입력된 소리의 차이로 방향성을 추정하여 움직임으로 인한 소리를 구분하는 단계를 포함하며,
    상기 패턴 정보는 공간에서 발생한 액티비티 정보를 포함하며,
    상기 제어부는 상기 입력된 소리에 대응하는 상기 액티비티 정보를 산출하는 학습 네트워크를 더 포함하며
    상기 학습 네트워크가 상기 입력된 소리에 대응하여 제어 정보를 생성하는 단계;
    상기 제어부가 상기 제어 정보에 따라 상기 청정부를 제어하는 단계;
    인터페이스부가 상기 제어 정보와 상이한 동작을 지시하여 상기 공기청정기의 동작을 변경하는 명령을 입력받는 단계;
    상기 명령 입력의 누적된 횟수가 반복되면 상기 학습 네트워크는 상기 학습 네트워크를 구성하는 노드들 또는 이들 노드들 간의 가중치를 변경하는 단계; 및
    상기 제어부는 상기 학습 네트워크를 이용하여 입력된 소리가 요리에 관한 소리인지를 확인하여 유증기 발생으로 필터 수명이 줄어든다는 메시지를 상기 인터페이스부에서 출력하고 상기 공기청정기의 동작을 중단시키는 단계를 더 포함하는,
    입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  13. 제12항에 있어서,
    센싱부가 사물의 움직임을 센싱하는 단계; 및
    상기 제어부가 상기 센싱부가 센싱한 사물의 움직임 정보를 반영하여 상기 소리의 패턴 정보를 확인하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  14. 제13항에 있어서,
    상기 움직임 정보가 정지인 경우,
    상기 제어부가 상기 소리의 패턴 정보를 컨텐츠 재생으로 판단하고 상기 재생되는 컨텐츠의 소리 크기에 따라 상기 청정부를 제어하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  15. 제12항에 있어서,
    상기 마이크부에서 입력된 소리의 패턴 정보는 상기 소리의 크기를 포함하며,
    상기 제어부가 상기 소리의 크기 보다 작은 소음이 발생하도록 상기 청정부를 제어하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  16. 제12항에 있어서,
    상기 학습 네트워크는 입력된 음원에서 추출된 다양한 K개의 특징 데이터들이 입력되며, 상기 특징 데이터는 사용자의 시간대 동작 특징에 대한 정보를 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  17. 제16항에 있어서,
    상기 학습 네트워크는 특징 데이터들이 입력되는 입력 노드들로 구성된 입력 레이어와, 입력된 음원의 패턴 정보를 출력하는 출력 노드들로 구성된 출력 레이어와, 입력 레이어와 출력 레이어 사이에 배치되는 히든 레이어를 포함하며,
    상기 히든 레이어를 구성하는 노드들 또는 노드들 간의 가중치는 반대 명령 입력의 누적 반복에 따라 수정되는 단계를 더 포함한는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  18. 제12항에 있어서,
    통신부가 상기 입력된 소리를 클라우드 서버에게 전송하는 단계; 및
    상기 통신부가 상기 클라우드 서버로부터 상기 액티비티 정보를 수신하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  19. 제12항에 있어서,
    인터페이스부가 상기 액티비티 정보에 대응하여 메시지를 음성으로 출력하거나 또는 텍스트나 이미지로 출력하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
  20. 제16항에 있어서,
    상기 마이크부가 주변의 소리를 입력받은 후, 일정 시간 이내에 공기 청정기의 기능이 변경되면,
    상기 제어부가 상기 입력받은 소리에 대한 사운드 파일 및 상기 기능 제어를 기록하는 단계; 및
    상기 사운드 파일 및 상기 기능 변경 횟수가 일정 기준 이상 누적된 경우, 상기 제어부가 상기 소리에 대응하여 상기 공기청정기의 변경된 기능을 패턴 정보로 저장하는 단계를 더 포함하는, 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법.
KR1020180106147A 2018-09-05 2018-09-05 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기 KR102001782B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106147A KR102001782B1 (ko) 2018-09-05 2018-09-05 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106147A KR102001782B1 (ko) 2018-09-05 2018-09-05 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기

Publications (1)

Publication Number Publication Date
KR102001782B1 true KR102001782B1 (ko) 2019-07-18

Family

ID=67469357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106147A KR102001782B1 (ko) 2018-09-05 2018-09-05 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기

Country Status (1)

Country Link
KR (1) KR102001782B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210152613A (ko) 2020-06-08 2021-12-16 박헌재 인공지능 미세먼지 저감장치
US20220304529A1 (en) * 2021-03-26 2022-09-29 Irobot Corporation Floor and air cleaning systems and related methods
JP2022155754A (ja) * 2021-03-31 2022-10-14 ブラザー工業株式会社 空気調整装置用コントローラ、カラオケ装置、空気調整装置及び空気調整装置用コントロールプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0660049A (ja) * 1991-08-09 1994-03-04 Matsushita Electric Ind Co Ltd パターン分類装置と環境認識装置と空調機
JP2503317Y2 (ja) * 1990-05-25 1996-06-26 日本電気株式会社 空気調節装置
JP2012112570A (ja) * 2010-11-24 2012-06-14 Hitachi Appliances Inc 空気調和機
KR20180049471A (ko) * 2016-11-02 2018-05-11 엘지전자 주식회사 공기청정기 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2503317Y2 (ja) * 1990-05-25 1996-06-26 日本電気株式会社 空気調節装置
JPH0660049A (ja) * 1991-08-09 1994-03-04 Matsushita Electric Ind Co Ltd パターン分類装置と環境認識装置と空調機
JP2012112570A (ja) * 2010-11-24 2012-06-14 Hitachi Appliances Inc 空気調和機
KR20180049471A (ko) * 2016-11-02 2018-05-11 엘지전자 주식회사 공기청정기 및 그 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210152613A (ko) 2020-06-08 2021-12-16 박헌재 인공지능 미세먼지 저감장치
US20220304529A1 (en) * 2021-03-26 2022-09-29 Irobot Corporation Floor and air cleaning systems and related methods
US11793379B2 (en) * 2021-03-26 2023-10-24 Irobot Corporation Floor and air cleaning systems and related methods
JP2022155754A (ja) * 2021-03-31 2022-10-14 ブラザー工業株式会社 空気調整装置用コントローラ、カラオケ装置、空気調整装置及び空気調整装置用コントロールプログラム
JP7347469B2 (ja) 2021-03-31 2023-09-20 ブラザー工業株式会社 空気調整装置用コントローラ、カラオケ装置、空気調整装置及び空気調整装置用コントロールプログラム

Similar Documents

Publication Publication Date Title
KR102001782B1 (ko) 인공지능을 이용하여 입력된 소리에 기반하여 공기청정기의 동작을 제어하는 방법 및 이를 구현하는 공기청정기
JP6741050B2 (ja) 送風機器
KR102618721B1 (ko) 공기 청정기 및 이의 동작 방법
US10178474B2 (en) Sound signature database for initialization of noise reduction in recordings
JP5020222B2 (ja) 空気調和機
US11571648B2 (en) Air cleaner
CN110036246B (zh) 控制装置、换气系统、换气方法及记录介质
KR102550358B1 (ko) 인공지능 공기청정기 및 그 제어방법
JP7000230B2 (ja) 香り放出システム
WO2013121653A1 (ja) 自走式電子機器
JP6855274B2 (ja) 空気清浄機および空気清浄機の制御方法
KR102243305B1 (ko) 가정용 에어 샤워기
KR20190026519A (ko) 인공지능 공기조화기의 동작 방법
CN114450534A (zh) 信息处理装置
KR102157239B1 (ko) 인공지능에 기반하여 일정에 대응하는 추천 정보를 제공하는 공기청정기 및 방법
CN111108329B (zh) 空气净化机
CN112805128B (zh) 人工智能移动机器人
JP2012002461A (ja) 空気調節機
JP2021117566A (ja) 移動制御装置、移動型空気清浄機、および、移動制御方法
KR102612827B1 (ko) 인공지능 이동 로봇의 제어 방법
CN208475570U (zh) 空气净化器自启动控制开关及其系统
CN110941189A (zh) 智能家居系统及其控制方法、可读存储介质
CN110195926A (zh) 空气净化器自启动控制开关及其系统
KR20210064859A (ko) 스마트 서비스 제공장치 및 그 방법
KR101010687B1 (ko) 공기청정기의 운전제어장치 및 그 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant