KR20200016643A - 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법 - Google Patents

인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법 Download PDF

Info

Publication number
KR20200016643A
KR20200016643A KR1020180091973A KR20180091973A KR20200016643A KR 20200016643 A KR20200016643 A KR 20200016643A KR 1020180091973 A KR1020180091973 A KR 1020180091973A KR 20180091973 A KR20180091973 A KR 20180091973A KR 20200016643 A KR20200016643 A KR 20200016643A
Authority
KR
South Korea
Prior art keywords
home appliance
voice signal
control method
prevention control
accident prevention
Prior art date
Application number
KR1020180091973A
Other languages
English (en)
Other versions
KR102635434B1 (ko
Inventor
장용운
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180091973A priority Critical patent/KR102635434B1/ko
Priority to US16/533,379 priority patent/US11585039B2/en
Publication of KR20200016643A publication Critical patent/KR20200016643A/ko
Application granted granted Critical
Publication of KR102635434B1 publication Critical patent/KR102635434B1/ko

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F39/00—Details of washing machines not specific to a single type of machines covered by groups D06F9/00 - D06F27/00 
    • D06F39/12—Casings; Tubs
    • D06F39/14—Doors or covers; Securing means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F33/00—Control of operations performed in washing machines or washer-dryers 
    • D06F33/30—Control of washing machines characterised by the purpose or target of the control 
    • D06F33/47—Responding to irregular working conditions, e.g. malfunctioning of pumps 
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2103/00—Parameters monitored or detected for the control of domestic laundry washing machines, washer-dryers or laundry dryers
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/44—Opening, closing or locking of doors
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F2105/00—Systems or parameters controlled or affected by the control systems of washing machines, washer-dryers or laundry dryers
    • D06F2105/58—Indications or alarms to the control system or to the user
    • D06F2105/60—Audible signals
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F34/00—Details of control systems for washing machines, washer-dryers or laundry dryers
    • D06F34/04—Signal transfer or data transmission arrangements
    • D06F34/05—Signal transfer or data transmission arrangements for wireless communication between components, e.g. for remote monitoring or control
    • D—TEXTILES; PAPER
    • D06—TREATMENT OF TEXTILES OR THE LIKE; LAUNDERING; FLEXIBLE MATERIALS NOT OTHERWISE PROVIDED FOR
    • D06F—LAUNDERING, DRYING, IRONING, PRESSING OR FOLDING TEXTILE ARTICLES
    • D06F37/00—Details specific to washing machines covered by groups D06F21/00 - D06F25/00
    • D06F37/42—Safety arrangements, e.g. for stopping rotation of the receptacle upon opening of the casing door
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C2009/00753—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by active electrical keys
    • G07C2009/00769—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by active electrical keys with data transmission performed by wireless means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00571—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys operated by interacting with a central unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

본 발명은 홈어플라이언스에서 발생될 수 있는 어린이 또는 애완동물과 관련된 안전사고를 예방할 수 있는 사고 예방 제어 방법에 관한 기술이다. 본 발명에 따른 사고 예방 제어 방법은, 음성신호의 발생위치가 홈어플라이언스의 외부인 경우, 발생위치와 기준거리를 비교한다. 이어서, 본 발명은, 음성신호의 발생위치가 기준거리보다 작은 경우, 홈어플라이언스의 도어를 잠김 상태(Lock state)로 전환한다. 이를 통해, 본 발명은 어린이 또는 애완동물이 홈어플라이언스의 내부에 들어가지 못하도록 제어할 수 있다.

Description

홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법{Controlling method for preventing accident performed by home appliance and cloud server}
본 발명은 홈어플라이언스에서 발생될 수 있는 어린이 또는 애완동물과 관련된 안전사고를 예방할 수 있는 사고 예방 제어 방법에 관한 기술이다.
가정이나 사무실 등의 소정 공간에서 사용되는 홈어플라이언스(Home appliance)들은 각각 고유의 기능과 동작을 수행한다. 여기에서, 홈어플라이언스에는 세탁기, 건조기, 에어컨, 로봇청소기, 공기청정기, 냉장고, 오븐레인지, 정수기 등을 포함될 수 있다.
이 중에서 세탁기는 세탁물을 세탁하기 위한 드럼 또는 터브와, 이를 회전시키는 모터를 포함할 수 있다. 마찬가지로, 건조기는 세탁물을 건조시키기 위한 드럼 또는 터브와, 이를 회전시키는 모터를 포함할 수 있다.
이러한 세탁기 또는 건조기에 구비된 드럼 또는 터브는, 많은 세탁물을 수용할 수 있도록 넓은 내부 공간을 갖는다. 이에 따라, 어린이나 애완동물이 드럼 또는 터브 안에 들어갔다가 안에 갇히는 경우, 안전사고가 발생할 수 있는 문제가 있었다.
이러한 안전사고를 방지하기 위하여, 최근 세탁기 또는 건조기는 드럼 또는 터브 내부에 있는 물체의 움직임을 감지하여 외부에 알려주는 안전장치를 마련하고 있다.
다만, 이러한 종래의 기술은 제품이 일정 시간 또는 일정 RPM 이상 동작되어야만 물체의 움직임을 감지할 수 있다. 따라서, 종래의 기술에서, 드럼 또는 터브에 갇힌 어린이 또는 애완동물은 위험한 상황에 노출된 이후에 발견이 가능한 문제점이 있었다.
본 발명의 목적은 어린이 또는 애완동물이 홈어플라이언스의 내부에 들어가지 못하도록 제어하는 사고 예방 제어 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 어린이 또는 애완동물이 홈어플라이언스에 가까이 접근한 경우, 홈어플라이언스가 동작하지 못하도록 제어하는 사고 예방 제어 방법을 제공하는 것이다.
또한, 본 발명의 목적은, 홈어플라이언스의 동작 중에 어린이 또는 애완동물의 소리가 내부에서 감지되는 경우, 홈어플라이언스의 동작을 즉시 중단시키고 도어를 개방하는 사고 예방 제어 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명에 따른 사고 예방 제어 방법은, 음성신호의 발생위치가 홈어플라이언스의 외부인 경우, 음성신호의 발생위치와 기준거리를 비교한다. 이어서, 본 발명은, 음성신호의 발생위치가 기준거리보다 작은 경우, 홈어플라이언스의 도어를 잠김 상태(Lock state)로 전환한다. 이를 통해, 본 발명은 어린이 또는 애완동물이 홈어플라이언스의 내부에 들어가지 못하도록 제어할 수 있다.
또한, 본 발명에 따른 사고 예방 제어 방법은, 음성신호의 발생위치가 홈어플라이언스의 외부인 경우, 발생위치와 기준거리를 비교한다. 이어서, 본 발명은, 음성신호의 발생위치가 기준거리보다 작은 경우, 홈어플라이언스가 동작 버튼을 잠금 상태로 전환한다. 이를 통해, 본 발명은 어린이 또는 애완동물이 인접한 경우, 홈어플라이언스가 동작하지 못하도록 제어할 수 있다.
또한, 본 발명에 따른 사고 예방 제어 방법은, 음성신호의 발생위치가 홈어플라이언스의 내부이고, 홈어플라이언스가 동작 중인 경우, 홈어플라이언스의 동작을 정지시킨다. 이어서, 본 발명은 홈어플라이언스의 도어를 오픈 상태(Open state)로 전환한다. 이를 통해, 본 발명은 어린이 또는 애완동물이 내부로 들어간 경우, 홈어플라이언스가 동작하지 못하도록 할 수 있다.
본 발명에 따른 사고 예방 제어 방법은, 어린이 또는 애완동물이 접근하는 경우, 도어를 잠금 상태로 전환한다. 따라서, 본 발명은 어린이 또는 애완동물이 홈어플라이언스의 내부로 들어가는 것을 원천적으로 방지할 수 있다. 이를 통해, 홈어플라이언스의 안전에 대한 신뢰도는 향상될 수 있다.
또한, 본 발명에 따른 사고 예방 제어 방법은, 어린이 또는 애완동물이 홈어플라이언스의 가까이에 위치하는 경우, 홈어플라이언스이 동작 버튼을 잠금 상태로 전환한다. 따라서, 본 발명은 홈어플라이언스의 동작에 의해 안전사고가 발생하는 것을 원천적으로 방지할 수 있다. 즉, 본 발명은 이중으로 안전장치를 마련함으로써, 안전사고가 발생될 수 있는 가능성을 최소화할 수 있다.
또한, 본 발명에 따른 사고 예방 제어 방법은, 홈어플라이언스의 내부에서 어린이 또는 애완동물의 소리가 감지되는 경우, 바로 홈어플라이언스의 동작을 정지시킨다. 따라서, 본 발명은 어린이 또는 애완동물이 홈어플라이언스의 내부에 들어가는 경우 발생할 수 있는 안전사고를 방지할 수 있다. 또한, 머신 러닝을 통해 감지된 소리로 위험 상황을 판단함으로써, 사고 발생 위험을 더욱 감소시킬 수 있다. 이를 통해, 사용자의 제품에 대한 신뢰도는 향상되고, 제품의 브랜드 가치도 함께 향상될 수 있다.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 홈어플라이언스를 나타내는 사시도이다.
도 2는 도 1의 홈어플라이언스를 나타내는 블럭도이다.
도 3은 본 발명의 다른 실시예에 따른 홈어플라이언스와 통신하는 클라우드 서버를 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 홈어플라이언스와 클라우드 서버 사이의 관계를 나타내는 블럭도이다.
도 5는 본 발명의 몇몇 실시예에 의한 학습부의 구성을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.
이하에서, 도 1 내지 도 8을 참조하여 본 발명의 실시예에 따른 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법에 대해 살펴보도록 한다.
도 1은 본 발명의 일 실시예에 따른 홈어플라이언스를 나타내는 사시도이다. 홈어플라이언스는 세탁기, 건조기, 에어컨, 로봇청소기, 공기청정기, 냉장고, 오븐레인지, 정수기 등을 포함할 수 있다. 설명의 편의를 위하여, 도 1에서는 세탁기를 예로 들어 도시하였다.
다만, 본 발명이 이에 한정되는 것은 아니며, 본 발명의 몇몇 실시예에 따른 사고 예방 제어 방법은 어린이 또는 애완동물가 갇힐 수 있는 내부 공간을 구비한 다양한 홈어플라이언스에 적용이 가능한다.
도 1을 참조하면, 홈어플라이언스(100)(즉, 세탁기)는 복수의 세탁부를 포함한다. 구체적으로, 홈어플라이언스(100)는 제1 세탁부(150A)와 제2 세탁부(150B)를 포함할 수 있다.
제1 세탁부(150A)와 제2 세탁부(150B)는 서로 인접하게 배치될 수 있다. 예를 들어, 제1 세탁부(150A)와 제2 세탁부(150B)는 상하로 배치될 수 있다.
이때, 제1 세탁부(150A)와 제2 세탁부(150B)는 상호 결합 및 분리 되도록 구성될 수 있다. 제1 세탁부(150A)와 제2 세탁부(150B)는 각각의 하우징을 가질 수 있다. 여기에서, 각각의 하우징은 서로 결합 및 분리 가능하도록 형성될 수 있다.
또한, 제1 세탁부(150A)와 제2 세탁부(150B)는 하나의 하우징 내에 배치될 수 있다. 이 경우 제1 세탁부(150A)와 제2 세탁부(150B)는 하우징 내에 고정되어 분리되지 않을 수 있다.
제1 세탁부(150A)와 제2 세탁부(150B)는 각각 프런트로드(Front Load) 또는 탑로드(Top Load) 방식으로 구성될 수 있다.
여기에서, 프런트로드 방식은 전면에서 세탁조 내부로 세탁물을 투입하는 형태를 갖는다. 따라서, 프런트로드 방식은 세탁물이 처리되는 세탁조가 실질적으로 수평축을 기준으로 회전한다.
한편, 탑로드 방식은 상면에서 세탁조 내부로 세탁물을 투입하는 형태를 갖는다. 따라서, 탑로드 방식은 세탁물이 처리되는 세탁조가 실질적으로 수직축을 기준으로 회전한다.
도 1에는 제1 세탁부(150A)가 프런트로드 방식으로 구성되고, 제2 세탁부(150B)가 탑로드 방식으로 구성되는 것을 도시하였다. 다만, 본 발명이 이에 한정되는 것은 아니며, 제1 세탁부(150A)와 제2 세탁부(150B)는 다양한 방식으로 변형되어 실시될 수 있다.
제1 세탁부(150A)는 제1 세탁조(151A), 제1 도어(153A), 및 제1 인터페이스부(170A)를 포함할 수 있다. 제1 도어(153A)는 제1 세탁조(151A)의 투입구에 설치된다. 제1 인터페이스부(170A)는 제1 세탁부(150A)의 동작을 제어할 수 있는 다양한 버튼을 구비한다.
마찬가지로, 제2 세탁부(150B)는 제2 세탁조(151B), 제2 도어(153B), 및 제2 인터페이스부(170B)를 포함할 수 있다. 제2 도어(153B)는 제2 세탁조(151B)의 투입구에 설치된다. 제2 인터페이스부(170B)는 제2 세탁부(150B)의 동작을 제어할 수 있는 다양한 버튼을 구비한다.
즉, 제1 세탁부(150A)와 제2 세탁부(150B)는 각각 별개의 세탁조(151A, 151B), 도어(153A, 153B), 및 인터페이스부(170A, 170B)를 구비할 수 있다. 이에 따라, 제1 세탁부(150A)와 제2 세탁부(150B)는 상호 독립적으로 동작할 수 있다.
한편, 어린이 또는 애완동물은 신체의 크기가 작기 때문에, 제1 세탁조(151A) 또는 제2 세탁조(151B)에 쉽게 들어갈 수 있다. 어린이 또는 애완동물이 세탁조(151A, 151B)에 들어간 상태에서 홈어플라이언스(100)가 동작하는 경우, 어린이 또는 애완동물은 큰 상해를 입을 수 있다.
따라서, 본 발명의 홈어플라이언스(100)는 어린이 또는 애완동물이 들어가 발생할 수 있는 안전사고를 사전에 예방할 수 있는 사고 예방 제어 방법을 수행할 수 있다.
이하에서는 사고 예방 제어 방법을 수행하기 위한 홈어플라이언스(100)의 구체적인 구성요소에 대해 살펴보도록 한다.
도 2는 도 1의 홈어플라이언스를 나타내는 블럭도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 홈어플라이언스(100)는 오디오 입력부(110), 오디오 출력부(120), 센서부(130), 제어부(140), 구동부(150), 통신부(160), 인터페이스부(170), 메모리부(180) 및 학습부(190)를 포함한다.
오디오 입력부(110)는 홈어플라이언스(100) 외부 또는 내부의 음성신호를 입력받을 수 있다. 이를 위해, 오디오 입력부(110)는 하나 이상의 마이크(MIC)를 구비할 수 있다.
참고로, 음성신호가 발생된 위치를 계산하기 위해 오디오 입력부(110)는 복수의 마이크를 구비할 수 있다.
예를 들어, 오디오 입력부(110)는 홈어플라이언스(100) 외부의 소리를 감지하는 복수의 외부감지용 마이크와, 홈어플라이언스(100) 내부의 소리를 감지하는 내부감지용 마이크를 구비할 수 있다.
이때, 복수의 외부감지용 마이크는 서로 이격되어 배치될 수 있다. 후술할 제어부(140)는 서로 이격된 복수의 외부감지용 마이크에서 감지된 각각의 음성신호를 이용하여, 음성신호의 발생위치를 계산할 수 있다.
한편, 내부감지용 마이크는 홈어플라이언스(100)의 내측에 배치될 수 있다. 내부감지용 마이크에서 입력된 음성신호를 이용하여, 후술할 제어부(140)는 홈어플라이언스(100)의 내부에 어린이 또는 애완동물가 있는지 여부를 판단할 수 있다.
다만, 본 발명이 이에 한정되는 것은 아니며, 전술한 오디오 입력부(110)에 포함된 외부감지용 마이크와 내부감지용 마이크는, 구분되지 않고 하나의 마이크 모듈에 통합되어 구현될 수 있다.
또한, 오디오 입력부(110)는 복수의 마이크에서 수신된 데이터를 비교하여 잡음(noise)을 제거할 수 있다. 사용자의 음성 명령을 입력받는 과정에서 발생하는 잡음을 제거하기 위해, 오디오 입력부(110)는 다양한 잡음 제거 알고리즘을 이용할 수 있다. 또한, 오디오 입력부(110)는 각 마이크에서 수신되는 오디오 신호에서 노이즈를 제거하는 필터, 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기 등 오디오 신호 처리를 위한 구성들을 포함할 수 있다. 이를 통해, 오디오 입력부(110)는 사용자의 음성 명령을 정확히 수신할 수 있다.
오디오 출력부(120)는 음성 데이터를 소리로 변환하여 출력할 수 있다. 오디오 출력부(120)는 전기 신호를 소리로 변환하는 구성요소(예를 들어, 스피커 등)을 구비할 수 있다. 오디오 출력부(120)는 제어부(140)로부터 음성 데이터를 수신할 수 있다.
어린이 또는 애완동물이 홈어플라이언스(100)에 가까이에 접근하는 경우, 오디오 출력부(120)는 경고음을 발생시킬 수 있다. 또한, 어린이 또는 애완동물이 홈어플라이언스(100)의 내부에 위치하는 경우, 오디오 출력부(120)는 경고음을 발생시킬 수 있다.
센서부(130)는 사용자의 움직임을 감지할 수 있는 하나 이상의 센서를 포함할 수 있다. 또한, 센서부(130)는 사용자의 존재 여부, 또는 사용자와 홈어플라이언스(100) 사이의 거리를 감지할 수 있다. 센서부(130)는 PIR 센서, 영상감지센서, 열화상 센서, 적외선 센서 등을 포함할 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.
또한, 센서부(130)는 홈어플라이언스(100)의 내부에 어린이 또는 애완동물이 존재하는지를 감지할 수 있다. 감지된 정보는 제어부(140)에 제공되어 이용될 수 있다.
제어부(140)는 홈어플라이언스(100)에 포함된 구성요소의 전반적인 제어를 수행할 수 있다.
제어부(140)는 오디오 입력부(110)를 통해 음성신호를 수신한다. 이어서, 제어부(140)는 수신된 음성신호를 분석하여 음성신호의 발생위치를 계산할 수 있다. 이를 통해, 제어부(140)는 음성신호의 발생위치가 홈어플라이언스(100)의 내부인지 또는 외부인지 판단할 수 있다.
음성신호의 발생위치가 홈어플라이언스(100)의 외부인 경우, 제어부(140)는 음성신호를 발생시킨 사용자(예를 들어, 어린이 또는 애완동물)와 홈어플라이언스(100) 사이의 거리를 계산한다.
참고로, 제어부(140)는 센서부(130)에서 감지한 신호를 이용하여 사용자와 홈어플라이언스(100) 사이의 거리를 계산할 수도 있다.
이어서, 제어부(140)는 음성신호의 발생위치와 미리 정해진 기준거리를 비교할 수 있다. 이때, 기준거리는 안전사고 예방을 위해 미리 설정된 소정의 거리(예를 들어, 홈어플라이언스(100)의 주변 1미터)가 될 수 있다. 참고로, 기준거리는 다양하게 변경되어 실시될 수 있다.
만약, 음성신호의 발생위치가 미리 정해진 기준거리보다 작은 경우, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 잠김 상태(Lock State)로 전환할 수 있다. 또한, 제어부(140)는 제1 세탁부(150A)의 제1 인터페이스부(170A)와, 제2 세탁부(150B)의 제2 인터페이스부(170B)를 잠김 상태(Lock State)로 전환할 수 있다. 즉, 제어부(140)는 홈어플라이언스(100)의 동작 버튼을 잠김 상태(Lock State)로 전환할 수 있다.
또한, 음성신호의 발생위치가 미리 정해진 기준거리보다 작은 경우, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킬 수 있다. 이를 통해, 홈어플라이언스(100)는 어린이 또는 애완동물이 세탁조 가까이에 접근하는 것을 막을 수 있다.
또한, 음성신호의 발생위치가 미리 정해진 기준거리보다 작은 경우, 제어부(140)는 통신부(160)를 통하여 사용자 단말기(300)에 알림 메시지를 전달할 수 있다. 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스(100)의 근처에 접근했음'에 대한 정보를 포함할 수 있다.
한편, 음성신호의 발생위치가 홈어플라이언스(100)의 내부인 경우, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킬 수 있다. 경고음을 통해, 홈어플라이언스(100)는 주위에 현재 안전사고가 발생할 수 있는 상황임을 알릴 수 있다. 또한, 경고음을 통해, 홈어플라이언스(100)는 어린이 또는 애완동물이 세탁기 내부에 들어가는 것을 방지할 수 있다.
다른 한편, 홈어플라이언스(100)의 동작 중에 홈어플라이언스(100)의 내부에서 음성신호가 감지되는 경우, 제어부(140)는 즉각 구동부(150)의 동작을 정지시킬 수 있다. 또한, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 열림 상태(Open State)로 전환할 수 있다.
이어서, 제어부(140)는 제1 세탁부(150A)의 제1 인터페이스부(170A)와, 제2 세탁부(150B)의 제2 인터페이스부(170B)를 잠김 상태(Lock State)로 전환할 수 있다. 즉, 제어부(140)는 홈어플라이언스(100)의 동작 버튼을 잠김 상태(Lock State)로 전환할 수 있다.
또한, 홈어플라이언스(100)의 동작 중에 홈어플라이언스(100)의 내부에서 음성신호가 감지되는 경우, 제어부(140)는 통신부(160)를 통하여 사용자 단말기(300)에 알림 메시지를 전달할 수 있다. 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스(100)의 내부에서 발견되었음'에 대한 정보를 포함할 수 있다.
또한, 홈어플라이언스(100)의 동작 중에 홈어플라이언스(100)의 내부에서 음성신호가 감지되는 경우, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킬 수 있다. 이를 통해, 홈어플라이언스(100)는 주변 사람들에게 현재 안전사고가 발생하였음을 알릴 수 있다.
추가적으로, 전술한 제어부(140)의 동작은, 현재 상태가 위험 상태라고 판단된 경우에만 동작할 수 있다. 현재 상태에 대한 판단은 머신 러닝(machine learning)을 기초로 현재 상태를 계산하는 학습부(190)의 출력 정보를 기초로 결정될 수 있다. 이에 대한 자세한 설명은 도 5를 참조하여 후술하도록 한다.
구동부(150)는 전술한 제1 세탁부(150A)와 제2 세탁부(150B)를 포함할 수 있다. 전술한 바와 같이, 제1 세탁부(150A)와 제2 세탁부(150B)는 각각 별개의 세탁 코스로 동작할 수 있다. 구동부(150)는 제어부(140)에 의해 동작이 제어될 수 있다.
통신부(160)는 하나 이상의 통신 모듈을 구비한다. 이를 통해, 통신부(160)는 다른 전자기기와 무선 통신을 수행하여 각종 신호를 주고 받을 수 있다. 예를 들어, 통신부(160)는 무선 인터넷 네트워크를 이용하여 별도의 서버들 또는 사용자 단말기들과 데이터를 주고받을 수 있다.
인터페이스부(170)는 복수의 조작 버튼과 디스플레이를 포함할 수 있다. 복수의 조작버튼을 이용하여, 사용자는 세탁 코스 또는 추가 세탁 옵션을 설정할 수 있다. 디스플레이는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작 코스, 동작 상태, 에러 상태 등을 표시할 수 있다. 또한, 인터페이스부(170)는 터치패드와 터치스크린이 결합된 형태로 구성될 수 있다.
메모리부(180)는 세탁기의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 메모리부(180)에는 음성신호 분석을 위한 데이터와 상황 판단을 위한 데이터가 데이터베이스 형태로 저장될 수 있다.
학습부(190)는 수신되는 음성 데이터에 대하여 머신 러닝(machine learning)을 수행할 수 있다. 메모리부(180)는 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
보다 자세히 설명하자면, 머신 러닝(Machine Learning)의 일종인 딥러닝(Deep Learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습하는 것이다.
딥러닝(Deep learning)은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝(Machine Learning) 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)를 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(DNN)으로 구성될 수 있다.
학습부(190)는 공지된 다양한 딥러닝 구조를 이용할 수 있다. 예를 들어, 학습부(190)는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등의 구조를 이용할 수 있다.
구체적으로, CNN(Convolutional Neural Network)은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델이다.
RNN(Recurrent Neural Network)은 자연어 처리 등에 많이 이용되며, 시간의 흐름에 따라 변하는 시계열 데이터(Time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다.
DBN(Deep Belief Network)은 딥러닝 기법인 RBM(Restricted Boltzman Machine)을 다층으로 쌓아 구성되는 딥러닝 구조이다. RBM(Restricted Boltzman Machine) 학습을 반복하여 일정 수의 레이어가 되면, 해당 개수의 레이어를 가지는 DBN(Deep Belief Network)이 구성될 수 있다.
한편, 학습부(190)의 인공신경망 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다.
또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(Back Propagation) 등의 방법이 사용될 수 있다.
한편, 메모리부(180)에는 머신 러닝으로 기학습된 인공신경망(Artificial Neural Network)이 탑재될 수 있다.
즉, 본 발명의 일 실시예에 따른 홈어플라이언스(100)는, 수신되는 음성신호를 입력 데이터로 하는 머신 러닝(machine learning) 기반의 상황판단 동작을 수행할 수 있다. 이때, 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 또한, 학습부(190)는 설정에 따라 학습 후 음성 인식 인공신경망 구조를 업데이트하도록 제어할 수 있다.
이때, 제어부(140)는 입력받은 음성신호에 대한 파라미터를 산출하여 학습부(190)에 제공한다. 학습부(190)는 입력받은 파라미터를 학습인자로 입력하고, 이에 대한 출력으로 음성신호에 대한 발화자의 상태를 나타내는 상태정보를 출력할 수 있다.
이어서, 학습부(190)에서 출력된 상태정보는 제어부(140)에 전달된다. 제어부(140)는 전달된 상태정보를 기초로 발화자의 현자 상태가 정상 상태인지 또는 위험 상태인지 여부를 판단한다. 이어서, 제어부(140)는 현재 상태가 위험 상태인 경우, 전술한 사고 예방 제어 방법을 수행할 수 있다.
학습부(190)의 머신 러닝에 대한 자세한 방법은 도 5를 참조하여 후술하도록 한다.
추가적으로, 본 발명의 다른 실시예에서, 학습부(190)의 동작은 별도의 클라우드 서버(200)에서 실시될 수 있다. 전술한 본 발명의 일 실시예에 따른 홈어플라이언스(100)와 같이 머신 러닝 동작이 내부에서 수행되는 시스템을 내적 학습기반 시스템이라 한다.
반면, 머신 러닝 동작이 외부에서 수행되는 시스템을 외적 학습기반 시스템이라 한다.
이하에서는, 외적 학습기반 시스템을 구성하는 홈어플라이언스(101)와 클라우드 서버(200)에 대해 도 3 및 도 4를 참조하여 살펴보도록 한다.
도 3은 본 발명의 다른 실시예에 따른 홈어플라이언스와 통신하는 클라우드 서버를 나타내는 도면이다. 도 4는 본 발명의 다른 실시예에 따른 홈어플라이언스와 클라우드 서버 사이의 관계를 나타내는 블럭도이다.
도 3 및 도 4를 참조하면, 외적 학습기반 시스템을 구성하는 홈어플라이언스(101)의 구성요소 중에서, 오디오 입력부(110), 오디오 출력부(120), 센서부(130), 제어부(140), 구동부(150), 통신부(160), 인터페이스부(170), 및 메모리부(180)는 앞서 도 2을 참조하여 살펴본 홈어플라이언스(100)의 각 구성요소와 실질적으로 동일하게 동작할 수 있다. 여기에서는, 홈어플라이언스(101)의 중복되는 구성요소에 대한 설명은 생략하도록 한다.
제어부(140)는 발화자의 상태를 나타내는 상태정보를 판단하는데 필요한 파라미터를 추출할 수 있다. 이때, 제어부(140)는 입력받은 음성신호를 분석하여 파라미터를 산출한다.
여기에서, 파라미터는 음성신호에 대한 고음 비율, 상기 음성신호의 평균 크기, 및 상기 음성신호의 패턴 정보 중 하나 이상을 포함할 수 있다. 다만, 이는 몇몇 예시에 불과하고, 파라미터는 다양하게 변경되어 실시될 수 있다.
추가적으로, 전술한 파라미터는 아이들의 육성, 아이들이 장난치는 소리, 애완동물의 소리, 위급한 상황에서 아이들의 비명소리, 애완동물의 흥분상태의 소리 등 다양한 소리를 구분할 수 있는 팩터들로 구성될 수 있다.
이어서, 제어부(140)는 추출된 파라미터를 통신부(160)를 통하여 클라우드 서버(200)로 전송한다.
클라우드 서버(200)는 통신부(210), 서버제어부(220) 및 학습부(230)를 포함한다.
통신부(210)는 홈어플라이언스(100)의 통신부(160)와 무선연결되어 데이터를 교환한다.
서버제어부(220)는 통신부(210)를 통해 수신된 파라미터를 학습부(230)에 전달한다.
학습부(230)는 전달받은 파라미터를 학습인자(즉, 입력인자)로써 입력받는다. 이어서, 학습부(190)는 출력인자로 음성신호에 대한 발화자의 상태를 나타내는 상태정보를 출력할 수 있다.
학습부(230)는 히든 레이어와 각 입력/출력인자에 배치되는 링크 혹은 바이어스(bias)나 각 링크의 가중치(weight)를 학습 과정에서 생성할 수도 있고, 외부로부터 업데이트된 정보를 저장할 수 있다. 이 경우 학습부(230)는 버전을 달리하여 클라우드 서버(200)에 저장될 수 있다.
클라우드 서버(200)는 다수의 제어 모듈들로부터 학습인자(즉, 파라미터)를 수신하여 그에 대응하는 출력인자를 산출할 수 있다. 또한, 다수의 제어 모듈들이 제공하는 학습인자를 지속적으로 학습부(230)에 입력하여 학습부(230)를 업데이트 시킬 수 있다. 학습부(230)는 소정의 학습 알고리즘을 이용하여 부하 단계를 추정할 수 있다.
여기에서, 학습부(230)에서 출력되는 상태정보는 정상상태정보와 위험상태정보를 포함할 수 있다. 이때, 각각의 정상상태정보와 위험상태정보는 확률로 표현될 수 있다.
위험상태정보의 확률이 정상상태정보의 확률보다 큰 경우, 서버제어부(220)는 현재 발화자의 상태를 위험상태라고 판단할 수 있다. 반면, 위험상태정보의 확률이 정상상태정보의 확률보다 작은 경우, 서버제어부(220)는 현재 발화자의 상태를 정상상태라고 판단할 수 있다.
추가적으로, 전술한 서버제어부(220)에서 수행되는 현재 발화자의 상태에 대한 판단은, 홈어플라이언스(101)의 제어부(140)에서 수행될 수 있다.
이하에서는, 전술한 본 발명의 몇몇 실시예에 따른 학습부(190, 230)의 구성에 대해 살펴보도록 한다.
도 5는 본 발명의 몇몇 실시예에 의한 학습부의 구성을 도시한 도면이다.
도 5를 참조하면, 학습부(190, 230)는 N개의 파라미터를 입력노드로 하는 입력 레이어(input)와, 상태정보를 출력노드로 하는 출력 레이어(Output)와, 입력 레이어와 출력 레이어 사이에 배치되는 하나 이상의 M 개의 히든 레이어를 포함한다.
여기서 각 레이어들의 노드를 연결하는 에지(edge)에는 가중치가 설정될 수 있다. 이러한 가중치 혹은 에지의 유무는 학습 과정에서 추가, 제거, 또는 업데이트 될 수 있다. 따라서, 학습 과정을 통하여, k개의 입력노드와 i개의 출력노드 사이에 배치되는 노드들 및 에지들의 가중치는 업데이트될 수 있다.
출력노드는 도 5과 같이 각 모드 별로 1/0 혹은 확률 등의 값을 출력하도록 i개가 배치될 수 있다. 예를 들어, 전술한 바와 같이 출력노드는 정상상태정보와 위험상태정보(즉, 2개)로 구성될 수 있다. 이때, 각각의 정상상태정보와 위험상태정보는 확률로 표현될 수 있다.
학습부(190, 230)가 학습을 수행하기 전에는 모든 노드와 에지는 초기값으로 설정될 수 있다. 그러나, 누적하여 정보가 입력될 경우, 노드 및 에지들의 가중치는 변경되고, 이 과정에서 학습인자로 입력되는 파라미터들과 출력노드로 할당되는 상태정보 사이의 매칭이 이루어질 수 있다.
추가적으로, 클라우드 서버(200)를 이용하는 경우, 학습부(230)는 많은 수의 파라미터들을 수신하여 처리할 수 있다. 따라서, 학습부(230)는 방대한 데이터에 기반하여 학습을 수행할 수 있다.
정리하면, 도 5의 학습부(190, 230)를 구성하는 입력노드와 출력노드 사이의 노드 및 에지의 가중치는 학습부(190, 230)의 학습 과정에 의해 업데이트될 수 있다. 학습부(190, 230)에서 출력되는 상태정보는 발화자의 상태정보를 판단하는데 이용될 수 있다.
학습부(190, 230)에서 출력되는 상태정보는 정상상태정보와 위험상태정보를 포함할 수 있다. 이때, 각각의 정상상태정보와 위험상태정보는 확률로 표현될 수 있다.
위험상태정보의 확률이 정상상태정보의 확률보다 큰 경우, 현재 발화자의 상태는 위험상태로 판단될 수 있다. 반면, 위험상태정보의 확률이 정상상태정보의 확률보다 작은 경우, 현재 발화자의 상태는 정상상태로 판단될 수 있다.
이어서, 현재 발화자의 상태가 위험상태로 판단되는 경우, 본 발명의 사고 예방 제어 방법이 홈어플라이언스(100, 101)의 제어부(140)에서 수행될 수 있다. 이하에서는, 본 발명의 몇몇 실시예에 따른 사고 예방 제어 방법에 대해 자세히 살펴보도록 한다.
이하에서는 설명의 편의를 위하여, 내적 학습기반 시스템을 기반으로 동작하는 전술한 본 발명의 일 실시예에 따른 홈어플라이언스(100)를 예로 들어 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 사고 예방 제어 방법에서 우선, 오디오 입력부(110)는 음성 발화 대상(즉, 발화자)의 음성 신호를 감지한다(S110). 감지된 음성 신호는 제어부(140)에 전달된다.
이어서, 제어부(140)는 음성 발화 대상과의 거리를 측정한다(S120). 이때, 제어부(140)는 복수의 마이크를 통해 수신한 음성 신호를 비교함으로써, 음성 발화 대상과의 거리를 측정할 수 있다. 또한, 제어부(140)는 센서부(130)로부터 수신한 데이터를 분석함으로써, 음성 발화 대상과의 거리를 측정할 수 있다. 다만, 이는 몇몇 예시에 불과하며, 본 발명이 이에 한정되는 것은 아니다.
이어서, 제어부(140)는 측정된 거리가 기준거리보다 작은지 여부를 판단한다(S130). 이때, 기준거리는 안전사고 예방을 위해 미리 설정된 소정의 거리(예를 들어, 홈어플라이언스(100)의 주변 1미터)가 될 수 있다. 참고로, 기준거리는 다양하게 변경되어 실시될 수 있다.
이어서, 측정된 거리가 기준거리보다 작은 경우, 제어부(140)는 구동부(150)의 도어를 잠김 상태(Lock State)로 전환한다(S140). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 잠김 상태(Lock State)로 전환할 수 있다.
이어서, 제어부(140)는 인터페이스부(170)의 동작 버튼을 잠김 상태(Lock State)로 전환한다(S150). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 인터페이스부(170A)와, 제2 세탁부(150B)의 제2 인터페이스부(170B)를 잠김 상태(Lock State)로 전환할 수 있다.
이어서, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킨다(S160).
추가적으로, 제어부(140)는 통신부(160)를 통하여 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달할 수 있다. 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스의 근처에 접근했음'에 대한 정보를 포함할 수 있다.
참고로, 본 발명의 사고 예방 제어 방법에서, 전술한 S150 단계 및 S160 단계는 생략되거나 선택적으로 수행될 수 있다.
이를 통해, 본 발명은 홈어플라이언스의 동작에 의해 안전사고가 발생하는 것을 원천적으로 방지할 수 있다. 즉, 본 발명은 어린이 또는 애완동물이 접근하는 경우, 도어를 잠금 상태로 전환하고, 동작 버튼을 잠금 상태로 전환할 수 있다. 즉, 이중으로 안전장치를 마련함으로써, 본 발명의 사고 예방 제어 방법은 안전사고가 발생될 수 있는 가능성을 최소화할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 사고 예방 제어 방법에서 우선, 제어부(140)는 구동부(150)가 동작 중인지 판단한다(S210).
이어서, 구동부(150)가 동작 중인 경우, 제어부(140)는 오디오 입력부(110)를 통해 홈어플라이언스(100)의 내부에서 음성 신호가 감지되는지 여부를 판단한다(S220). 이를 기초로, 제어부(140)는 구동부(150)에 어린이 또는 애완동물이 갇혔는지 여부를 판단할 수 있다.
참고로, 제어부(140)는 센서부(130)로부터 수신한 데이터를 기초로, 구동부(150) 내부에 어린이 또는 애완동물이 들어갔는지 여부를 판단할 수 있다. 이때, 센서부(130)는 PIR 센서, 영상감지센서, 열화상 센서, 또는 적외선 센서 등이 이용될 수 있다.
이어서, 홈어플라이언스(100) 내부에서 어린이 또는 애완동물이 갇혀있다고 판단되는 경우, 제어부(140)는 홈어플라이언스(100)의 동작을 즉각 정지시킨다(S230).
이어서, 제어부(140)는 구동부(150)의 도어를 열림 상태(Open State)로 전환한다(S240). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 열림 상태(Open State)로 전환할 수 있다.
이어서, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킨다(S250). 이를 통해, 제어부(140)는 안전사고가 발생하였음을 주위에 알릴 수있다.
이어서, 제어부(140)는 통신부(160)를 통하여 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달할 수 있다(S260). 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스의 내부에서 발견되었음'에 대한 정보를 포함할 수 있다.
참고로, 본 발명의 사고 예방 제어 방법에서, 전술한 S250 단계 및 S260 단계는 생략되거나 선택적으로 수행될 수 있다.
이를 통해, 본 발명은 어린이 또는 애완동물이 홈어플라이언스(100)의 내부에 들어가는 경우 발생할 수 있는 안전사고를 방지할 수 있다. 또한, 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달함으로써, 보호자가 즉각적으로 위험 상황을 인지하도록 할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 사고 예방 제어 방법을 나타내는 순서도이다.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 사고 예방 제어 방법에서, 오디오 입력부(110)는 음성 발화 대상(즉, 발화자)의 음성 신호를 감지한다(S310). 감지된 음성 신호는 제어부(140)에 전달된다.
이어서, 제어부(140)는 입력받은 음성신호에 대한 파라미터를 산출한다(S320). 여기에서, 파라미터는 음성신호에 대한 고음 비율, 상기 음성신호의 평균 크기, 및 상기 음성신호의 패턴 정보 중 하나 이상을 포함할 수 있다. 다만, 이는 몇몇 예시에 불과하고, 파라미터는 다양하게 변경되어 실시될 수 있다.
추가적으로, 전술한 파라미터는 아이들의 육성, 아이들이 장난치는 소리, 애완동물의 소리, 위급한 상황에서 아이들의 비명소리, 애완동물의 흥분상태의 소리 등 다양한 소리를 구분할 수 있는 팩터들로 구성될 수 있다.
이어서, 제어부(140)는 학습부(190)에 산출된 파라미터를 입력한다(S330).
이어서, 학습부(190)는 입력된 파라미커를 기초로, 발화자의 상태를 나타내는 상태정보를 출력한다. 여기에서, 학습부(230)에서 출력되는 상태정보는 정상상태정보와 위험상태정보를 포함할 수 있다. 이때, 각각의 정상상태정보와 위험상태정보는 확률로 표현될 수 있다.
이어서, 제어부(140)는 학습부(190)에서 출력된 상태정보를 기초로 발화자의 현재 상태가 위험 상태인지 판단한다(S340). 이때, 정상상태정보와 위험상태정보의 확률을 비교함으로써, 제어부(140)는 발화자의 현재 상태를 판단할 수 있다.
구체적으로, 위험상태정보의 확률이 정상상태정보의 확률보다 큰 경우, 제어부(140)는 현재 발화자의 상태를 위험상태라고 판단할 수 있다. 반면, 위험상태정보의 확률이 정상상태정보의 확률보다 작은 경우, 제어부(140)는 현재 발화자의 상태를 정상상태라고 판단할 수 있다.
이어서, 발화자의 현재 상태가 위험 상태인 경우, 제어부(140)는 홈어플라이언스(100)의 외부에서 음성 신호가 감지되었는지 여부를 판단한다(S350). 예를 들어, 제어부(140)는 복수의 마이크를 통해 수신한 음성 신호를 비교함으로써, 음성 발화 대상과의 거리와 위치를 계산할 수 있다.
이어서, 홈어플라이언스(100)의 외부에서 음성 신호가 감지되는 경우, 제어부(140)는 구동부(150)의 도어를 잠김 상태(Lock State)로 전환한다(S360). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 잠김 상태(Lock State)로 전환할 수 있다.
이어서, 제어부(140)는 인터페이스부(170)의 동작 버튼을 잠김 상태(Lock State)로 전환한다(S365). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 인터페이스부(170A)와, 제2 세탁부(150B)의 제2 인터페이스부(170B)를 잠김 상태(Lock State)로 전환할 수 있다.
이어서, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킨다(S390). 이를 통해, 제어부(140)는 발화자의 현재 상태가 위험 상태임을 주위에 알릴 수 있다.
이어서, 제어부(140)는 통신부(160)를 통하여 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달할 수 있다(S395). 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스의 근처에 접근하였으며, 위험 상황이 발생하였음'에 대한 정보를 포함할 수 있다.
한편, 홈어플라이언스(100)의 내부에서 음성 신호가 감지되는 경우, 제어부(140)는 홈어플라이언스(100)의 동작을 즉각 정지시킨다(S380).
이어서, 제어부(140)는 구동부(150)의 도어를 열림 상태(Open State)로 전환한다(S385). 구체적으로, 제어부(140)는 제1 세탁부(150A)의 제1 도어(153A)와, 제2 세탁부(150B)의 제2 도어(153B)를 열림 상태(Open State)로 전환할 수 있다.
이어서, 제어부(140)는 오디오 출력부(120)를 통하여 경고음을 발생시킨다(S390). 이를 통해, 제어부(140)는 안전사고가 발생하였음을 주위에 알릴 수 있다.
이어서, 제어부(140)는 통신부(160)를 통하여 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달할 수 있다(S395). 이때, 알림 메시지는, '어린이 또는 애완동물이 홈어플라이언스의 내부에서 발견되었으며, 위험 상황이 발생하였음'에 대한 정보를 포함할 수 있다. 다만, 이러한 정보는 하나의 예시에 불과하며 본 발명이 이에 한정되는 것은 아니다.
참고로, 본 발명의 사고 예방 제어 방법에서, 전술한 S390 단계 및 S395 단계는 생략되거나 선택적으로 수행될 수 있다.
이를 통해, 본 발명은 어린이 또는 애완동물이 홈어플라이언스(100)의 내부에 들어가는 경우 발생할 수 있는 안전사고를 방지할 수 있다. 또한, 미리 등록된 사용자 단말기(300)에 알림 메시지를 전달함으로써, 보호자가 즉각적으로 위험 상황을 인지하도록 할 수 있다.
또한, 머신 러닝을 통해 감지된 소리로 위험 상황을 판단함으로써, 사고 발생 위험을 더욱 감소시킬 수 있다. 이를 통해, 사용자의 제품에 대한 신뢰도는 향상되고, 제품의 브랜드 가치도 함께 향상될 수 있다.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.
100: 홈어플라이언스 110: 오디오 입력부
130: 센서부 140: 제어부
150: 구동부 160: 통신부
170: 인터페이스부 180: 메모리부
190: 학습부 200: 클라우드 서버

Claims (15)

  1. 홈어플라이언스 및 상기 홈어플라이언스와 통신하는 클라우드 서버에서 수행되는 사고 예방 제어 방법에 있어서,
    상기 홈어플라이언스의 오디오 입력부를 통해 음성신호를 감지하는 단계;
    상기 음성신호의 발생위치를 계산하는 단계;
    상기 발생위치가 상기 홈어플라이언스의 외부인 경우, 상기 발생위치와 기준거리를 비교하는 단계; 및
    상기 발생위치가 상기 기준거리보다 작은 경우, 상기 홈어플라이언스의 도어를 잠김 상태(Lock state)로 전환하는 단계를 포함하는
    사고 예방 제어 방법.
  2. 제1항에 있어서,
    상기 발생위치가 상기 기준거리보다 작은 경우, 상기 홈어플라이언스의 동작 버튼을 잠김 상태로 전환하는 단계를 더 포함하는
    사고 예방 제어 방법.
  3. 제1항에 있어서,
    상기 발생위치가 상기 기준거리보다 작은 경우, 상기 홈어플라이언스의 오디오 출력부를 통해 경고음을 발생시키는 단계를 더 포함하는
    사고 예방 제어 방법.
  4. 제1항에 있어서,
    상기 발생위치가 상기 기준거리보다 작은 경우, 미리 등록된 사용자 단말기에 알림 메시지를 전송하는 단계를 더 포함하는
    사고 예방 제어 방법.
  5. 제1항에 있어서,
    상기 음성신호가 발생위치를 계산하는 단계는,
    상기 감지된 음성신호에 대한 파라미터를 산출하는 단계와,
    상기 홈어플라이언스의 학습부에 상기 파라미터를 학습인자로 입력하고, 이에 대한 출력으로 상기 음성신호에 대한 발화자의 상태를 나타내는 상태정보를 수신하는 단계와,
    상기 상태정보를 기초로 상기 발화자의 상태가 위험상태로 판단되는 경우, 상기 음성신호의 상기 발생위치를 계산하는 단계를 포함하는
    사고 예방 제어 방법.
  6. 제5항에 있어서,
    상기 상태정보는, 확률로 표현된 정상상태정보 및 위험상태정보를 포함하고,
    상기 위험상태는, 상기 위험상태정보의 확률이 상기 정상상태정보의 확률보다 큰 경우를 나타내는
    사고 예방 제어 방법.
  7. 제5항에 있어서,
    상기 파라미터는, 상기 음성신호에 대한 고음 비율, 상기 음성신호의 평균 크기, 및 상기 음성신호의 패턴 정보 중 하나 이상을 포함하는
    사고 예방 제어 방법.
  8. 제5항에 있어서,
    상기 학습부는,
    상기 파라미터를 입력노드로 하는 입력 레이어와,
    상기 상태정보를 출력노드로 하는 출력 레이어와,
    상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고,
    상기 입력노드와 상기 출력노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트되는
    사고 예방 제어 방법.
  9. 홈어플라이언스 및 상기 홈어플라이언스와 통신하는 클라우드 서버에서 수행되는 사고 예방 제어 방법에 있어서,
    상기 홈어플라이언스의 오디오 입력부를 통해 음성신호를 감지하는 단계;
    상기 음성신호의 발생위치를 판단하는 단계; 및
    상기 발생위치가 상기 홈어플라이언스의 내부이고 상기 홈어플라이언스가 동작 중인 경우, 상기 홈어플라이언스의 동작을 정지시키고, 상기 홈어플라이언스의 도어를 오픈 상태(Open State)로 전환하는 단계를 포함하는
    사고 예방 제어 방법.
  10. 제9항에 있어서,
    상기 발생위치가 상기 홈어플라이언스 내부이고 상기 홈어플라이언스가 동작 중인 경우, 미리 등록된 사용자 단말기에 알림 메시지를 전송하는 단계를 더 포함하는
    사고 예방 제어 방법.
  11. 제9항에 있어서,
    상기 발생위치가 상기 홈어플라이언스 내부이고 상기 홈어플라이언스가 동작 중인 경우, 상기 홈어플라이언스의 오디오 출력부를 통해 경고음을 발생시키는 단계를 더 포함하는
    사고 예방 제어 방법.
  12. 제9항에 있어서,
    상기 음성신호가 발생위치를 판단하는 단계는,
    상기 감지된 음성신호에 대한 파라미터를 산출하는 단계와,
    상기 홈어플라이언스의 학습부에 상기 파라미터를 학습인자로 입력하고, 이에 대한 출력으로 상기 음성신호에 대한 발화자의 상태를 나타내는 상태정보를 수신하는 단계와,
    상기 상태정보를 기초로 상기 발화자의 상태가 위험상태로 판단되는 경우, 상기 음성신호의 발생위치가 상기 홈어플라이언스의 내부인지를 판단하는 단계를 포함하는
    사고 예방 제어 방법.
  13. 제12항에 있어서,
    상기 상태정보는, 확률로 표현된 정상상태정보 및 위험상태정보를 포함하고,
    상기 위험상태는, 상기 위험상태정보의 확률이 상기 정상상태정보의 확률보다 큰 경우를 나타내는
    사고 예방 제어 방법.
  14. 제12항에 있어서,
    상기 파라미터는, 상기 음성신호에 대한 고음 비율, 상기 음성신호의 평균 크기, 및 상기 음성신호의 패턴 정보 중 하나 이상을 포함하는
    사고 예방 제어 방법.
  15. 제12항에 있어서,
    상기 학습부는,
    상기 파라미터를 입력노드로 하는 입력 레이어와,
    상기 상태정보를 출력노드로 하는 출력 레이어와,
    상기 입력 레이어와 상기 출력 레이어 사이에 배치되는 하나 이상의 히든 레이어를 포함하고,
    상기 입력노드와 상기 출력노드 사이의 노드 및 에지의 가중치는 상기 학습부의 학습 과정에 의해 업데이트되는
    사고 예방 제어 방법.
KR1020180091973A 2018-08-07 2018-08-07 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법 KR102635434B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180091973A KR102635434B1 (ko) 2018-08-07 2018-08-07 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법
US16/533,379 US11585039B2 (en) 2018-08-07 2019-08-06 Method for preventing accident performed by home appliance and cloud server using artificial intelligence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091973A KR102635434B1 (ko) 2018-08-07 2018-08-07 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법

Publications (2)

Publication Number Publication Date
KR20200016643A true KR20200016643A (ko) 2020-02-17
KR102635434B1 KR102635434B1 (ko) 2024-02-07

Family

ID=69405575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091973A KR102635434B1 (ko) 2018-08-07 2018-08-07 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법

Country Status (2)

Country Link
US (1) US11585039B2 (ko)
KR (1) KR102635434B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021146141A (ja) * 2020-03-24 2021-09-27 パナソニックＩｐマネジメント株式会社 洗濯機および衣類乾燥機
CN113622143A (zh) * 2020-05-06 2021-11-09 青岛海尔滚筒洗衣机有限公司 洗衣机控制方法、控制设备、洗衣机及存储介质
DE102021104990A1 (de) 2021-03-02 2022-09-08 Miele & Cie. Kg Verfahren zum Betreiben eines Haushaltgerätes und Haushaltgerät

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020056400A (ko) * 2000-12-29 2002-07-10 구자홍 세탁기 및 그 이상경고 출력방법
WO2015022070A1 (de) * 2013-08-16 2015-02-19 Diehl Ako Stiftung & Co. Kg Wäschebehandlungsgerät und verfahren zum steuern des betriebs eines wäschebehandlungsgerätes
KR20170022819A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 홈 네트워크 시스템
KR20170029905A (ko) * 2015-09-08 2017-03-16 삼성전자주식회사 식품 저장 장치 및 그 제어 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868220B2 (en) * 2007-07-16 2014-10-21 Crucs Holdings, Llc Systems and methods for automatically changing operational states of appliances
KR101605752B1 (ko) * 2009-04-28 2016-03-25 삼성전자 주식회사 세탁기 및 그 제어 방법
KR101745891B1 (ko) * 2009-05-08 2017-06-12 삼성전자주식회사 드럼세탁기의 도어잠금장치 및 이를 포함하는 드럼세탁기
US9109319B2 (en) * 2010-10-29 2015-08-18 Stmicroelectronics, Inc. System and method to detect child presence using active MEMS sensors
KR102024086B1 (ko) * 2012-12-28 2019-09-23 엘지전자 주식회사 세탁기 및 세탁기 제어방법
US9431014B2 (en) * 2013-07-25 2016-08-30 Haier Us Appliance Solutions, Inc. Intelligent placement of appliance response to voice command
US9702619B2 (en) * 2013-07-31 2017-07-11 Whirlpool Corporation Controlled, dynamic lighting of interior of appliance
US9286897B2 (en) * 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR102175295B1 (ko) * 2014-01-09 2020-11-06 엘지전자 주식회사 가전제품 및 가전제품 제어방법
US9888452B2 (en) * 2014-04-10 2018-02-06 Twin Harbor Labs Llc Methods and apparatus notifying a user of the operating condition of a household appliance
KR101813593B1 (ko) * 2016-03-15 2018-01-30 엘지전자 주식회사 음향 센서, 및 이를 구비하는 홈 어플라이언스 시스템
US10579879B2 (en) * 2016-08-10 2020-03-03 Vivint, Inc. Sonic sensing
US10934657B2 (en) * 2017-03-16 2021-03-02 Panasonic Intellectual Property Management Co., Ltd. Washer dryer machine and control method
KR102638948B1 (ko) * 2018-09-13 2024-02-22 삼성전자주식회사 의류관리기 및 이의 제어방법
KR20200036571A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 사물의 위치 및 방향을 기반으로 기능을 제어하는 전자 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020056400A (ko) * 2000-12-29 2002-07-10 구자홍 세탁기 및 그 이상경고 출력방법
WO2015022070A1 (de) * 2013-08-16 2015-02-19 Diehl Ako Stiftung & Co. Kg Wäschebehandlungsgerät und verfahren zum steuern des betriebs eines wäschebehandlungsgerätes
KR20170022819A (ko) * 2015-08-21 2017-03-02 삼성전자주식회사 홈 네트워크 시스템
KR20170029905A (ko) * 2015-09-08 2017-03-16 삼성전자주식회사 식품 저장 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR102635434B1 (ko) 2024-02-07
US11585039B2 (en) 2023-02-21
US20200048817A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
KR102635434B1 (ko) 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법
US11268227B2 (en) Washing machine based on artificial intelligence and method of controlling the same
US20130100268A1 (en) Emergency detection and response system and method
WO2019216732A1 (ko) 전자 장치 및 이의 제어 방법
CN109478241B (zh) 执行推理的计算机实现的方法、存储介质及计算设备
KR20210010270A (ko) 로봇 및 그의 기동어 인식 방법
US20120163127A1 (en) Method for monitoring a vicinity using several acoustic sensors
CN104742140B (zh) 状态判定系统、状态判定方法及移动机器人
JP2007249922A (ja) 非日常行動検知システム
CN106240518B (zh) 控制车辆门锁系统的方法
EP4047574A1 (en) Security / automation system control panel with acoustic signature detection
KR102541585B1 (ko) 인공지능과 음성 인식을 기반으로 동작하는 홈어플라이언스 및 이의 제어 방법
US11539546B2 (en) Home appliances and method for controlling home appliances
JP6719434B2 (ja) 機器制御装置、機器制御方法及び機器制御システム
JP2005092740A (ja) 監視システム、情報処理装置および方法、記録媒体、並びにプログラム
KR20190065094A (ko) 인공지능에 기반하여 음성 인식을 향상시키는 방법 및 이를 구현하는 장치
JP2019214249A (ja) 検知装置、コンピュータプログラム、検知方法及び学習モデル
JP2006285795A (ja) 監視システム及び居住者の監視方法
US11854367B1 (en) Detecting events based on the rhythm and flow of a property
CN115031847A (zh) 建筑内目标状态判断方法、系统、电子设备、存储介质
WO2019012618A1 (ja) エレベーターの異常検出装置
JP2013125469A (ja) 警備装置および警備動作切替え方法
WO2021124959A1 (ja) 異常動作検出装置および異常動作検出方法
WO2023280228A1 (zh) 提示方法及相关设备
KR101531873B1 (ko) 운전자 판단 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant