KR102323656B1 - 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 - Google Patents
홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 Download PDFInfo
- Publication number
- KR102323656B1 KR102323656B1 KR1020190066105A KR20190066105A KR102323656B1 KR 102323656 B1 KR102323656 B1 KR 102323656B1 KR 1020190066105 A KR1020190066105 A KR 1020190066105A KR 20190066105 A KR20190066105 A KR 20190066105A KR 102323656 B1 KR102323656 B1 KR 102323656B1
- Authority
- KR
- South Korea
- Prior art keywords
- home appliance
- sub
- communication
- home
- appliances
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 183
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 26
- 238000005406 washing Methods 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/80—Homes; Buildings
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2807—Exchanging configuration information on appliance services in a home automation network
- H04L12/2814—Exchanging control software or macros for controlling appliance services in a home automation network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/10—Frequency-modulated carrier systems, i.e. using frequency-shift keying
- H04L27/103—Chirp modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0659—Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/10—Plc systems
- G05B2219/16—Plc to applications
- G05B2219/163—Domotique, domestic, home control, automation, smart, intelligent house
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25168—Domotique, access through internet protocols
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L2012/2847—Home automation networks characterised by the type of home appliance used
- H04L2012/285—Generic home appliances, e.g. refrigerators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Accounting & Taxation (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Business, Economics & Management (AREA)
- Architecture (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Abstract
사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 홈 어플라이언스를 제어하는 장치 및 방법이 개시된다. 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치는, 발화자로부터 음성 명령을 수신하면, 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 서브 홈 어플라이언스로 설정하는 설정부와, 소정의 조건을 만족하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어하는 통신 제어부를 포함할 수 있다.
본 발명에 의하면, 네트워크 장애가 발생하더라도 서로 약속된 통신 프로토콜에 의해 사용자의 음성 명령을 송수신함으로써 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
본 발명에 의하면, 네트워크 장애가 발생하더라도 서로 약속된 통신 프로토콜에 의해 사용자의 음성 명령을 송수신함으로써 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
Description
본 발명은 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법에 관한 것으로, 더욱 상세하게는 사물 인터넷을 위해 연결된 5G 환경에서 네트워크 장애가 발생하여 발화자의 음성 명령에 대응하여 홈 어플라이언스의 원격 제어가 불가능한 경우, 복수의 홈 어플라이언스 사이에 서로 약속된 통신 프로토콜을 이용하여 통신 함으로써 발화자의 음성 명령에 대응하여 원격으로 홈 어플라이언스의 동작을 제어하는 홈 어플라이언스 제어 장치 및 방법과, 홈 어플라이언스 및 홈 어플라이언스의 구동 방법에 관한 것이다.
급속한 산업의 발달에 힘입어 대부분의 가정에는 TV, 세탁기, 냉장고 및 공기조화기 등의 가전기기들이 구비되어 있다. 이러한 가전기기들은 사용자의 편의를 위해 원격 제어장치(예를 들어, 리모컨)에 의해 제어될 수 있다. 즉, 사용자는 리모컨을 이용하여 상기 가전기기들을 편리하게 제어할 수 있다. 한편, 이러한 리모컨은 가전기기들 각각에 대응하도록 구비되어야 한다. 따라서, 가전기기가 많아질수록 리모컨의 수도 많아지며, 사용자는 각 리모컨이 어떤 가전기기에 대응하는 리모컨인지를 판단하기 어려운 문제가 발생할 수 있다. 또한, 리모컨의 경우 분실의 문제도 많이 발생되고 있다. 이러한 리모컨의 문제를 극복하기 위하여 그리고 사용자의 편의를 도모하기 위하여, 음성 명령을 통해 가전기기를 제어하기 위한 연구가 계속되고 있다.
특히 사용자의 음성 명령어를 해석하여 홈 네트워크 상의 정해진 여러 가전기기의 동작을 제어하는 기술이 선행기술 1 및 선행기술 2에 의해 개시되어 있다.
선행기술 1에는 음성 인식 가능한 복수의 전자 장치 중 음성 인식으로 제어할 전자 장치를 자동으로 결정하고, 통신부를 통하여 결정한 전자 장치로 음성 인식 결과에 대응하는 제어 명령을 전송하여 동작하도록 하는 기술이 개시되어 있으나, 통신부에 장애가 발생한 경우 결정한 전자 장치로 음성 인식 결과에 대응하는 제어 명령을 전송할 수 없는 한계가 있다.
선행기술 2에는 단말에서 음성을 통한 자연어 대화형으로 입력되는 명령어로 다양한 가전기기를 원격으로 제어하며, 가전기기를 원격으로 제어하기 위해 유무선 통신을 이용하는 기술이 개시되어 있으나, 통신에 장애가 발생한 경우 가전기기를 원격으로 제어할 수 없는 한계가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명의 일 과제는, 네트워크 장애가 발생한 경우 전자 장치로 음성 인식 결과에 대응하는 제어 명령을 전송할 수 없었던 종래 기술의 문제점을 해결하는 것이다.
본 발명의 일 과제는, 네트워크 장애가 발생한 경우 음성을 통해 가전기기를 원격으로 제어할 수 없었던 종래 기술의 문제점을 해결하는 것이다.
본 발명의 일 과제는, 네트워크 장애가 발생하여 발화자의 음성 명령에 대응하여 홈 어플라이언스의 원격 제어가 불가능한 경우, 복수의 홈 어플라이언스 사이에 서로 약속된 통신 프로토콜을 이용하여 발화자 음성 명령에 대응하는 신호 송수신을 수행하여 원격으로 홈 어플라이언스의 동작을 제어하는데 있다.
본 발명의 일 과제는, 통신 가능 범위를 초과한 두 개 이상의 홈 어플라이언스 사이에 중계 홈 어플라이언스를 구비하여 원격 제어 가능 거리를 확장하여 원격 제어 결과의 정확도를 향상시키는데 있다.
본 발명의 일 과제는, 네트워크 장애가 발생한 경우 전자 장치로 음성 인식 결과에 대응하는 신호를 전송할 수 없었던 종래 기술의 문제점을 최적의 프로세스 자원을 사용하면서 해결하는 것이다.
본 발명의 일 과제는, 네트워크 장애가 발생한 경우 음성을 통해 가전기기를 원격으로 제어할 수 없었던 종래 기술의 문제점을 최적의 프로세스 자원을 사용하면서 해결하는 것이다.
본 발명의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치는, 네트워크 장애가 발생하여 발화자의 음성 명령에 대응하여 홈 어플라이언스의 원격 제어가 불가능한 경우, 복수의 홈 어플라이언스 사이에 서로 약속된 통신 프로토콜을 이용하여 통신 함으로써 발화자의 음성 명령에 대응하여 원격으로 홈 어플라이언스의 동작을 제어하는 특징을 포함할 수 있다.
구체적으로 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치는, 발화자로부터 음성 명령을 수신하면, 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 서브 홈 어플라이언스로 설정하는 설정부와, 소정의 조건을 만족하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어하는 통신 제어부를 포함할 수 있다.
종래에는 네트워크 장애가 발생하는 경우, 음성 명령에 의한 홈 어플라이언스의 원격 제어가 불가능하였으나, 본 실시 예에 따른 홈 어플라이언스 제어 장치를 통하여 네트워크 장애가 발생하더라도 서로 약속된 통신 프로토콜에 의해 사용자의 음성 명령에 대응하는 신호를 송수신함으로써 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
또한, 통신 제어부는, 네트워크 통신에 장애가 발생하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 서로 약속된 통신 프로토콜을 이용하여 통신을 수행하도록 제어할 수 있다.
본 실시 예에 따른 통신 제어부를 통하여 네트워크 상태와 상관없이 음성 명령에 대응하는 신호를 통한 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
또한, 설정부는, 복수의 홈 어플라이언스 중에서 음성 인식 기능을 구비한 어느 한 홈 어플라이언스를 메인 홈 어플라이언스로 설정할 수 있다.
본 실시 예에 따른 설정부를 통하여 음성 인식 기능을 구비한 홈 어플라이언스를 메인 홈 어플라이언스로 설정함으로써, 메인 홈 어플라이언스를 통하여 음성 인식 기능을 구비하지 않은 서브 홈 어플라이언스를 원격 제어할 수 있어 사용자의 편리함을 향상시킬 수 있다.
또한, 설정부는, 복수의 홈 어플라이언스 중에서, 메인 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다.
본 실시 예에 따른 설정부를 통하여 통신 가능 범위를 초과한 두 개 이상의 홈 어플라이언스 사이에 중계 홈 어플라이언스를 구비하여 원격 제어 가능 거리를 확장함과 동시에 원격 제어 결과의 정확도를 향상시킬 수 있다.
본 발명의 일 실시 예에 따른 홈 어플라이언스는, 발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정하는 설정부와, 소정의 조건을 만족하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송하는 통신 제어부를 포함할 수 있다.
종래에는 네트워크 장애가 발생하는 경우, 음성 명령에 의한 홈 어플라이언스의 원격 제어가 불가능하였으나, 본 실시 예에 따른 홈 어플라이언스를 통하여 네트워크 장애가 발생하더라도 서로 약속된 통신 프로토콜에 의해 사용자의 음성 명령에 대응하는 구동 신호를 송수신함으로써 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
또한, 통신 제어부는, 네트워크 통신에 장애가 발생하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송할 수 있고, 서로 약속된 통신 프로토콜을 이용하여, 음성 명령에 대응하는 동작 신호에 의해 동작하는 서브 홈 어플라이언스의 동작 상태를 수신할 수 있다.
본 실시 예에 따른 통신 제어부를 통하여 네트워크 상태와 상관없이 음성 명령에 대응하는 신호 및 동작 상태 신호의 송수신을 통해 서브 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
또한, 설정부는, 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다.
본 실시 예에 따른 설정부를 통하여 통신 가능 범위를 초과한 두 개 이상의 홈 어플라이언스 사이에 중계 홈 어플라이언스를 구비하여 원격 제어 가능 거리를 확장함과 동시에 원격 제어 결과의 정확도를 향상시킬 수 있다.
본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 방법은, 설정부에 의해, 발화자로부터 음성 명령을 수신하면, 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 서브 홈 어플라이언스로 설정하는 단계와, 통신 제어부에 의해, 소정의 조건을 만족하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어하는 단계를 포함할 수 있다.
또한, 제어하는 단계는, 네트워크 통신에 장애가 발생하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 서로 약속된 통신 프로토콜을 이용하여 통신을 수행하도록 제어하는 단계를 포함할 수 있다.
또한, 설정하는 단계는, 복수의 홈 어플라이언스 중에서 음성 인식 기능을 구비한 어느 한 홈 어플라이언스를 메인 홈 어플라이언스로 설정하는 단계를 포함할 수 있다.
또한, 설정하는 단계는, 복수의 홈 어플라이언스 중에서, 메인 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시 예에 따른 홈 어플라이언스 동작 방법은 설정부에 의해, 발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정하는 단계와, 통신 제어부에 의해, 소정의 조건을 만족하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송하는 단계를 포함할 수 있다.
또한, 전송하는 단계는, 네트워크 통신에 장애가 발생하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송하는 단계를 포함할 수 있다.
또한, 전송하는 단계는, 서로 약속된 통신 프로토콜을 이용하여, 음성 명령에 대응하는 동작 신호에 의해 동작하는 서브 홈 어플라이언스로부터 동작 상태를 수신하는 단계를 더 포함할 수 있다.
또한, 설정하는 단계는, 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는 단계를 더 포함할 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 네트워크 장애가 발생하더라도 서로 약속된 통신 프로토콜에 의해 사용자의 음성 명령에 대응하는 신호를 송수신함으로써 홈 어플라이언스의 원격 제어를 용이하게 수행할 수 있다.
또한, 특정 위치에 구비된 하나의 홈 어플라이언스에 음성 명령을 입력하여 다른 위치에 구비된 다른 홈 어플라이언스를 제어할 수 있어 사용자의 편리함을 향상시킬 수 있다.
또한 통신 가능 범위를 초과한 두 개 이상의 홈 어플라이언스 사이에 중계 홈 어플라이언스를 구비하여 원격 제어 가능 거리를 확장함과 동시에 원격 제어 결과의 정확도를 향상시킬 수 있다.
또한, 홈 어플라이언스 제어 장치는 대량 생산된 획일적인 제품이지만, 사용자는 홈 어플라이언스 제어 장치를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
또한, 최적의 프로세서 자원만을 사용하여 사용자가 의도한 음성 명령으로 홈 어플라이언스의 동작을 제어함으로써 홈 어플라이언스 제어 장치의 전력 효율을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치의 개략적인 블록도 이다.
도 2는 본 발명의 일 실시 예에 따른 가정에 구성된 홈 어플라이언스 제어 장치, 복수의 홈 어플라이언스, 서버, 이들을 서로 연결하는 네트워크 및 복수의 홈 어플라이언스를 서로 연결하는 사운드 프로토콜을 포함하는 홈 어플라이언스 제어 환경의 예시도 이다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 홈 어플라이언스의 개략적인 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 가정에 구비된 복수의 홈 어플라이언스의 배치도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치에 의해 수행되는 홈 어플라이언스 제어를 설명하기 위한 예시도 있다.
도 8은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 홈 어플라이언스 동작 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 가정에 구성된 홈 어플라이언스 제어 장치, 복수의 홈 어플라이언스, 서버, 이들을 서로 연결하는 네트워크 및 복수의 홈 어플라이언스를 서로 연결하는 사운드 프로토콜을 포함하는 홈 어플라이언스 제어 환경의 예시도 이다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 홈 어플라이언스의 개략적인 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 가정에 구비된 복수의 홈 어플라이언스의 배치도이다.
도 6 및 도 7은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치에 의해 수행되는 홈 어플라이언스 제어를 설명하기 위한 예시도 있다.
도 8은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 홈 어플라이언스 동작 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치의 개략적인 블록도 이다. 도 1을 참조하면, 홈 어플라이언스 제어 장치(100)는 설정부(110) 및 통신 제어부(120)를 포함할 수 있다.
설정부(110)는 발화자로부터 음성 명령을 수신하면, 복수의 홈 어플라이언스(도 2의 200a 내지 200g) 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 및 나머지 서브 홈 어플라이언스를 설정할 수 있다.
여기서 메인 홈 어플라이언스라 함은, 복수의 홈 어플라이언스(200a 내지 200g) 중 어느 하나로, 자신의 홈 어플라이언스 기능을 수행할 수 있고, 서브 홈 어플라이언스에 동작 신호를 전송하고, 서브 홈 어플라이언스로부터 동작 상태 및/또는 동작 결과 신호를 수신하는 제어 주체를 포함할 수 있다. 또한 서브 홈 어플라이언스라 함은, 자신의 홈 어플라이언스 기능을 수행할 수 있고, 메인 홈 어플라이언스에 의해 동작이 제어 가능한 제어 대상을 포함할 수 있다.
본 실시 예에서 발화자로부터 음성 명령을 수신하기 위해, 설정부(110)는 음성 인식 모듈(미도시)을 더 포함할 수 있다.
본 실시 예에서 설정부(110)는 복수의 홈 어플라이언스(200a 내지 200g) 중에서 음성 인식 기능을 구비한 어느 한 홈 어플라이언스를 메인 홈 어플라이언스로 설정할 수 있고, 나머지 홈 어플라이언스를 서브 홈 어플라이언스로 설정할 수 있다.
여기서 음성 인식 기능이라 함은, 홈 어플라이언스로 하여금 발화자의 음성 명령을 이해하고, 이해된 음성 명령에 따라 동작을 수행하게 하는 기술로서, 발화자가 발화한 음성 명령의 음향학적 신호를 홈 어플라이언스가 이해할 수 있는 단어나 문장으로 변환하고, 변환한 단어나 문장으로 홈 어플라이언스를 동작시키는 기술을 포함할 수 있다. 본 실시 예에서, 설정부(110)에 포함된 음성 인식 모듈이 수행하는 음성 인식 기능은, 발화자로부터 음성 명령을 수신하면, 발화자의 음성 명령에 대응하는 홈 어플라이언스의 동작 신호를 생성하는 기술을 포함할 수 있다.
통신 제어부(120)는 소정의 조건을 만족하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어할 수 있다.
여기서 소정의 조건은 네트워크 통신에 장애가 발생하는 경우를 포함할 수 있다. 또한 네트워크 통신에 장애가 발생한다 함은, 홈 어플라이언스가 구비된 장소의 네트워크 커버리지(coverage)가 넓지 않아, 네트워크 신호가 기설정된 세기 이하의 세기인 경우를 포함할 수 있다. 또한 네트워크 통신에 장애가 발생한다 함은, 네트워크 장비의 문제로 네트워크 연결이 차단된 경우를 포함할 수 있다. 또한 소정의 조건은 하나 이상의 홈 어플라이언스가 구비된 장소에 네트워크가 구축되어 있지 않은 경우를 포함할 수도 있다.
또한, 서로 약속된 통신 프로토콜이라 함은, 기설정된 네트워크 이외에 복수의 홈 어플라이언스(200a 내지 200g) 사이에서 통신 가능한 사운드 프로토콜을 포함할 수 있다. 사운드 프로토콜은, 제어 신호를 소리 형태로 출력하는 처프(chirp) 신호로 변환하여 통신하도록 사전에 약속된 규칙을 포함할 수 있다. 처프 신호는 시간에 따라 주파수가 선형적으로 증가하거나(업-처프) 주파수가 감소하는(다운-처프) 신호로, 높은 시간 분해능, 다중 경로 감쇠에 강인한 특성을 지니고 있어 근거리(예를 들어 10m 이내) 무선 통신 기술로 사용되고 있다. 본 실시 예에서 복수의 홈 어플라이언스(200a 내지 200g) 각각은 사운드 프로토콜 통신을 위해, 일련의 신호(예를 들어, 음성 명령에 대응하는 서브 홈 어플라이언스의 구동 신호, 서브 홈 어플라이언스의 동작 결과 및/또는 동작 상태 등)를 처프 신호로 변환하는 변환부(도 3 및 도 4의 270)을 포함할 수 있으며, 처프 신호는 비가청(Inaudible) 주파수 대역에서 전송 가능한 신호로 변환될 수 있다. 이하 처프 신호의 변환은 도 3 및 도 4를 통하여 상세히 설명하기로 한다.
또한 통신 제어부(120)가 통신하도록 제어한다 함은, 메인 홈 어플라이언스와 서브 홈 어플라이언스의 설정이 완료되면, 통신 제어부(120)의 개입 없이, 네트워크(400)를 통하여 또는 사운드 프로토콜을 통하여, 메인 홈 어플라이언스와 서브 홈 어플라이언스 사이에 통신을 수행하도록 하는 것을 포함할 수 있다. 메인 홈 어플라이언스와 서브 홈 어플라이언스의 설정이 완료되면, 통신 제어부(120)는 메인 홈 어플라이언스와 서브 홈 어플라이언스의 동작을 모니터링 하다가, 메인 홈 어플라이언스 및/또는 서브 홈 어플라이언스의 요청에 의해 통신에 관여하여 요청에 대한 처리를 수행하고 처리 결과를 메인 홈 어플라이언스 및/또는 서브 홈 어플라이언스에 전송할 수 있다.
본 실시 예에서 설정부(110)는 복수의 홈 어플라이언스(200a 내지 200g) 중에서, 메인 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 사운드 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다. 여기서 중계 홈 어플라이언스라 함은, 자신의 홈 어플라이언스 기능을 수행할 수 있고, 메인 홈 어플라이언스와 통신의 타겟이 되는 서브 홈 어플라이언스 사이의 거리가 통신 가능 범위를 초과하는 경우, 메인 홈 어플라이언스 및 타겟이 되는 서브 홈 어플라이언스 사이에서 송수신 신호를 중계하는 중계 주체를 포함할 수 있다.
설정부(110)는 메인 홈 어플라이언스와 통신의 타겟이 되는 서브 홈 어플라이언스 사이의 거리가 통신 가능 범위를 초과하는 경우, 메인 홈 어플라이언스 및 타겟이 되는 서브 홈 어플라이언스를 제외한 복수의 홈 어플라이언스 중 하나 이상을 중계 홈 어플라이언스로 설정할 수 있다. 설정부(110)는 메인 홈 어플라이언스와 통신 가능 범위에 존재하여 사운드 프로토콜을 이용하여 통신할 수 있고, 타겟이 되는 서브 홈 어플라이언스와 통신 가능 범위에 존재하여 사운드 프로토콜을 이용하여 통신할 수 있는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다.
본 실시 예에서 홈 어플라이언스 제어 장치(100)는 도 1 및 도 2와 같이 독립적으로 존재할 수 있고, 도 3에 도시된 바와 같이 복수의 홈 어플라이언스(200a 내지 200g) 중 메인 홈 어플라이언스가 될 수 있는 홈 어플라이언스들의 내부에 구비될 수도 있고, 서버(도2의 300) 내부에 구비될 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 댁내 구성된 홈 어플라이언스 제어 장치, 복수의 홈 어플라이언스, 서버, 이들을 서로 연결하는 네트워크 및 복수의 홈 어플라이언스를 서로 연결하는 사운드 프로토콜을 포함하는 홈 어플라이언스 제어 환경의 예시도 이다. 이와 같은 제어 환경은 5G 통신을 통해 서로 연결된 사물 인터넷 환경일 수 있다. 이하의 설명에서 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 2를 참조하면 홈 어플라이언스 제어 환경은 홈 어플라이언스 제어 장치(100)와 복수의 홈 어플라이언스(200)와, 서버(300)와 네트워크(400)를 포함할 수 있다.
본 실시 예에서 홈 어플라이언스 제어 장치(100)는 도 1 및 도 2와 같이 독립적으로 존재할 수 있고, 도 3에 도시된 바와 같이 복수의 홈 어플라이언스(200a 내지 200g) 중 메인 홈 어플라이언스가 될 수 있는 홈 어플라이언스들의 내부에 구비될 수도 있고, 서버(도2의 300) 내부에 구비될 수도 있다.
홈 어플라이언스 제어 장치(100)가 도 1 및 도 2와 같이 독립적으로 존재하는 경우, 홈 어플라이언스 제어 장치(100)는 복수의 홈 어플라이언스(200a 내지 200g) 및/또는 서버(300)와 네트워크 통신을 수행할 수 있다. 네트워크 통신 장애가 발생한 경우, 홈 어플라이언스 제어 장치(100)는 복수의 홈 어플라이언스(200a 내지 200g)와 사운드 프로토콜을 이용하여 통신할 수 있다. 홈 어플라이언스 제어 장치(100)는 네트워크 통신 장애가 발생한 경우 복수의 홈 어플라이언스(200a 내지 200g) 제어 정보를 저장하고 있다가, 네트워크 통신이 정상적으로 동작하게 되면 서버(300)로 제어 정보를 전송할 수 있다.
또한, 홈 어플라이언스 제어 장치(100)가 도 3에 도시된 바와 같이 홈 어플라이언스 내부에 구비되는 경우, 홈 어플라이언스 제어 장치(100)를 구비한 홈 어플라이언스가 메인 홈 어플라이언스가 되어, 이웃하는 복수의 홈 어플라이언스 중에서 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정할 수 있다. 네트워크 통신이 정상적인 경우 메인 홈 어플라이언스는 이웃하는 적어도 하나의 서브 홈 어플라이언스 및/또는 서버(300)와 네트워크 통신을 수행할 수 있다. 그러나 네트워크 통신 장애가 발생한 경우, 메인 홈 어플라이언스는 사운드 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 서브 홈 어플라이언스로 전송하고, 서브 홈 어플라이언스로부터 동작 상태 및 동작 결과 신호를 수신할 수 있다. 메인 홈 어플라이언스는 네트워크 통신 장애가 발생한 경우 서브 홈 어플라이언스와의 신호 송수신 신호를 저장하고 있다가, 네트워크 통신이 정상적으로 동작하게 되면 서버(300)로 전송할 수 있다.
홈 어플라이언스(200)는 네트워크(400)를 이용하여 통신하거나 사운드 프로토콜을 이용하여 통신 가능한 TV(200a), 로봇청소기(200b), 세탁기(200c), 냉장고(200d), 노트북 컴퓨터(200e), 공기조화기(200f), 에어컨(200g) 등을 포함할 수 있다. 한편, 홈 어플라이언스(200)는, 다양한 예가 더 가능하다.
홈 어플라이언스(200) 각각은 서로 데이터를 송수신하여 네트워크(400)의 통신 장애 발생을 판단할 수 있고, 네트워크(400)의 통신 장애가 발생한 경우 사운드 프로토콜을 이용하여 통신할 수 있다.
홈 어플라이언스(200) 중에서 음성 인식 기능을 구비하고 있는 하나 이상의 홈 어플라이언스는 메인 홈 어플라이언스로 설정될 수 있다. 예를 들어 음성 인식 기능을 구비하고 있는 TV(200a)는 메인 홈 어플라이언스로 설정될 수 있고 나머지 홈 어플라이언스(200b 내지 200g)는 서브 홈 어플라이언스로 설정될 수 있다. 또한 홈 어플라이언스(200) 중 음성 인식 기능을 구비하고 발화자와 가장 가까이에 있거나, 음성 인식 기능을 구비하고 발화자의 얼굴 방향이 발화자의 영상 촬영 방향과 일치하는 하나 이상의 홈 어플라이언스는 메인 홈 어플라이언스로 설정될 수 있다. 도 3으로부터 음성 인식 기능이 있고 발화자와 가장 가까이에 있는 TV(200a)는 메인 홈 어플라이언스로 설정될 수 있고 나머지 홈 어플라이언스(200b 내지 200g)는 서브 홈 어플라이언스로 설정될 수 있다.
발화자로부터 어느 한 서브 홈 어플라이언스의 동작을 제어하는 음성 명령을 수신한 메인 홈 어플라이언스는, 음성 명령의 분석을 통하여 구동 신호를 생성하고, 통신의 타겟이 되는 서브 홈 어플라이언스를 판단하고, 타겟이 되는 서브 홈 어플라이언스로 구동 신호를 전송할 수 있다. 구동 신호를 수신한 타겟이 되는 서브 홈 어플라이언스는 구동을 수행하고, 자신의 동작 상태 및/또는 동작 결과를 메인 홈 어플라이언스로 전송할 수 있다.
서버(300)는 각종 인공지능 알고리즘을 적용하는데 필요한 빅데이터 및 홈 어플라이언스 제어 장치(100)를 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(300)는 발화자의 단말기(미도시)에 설치된 애플리케이션 또는 웹 브라우저를 이용하여 홈 어플라이언스 제어 장치(100)를 원격에서 제어할 수 있도록 하는 웹 서버 또는 애플리케이션 서버를 포함할 수 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
서버(300)는 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스 및 나머지 서브 홈 어플라이언스를 설정하고, 네트워크 통신에 장애가 발생하는 경우, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어할 수 있다. 즉, 홈 어플라이언스의 동작 제어 과정이 서버(300)에 의해 수행될 수 있다. 이를 위해 서버(300)는 네트워크(400)를 통하여 홈 어플라이언스 제어 장치(100) 및/또는 복수의 홈 어플라이언스(200a 내지 200g)와 통신을 수행하거나 사운드 프로토콜을 이용하여 홈 어플라이언스 제어 장치(100) 및/또는 복수의 홈 어플라이언스(200a 내지 200g)와 통신을 수행할 수 있다. 선택적 실시 예로 서버(300)에 사운드 프로토콜을 이용한 통신이 설정되어 있지 않은 경우, 네트워크(400) 통신이 정상적으로 동작 시에 홈 어플라이언스 제어 장치(100)로부터 수신한 정보를 이용하여 학습을 수행할 수 있다.
네트워크(400)는 홈 어플라이언스 제어 장치(100)와, 복수의 홈 어플라이언스(200a 내지 200g)와, 서버(300)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크(400)는 예컨대 LANs(local area networks), WANs(wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(400)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi (wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(400)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(400)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(400)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 홈 어플라이언스의 개략적인 블록도로서, 메인 홈 어플라이언스의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 3을 참조하면, 메인 홈 어플라이언스(200a 내지 200g 중 어느 하나)는 홈 어플라이언스 제어 장치(100), 통신부(210), 조작부(220), 센서부(230), 오디오 입력부(240), 구동부(250), 디스플레이부(261) 및 오디오 출력부(262)를 포함하는 출력부(260), 변환부(270), 제어부(280), 메모리(281), 프로세서(291)를 포함할 수 있다. 본 실시 예에서 통신부(210), 오디오 입력부(240), 오디오 출력부(262), 메모리(281) 및 프로세서(291)는 음성 인식 모듈(290)에 포함될 수 있다.
본 실시 예에서 메인 홈 어플라이언스에 구비되는 홈 어플라이언스 제어 장치(100)는 설정부(110) 및 통신 제어부(120)를 포함할 수 있다. 설정부(110)는 발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정할 수 있다. 여기서 이웃한다 함은, 메인 홈 어플라이언스와 하나 이상의 서브 홈 어플라이언스를 포함하는 복수의 홈 어플라이언스가 동일한 공간의 다른 위치에 배치되어 있거나, 한 가정 또는 생활공간에 배치되어 하나의 네트워크를 통해 서로 연결될 수 있도록 배치되어 있는 상태를 포함할 수 있으며, 복수의 홈 어플라이언스 각각은 서로 또는 다른 홈 어플라이언스를 통하여 사운드 프로토콜 통신을 수행할 수 있는 위치에 배치되어 있음을 포함할 수 있다.
통신 제어부(120)는 네트워크 통신에 장애가 발생하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜 즉 사운드 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송할 수 있다. 또한 통신 제어부(120)는 사운드 프로토콜을 통하여 서브 홈 어플라이언스로부터 동작 신호에 의해 동작하는 서브 홈 어플라이언스의 동작 상태 및/또는 동작 결과를 수신할 수 있다.
선택적 실시 예로 설정부(110)는 자신을 제외하고 음성 인식 기능을 구비한 홈 어플라이언스가 하나 이상 더 존재하는 경우, 메인 홈 어플라이언스 설정을 위해, 발화자와 가장 가까이에 위치한 어느 한 홈 어플라이언스를 메인 홈 어플라이언스로 설정할 수 있다. 여기서 음성 인식 기능을 구비한 두 개 이상의 홈 어플라이언스는 서로 사운드 프로토콜을 이용하여 메인 홈 어플라이언스 설정을 위한 정보(예를 들어 발화자까지의 거리 정보)를 공유할 수 있다. 또한, 발화자와 가장 가까이에 위치한다 함은, 발화자와 홈 어플라이언스 사이의 물리적인 거리가 가장 가까운 경우를 포함할 수 있으며, 발화자와 홈 어플라이언스 사이의 물리적인 거리가 가장 가깝다 함은, 홈 어플라이언스가 가장 센(또는 큰) 발화자의 음성 명령 신호를 수신한다고 할 수 있다. 홈 어플라이언스 내부에는 근접 센서(도 3 및 도 4의 센서부(230)에 포함)가 구비되어 있어서 발화자와 홈 어플라이언스 사이의 거리를 측정할 수 있다.
선택적 실시 예로, 설정부(110)는 자신을 제외하고 음성 인식 기능을 구비한 홈 어플라이언스가 하나 이상 더 존재하는 경우, 메인 홈 어플라이언스 설정을 위해, 발화자의 얼굴 방향과 발화자의 영상 촬영 방향이 오차 범위 내에서 일치하는 어느 한 홈 어플라이언스를 메인 홈 어플라이언스로 설정할 수 있다. 여기서 음성 인식 기능을 구비한 두 개 이상의 홈 어플라이언스는 서로 사운드 프로토콜을 이용하여 메인 홈 어플라이언스 설정을 위한 정보(예를 들어, 발화자의 얼굴 방향과 발화자의 영상 촬영 방향의 차이 정보)를 공유할 수 있다. 또한, 발화자의 얼굴 방향과 발화자의 영상 촬영 방향이 오차 범위 내에서 일치한다 함은, 해당 홈 어플라이언스가 가장 센(또는 큰) 발화자의 음성 명령 신호를 수신하는 상태를 갖추었다고 할 수 있거나, 발화자가 해당 홈 어플라이언스로 음성 명령을 발화할 준비 상태를 갖추었다고 할 수 있다. 홈 어플라이언스 내부에는 영상 센서(도 3 및 도 4의 센서부(230)에 포함)가 구비되어 있어서 발화자의 영상을 촬영할 수 있고, 발화자의 얼굴 방향과 영상 촬영 방향이 오차 범위 내에서 일치하는지 판단할 수 있다.
선택적 실시 예로 설정부(110)는 복수의 서브 홈 어플라이언스 사이에서 사운드 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다. 설정부(110)는 통신의 타겟이 되는 서브 홈 어플라이언스와의 거리가 통신 가능 범위를 초과하는 경우, 타겟이 되는 서브 홈 어플라이언스를 제외한 복수의 홈 어플라이언스 중 하나 이상을 중계 홈 어플라이언스로 설정할 수 있다.
통신부(210)는 네트워크(400)와 연동하여 복수의 홈 어플라이언스(200a 내지 200g) 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한 통신부(210)는 복수의 홈 어플라이언스(200a 내지 200g)와 발화자의 단말기 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 더 나아가 통신부(210)는 네트워크(400)의 장애 발생 시에 복수의 홈 어플라이언스(200a 내지 200g) 간의 사운드 프로토콜을 이용한 통신을 수행하도록 하는데 필요한 통신 인터페이스를 제공할 수 있다.
조작부(220)는 복수의 조작 버튼(미도시)을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(280)로 전송할 수 있다. 본 실시 예에서 조작부(220)는 TV(200a)의 경우 전원을 켜거나 끄고, 채널을 이동하거나 볼륨을 조절할 수 있는 일련의 조작 버튼을 포함할 수 있다. 조작부(220)는 에어컨(200g)의 경우 전원을 켜거나 끄고, 온도를 조절하거나 동작 모드를 선택할 수 있는 일련의 조작 버튼을 포함할 수 있다. 이와 같이 조작부(220)는 홈 어플라이언스(200)의 동작을 제어하기 위해 입력하는 조작 버튼을 포함할 수 있다.
센서부(230)는 홈 어플라이언스(200)의 주변 상황을 센싱하는 근접센서(미도시) 및 영상센서(미도시)를 포함할 수 있다. 근접센서는 적외선 등을 활용하여 홈 어플라이언스(200) 주변에 위치한 객체(예를 들어 발화자)의 위치 데이터를 획득할 수 있다. 한편, 근접센서가 획득한 사용자의 위치 데이터는 제어부(280)로 출력되고, 제어부(280)는 홈 어플라이언스(200)를 기준으로 발화자까지의 거리를 산출하여 메모리(281)에 저장할 수 있다. 제어부(280)는 근접센서가 신호를 발사하는 시간 정보와, 발사된 신호가 사용자로부터 반사되어 되돌아 오는 시간 정보의 차이를 분석하여 발화자와 홈 어플라이언스(200) 사이의 거리를 산출결과를 산출할 수 있다.
영상센서는 홈 어플라이언스(200) 주변을 촬영할 수 있는 카메라(미도시)를 포함할 수 있으며, 촬영 효율을 위해 복수 개가 설치될 수 있다. 예를 들어, 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: digital signal processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성할 수 있다. 한편, 영상센서로서의 카메라가 촬영하여 획득된 영상은 메모리(281)에 저장될 수 있고, 제어부(280)는 영상센서가 촬영한 발화자의 영상을 수신하여, 발화자의 얼굴 방향과 영상센서의 촬영방향이 오차범위 내에서 일치하는지 판단할 수 있다.
본 실시 예에서 센서부(230)를 근접센서 및 영상센서로 한정하고 있으나, 이에 국한되지 않고, 홈 어플라이언스(200)의 주변 상황을 감지할 수 있는 센서 예를 들어, 온도 센서, 습도 센서, 진동 센서 등 각종 센서를 구비할 수 있으며, 센서부(230)가 감지한 정보는 메모리(281)에 저장될 수 있다.
오디오 입력부(240)는 발화자가 발화한 발화 음성(예를 들어 음성 명령)을 입력 받을 수 있다. 이를 위해 오디오 입력부(240)는 하나 이상의 마이크(미도시)를 구비할 수 있다. 또한 사용자의 발화 음성을 더 정확하게 수신하기 위해 복수의 마이크(미도시)를 구비할 수 있다. 여기서, 복수의 마이크 각각은 서로 다른 위치에 이격되어 배치될 수 있고, 수신한 사용자의 발화 음성을 전기적인 신호로 처리할 수 있다.
구동부(250)는 홈 어플라이언스(200)에 구현된 동작을 수행하는 것으로, 각 홈 어플라이언스(200) 별로 다르게 구성될 수 있다. 예를 들어 홈 어플라이언스가 로봇 청소기(200b)인 경우, 구동부(250)는, 공기 흡입을 위한 팬 모터 구동부 등을 포함할 수 있다. 다른 예로, 홈 어플라이언스가 세탁기(200c)인 경우, 구동부(250)는, 드럼 또는 터보를 구동하는 구동부 등을 포함할 수 있다. 다른 예로, 홈 어플라이언스가 냉장고(200d)인 경우, 구동부(250)는, 냉장실에 냉각된 공기를 공급하기 위한 냉장실 팬을 동작시키는 냉장실 구동부, 냉동실에 냉각된 공기를 공급하기 위한 냉동실 팬을 동작시키는 냉동실 구동부, 냉매를 압축하기 위한 압축기를 동작시키는 압축기 구동부 등을 포함할 수 있다. 다른 예로, 홈 어플라이언스가 공기조화기(200f)인 경우, 구동부(250)는, 실외기 내의 압축기를 구동하기 위한 압축기 구동부, 열교환을 위한 실외기 팬을 동작시키는 실외기 팬 구동부, 열교환을 위한 실내기 팬을 동작시키는 실내기 팬 구동부 등을 포함할 수 있다.
출력부(260)는 디스플레이부(261) 및 오디오 출력부(262)를 포함할 수 있다. 디스플레이부(261)는 사용자(발화자 포함)의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태, 업데이트 버전정보, 업데이트 히스토리 정보, 빌드 번호 등을 영상으로 표시할 수 있다. 실시 예에 따라서, 디스플레이부(261)는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 디스플레이부(261)는 출력부 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력부로도 사용될 수 있다.
오디오 출력부(262)는 제어부(280)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 오디오 출력부(262)는 제어부(280)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
변환부(270)는 오디오 입력부(240)를 통해 입력되는 음성 명령을 분석하여 음성 명령에 대응하는 서브 홈 어플라이언스의 구동 신호를 데이터 매핑하여 처프 데이터(또는 신호)로 변환할 수 있다.
변환부(270)는 오디오 입력부(240)를 통해 입력되는 서브 홈 어플라이언스의 구동 신호를 비가청(Inaudible) 주파수 대역에서 전송 가능한 처프 데이터로 변환할 수 있다. 즉, 사람이 청취할 수 있는 가청 주파수(16Hz ~ 20kHz) 대역을 이용하여 처프 데이터를 출력할 경우에는 홈 어플라이언스(200)를 제어할 때마다 소리가 출력되고, 해당 소리는 사용자 및 주변 사람들에게 소음으로 느껴질 수 있다. 따라서 본 실시 예에서 변환부(270)는 음성 명령을 비가청 주파수 대역에서 전송 가능한 처프 데이터로 변환하기 때문에, 해당 데이터를 출력하더라도 사용자는 이를 느끼지 못한다.
변환부(270)는 도 3과 같이 메인 홈 어플라이언스에 구비된 경우 발화자의 음성 명령을 처프 신호로 변환할 수 있고, 도 4와 같이 서브 홈 어플라이언스에 구비된 경우 자신의 동작 상태 및/또는 동작 결과를 처프 신호로 변환할 수 있다. 또한 변환부(270)는 도 3과 같이 메인 홈 어플라이언스에 구비된 경우 서브 홈 어플라이언스로부터 수신한 서브 홈 어플라이언스의 동작 결과 및/또는 동작 상태 신호에 대한 처프 신호를 원래의 서브 홈 어플라이언스의 구동 신호로 변환할 수 있고, 도 4와 같이 서브 홈 어플라이언스에 구비된 경우 메인 홈 어플라이언스로부터 수신한 음성 명령에 대응하는 서브 홈 어플라이언스의 구동 신호에 대한 처프 신호를 원래의 음성 명령에 대응하는 서브 홈 어플라이언스의 구동 신호로 변환할 수 있다.
제어부(280)는 홈 어플라이언스 제어 장치(100)와 연계하여 메인 홈 어플라이언스의 동작 전체를 제어할 수 있다. 제어부(280)는 일종의 중앙처리장치로서 메모리(160)에 탑재된 제어 소프트웨어를 구동하고, 디스플레이부(170) 및/또는 오디오 출력부(180)를 제어하여 발화문 처리 결과를 출력하는 등의 다양한 기능을 제공할 수 있다.
여기서, 제어부(280)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 제어부(280)는 발화자의 음성 명령을 분석하여 서브 홈 어플라이언스의 구동 신호를 생성하고, 이 구동 신호에 대응하여 서브 홈 어플라이언스를 설정하고, 네트워크 통신에 장애가 발생하는 경우, 사운드 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송하기 위해, 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(281)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시 예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
한편, 메인 홈 어플라이언스에는 인공신경망(artificial neural network)이 탑재될 수 있고, 수신되는 음성 입력 신호를 입력 데이터로 하는 머신 러닝 기반의 사용자 인식 및 사용자의 음색 인식을 수행할 수 있다.
제어부(280)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함될 수 있고, 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(280)는 설정에 따라 학습 후 음색 인식 인공신경망 구조를 업데이트시키도록 제어할 수 있다.
메모리(281)는 홈 어플라이언스 제어 장치(100)의 동작에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 제어부(20)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(hard disk drive), SSD(solid state disk), SDD(silicon disk drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
본 실시 예에서 통신부(210), 오디오 입력부(240), 오디오 출력부(262), 메모리(281) 및 프로세서(291)는 음성 인식 모듈(290)에 포함될 수 있다.
본 실시 예에서, 음성 인식 모듈(290)은 음성 명령에 대응하는 구동 신호 및/또는 다양한 정보를 다른 홈 어플라이언스로 전송하는 통신부(210), 음성 명령을 수신하는 오디오 입력부(240), 소정 정보를 오디오로 출력하는 오디오 출력부(262), 음성 인식 알고리즘을 이용하여 음성 명령을 분석하여 서브 홈 어플라이언스의 구동 신호를 생성하는 프로세서(291)를 포함할 수 있다. 본 실시 예에서 음성 인식 모듈(290)은 도 3에서 도시한 홈 어플라이언스 외에, 다양한 전자 기기에 구비될 수 있다. 또는 다른 전자 기기에 구비되는 것 없이, 별도의 장치로서, 사용될 수도 있다
도 4는 본 발명의 다른 실시 예에 따른 홈 어플라이언스의 개략적인 블록도로서, 서브 홈 어플라이언스의 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 4를 참조하면, 도 3과 비교 시에 서브 홈 어플라이언스는 홈 어플라이언스 제어 장치(100)와 음성 인식 모듈(290)이 구비되어 있지 않을 수 있다. 즉 서브 홈 어플라이언스는 도 4로부터 프로세서(291)가 구비되어 있지 않다고 볼 수 있다.
도 5는 본 발명의 일 실시 예에 따른 가정에 구비된 복수의 홈 어플라이언스의 배치도이고, 도 6 및 도 7은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 장치에 의해 수행되는 홈 어플라이언스 제어를 설명하기 위한 예시도 있다. 이하의 설명에서 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 5를 참조하면, 거실에는 TV(200a), 공기조화기(200f), 에어컨(200g)이 배치되어 있고, 드레스 룸에는 로봇청소기(200b)가 배치되어 있고, 다용도실에는 세탁기(200c)가 배치되어 있고, 주방에는 냉장고(200d)가 배치되어 있고, 안방에는 노트북 컴퓨터(200e)가 배치되어 있음을 보여준다. 또한 도 5에 도시된 홈 어플라이언스 중 음성 인식 기능이 있는 적어도 하나의 홈 어플라이언스에는 설정부(110) 및 통신 제어부(120)를 포함하는 홈 어플라이언스 제어 장치(100)가 구비될 수 있다.
도 5 및 도 6을 참조하면, 거실에서 TV(200a)를 시청중인 발화자가 다용도실에 있는 세탁기(200c)를 동작시키고자 하는 경우를 설명하기로 하며, 네트워크 장애가 발생하였다고 가정하고 설명하기로 한다. 홈 어플라이언스 각각은 주기적으로 신호 송수신을 통하여 네트워크 장애 유무를 판단할 수 있고, 네트워크 장애 발생 시에는 사운드 프로토콜을 이용하여 서로 통신할 수 있다.
먼저 TV(200a)를 시청중인 발화자가 "빨래해줘"라는 음성 명령을 발화할 수 있다.
발화자 주변에 있으면서 음성 인식 기능을 구비한 TV(200a)와 에어컨(200g)이 발화자의 음성 명령을 수신하였으나, TV(200a)가 발화자와 더 가까이 있거나, 발화자의 얼굴 방향이 TV(200a)로 향하고 있으므로 TV(200a)가 메인 홈 어플라이언스로 설정되고, 나머지가 서브 홈 어플라이언스로 설정될 수 있다. 여기서, TV(200a)와 에어컨(200g)은 각각 발화자의 음성 명령을 수신한 후, 서로 발화자와의 거리 산출 정보 및/또는 발화자 영상 촬영 정보를 사운드 프로토콜 통신을 통해 공유할 수 있고, 발화자와 더 가까이 있는 TV(200a)가 메인 홈 어플라이언스로 설정되었음을 서로 공유할 수 있다.
메인 홈 어플라이언스로 설정된 TV(200a)는 발화자의 음성 명령을 해석하여 타겟으로 동작시킬 서브 홈 어플라이언스가 세탁기(200c)임을 판단할 수 있고, 발화자의 음성 명령에 대응하여 세탁기(200c)를 구동할 구동 신호를 생성할 수 있다. 여기서 복수의 홈 어플라이언스(200a 내지 200g) 각각은 자신과 다른 홈 어플라이언스들의 제어 코드 및/또는 댁내 홈 어플라이언스 위치 정보를 저장하고 있어서, 설정된 메인 홈 어플라이언스(TV(200a))가 발화자의 음성 명령을 수신하고 이를 해석하여 타겟으로 동작시킬 서브 홈 어플라이언스(세탁기(200c))를 판단하고, 서브 홈 어플라이언스(세탁기(200c))의 구동 신호를 생성할 수 있다.
선택적 실시 예로, 메인 홈 어플라이언스(TV(200a))가 전체 서브 홈 어플라이언스(200b 내지 200g)로 발화자의 음성 명령에 대응하는 구동 신호를 전송하면서, 구동 신호에 의해 구동 가능한 서브 홈 어플라이언스의 응답을 요청하고, 메인 홈 어플라이언스(TV(200a))가 구동 신호에 의해 구동 가능한 서브 홈 어플라이언스(세탁기(200c))로부터 응답 신호를 수신하면, 응답 신호를 전송한 서브 홈 어플라이언스(세탁기(200c))를 타겟으로 동작시킬 서브 홈 어플라이언스(세탁기(200c))를 판단할 수 있다.
메인 홈 어플라이언스로 설정된 TV(200a)는 구동 신호를 타겟이 되는 서브 홈 어플라이언스로서의 세탁기(200c)로 전송하고, 세탁기(200c)는 세탁을 수행할 수 있다. 이때 세탁기(200c)는 자신의 동작 상태 및/또는 동작 결과를 사운드 프로토콜을 이용한 통신을 통하여 메인 홈 어플라이언스로서의 TV(200a)로 전송하고, TV(200a)는 발화자에게 세탁기(200c)의 동작 상태 및/또는 동작 결과를 출력할 수 있다.
도 5 및 도 7을 참조하면, 거실에서 TV(200a)를 시청중인 발화자가 드레스 룸에 있는 로봇 청소기(200c)를 동작시키고자 하는 경우를 설명하기로 하며, 네트워크 장애가 발생하였다고 가정하고 설명하기로 한다. 홈 어플라이언스 각각은 주기적으로 신호 송수신을 통하여 네트워크 장애 유무를 판단할 수 있고, 네트워크 장애 발생 시에는 사운드 프로토콜을 이용하여 서로 통신할 수 있다.
먼저 거실에서 TV(200a)를 시청중인 발화자는 "청소해줘"라는 음성 명령을 발화할 수 있다.
발화자 주변에 있으면서 음성 인식 기능을 구비한 TV(200a)와 에어컨(200g)이 발화자의 음성 명령을 수신하였으나, TV(200a)가 발화자와 더 가까이 있거나, 발화자의 얼굴 방향이 TV(200a)로 향하고 있으므로 TV(200a)가 메인 홈 어플라이언스로 설정되고, 나머지가 서브 홈 어플라이언스로 설정될 수 있다. 여기서, TV(200a)와 에어컨(200g)은 각각 발화자의 음성 명령을 수신한 후, 서로 발화자와의 거리 산출 정보 및/또는 발화자 영상 촬영 정보를 사운드 프로토콜 통신을 통해 공유할 수 있고, 발화자와 더 가까이 있는 TV(200a)가 메인 홈 어플라이언스로 설정되었음을 서로 공유할 수 있다.
메인 홈 어플라이언스로 설정된 TV(200a)는 발화자의 음성 명령을 해석하여 타겟으로 동작시킬 서브 홈 어플라이언스가 로봇 청소기(200b)임을 판단할 수 있고, 발화자의 음성 명령에 대응하여 로봇 청소기(200b)를 구동할 구동 신호를 생성할 수 있다.
그러나 메인 홈 어플라이언스로서의 TV(200a)와 타겟으로 동작시킬 서브 홈 어플라이언스로서의 로봇 청소기(200b)가 사운드 프로토콜을 이용한 통신 가능 범위(예를 들어, 10m)를 초과하는 경우, TV(200a)는 중계 홈 어플라이언스를 설정할 수 있다.
TV(200a)가 로봇 청소기(200b)로 사운드 프로토콜을 이용하여 구동 신호를 전송하였으나, 로봇 청소기(200b)로부터 응답 신호를 수신하지 못하는 경우, 로봇 청소기(200b)와 통신 가능 범위를 초과하였다고 판단할 수 있다. 이러한 경우 TV(200a)는 통신 가능 범위에서 자신과 통신하고, 로봇 청소기(200b)와도 통신할 수 있는 에어컨(200g)을 중계 홈 어플라이언스로 설정할 수 있다.
TV(200a)가 전체 서브 홈 어플라이언스(200b 내지 200g)로, 타겟이 되는 서브 홈 어플라이언스(로봇 청소기(200b))와 사운드 프로토콜을 이용하여 통신 가능한 중계 홈 어플라이언스 설정 요청 신호를 전송할 수 있다. TV(200a)가 중계 홈 어플라이언스로 동작할 수 있는 하나 이상의 서브 홈 어플라이언스(타겟이 되는 서브 홈 어플라이언스(로봇 청소기(200b)) 제외)로부터 응답 신호를 수신하면, 해당 서브 홈 어플라이언스를 중계 홈 어플라이언스(에어컨(200g))로 설정할 수 있다. 만약 중계 홈 어플라이언스가 두 개(노트북(200e), 에어컨(200g)) 이상인 경우, TV(200a)는 타겟이 되는 서브 홈 어플라이언스(로봇 청소기(200b)와 더 가까이에 있는 서브 홈 어플라이언스(에어컨(200g))를 중계 홈 어플라이언스로 설정할 수 있다.
중계 홈 어플라이언스의 설정이 완료되면, 메인 홈 어플라이언스로 설정된 TV(200a)는 구동 신호를 중계 홈 어플라이언스로서의 에어컨(200g)을 통하여 타겟으로 동작시킬 서브 홈 어플라이언스로서의 로봇 청소기(200b)로 전송하고, 로봇 청소기(200b)는 청소를 수행할 수 있다. 이때 로봇 청소기(200b)는 자신의 동작 상태 및/또는 동작 결과를 중계 홈 어플라이언스로서의 에어컨(200g)을 통하여 메인 홈 어플라이언스로서의 TV(200a)로 전송하고, TV(200a)는 발화자에게 로봇 청소기(200b)의 동작 상태 및/또는 동작 결과를 출력할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 홈 어플라이언스 제어 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 7에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 8을 참조하면, S810단계에서, 홈 어플라이언스 제어 장치(100)는 발화자로부터 음성 명령을 수신하면, 복수의 홈 어플라이언스(도 2의 200a 내지 200g) 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 및 나머지 서브 홈 어플라이언스를 설정한다.
여기서 메인 홈 어플라이언스라 함은, 복수의 홈 어플라이언스(200a 내지 200g) 중 어느 하나로, 자신의 홈 어플라이언스 기능을 수행할 수 있고, 서브 홈 어플라이언스에 동작 신호를 전송하고, 서브 홈 어플라이언스로부터 동작 상태 및/또는 동작 결과 신호를 수신하는 제어 주체를 포함할 수 있다. 또한 서브 홈 어플라이언스라 함은, 자신의 홈 어플라이언스 기능을 수행할 수 있고, 메인 홈 어플라이언스에 의해 동작이 제어 가능한 제어 대상을 포함할 수 있다.
S820단계에서, 홈 어플라이언스 제어 장치(100)는 메인 홈 어플라이언스 및 서브 홈 어플라이언스의 설정을 완료하면, 네트워크 통신에 장애가 발생하였는지 판단한다. 여기서 네트워크 통신에 장애가 발생한다 함은, 홈 어플라이언스가 구비된 장소의 네트워크 커버리지(coverage)가 넓지 않아, 네트워크 신호가 기설정된 세기 이하의 세기인 경우를 포함할 수 있다. 또한 네트워크 통신에 장애가 발생한다 함은, 네트워크 장비의 문제로 네트워크 연결이 차단된 경우를 포함할 수 있다.
S830단계에서, 홈 어플라이언스 제어 장치(100)는 네트워크 통신이 정상적인 경우 메인 홈 어플라이언스 및 서브 홈 어플라이언스 사이에 네트워크 통신을 수행하도록 제어한다.
S840단계에서, 홈 어플라이언스 제어 장치(100)는 네트워크 통신에 장애가 발생하였다고 판단하면, 메인 홈 어플라이언스와 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜 즉, 사운드 프로토콜을 이용하여 통신하도록 제어한다.
선택적 실시 예로, 홈 어플라이언스 제어 장치(100)는 메인 홈 어플라이언스 및 서브 홈 어플라이언스 사이에서 사운드 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다. 홈 어플라이언스 제어 장치(100)는 메인 홈 어플라이언스와 통신의 타겟이 되는 서브 홈 어플라이언스 사이의 거리가 통신 가능 범위를 초과하는 경우, 메인 홈 어플라이언스 및 타겟이 되는 서브 홈 어플라이언스를 제외한 복수의 홈 어플라이언스 중 하나 이상을 중계 홈 어플라이언스로 설정할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 홈 어플라이언스 동작 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 8에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 9를 참조하면, S910단계에서, 홈 어플라이언스(200)는 발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정한다. 여기서 홈 어플라이언스(200)는 상술한 메인 홈 어플라이언스 일 수 있다.
S920단계에서, 홈 어플라이언스(200)는 서브 홈 어플라이언스의 설정을 완료하면, 네트워크 통신에 장애가 발생하였는지 판단한다. 여기서 네트워크 통신에 장애가 발생한다 함은, 홈 어플라이언스가 구비된 장소의 네트워크 커버리지(coverage)가 넓지 않아, 네트워크 신호가 기설정된 세기 이하의 세기인 경우를 포함할 수 있다. 또한 네트워크 통신에 장애가 발생한다 함은, 네트워크 장비의 문제로 네트워크 연결이 차단된 경우를 포함할 수 있다.
S930단계에서, 홈 어플라이언스(200)는 네트워크 통신이 정상적인 경우 서브 홈 어플라이언스와 네트워크 통신을 수행한다.
S940단계에서, 홈 어플라이언스(200)는 네트워크 통신에 장애가 발생하였다고 판단하면, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜 즉, 사운드 프로토콜을 이용하여 음성 명령에 대응하는 동작 신호를 적어도 하나의 서브 홈 어플라이언스로 전송한다.
S950단계에서, 홈 어플라이언스(200)는 사운드 프로토콜을 통하여 서브 홈 어플라이언스로부터 동작 신호에 의해 동작하는 서브 홈 어플라이언스의 동작 상태 및/또는 동작 결과를 수신할 수 있다.
선택적 실시 예로, 홈 어플라이언스(200)는 서브 홈 어플라이언스와의 사이에서 사운드 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정할 수 있다. 홈 어플라이언스(200)는 자신과 통신의 타겟이 되는 서브 홈 어플라이언스 사이의 거리가 통신 가능 범위를 초과하는 경우, 자신과 타겟이 되는 서브 홈 어플라이언스를 제외한 복수의 홈 어플라이언스 중 하나 이상을 중계 홈 어플라이언스로 설정할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 홈 어플라이언스 제어 장치
110: 설정부
120: 통신 제어부
110: 설정부
120: 통신 제어부
Claims (18)
- 복수의 홈 어플라이언스의 동작을 제어하는 장치로서,
발화자로부터 음성 명령을 수신하면, 상기 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 서브 홈 어플라이언스로 설정하는 설정부; 및
소정의 조건을 만족하는 경우, 상기 메인 홈 어플라이언스와 상기 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어하는 통신 제어부를 포함하고,
상기 소정의 조건은,
상기 네트워크 통신에 장애가 발생하는 경우를 포함하고,
상기 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜은,
상기 메인 홈 어플라이언스와 상기 서브 홈 어플라이언스 사이에서 제어신호를 처프(chirp) 신호로 변환하여 통신하도록 사전에 약속된 사운드 프로토콜을 포함하는,
홈 어플라이언스 제어 장치. - 삭제
- 제 1 항에 있어서, 상기 설정부는,
상기 복수의 홈 어플라이언스 중에서 음성 인식 기능을 구비한 어느 한 홈 어플라이언스를 상기 메인 홈 어플라이언스로 설정하는,
홈 어플라이언스 제어 장치. - 제 1 항에 있어서, 상기 설정부는,
상기 복수의 홈 어플라이언스 중에서, 상기 메인 홈 어플라이언스 및 상기 서브 홈 어플라이언스 사이에서 상기 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는,
홈 어플라이언스 제어 장치. - 음성인식 기능을 구비한 홈 어플라이언스로서,
발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 상기 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정하는 설정부; 및
소정의 조건을 만족하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 상기 음성 명령에 대응하는 동작 신호를 상기 적어도 하나의 서브 홈 어플라이언스로 전송하는 통신 제어부를 포함하고,
상기 소정의 조건은,
상기 네트워크 통신에 장애가 발생하는 경우를 포함하고,
상기 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜은,
메인 홈 어플라이언스와 상기 서브 홈 어플라이언스 사이에서 제어신호를 처프(chirp) 신호로 변환하여 통신하도록 사전에 약속된 사운드 프로토콜을 포함하는,
홈 어플라이언스. - 삭제
- 제 5 항에 있어서, 상기 통신 제어부는,
상기 서로 약속된 통신 프로토콜을 이용하여, 상기 음성 명령에 대응하는 동작 신호에 의해 동작하는 상기 서브 홈 어플라이언스의 동작 상태를 수신하는,
홈 어플라이언스. - 제 5 항에 있어서, 상기 설정부는,
상기 홈 어플라이언스 및 상기 서브 홈 어플라이언스 사이에서 상기 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는,
홈 어플라이언스. - 복수의 홈 어플라이언스의 동작을 제어하는 방법으로서,
설정부에 의해, 발화자로부터 음성 명령을 수신하면, 상기 복수의 홈 어플라이언스 중에서 하나의 메인 홈 어플라이언스를 설정하고, 나머지 홈 어플라이언스들 중에서 적어도 하나를 서브 홈 어플라이언스로 설정하는 단계; 및
통신 제어부에 의해, 소정의 조건을 만족하는 경우, 상기 메인 홈 어플라이언스와 상기 서브 홈 어플라이언스가 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 통신하도록 제어하는 단계를 포함하고,
상기 소정의 조건은,
상기 네트워크 통신에 장애가 발생하는 경우를 포함하고,
상기 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜은,
상기 메인 홈 어플라이언스와 상기 서브 홈 어플라이언스 사이에서 제어신호를 처프(chirp) 신호로 변환하여 통신하도록 사전에 약속된 사운드 프로토콜을 포함하는,
홈 어플라이언스 제어 방법. - 삭제
- 제 9 항에 있어서, 상기 설정하는 단계는,
상기 복수의 홈 어플라이언스 중에서 음성 인식 기능을 구비한 어느 한 홈 어플라이언스를 상기 메인 홈 어플라이언스로 설정하는 단계를 포함하는,
홈 어플라이언스 제어 방법. - 제 9 항에 있어서, 상기 설정하는 단계는,
상기 복수의 홈 어플라이언스 중에서, 상기 메인 홈 어플라이언스 및 상기 서브 홈 어플라이언스 사이에서 상기 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는 단계를 더 포함하는,
홈 어플라이언스 제어 방법. - 컴퓨터를 이용하여 제 9 항 및 제 11 항 내지 제 12 항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
- 음성인식 기능을 구비한 홈 어플라이언스 동작 방법으로서,
설정부에 의해, 발화자로부터 음성 명령을 수신하면, 이웃하는 복수의 홈 어플라이언스 중에서 상기 음성 명령에 대응하는 동작 신호를 전송할 대상으로, 적어도 하나의 서브 홈 어플라이언스를 설정하는 단계; 및
통신 제어부에 의해, 소정의 조건을 만족하는 경우, 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜을 이용하여 상기 음성 명령에 대응하는 동작 신호를 상기 적어도 하나의 서브 홈 어플라이언스로 전송하는 단계를 포함하고,
상기 소정의 조건은,
상기 네트워크 통신에 장애가 발생하는 경우를 포함하고,
상기 기설정된 네트워크 통신 이외에 서로 약속된 통신 프로토콜은,
메인 홈 어플라이언스와 상기 서브 홈 어플라이언스 사이에서 제어신호를 처프(chirp) 신호로 변환하여 통신하도록 사전에 약속된 사운드 프로토콜을 포함하는,
홈 어플라이언스 동작 방법. - 삭제
- 제 14 항에 있어서, 상기 전송하는 단계는,
상기 서로 약속된 통신 프로토콜을 이용하여, 상기 음성 명령에 대응하는 동작 신호에 의해 동작하는 상기 서브 홈 어플라이언스로부터 동작 상태를 수신하는 단계를 더 포함하는,
홈 어플라이언스 동작 방법. - 제 14 항에 있어서, 상기 설정하는 단계는,
상기 홈 어플라이언스 및 상기 서브 홈 어플라이언스 사이에서 상기 서로 약속된 통신 프로토콜을 이용하여 통신을 중계하는 하나 이상의 중계 홈 어플라이언스를 설정하는 단계를 더 포함하는,
홈 어플라이언스 동작 방법. - 컴퓨터를 이용하여 제 14 항 및 제 16 항 내지 제 17 항의 방법 중 어느 한 항의 방법을 실행시키기 위하여 상기 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190066105A KR102323656B1 (ko) | 2019-06-04 | 2019-06-04 | 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 |
| US16/544,811 US10901380B2 (en) | 2019-06-04 | 2019-08-19 | Apparatus and method for controlling operation of home appliance, home appliance and method for operating of home appliance |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190066105A KR102323656B1 (ko) | 2019-06-04 | 2019-06-04 | 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190071641A KR20190071641A (ko) | 2019-06-24 |
| KR102323656B1 true KR102323656B1 (ko) | 2021-11-08 |
Family
ID=67055961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190066105A KR102323656B1 (ko) | 2019-06-04 | 2019-06-04 | 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10901380B2 (ko) |
| KR (1) | KR102323656B1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10942637B2 (en) * | 2018-10-09 | 2021-03-09 | Midea Group Co., Ltd. | Method and system for providing control user interfaces for home appliances |
| EP4002087A4 (en) * | 2019-07-19 | 2023-04-12 | LG Electronics Inc. | DISPLAY DEVICE AND ARTIFICIAL INTELLIGENCE SERVER CAPABLE OF CONTROLLING A HOME APPLIANCE VIA A USER'S VOICE |
| KR20230059307A (ko) * | 2021-10-26 | 2023-05-03 | 삼성전자주식회사 | 발화 기반 목적 장치의 식별 방법 및 이를 위한 전자 장치 |
| WO2023080574A1 (ko) * | 2021-11-03 | 2023-05-11 | 삼성전자 주식회사 | 음성 인식 서비스를 제공하는 전자 장치 및 이의 동작 방법 |
| CN114822552B (zh) * | 2022-06-27 | 2022-10-04 | 北京云迹科技股份有限公司 | 基于网络电话系统的机器人调度方法、装置、设备及介质 |
| US20240022448A1 (en) * | 2022-07-14 | 2024-01-18 | Sony Group Corporation | Energy efficient method for home networking |
| US11962432B2 (en) | 2022-07-24 | 2024-04-16 | Kinnected Ai Inc. | Internet of things appliance providing extended-capability messaging |
| EP4386124A1 (de) * | 2022-12-15 | 2024-06-19 | Miele & Cie. KG | Verfahren und vorrichtung zum betreiben mindestens eines haushaltgeräts und haushaltgerät |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3351017B2 (ja) | 1992-10-22 | 2002-11-25 | 株式会社日立製作所 | 通信システム |
| KR100769156B1 (ko) * | 2007-04-20 | 2007-10-22 | 주식회사 서비전자 | 홈 네트워크 시스템 및 그것의 제어방법 |
| KR101128366B1 (ko) | 2011-10-18 | 2012-03-23 | (주) 휴스 | 유동 ｉｐ환경에서 통신두절 자가 감지 및 자동 재개 기능을 갖춘 전천후 물관리자동화시스템 및 그 방법 |
| JP2014216907A (ja) | 2013-04-26 | 2014-11-17 | 三菱電機株式会社 | 制御システム、制御装置、制御方法及びプログラム |
| US20150370751A1 (en) | 2014-06-20 | 2015-12-24 | Nagravision S.A. | Physical interface module |
| KR101718215B1 (ko) * | 2015-06-15 | 2017-03-20 | 엘지전자 주식회사 | 가전 제품 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003088583A1 (en) * | 2002-04-09 | 2003-10-23 | Lg Electronics Inc. | System and method for remote controlling and monitoring electric home appliances |
| KR100505230B1 (ko) * | 2002-12-10 | 2005-08-03 | 엘지전자 주식회사 | 홈네트워크 시스템 및 그 제품 삭제방법 |
| KR100657467B1 (ko) * | 2004-05-28 | 2006-12-13 | 엘지전자 주식회사 | 게이트웨이를 통한 홈 네트워크 시스템 |
| KR101010217B1 (ko) * | 2007-12-11 | 2011-01-21 | 한국전자통신연구원 | 홈네트워크 시스템 및 그의 운영방법 |
| KR101022731B1 (ko) * | 2008-11-06 | 2011-03-22 | (주)지오시스템 | 불꽃감지기를 이용한 원격화재감시시스템 및 화재감시방법 |
| KR101909498B1 (ko) | 2012-09-19 | 2018-10-19 | 주식회사 케이티 | 자연어 기반의 명령어 인식을 통해 가전기기를 원격 제어하는 제어 단말 및 그 방법 |
| KR102188090B1 (ko) * | 2013-12-11 | 2020-12-04 | 엘지전자 주식회사 | 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 |
| US9860076B2 (en) * | 2014-05-07 | 2018-01-02 | Vivint, Inc. | Home automation via voice control |
| US9641885B2 (en) * | 2014-05-07 | 2017-05-02 | Vivint, Inc. | Voice control component installation |
| CA2891742C (en) * | 2014-05-15 | 2023-11-28 | Tyco Safety Products Canada Ltd. | System and method for processing control commands in a voice interactive system |
| US10170123B2 (en) * | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9443520B2 (en) * | 2014-10-02 | 2016-09-13 | International Business Machines Corporation | Management of voice commands for devices in a cloud computing environment |
| JP6278031B2 (ja) * | 2015-02-04 | 2018-02-14 | カシオ計算機株式会社 | データ処理システム、データ処理装置及びデータ処理方法 |
| KR20180062746A (ko) * | 2016-12-01 | 2018-06-11 | 삼성전자주식회사 | 음성 신호를 입력 또는 출력하는 램프 장치 및 상기 램프 장치의 구동 방법 |
| KR102471493B1 (ko) | 2017-10-17 | 2022-11-29 | 삼성전자주식회사 | 전자 장치 및 음성 인식 방법 |
-
2019
- 2019-06-04 KR KR1020190066105A patent/KR102323656B1/ko active IP Right Grant
- 2019-08-19 US US16/544,811 patent/US10901380B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3351017B2 (ja) | 1992-10-22 | 2002-11-25 | 株式会社日立製作所 | 通信システム |
| KR100769156B1 (ko) * | 2007-04-20 | 2007-10-22 | 주식회사 서비전자 | 홈 네트워크 시스템 및 그것의 제어방법 |
| KR101128366B1 (ko) | 2011-10-18 | 2012-03-23 | (주) 휴스 | 유동 ｉｐ환경에서 통신두절 자가 감지 및 자동 재개 기능을 갖춘 전천후 물관리자동화시스템 및 그 방법 |
| JP2014216907A (ja) | 2013-04-26 | 2014-11-17 | 三菱電機株式会社 | 制御システム、制御装置、制御方法及びプログラム |
| US20150370751A1 (en) | 2014-06-20 | 2015-12-24 | Nagravision S.A. | Physical interface module |
| KR101718215B1 (ko) * | 2015-06-15 | 2017-03-20 | 엘지전자 주식회사 | 가전 제품 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10901380B2 (en) | 2021-01-26 |
| US20190369577A1 (en) | 2019-12-05 |
| KR20190071641A (ko) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102323656B1 (ko) | 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법 | |
| EP3798685B1 (en) | Systems and methods of ultrasonic sensing in smart devices | |
| CN111542420A (zh) | 移动家庭机器人及其控制方法 | |
| US10778929B2 (en) | Volume adjusting device and adjusting method thereof | |
| CN104869662A (zh) | 利用Wi-Fi或蓝牙信号强度确定候选同伴显示设备 | |
| JP6660808B2 (ja) | 音声出力制御装置、電子機器、および音声出力制御装置の制御方法 | |
| JP6703543B2 (ja) | デバイス制御のための近接検出のための方法及び装置 | |
| US20210072378A1 (en) | Systems and methods of ultrasonic sensing in smart devices | |
| KR20150007422A (ko) | 전기기기 및 그 제어 방법 | |
| EP2846328A1 (en) | Method and apparatus of detection of events | |
| KR102395013B1 (ko) | 인공지능 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 | |
| US20240077870A1 (en) | Robot device, method for controlling same, and recording medium having program recorded thereon | |
| KR101691284B1 (ko) | 적외선 시그널링을 이용하여 주 디스플레이와 같은 방에 있는 후보 동반 디스플레이 디바이스의 근접 검출 | |
| JP7273907B2 (ja) | 家電システム及び家電機器 | |
| JP6490437B2 (ja) | 提示情報制御方法および提示情報制御装置 | |
| CN111183478B (zh) | 家电系统 | |
| JP7036561B2 (ja) | 家電システム | |
| KR20210042442A (ko) | 전자장치 및 그 제어방법 | |
| KR101996725B1 (ko) | IoT 허브 및 그 동작 방법 | |
| CN113574478A (zh) | 控制装置、设备控制系统、控制方法及程序 | |
| US20230244437A1 (en) | Systems and methods to adjust loudness of connected and media source devices based on context | |
| JP6899358B2 (ja) | 宅内管理システム、宅内管理プログラム、および宅内管理方法 | |
| JP6748678B2 (ja) | 情報処理装置、情報処理システム、制御プログラム、情報処理方法 | |
| KR20220001903A (ko) | 클라우드 플랫폼 기반의 공동주택의 스마트홈 시스템 | |
| KR20230025278A (ko) | 가전 기기 및 가전 기기의 정보 출력 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |