KR20240049990A - 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 - Google Patents

가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 Download PDF

Info

Publication number
KR20240049990A
KR20240049990A KR1020220129584A KR20220129584A KR20240049990A KR 20240049990 A KR20240049990 A KR 20240049990A KR 1020220129584 A KR1020220129584 A KR 1020220129584A KR 20220129584 A KR20220129584 A KR 20220129584A KR 20240049990 A KR20240049990 A KR 20240049990A
Authority
KR
South Korea
Prior art keywords
home appliance
information
information processing
home
user
Prior art date
Application number
KR1020220129584A
Other languages
English (en)
Inventor
유현선
강민정
오경인
임숙현
김혜란
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020220129584A priority Critical patent/KR20240049990A/ko
Priority to PCT/KR2023/013416 priority patent/WO2024080563A1/ko
Publication of KR20240049990A publication Critical patent/KR20240049990A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/75Information technology; Communication
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/30Control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2823Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825Reporting to a device located outside the home and the home network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L2012/2847Home automation networks characterised by the type of home appliance used
    • H04L2012/285Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Selective Calling Equipment (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명에 따른 가전기기를 위한 정보처리시스템에는, 적어도 하나의 가전기기; 상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말: 개별서비스를 제공되는 개별서비스영역; 및 상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함할 수 있다. 본 시스템은, 사용자의 니즈를 개별서비스에 파악하고, 그에 대응하는 응용서비스를 제공할 수 있다.

Description

가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치{Information processing method, processing system, and processing apparatus for a home appliance}
본 발명은 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치에 관한 것이다.
가전기기는 주로 사용자의 집에 마련되어 사용자의 가사에 도움이 되는 기기를 의미한다. 가전기기는 사용자의 집에 고정되어 사용자의 명령에 따라 동작할 수 있다. 사용자는 가전기기의 동작을 예약하여 동작시킬 수 있다. 예를 들어, 5시에 귀가 예정이면 4시30분부터 공조기가 동작하도록 미리 예약해 둘 수 있다. 이 예에 따르면 귀가한 사용자는 청정한 실내환경을 즐길 수 있다.
가전기기는 와이파이로 예시되는 유무선통신망을 통하여 인터넷에 접속할 수 있다. 사용자는 인터넷을 통하여 가전기기의 동작에 관한 정보를 수집할 수 있다. 사용자는 인터넷을 통하여 가전기기로 제어명령을 전송할 수 있다. 이와 같이 원격지에 있는 사용자와 가전기기가 서로 통신을 수행할 수 있는 것을 계기로 다양한 서비스가 가능하다. 예를 들어, 가전기기의 동작을 예약해 두지 않았더라도 단말로 실시간으로 가전기기를 예약하거나 동작시킬 수 있다. 상세한 예로, 출근 시에 공조기 동작을 예약하지 않았더라도, 퇴근시에 단말를 통하여 미리 공조기를 동작시킬 수 있다.
상기 기술 들에 의해서, 사용자는 더 편리하게 가전기기를 사용할 수 있다. 이들 다양한 가전기기 예약동작은 실생활을 크게 바꿀 수 있을 것으로 기대되었음에도, 기대만큼의 큰 활용은 안되고 있는 것이 현실이다. 발명자는 이 문제를 깊이 고민하고 본 발명에 이르게 되었다.
발명자는, 사용자가 가전기기의 예약동작을 하였더라도, 자신이 원하는 동작상태로 동작하지 않는 문제가 큰 것을 알았다. 예를 들어, KR20190079720 '반려동물을 위한 지능형 냉난방 제어가 가능하고 조명기능이 내장된 리모컨 시스템'의 기술이 있다. 이 기술은 반려동물을 위한 일환으로서 냉난방을 동작하는 기술을 개시한다. 그러나, 냉난방을 개시하더라도 모든 가전기기가 서로 협업을 하지 않은 상황에서는 더 큰 문제를 초래할 수 있다. 가정의 난방을 가동한 상태에서 위 기술을 적용하면 냉방이 함께 동작하여 가정의 열관리 시스템이 고장날 수 있다.
발명자는, 예약한 가전기기의 동작이 자신이 원하는 상황으로 동작하지 않는 경우가 많다는 것을 알았다. 예를 들어, 외출모드로 운전하여 인덕션 등의 가열기구을 자동으로 오프할 수 있다. 이 경우에도, 상기 가열기구의 전원이 완전 차단이 안될 수 있다. 이 경우에 반려동물이 가열기구의 동작을 개시할 수 있다. 이 문제는 실제로 화재로 이어지는 경우가 있다.
그 외의 다양한 경우에 가전기기의 자동운전이, 과도한 에너지 낭비, 불필요한 훼손, 및 원하지 않는 상태의 초래 등 여러 문제를 일으킬 수 있다.
KR20190079720 반려동물을 위한 지능형 냉난방 제어가 가능하고 조명기능이 내장된 리모컨 시스템
본 발명은, 사용자의 일정에 대응할 수 있는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명은, 사용자가 인식하지 않는 중에도 가전기기를 최적으로 동작시킬 수 있는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명은, 가전기기의 예약동작을 더욱 활성화시키는 가전기기 정보처리방법, 가전기기 정보처리시스템, 및 가전기기 정보처리장치를 제안한다.
본 발명의 더 많은 과제는 발명의 효과 및 발명을 실시하기 위한 구체적인 내용에 개시되는 내용을 참조할 수 있다.
본 발명에 따른 가전기기를 위한 정보처리시스템에는, 적어도 하나의 가전기기; 상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말: 개별서비스를 제공되는 개별서비스영역; 및 상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함할 수 있다. 본 시스템은, 사용자의 니즈를 개별서비스에 파악하고, 그에 대응하는 응용서비스를 제공할 수 있다.
선택적으로, 상기 정보처리장치는, 상기 적어도 하나의 가전기기를 사용하는 사용자가 외출하는 일정에 대한 기초정보를 수신하는 것; 및 상기 기초정보로부터 상기 개별서비스를 이용하여, 사용자의 외출을 포함하는 일정정보를 확인하는 것을 포함할 수 있다. 사용자의 일정정보와 관련되는 정보를 확인할 수 있다. 확인된 정보는 가전기기의 제어에 사용할 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 및 상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 1 가전기기는 상기 제 1 상태에서 제 2 상태로 변경하는 것을 포함할 수 있다. 이 시스템에 따르면 사용자는 현재 가전기기가 어떠한 상태에 있는지를 알고 있을 필요가 없다. 이 시스템에 따르면, 사용자의 구체적인 지시가 없이도, 가전기기의 상태가 사용자가 원하는 상태로 변경될 수 있다. 사용자는 편리하게 다수의 가전기기를 사용할 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 및 상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 2 가전기기를 제 1 상태로 유지하는 것을 포함할 수 있다. 이 시스템에 따르면, 다수의 가전기기는 서로 다른 동작상태로 할 수 있다. 결국, 가전기기와 사용자의 관계에 맞게 서로 다르게 동작시킬 수 있다.
선택적으로, 상기 기초정보는 상기 단말로부터 입력할 수 있다. 사용자가 편리하게 자신의 음성, 및 문자 등의 메시지는 편리하게 전달할 수 있다.
선택적으로, 상기 제 2 가전기기는, 사전 예약정보에 따라 정상적으로 동작하고 종료하는 제 1 그룹의 가전기기, 및 상기 일정정보에도 불구하고 정상적으로 동작하는 제 4 그룹의 가전기기 중의, 어느 하나일 수 있다. 사용자의 외출과 무관하게 동작하는 기기는 무관하게 동작하도록 할 수 있다.
선택적으로, 상기 제 1 가전기기는, 상기 일정정보에 따라서 더 이상 동작이 필요없는 제 2 그룹의 가전기기, 및 상기 일정정보에 따라서 강제락이 설정되는 제 3 그룹의 가전기기 중의 어느 하나일 수 있다. 이에 따라서 안전하게 가전기기를 사용할 수 있다.
선택적으로, 상기 정보처리장치는, 상기 일정정보에 대응하여 사용자의 추가조치가 필요한 제 5 그룹에 속하는 제 3 가전기기의 정보를 사용자에게 전송할 수 있다. 사용자는 외출과 함께 추가적으로 처리가 필요한 가전기기의 상태를 확인할 수 있다.
선택적으로, 상기 정보처리장치는, 상기 적어도 하나의 가전기기의 제 1 상태 및, 상기 가전기기의 제 2 상태 중의, 적어도 어느 하나는, 상기 단말로 전송할 수 있다. 이에 따르면 사용자가 편리하게 확인할 수 있다.
본 발명에 따르면, 가전기기를 위한 정보처리시스템은 선택적으로 정보처리장치를 포함하고, 상기 정보처리장치는, 상기 적어도 하나의 가전기기를 사용하는 사용자가 반려동물의 캐어를 요청하는 기초정보를 수신하는 것; 상기 기초정보를 상기 개별서비스를 이용하여, 사용자의 반려동물캐어요청을 의미하는 일정정보를 확인할 수 있다. 반려동물에 대한 사용자의 요청정보와 관련되는 정보를 확인할 수 있다. 확인된 정보는 반려동물에 적합하도록 가전기기의 제어에 사용할 수 있다.
선택적으로, 상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 1 가전기기는 상기 제 1 상태에서 제 2 상태로 변경하는 것; 및 상기 제 1 가전기기의 획득정보를 이용하여, 상기 적어도 하나의 가전기기 중의 제 2 가전기기를 동작시킬 수 있다. 이 시스템에 따르면 사용자는 현재 가전기기가 어떠한 상태에 있는지를 알고 있을 필요가 없다. 이 시스템에 따르면, 사용자의 구체적인 지시가 없이도, 가전기기의 상태가 사용자가 원하는 상태로 변경될 수 있다. 이 시스템에 따르면, 제 2 가전기기를 더 정확하게 동작시킬 수 있다. 결국, 사용자는 편리하게 다수의 가전기기를 사용할 수 있다.
선택적으로, 상기 제 1 가전기기는 카메라일 수 있다. 선택적으로, 상기 제 2 가전기기는, 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나일 수 있다. 이에 따르면, 카메라의 이미지 정보에 포함되는 반려동물의 상태에 따라서, 공기청정기, 로봇청소기, 및 공기조화기를 동작시킬 수 있다. 이에 따라서 반려동물은 더욱 쾌적하게 지낼 수 있다.
본 발명의 가전기기를 위한 정보처리장치에는, 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및 사용자의 외출을 포함하는 일정정보를 포함하는 트리거 신호가 있을 때, 상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태에서 제 2 상태로 변경하도록 결정하는 동작결정모듈을 포함할 수 있다. 이에 따라서 사용자의 니즈에 대응하여 가전기기를 편리하게 사용할 수 있다.
본 발명의 가전기기를 위한 정보처리장치에는, 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및 사용자의 외출을 포함하는 일정정보를 포함하는 트리거 신호가 있을 때, 상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태를 유지하도록 결정하는 동작결정모듈을 포함할 수 있다. 이에 따라서 사용자의 니즈에 대응하여 가전기기를 편리하게 사용할 수 있다.
본 발명의 가전기기를 위한 정보처리장치에는, 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및 사용자의 외출을 포함하는 일정정보를 포함하는 트리거 신호가 있을 때, 상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태를 유지할 지의 여부를 단말로 문의하도록 결정하는 동작결정모듈을 포함할 수 있다. 이에 따라서 사용자의 니즈에 대응하여 가전기기를 편리하게 사용할 수 있다.
선택적으로, 상기 동작결정모듈은 동작순서결정부를 포함하고, 상기 동작순서결정부는 상기 일정정보에 대응하여, 상기 적어도 하나의 가전기기 중의 제 1 가전기기가, 상기 적어도 하나의 가전기기 중의 제 2 가전기기에 보다, 선행하여 동작하도록 결정할 수 있다. 이 장치에 따르면 사용자는 현재 가전기기가 어떠한 상태에 있는지를 알고 있을 필요가 없다. 이 시스템에 따르면, 사용자의 구체적인 지시가 없이도, 가전기기의 상태가 사용자가 원하는 상태로 변경될 수 있다. 사용자는 편리하게 다수의 가전기기를 사용할 수 있다.
본 발명의 가전기기를 외한 정보처리방법은, 정보처리장치가 노드로부터 사용자의 외출을 의미하는 트리거신호를 수신하는 것; 상기 트리거 신호의 의미를 개별서비스를 이용하여 파악하는 것; 및 상기 정보처리장치는, 적어도 하나의 가전기기의 제 1 상태를 파악하는 것을 포함할 수 있다. 이에 따라서, 사용자의 니즈를 정확하게 편리하게 파악할 수 있고, 파악된 정보에 대응하여 가전기기를 정확하게 운전할 수 있다.
선택적으로, 상기 트리거 신호의 의미에 대응하여, 상기 적어도 하나의 가전기기 중의 제 1 가전기기의 동작상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스를 수행하는 것, 상기 적어도 하나의 가전기기 중의 제 2 가전기기의 동작상태를 제 1 상태를 유지하는 응용서비스를 수행하는 것, 상기 적어도 하나의 가전기기 중의 제 3 가전기기의 동작상태를 제 1 상태를 유지할 지의 여부를 사용자에게 문의하는 응용서비스를 수행하는 것, 및 상기 적어도 하나의 가전기기 중의 제 4 가전기기로부터의 획득정보를 이용하여, 상기 적어도 하나의 가전기기 중의 제 5 가전기기의 동작을 결정하는 응용서비스를 수행하는 것 중의, 적어도 두 개를 포함하여 정보처리를 할 수 있다. 이에 따라서, 다수의 가전기기를 여러 상태로 제어할 수 있으므로, 사용자의 편리가 커지는 장점이 있다. 이때 사용자가 직접 명령을 하지 않아도 되므로 더 편리해 질 수 있다.
선택적으로, 상기 제 1 가전기기는 가열조리기기를 포함할 수 있다. 상기 제 2 상태는 상기 가열조리기기가 강제락이 설정되는 것을 포함할 수 있다. 이에 따라서 안전하게 가열조리기기를 사용할 수 있다.
선택적으로, 상기 제 2 가전기기는 세탁기를 포함할 수 있다. 상기 제 1 상태는 세탁종료가 예약되어 있는 것을 포함할 수 있다. 이에 따라서, 세탁기를 더 청결하게 사용할 수 있다.
선택적으로, 상기 제 3 가전기기는 오븐을 포함할 수 있다. 상기 제 1 상태는 오븐에 조리된 음식이 수용되는 상태인 것을 포함할 수 있다. 이에 따라서, 사용자가 잊고 있더라도 조리기기의 상태를 알려줄 수 있다.
선택적으로, 상기 제 4 가전기기는 카메라를 포함할 수 있다. 상기 제 5 가전기기는 카메라의 촬영정보를 이용하여 동작하는 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 포함할 수 있다. 이에 따라서, 가전기기가 연동하도록 함으로써, 사용자의 편의성이 커질 수 있다. 특히, 사용자가 반려동물을 돌볼 수 없을 때 편리하게 사용할 수 있다.
선택적으로, 상기 카메라는, 적어도 하나의 가전기기에 장착할 수 있다. 이에 따르면, 별도의 촬상기기가 없이도 방법을 구동할 수 있다.
선택적으로, 상기 제 4 가전기기는 카메라를 포함하고, 상기 제 5 가전기기는 카메라의 촬영정보를 이용하여 동작하는 공기청정기를 포함할 수 있다. 이에 따르면, 청결한 실내환경을 구축할 수 있다.
선택적으로, 상기 응용서비스 중의 어느 하나의 수행 중에, 상기 정보처리장치가 노드로부터 사용자의 외출을 의미하는 트리거신호를 수신하는 것; 및 사용자가 성인인지의 여부를 판단하는 것을 수행할 수 있다. 이에 따라서, 귀가자에 대응하여 가전기기를 서로 다르게 사용할 수 있다. 선택적으로, 상기 귀가자가 성인이 아니면, 상기 응용서비스 중의 적어도 하나는 유지하는 것을 포함할 수 있다. 이에 따라서 가전기기로 인한 위험을 예방할 수 있다.
선택적으로, 상기 트리거신호 외에, 반려동물캐어를 요청하는 다른 트리거신호를 수신하는 것; 및 상기 카메라로부터의 획득정보를 이용하여, 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 동작할 수 있다. 이에 따라서, 장시간 실내에 있는 반려동물의 안전을 고려하는 정보처리방법이 가능한 장점이 있다.
선택적으로, 상기 다른 트리거신호의 수신시에는 메모리에 수록되는 반려동물의 정보를 이용하여 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 동작할 수 있다. 선택적으로, 상기 로봇청소기는, 상기 획득정보 중에서 반려동물의 이동궤적을 따라서 청소를 수행할 수 있다. 이에 따르면, 반려동물에 의한 실내환경의 오염을 제거할 수 있다. 사용자가 쾌적하게 가전기기를 사용할 수 있다.
본 발명에 따르면, 사용자가 자신의 일정을 알리는 것 만으로 가전기기 예약동작을 변경할 수 있다. 이에 따르면, 사용자가 예약동작을 인식하지 않는 중에도 스스로 가전기기의 최적동작이 가능하게 되는 장점이 있다.
본 발명에 따르면, 가전기기의 예약동작이 없더라도 사용자의 실제 일정에 맞추어 에너지 저감환경에서 가전기기를 동작시킬 수 있다.
본 발명에 따르면, 가전기기의 동작과 사용자의 일정이 매칭되는 인공지능작업에 의해서, 사용자의 생활이 윤택하게 되는 장점이 있다.
본 발명에 따르면, 가전기기의 예약동작이 더욱 활성화됨으로써, 사용자의 생활을 더 편리하게 하는 장점을 얻을 수 있다.
본 발명에 따르면, 적어도 두 개의 가전기기가 협업운전을 수행할 수 있다. 이에 따르면, 최적의 실내환경을 구축할 수 있다.
본 발명의 더 많은 효과는 발명을 실시하기 위한 구체적인 내용에 개시되는 내용을 참조할 수 있다.
도 1은 실시예에 따른 가전기기를 위한 정보처리시스템을 보이는 도면.
도 2는 클라우드 시스템을 더 구체적으로 보이는 가전기기를 위한 정보처리시스템의 구성도.
도 3은 실시예의 가전기기를 위한 정보처리장치를 설명하는 도면.
도 4는 학습모델을 제공하는 실시예를 설명하는 도면.
도 5는 실시예에 따른 정보처리방법의 흐름을 보이는 도면.
도 6은 실시예의 정보처리방법의 인터페이스를 보이는 도면.
도 7은 실시예의 정보처리방법의 인터페이스를 보이는 도면.
도 8은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 9는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 10은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 11은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 12는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 13은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도.
도 14는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 이하에 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소나 구성요소에 대한 한정사항의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. 본 발명은, 그 사상이 구현되는 많은 실시예를 가질 수 있고, 각 실시예는, 어느 일 부분이 다른 실시예의 대응되는 부분 또는 연관작용을 하는 부분으로 치환될 수 있다. 본 발명은, 아래에서 제시되는 예들 중 어느 하나이거나 2개 이상이 조합된 예일 수 있다.
본 출원에서 정보처리방법, 정보처리시스템, 및 정보처리장치는, 같은 발명사상을 다른 측면으로 관찰하는 것이다. 어느 하나의 실시예에서 부족한 부분은 다른 실시예의 설명에 의해서 보충될 수 있다. 어느 하나의 실시예에서 어느 부분은 다른 실시예의 설명에 의해서 확장, 변경될 수 있다.
도면이 설명에 있어서, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략할 수 있다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 출원에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 출원에서, 가전기기에는 같은 류의 기기이면서도, 집이 아닌 상업적인, 공익적, 및 기타목적을 위하여 사용하는 기기도 포함할 수 있다.
본 출원에서, 서비스는 특정의 목적을 위하여 요청에 대한 처리결과를 제공하는 프로세서를 포함할 수 있다. 이때 서비스는 서비스모듈의 약칭일 수 있다. 여기서, 프로세서는 하드웨어, 또는 특정 하드웨어에서 구동하는 소프트웨어, 또는 범용 하드웨어에서 동작하는 소프트웨어를 포함할 수 있다. 상기 서비스는 소정의 데이터를 참조할 수 있다.
본 출원의 방법의 설명에 있어서, 제 1 단계(예를 들어, S1)가 제 2 단계(예를 들어, S2)의 앞에 위치하더라도 반드시, 제 1 단계가 제 2 단계보다 선행하는 것은 아니다. 실시예의 내용에 따라서, 그 단계는 바뀔 수 있다.
도 1은 실시예에 따른 가전기기를 위한 정보처리시스템을 보이는 도면이다.
도 1을 참조하면, 가전기기를 위한 정보처리시스템은 사용자 영역(1)과, 운용자 영역(2)을 포함할 수 있다. 상기 사용자 영역(1)은 가전기기를 사용하는 사용자의 지배영역일 수 있다. 상기 운용자 영역(2)은 가전기기를 제공하거나 시스템을 운용하거나 서비스를 제공하는 운용자의 지배영역일 수 있다.
상기 사용자 영역(1)에는 건물(1a)이 포함될 수 있다. 상기 건물(1a)에는 가전기기(1b)가 놓일 수 있다. 상기 건물(1a)은 네트워크가 연결되는 어떠한 구조물과 연계될 수 있다. 상기 가전기기(1b)는 안마기, 정수기, 청소기, 의류관리기, 냉장고, 세탁기, 공기청정기, 조리기, 및 공조기 등의 가전기기를 포함할 수 있다. 이에 제한되지 않고, 자동차, 식물재배기, 및 펌프 등의 여러 기기를 포함할 수 있다. 상기 사용자 영역(1)에는 단말(1c)이 포함될 수 있다. 상기 단말(1c)을 이용하여 사용자(1d)가 통신을 수행할 수 있다. 상기 단말(1c)은 네트워크가 연결되는 어떠한 구조물과 연계될 수 있다. 상기 단말은 상기 가전기기에 부합될 수 있다. 상기 단말은 적어도 하나가 포함될 수 있다. 상기 단말은 단말 간의 직접 또는 간접의 상호작용을 위하여 적어도 두 개가 포함될 수 있다.
상기 운용자 영역(2)에는 서버(2c)가 포함될 수 있다. 상기 서버(2c)는 본 발명의 정보처리장치의 적어도 일부 기능을 수행할 수 있다. 상기 서버(2c)는 상기 가전기기를 운용하는 운용서버일 수 있다. 이 경우에는 가전기기의 운용정보를 파악할 수 있다. 상기 서버(2c)는 상기 단말와 통신을 수행하는 통신서버일 수 있다. 상기 서버(2c)는 상기 가전기기의 제조사의 서버일 수 있다. 상기 서버(2c)는 상기 가전기기의 운영사의 서버일 수 있다. 이 경우에는, 상기 가전기기의 관리를 수행할 수 있다. 예를 들어, 품질관리를 수행할 수 있다. 상기 서버(2c)는 상기 가전기기(1b)와 통신하는 제 1 서버(2a)를 포함할 수 있다. 상기 서버(2c)는 상기 단말(1c)와 통신하는 제 2 서버(2b)를 포함할 수 있다. 상기 제 1, 2 서버(2a)(2b)는 서로 통신할 수 있다. 상기 제 1, 2 서버(2a)(2b)는 분리되지 않고 단일의 기기로 구성될 수 있다. 상기 제 1, 2 서버(2a)(2b)는 적어도 하나의 클라우드 시스템에 의해서 구현될 수 있다.
상기 제 1 서버(2a)는 상기 가전기기(1b)의 운용상태를 포함하는 사용정보를 전송받을 수 있다. 예를 들어, 상기 가전기기(1b)의 운전시간, 운전모드, 및 고장상태 등의 사용정보를 전송받을 수 있다. 상기 제 1 서버(2a)는 상기 가전기기의 운전을 제어할 수 있다. 상기 제 2 서버(2b)는 상기 단말(1c)로 가전기기(1b)의 운용상태, 및 필요정보를 송신할 수 있다. 여기서, 상기 필요정보는 상기 가전기기와 관련하여 사용자(1d)에게 도움이 되는 모든 정보를 포함할 수 있다. 상기 제 2 서버(2b)는 상기 단말(1c)로 부터의 요청정보를 받을 수 있다. 여기서 상기 요청정보는 사용자가 원하는 상기 가전기기(1b)의 제어정보일 수 있다.
상기 제 1 서버(2a)는 상기 제 2 서버(2b)로 상기 가전기기(1b)의 상태정보를 전송할 수 있다. 상기 제 2 서버(2b)는 상기 제 1 서버(2a)로 상기 가전기기(1b)의 제어정보를 전송할 수 있다. 상기 제 2 서버(2a)는 사용자에 대한 서비스를 제공할 수 있다. 여기서 상기 서비스는 사용자의 니즈에 대응하는 상기 가전기기의 운전을 포함할 수 있다.
상기 서버(2c)와 상기 가전기기(1b)와 상기 단말(1c)와 상기 사용자(1d)의 상호 작용을 개략적으로 설명한다.
상기 서버는, 서비스를 수행하기 위해서 서비스의 대상이 되는 모든 가전기기를 관리할 수 있다. 상기 가전기기는 상기 서버에 통신으로 연결되어 상기 서버로부터 전송된 명령을 수행할 수 있다. 상기 서비스 요청은 상기 가전기기을 통해서 서버로 접수될 수 있다. 상기 단말이 서비스 요청을 신청할 수 있다. 상기 단말은 휴대폰, 스마트폰, 노트북, 및 컴퓨터 등의 통신 모듈을 가지는 기기들을 의미할 수 있다. 상기 단말은 상기 서버와 직접 통신할 수 있다. 상기 서버는 상기 가전기기와 통신할 수 있다.
상기 가전기기는 고유 디바이스 ID를 가질 수 있다. 상기 ID는 상기 서버에 등록되어 관리될 수 있다. 상기 가전기기가 상기 서버에 억세스하면 상기 서버는 상기 디바이스 ID를 통해 그 가전기기을 특정할 수 있다. 상기 서버에는 상기 디바이스 ID와 함께, 그 가전기기의 특성정보가 관리될 수 있다.
상기 가전기기는 건물 내에 고정될 수 있다. 건물 내의 AP를 통해 안정적으로 상기 서버와 통신이 가능할 수 있다. 상기 단말은 상기 서버를 거쳐 상기 가전기기과 간접적으로 통신할 수 있다.
사용자는, 상기 서버에 등록된 가전기기에 대해서는 그 가전기기을 통해서 서비스를 요청하여 받을 수 있다. 그러나 가전기기을 통해 서버로 해당 서비스를 요청하는 것이 용이하지 않을 수 있다. 이 경우에는, 단말과 같이 사용자가 휴대하고 있는 기기를 통해 상기 서비스를 서버로 요청할 수 있다. 이를 위해서는 상기 단말에 이를 구현할 수 있는 응용프로그램이 설치될 수 있다.
사용자는 서버에 접속하여 서비스를 받고자 하는 가전기기의 고유 디바이스 ID를 입력하면서 서비스를 요청할 수 있다. 사용자는 사용자 ID와 패스워드를 부여받을 수 있다. 사용자는 서버가 운용하는 사이트에 로그인하여 자신이 보유한 가전기기을 모두 등록할 수 있다. 상기 서버에 등록된 가전기기들은 서버에 해당 사용자 ID와 함께 등록될 수 있다. 상기 사이트를 통하여, 상기 서버에 사용자 ID와 사용자 ID와 매칭된 가전기기의 고유 디바이스 ID를 전송하는 것에 의해 이루어질 수 있다. 이러한 과정들을 통해서, 상기 서버는 사용자와 관련된 사용자 정보와 가전기기에 관련된 가전기기 정보를 저장할 수 있다. 사용자 정보와 가전기기 정보는 매칭되어 서버에 저장될 수 있다.
사용자는, 단말에 설치된 응용프로그램을 통해서 상기 사이트에 회원으로 가입하여 사용자 ID와 패스워드를 부여받을 수 있다. 사용자는 상기 응용프로그램을 출원인의 ThinQ앱으로 인식할 수 있다. 사용자는 상기 응용프로그램으로 자신이 보유한 가전기기을 모두 등록할 수 있다. 상기 응용프로그램은 적어도 하나의 가전기기의 원격 서비스를 위해 마련될 수 있다.
사용자는 단말을 통해 서비스를 요청하고 서비스 수행 및 완료 등과 같은 정보를 용이하게 파악할 수 있다. 상기 서비스의 처리과정은, 상기 사이트, 상기 단말, 및 상기 가전기기 중의 적어도 하나를 통해 서버에 서비스요청이 접수되는 것, 상기 서비스 요청을 서버가 요청한 서비스를 처리하는 것, 및 처리코드에 따라서 해당 서비스를 위한 명령이 수행되는 것을 포함할 수 있다.
도 2는 클라우드 시스템을 더 구체적으로 보이는 가전기기를 위한 정보처리시스템의 구성도이다.
도 2를 참조하면, 실시예의 정보처리시스템은. 개별서비스영역(10)과 응용서비스영역(11)으로 구획될 수 있다. 상기 개별서비스영역(10)에서는, 실시예의 정보처리방법, 정보처리장치, 및 정보처리시스템을 동작하기 위한 기초정보를 처리할 수 있다. 상기 기초정보는 응용서비스를 요청하는 최초의 정보일 수 있다. 예를 들어, 외출한다는 사용자의 음성일 수 있다. 상기 음성은 기초정보로서 상기 개별서비스영역(10)의 서비스는 그 음성의 의미를 파악할 수 있다.
상기 개별서비스영역(10)에는 개별 서비스를 위한 적어도 하나 이상의 프로세서가 포함될 수 있다. 상기 응용서비스영역(11)은 상기 개별서비스영역(10)으로부터 공급되는 개별서비스를 응용하여 사용자에 대한 응용서비스를 제공할 수 있다. 상기 응용서비스영역(10)에는 응용 서비스를 위한 하나 이상의 프로세서가 포함될 수 있다. 상기 프로세서는 하드웨어와 그 하드웨어에서 구동하는 소프트웨어를 포함할 수 있다. 상기 서버(2a)(2b)는 클라우드 시스템(3) 상에서 구현될 수 있다. 상기 서버(2a)(2b)는 상기 클라우드 시스템의 일 구성으로 구현할 수도 있으나, 이해의 편의 및 동작 상의 차별점으로 인하여 도면과 같이 구분하여 표시한다.
상기 응용서비스영역(11)에는, 가전기기(1b)와, 서버(2c)가 놓일 수 있다. 상기 가전기기는 이미 설명한 다수의 기기를 포함할 수 있다. 상기 서버는 상기 가전기기와 통신을 수행할 수 있다. 상기 응용서비스영역에서 제공하는 응용서비스는, 사용자가 직접 요청한 서비스, 사용자가 간접 요청한 서비스, 사용자가 요청한 것으로 간주할 수 있는 서비스, 및 사용자가 요청한 것으로 추측할 수 있는 서비스를 포함할 수 있다. 상기 응용서비스는 상기 서버가 판단할 수 있다. 상기 서버는 가전기기를 제어할 수 있다. 상기 서버는 가전기기의 정보를 받을 수 있다. 상기 서버는 단말 또는 가전기기를 통하여 사용자와 통신을 수행할 수 있다.
상기 개별서비스영역(10)에는, 클라우드 시스템(3)와 엣지 디바이스를 포함할 수 있다. 상기 엣지 디바이스는 사용자의 단말(1c)를 예로 들 수 있다. 여기서 단말은 단일 개인의 단말을 벗어나 적어도 두 개의 단말을 의미할 수 있다. 상기 클라우드 시스템(3)은, 대용량 및 고속의 정보처리능력을 가질 수 있다. 상기 클라우드 시스템은, 서비스의 동작에 많은 자원이 소요되는 중량개별서비스(352)를 수행할 수 있다. 상기 엣지 디바이스는 소용량 및 저속의 정보처리능력을 가질 수 있다. 상기 엣지 디바이스는, 정확도에 비하여 고속동작이 요구되는 경량개별서비스(351)을 제공할 수 있다.
상기 서버(2c)는, 상기 단말(1c)의 요청, 상기 가전기기(1b)로부터의 요청, 및 미리 설정된 요건의 충족 등 여러 요청 중의 어느 하나에 의해서 서비스를 개시할 수 있다.
상기 서비스의 요청이 있으면, 상기 서버(2c)는 요청 서비스에 대응하는 정보처리를 수행할 수 있다. 상기 정보처리는 메모리(40)에 미리 저장된 정보를 참조하여 수행할 수 있다. 상기 서버는 상기 요청 서비스의 수행을 위하여 상기 개별서비스영역(10)의 서비스를 적어도 하나 호출할 수 있다. 서버는 개별서비스영역의 서비스를 두 개 이상 조합하여 이용할 수 있다. 상기 서버는 신속한 수행이 요청되는 개별서비스는 엣지 디바이스를 이용할 수 있다. 상기 서버는 정확한 수행이 요청되는 개별서비스는 클라우드 시스템(3)을 이용할 수 있다.
상기 요청 서비스의 수행결과는, 사용자에게의 보고, 가전기기의 제어, 및 정보저장 등과 같은 다양한 형식일 수 있다. 상기 요청 서비스의 수행결과는 상기 요청 서비스에 대응하는 것일 수 있다.
상기 요청 서비스의 수행과정 및 수행결과는, 상기 단말(1c) 및 상기 가전기기(1b)에 통보할 수 있다.
상기 클라우드 시스템에는 다수의 개별서비스가 제공될 수 있다. 상기 개별서비스는 클라우드의 가상/물리 머신, 가상/물리 박스, 가상/물리 스위치, 및 클러스터 등의 다양한 서비스 노드에 의해서 수행될 수 있다.
상기 개별서비스영역은, 클라우드 및 엣지 디바이스를 관리하는 외부에 대하여 관리서비스(31)를 포함할 수 있다. 상기 관리서비스는 인터페이스를 포함할 수 있다. 상기 관리서비스는 클라우드 및 엣지 디바이스에 제공될 수 있다. 상기 개별서비스영역은, 사용자에 대응하는 인식성을 높이는 방법을 제공하는 표현서비스(32)를 포함할 수 있다. 상기 개별서비스영역은, 사용자의 니즈를 파악하는 버틀러서비스(33)를 포함할 수 있다. 상기 개별서비스영역은, 상기 버틀러서비스의 성능향상 및 서비스의 성능향상을 위한 인식강화서비스(34)를 포함할 수 있다. 상기 개별서비스영역은, 인식서비스(35)를 제공할 수 있다.
상기 개별서비스 각각에 대하여 더 상세하게 설명한다. 상기 개별서비스는 이하에 제시되는 다양한 서비스를 포함할 수 있다.
상기 관리서비스(31)는, API(Application Programming Interface) (애플리케이션 프로그램 인터페이스)를 포함할 수 있다. 상기 API는 컴퓨터나 컴퓨터 프로그램 사이의 연결일 수 있다. 일종의 소프트웨어 인터페이스이며 다른 종류의 소프트웨어에 서비스를 제공할 수 있다. 상기 API는 엣지 디바이스에 적용할 수 있다.
상기 관리서비스(31)는 API 게이트웨이를 포함할 수 있다. 상기 API 게이트웨이는 실제 백엔드 서비스 또는 데이터와 접속하고 API 호출에 대한 정책, 인증 및 일반 액세스 제어를 적용하여 중요한 데이터를 보호하는 트래픽 관리자일 수 있다. 이상기 API 게이트웨이는, 인증/인가, 보안, 통계, 및 모니터링을 수행할 수 있다. REST API는 REST(REpresentational State Transfer) 아키텍처 스타일의 디자인 원칙을 준수하는 API일 수 있다. REST API는 클라우드 서비스에서 적용되는 여러 원칙을 준수하는 것을 말할 수 있다.
상기 표현서비스(32)는, TTS(text-to-speech), 즉 음성합성을 포함할 수 있다. 상기 TTS는, 말소리의 음파를 기계가 자동으로 만들어 내는 기술이다. 예를 들어, 모델로 선정된 사람의 말소리를 녹음하여 일정한 음성 단위로 분할한 다음, 부호를 붙여 합성기(speech computer, speech synthesizer)에 입력하였다가 지시에 따라 필요한 음성 단위만을 다시 합쳐 말소리를 인위로 만들어내는 기술이다. 상기 TTS는 다양한 구현방식을 가질 수 있다.
상기 표현서비스(32)는, AI음향을 포함할 수 있다. 상기 AI음향은 인공지능(AI)을 이용해 소리를 듣고 어떠한 상황인지를 인식하는 기술을 말할 수 있다. 예를 들어, 비명소리 또는 차량의 급정거를 소리를 듣고서 판단할 수 있다.
상기 표현서비스(32)는, 표정(appearance)기술을 포함할 수 있다. 상기 표정기술은 얼굴을 보고서 느낌을 추정하는 기술을 예로 들 수 있다.
상기 Butler 서비스(33)는 사용자의 음성 입력을 인식한 결과인 텍스트, 이미지 정보, 센서 정보, 및 상황 정보 등을 입력 데이터로 받아 사용자의 프로파일, 맥락, 및 지식 기반으로 판단하여 자연스러운 제어와 응답이 가능하도록 할 수 있다. 상기 버틀러 서비스는, 입력으로 받은 데이터를 분석하기 위해 인식기술을 사용할 수 있다. 상기 버틀러 서비스는, 지식관리시스템(KMS: Knowledge Management System)에 구축 지식 기반으로 판단하여 외부서비스와 연동할 수 있다. 상기 Butler 서비스(33)는, 사용자 행동분석, 외부지식연결, 외부지식분석, 상황판단 및 대응제안, 및 의도수행판단 등을 포함할 수 있다.
상기 Butler 서비스(33)는, 독립적으로 존재하던 AI 모듈의 기능들을 활용하여 대화 문맥, 사용자 상황에 맞는 제어와 응답을 제공할 수 있다. 사용자는 상기 Butler 서비스(33)에 의해서 자신에 대한 맞춤형 서비스를 느낄 수 있다.
상기 Butler 서비스(33)가 외부지식에 접근할 수 있는 서비스 게이트웨이를 포함할 수 있다. 상기 서비스 게이트웨이(service gateway)는 외부의 서비스에 접속하기 위한 게이트웨이이다. 상기 게이트 웨이는, 컴퓨터 네트워크에서 서로 다른 통신망, 프로토콜을 사용하는 네트워크 간의 통신을 가능하게 하는 컴퓨터나 소프트웨어를 지칭할 수 있다. 예를 들어, 어느 네트워크에서 다른 네트워크로 들어가는 입구 역할을 하는 네트워크 포인트일 수 있다.
상기 인식강화서비스(34)는 학습프로세서를 포함할 수 있다. 상기 인식강화서비스(34)는 계속학습(Continual Learning)을 포함할 수 있다. 상기 계속학습(Continual Learning)은, 하나의 모델을 조금씩 업그레이드 시키면서, 여러 태스크를 처리할 수 있도록 만드는 방법이다. 다른 표현으로는, 이전에 학습된 데이터를 잊지 않으면서, 새로 학습을 할 때마다 새로운 데이터/태스크를 지속적으로 학습하여 모델의 성능을 향상하는 방법이다.
상기 인식강화서비스(34)는, 지식 그래프(Knowledge Graph)를 포함할 수 있다. 상기 지식 그래프(Knowledge Graph)는, 개체, 사건 또는 개념과 같은 실체에 대한 상호 연결된 설명 모음을 의미할 수 있다. 상기 지식 그래프는 컨텍스트 내의 링킹 및 의미론적인 메타데이터를 저장할 수 있다. 이 방식으로 데이터 통합, 통일, 분석, 및 공유를 위한 프레임 워크를 제공할 수 있다.
상기 인식서비스(35)는, 스피치(speech) 서비스를 포함할 수 있다. 상기 스피치모듈은 다양한 프로세서를 포함할 수 있다. 상기 스피치 모듈은 원격지의 사용자가 가장 정확하게 편리하게 사용할 수 있다. 상기 스피치 모듈은 다른 모듈에 비하여 많이 발전하였다.
상기 스피치 서비스는, 음성신호처리(SSP: Speech Signal Processing) 서비스를 포함할 수 있다. 상기 음성신호처리서비스는 음성 통신, 음성 인식과 같은 애플리케이션을 위한 기능이다. 마이크에 입력되는 음원은 주변에서 발생한 여러 잡음이 포함되어 있어 품질이 좋지 않다. 낮은 품질의 음원은 음성 통화나 음성 인식 프로그램에서 그대로 사용할 수 없기 때문에 SSP 엔진을 사용하여 잡음을 제거하고 음원의 품질을 향상시킬 수 있다.
상기 스피치는, 음성인식(ASR:Automatic Speech Recognition) 서비스를 포함할 수 있다. 음성인식서비스는, 사용자의 음성 데이터를 입력받아 해당 음성을 텍스트로 변환하는 서비스를 제공할 수 있다. '외출'이라는 소리를 '외출'이라는 단어로 바꿀 수 있다.
상기 스피치는, 자연어처리(NLP:Natural Language Processing) 서비스를 포함할 수 있다. 자연어처리서비스는 사람의 언어인 자연어를 기계가 이해할 수 있는 의미 구조로 변환하는 것을 의미할 수 있다. '외출'이라는 단어를, 외출:집에서 나가는 것으로 이해하는 것을 의미할 수 있다.
상기 스피치는, 하이브리드 트리거 단어 감지(HTWD: Hybrid Trigger Word Detection)서비스를 포함할 수 있다. HTWD 서비스는 기동어의 오인식을 최소화하기 위해 1차로 임베디드 기반의 기동어 검출을 수행하고, 2차로 서버 기반의 기동어 검출을 수행하는 것을 포함할 수 있다.
상기 스피치는, 트리거 단어 감지(TWD: Trigger Word Detection)서비스를 포함할 수 있다. TWD서비스는 음성 데이터 세트를 구성하고 트리거 단어 감지 (키워드 감지 또는 웨이크 워드 감지라고도 함)를 위한 알고리즘을 구현할 수 있다. 트리거 단어 감지는 Amazon Alexa, Google Home, Apple Siri 및 Baidu DuerOS와 같은 장치가 특정 단어를 듣고 기기가 기동하도록 할 수 있다. TWD는 작은 용량의 엔진으로 기동어 검출을 수행하는 것을 의미할 수 있다. 예를 들어, 사용자가 '외출 모드 실행해 줘'라는 말을 할 때, '외출'이라는 말을 기동어로서 검색할 수 있다.
상기 스피치는, 동시 기동어 제어(MWA: Multi-device Wakeup Arbitration)서비스를 포함할 수 있다. MWA 서비스는 여러 기기가 동일한 기동어를 동시에 인식했을 경우에 사용자에게 가장 적합한 기기를 선택하는 서비스일 수 있다. MWA 서비스는 사용자의 방향, 거리 등을 측정해서 사용자의 음성 명령을 가장 잘 인식할 수 있는 기기를 선택하고 사용자에게 피드백을 제공할 수 있다. 예를 들어, 공조기, 텔레비전, 및 오븐에 동시에 기동어가 인식되었을 때, 어느 하나의 적합한 기기를 선택하는 서비스를 제공할 수 있다.
상기 스피치 서비스 중에서, 상기 음성신호처리(SSP: Speech Signal Processing) 서비스, 및 상기 트리거 단어 감지(TWD: Trigger Word Detection)서비스는 엣지 디바이스(1c)에 포함될 수 있다. 이 두 서비스는 경량이기 때문에, 엣지 디바이스의 용량에 충분히 구동할 수 있다. 상기 두 서비스는, 엣지 디바이스의 용도에 편리하게 사용할 수 있기 때문이다.
상기 인식서비스(35)는, 비전(Vision)서비스를 표현할 수 있다. 상기 비전서비스는 다양한 하위 서비스를 포함할 수 있다. 상기 비전서비스는 사용자가 눈으로 인지할 수 있는 서비스에 대응할 수 있다.
상기 비전서비스는 음식인식(food recognition)서비스를 포함할 수 있다. 상기 음식인식서비스는 냉장고에 수용되는 음식물의 위치를 인식할 수 있다. 예를 들어, 계란의 이미지를 이용하여 계란을 촬영하고 촬영된 이미지에서 계란의 위치를 알아낼 수 있다. 상기 음식인식서비스는 음식을 형상 및 바코드 등의 여러 방식으로 인식할 수 있다. 인식된 음식은 서버에서 관리될 수 있다.
상기 비전서비스는 사물/사람인식 서비스를 포함할 수 있다. 상기 사람/사물인식서비스는 물체의 2차원 및 3차원 형상을 이용하여, 대상인 사람/사물을 구분할 수 있다. 구분된 정보는 식별, 이동, 및 인식 등의 여러 정보로 사용할 수 있다.
상기 비전서비스는, 운전자상태감지(DSM: Driver State Monitoring) 서비스를 포함할 수 있다. 상기 운전자상태감지서비스는 영상 이미지 데이터로부터 사용자 얼굴 검출, 시선 추적 및 눈감음 여부와 눈깜박임을 추적하여 얼굴의 위치와 머리 방향, 얼굴 특징점, 시선 방향 및 각도, 눈 감음 정도를 제공할 수 있다. 상기 운전자상태감지서비스는 운전자의 졸음을 감지하여 경고할 수 있다.
상기 비전서비스는, 행동인식서비스를 포함할 수 있다. 상기 행동인식서비스는 사용자의 행동을 기동신호로 인식하는 서비스일 수 있다. 예를 들어, 사용자가 단말을 흔드는 행동으로 단말을 기동시키는 서비스일 수 있다. 상기 DSM서비스와 행동인식서비스는 엣지 디바이스에서 구현될 수 있다.
상기 인식서비스(35)는, 바이오메트릭(Biometric) 서비스를 포함할 수 있다. 상기 바이오메트릭서비스는 사용자의 건강정보를 파악하는 어떠한 서비스를 예시할 수 있다. 예를 들어, 스마트워치를 이용하여 전송하는 심박, 정보, 및 수면 정보 등을 이용하여 진단보조 서비스를 수행할 수 있다.
상기 인식서비스(35)는, 센서(sensor) 서비스를 포함할 수 있다. 상기 센서서비스는, 전달되는 정보를 통하여 환경을 인지하는 것, 및 생체를 인지하는 등의 서비스를 수행할 수 있다.
상기 인식서비스(35)는, 감정(emotion) 서비스를 포함할 수 있다. 상기 감정서비스는, 감성인식(ER:Emotion Recognition)서비스를 포함할 수 있다. 감성인식서비스는 사용자의 표정이나 목소리, 사용자가 입력한 문자로부터 감성을 인지하는 서비스이다. 감성을 인식하는 ER 서비스는 사용자와 기계 간의 자연스러운 언어적/비언어적 소통을 가능하게 하여 사람과 기계가 부드럽게 교감하고 상호작용할 수 있도록 돕는다.
상기 개별서비스영역(10)에는, 보행추적, 및 행동예측 등과 같은 다양한 다른 서비스가 적용될 수 있다. 상기 개별서비스영역(10)에 있는 각 서비스는 어느 하나의 서비스가 다른 서비스와 연동하여 다른 서비스를 제공할 수 있다. 상기 엣지 디바이스(1c)의 서비스는 신속함이 요청되는 서비스 들이 탑재될 수 있다. 상기 개별서비스영역(10)의 서비스는 다른 외부 네트워크와 연계할 수 있다.
상기 클라우드 시스템에는 정확도 및 복잡함이 요청되는 서비스들이 탑재될 수 있다. 상기 엣지 디바이스와 상기 클라우드 시스템은 서로 협력할 수 있다. 예를 들어, 엣지 디바이스(1c)의 TWD에서 인식된 단어로 기동한 후에, 클라우드 시스템(3)은, HTWD를 이용하여 정확하게 판단할 수 있다. 다른 예로, 엣지 디바이스(1c)의 비전서비스에서 인식된 행동인식을, 클라우드 시스템(3)의 사물/사람인식 서비스에서 다른 목적을 위한 정보로 활용할 수 있다.
상기 개별서비스영역(10)의 각 서비스는 인공지능의 학습모델로 동작할 수 있다. 상기 인식강화서비스(34)는 학습모델로 구축할 수 있다. 예를 들어, 상기 표현서비스(32), 상기 버틀러서비스(33), 상기 인식강화서비스(34), 및 상기 인식서비스(35) 중의 적어도 하나는 인공지능을 이용하는 학습모델로 제공될 수 있다. 상기 개별서비스영역(10)의 각 서비스는 테이블 또는 수학식으로 구축된 연산식으로 구현될 수 있다. 개별서비스영역의 각 서비스는 인공지능을 이용하는 학습모델 및 연산식이 혼재할 수 있다.
상기 개별서비스영역(10)의 각 서비스, 즉, 서비스모듈은 응용서비스영역으로 서비스요청에 대한 처리결과를 회신할 수 있다.
이하의 모든 실시예에 있어서, 상기 응용서비스영역이 호출하는 개별서비스영역의 서비스모듈에 대한 구체적인 언급이 없을 수도 있다. 이 경우에는, 응용서비스영역의 응용서비스가 호출하는 성격에 대응하여, 회신할 수 있는 모든 개별서비스모듈은 그 서비스요청에 회신할 수 있다. 상기 응용서비스영역이 호출하는 개별서비스영역의 서비스모듈에 대한 구체적인 언급이 있을 수 있다. 이 경우에는, 바람직한 어느 예를 기재한 것이고, 다른 개별서비스영역의 서비스모듈이 회신하는 것을 제외하지는 않는다.
도 3은 실시예의 가전기기를 위한 정보처리장치를 설명하는 도면이다.
도 3을 참조하면, 실시예의 정보처리장치(12)는 각 노드의 상태를 확인하는 확인모듈(20), 정보처리에 필요한 정보가 저장되는 메모리(40), 및 상기 확인모듈에 의해서 확인된 상황에 대응하여 각 노드의 동작을 결정하는 동작결정모듈(30)을 포함할 수 있다. 상기 노드는, 가전기기, 및 단말을 포함할 수 있다. 상기 노드는, 단말, 클라우드시스템, 및 엣지디바이스를 배제하지 않는다. 상기 확인모듈, 상기 메모리, 상기 동작결정모듈 간의 정보흐름은 내부 버스에 의해서 수행될 수 있다. 상기 확인모듈, 상기 메모리, 상기 동작결정모듈은 정보를 서로 공유할 수 있다.
상기 정보처리장치(12)는 상기 개별서비스영역(10)의 개별서비스를 이용할 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공할 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공하는 메인 프로세서일 수 있다. 상기 정보처리장치(12)는 응용서비스를 제공하는 별도의 프로세서를 포함할 수 있다. 상기 정보처리장치(12)는 단말(1c), 및 가전기기(1b1)(1b2)와 유무선 네트워크로 연결될 수 있다. 상기 정보처리장치(12)는 상기 서버(2c)에 의해서 구현될 수 있다.
상기 정보처리장치(12)는 트리거 신호에 의해서 동작이 시작할 수 있다. 상기 트리거 신호는 기동신호를 의미할 수 있다. 상기 트리거 신호는 기초정보가 될 수 있다. 상기 기초정보는 그 자체로는 해석되지 않은 단순 신호일 수 있다. 상기 트리거 신호는 사용자로부터의 직접 또는 간접 신호일 수 있다. 예를 들어, 상기 트리거 신호는 사용자의 음성메시지일 수 있다. 이때 음성메시지의 자연어처리가 된 다음에 의미가 파악될 수 있다. 이때 사용하는 개별서비스는 상기 자연어처리 서비스일 수 있다.
상기 트리거 신호는 가전기기의 서로 연계되는 각 노드에서 발생하는 직접 또는 간접 신호일 수 있다. 상기 트리거 신호는 예약된 조건의 성취일 수 있다. 예를 들어, 아침 기상을 6시로 예약하였을 때 6시에 도달한 시계로부터의 신호일 수 있다. 다른 예로, 사용자를 자동으로 감지할 때의 사용자 감지신호일 수도 있다.
상기 정보처리장치(12)는 기초정보를 이용하여 상기 개별서비스영역에 개별서비스를 요청할 수 있다. 여기서, 개별 서비스에는, 상기 기초정보인 트리거 신호의 의미를 파악하는 것을 포함할 수 있다. 이때 개별서비스로는 상기 인식서비스(35)의 스피치서비스를 이용할 수 있다. 상기 예약된 조건의 성취의 경우에는 이미 의미가 해석된 것이므로, 트리거 신호임에도 의미의 파악이 필요하지 않을 수도 있다.
상기 확인모듈(20)은 상기 트리거 신호를 수신할 수 있다. 상기 확인모듈(20)은 상기 트리거 신호에 대응하여 각 노드를 확인할 수 있다. 상기 확인모듈(20)에 대응하여 상기 가전기기의 동작상태를 알 수 있다. 상기 응용서비스는 가전기기의 동작상태를 확인하는 것을 포함할 수 있다. 상기 가전기기는 여러 사람이 함께 사용할 수 있다. 상기 가전기기는 사전에 예약된 예약동작이 있을 수 있다. 상기 확인모듈은, 예를 들어, 상기 가전기기가 현재 동작 중인지, 동작을 대기 중인지, 동작을 종료하였는지, 및 동작대기상태의 구체적인 내용은 무엇인지 등의 정보를 파악할 수 있다. 상기 확인모듈(20)이 파악한 정보는 각 가전기기 별로 확인모듈에 저장될 수 있다.
상기 확인모듈(20)에 의해서 파악된 정보를 참조하여, 동작결정모듈(30)은 가전기기의 동작을 결정할 수 있다. 상기 응용서비스는 가전기기의 동작을 결정하는 것을 포함할 수 있다. 상기 동작결정모듈은 상기 트리거 신호에 대응하여 동작을 결정할 수 있다. 상기 동작결정모듈은, 사용자의 서비스 요청에 대응하는 동작을 결정할 수 있다.
상기 동작결정모듈은 동작순서결정부(31)를 포함할 수 있다. 상기 동작순서결정부(31)는 서로 연동하는 적어도 두 개의 가전기기의 동작순서를 결정할 수 있다. 여기서, 동작순서는 상기 확인모듈에 의해서 확인된 가전기기의 동작순서와 다를 수 있다. 상기 동작결정모듈은 동작모드결정부(31)를 포함할 수 있다. 상기 동작모드결정부(31)는 적어도 하나의 가전기기의 동작모드를 결정할 수 있다. 여기서 동작모드는 상기 확인모듈에 의해서 확인된 가전기기의 동작모드와 다를 수 있다. 상기 동작결정모듈은 동작시간결정부(33)를 포함할 수 있다. 상기 동작시간결정부(33)는 적어도 하나의 가전기기의 동작시간을 결정할 수 있다. 여기서, 동작시간은 상기 확인모듈에 의해서 확인된 가전기기의 동작시간과 다를 수 있다.
상기 동작결정모듈(30)은 인공지능으로 동작할 수 있다. 상기 동작결정모듈(30)은 개별서비스영역(10)의 상기 개별 서비스를 이용하여 동작할 수 있다. 예를 들어, 인식강화서비스(34)의 학습모델을 이용하여 동작할 수 있다.
도 4는 학습모델을 제공하는 실시예를 설명하는 도면이다.
도 4를 참조하면, AI(Artificial Intelligence) 서버(2d)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, AI 서버(2d)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, AI 서버(2d)는 디스플레이 장치(25)의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다. 상기 AI 서버(2d)는 서버(2c)의 일 부분이 될 수 있다.
상기 AI 서버(2d)는 통신부(21), 메모리(23), 러닝 프로세서(24) 및 응답 프로세서(26) 등을 포함할 수 있다. 통신부(21)는 디스플레이 장치(25) 등의 외부 장치와 데이터를 송수신할 수 있다.
상기 메모리(23)는 모델 저장부(23-1)를 포함할 수 있다. 모델 저장부(23-1)는 러닝 프로세서(24)을 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망, 23-2)을 저장할 수 있다.
상기 러닝 프로세서(24)는 학습 데이터를 이용하여 인공 신경망(23-2)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(2d)에 탑재된 상태에서 이용되거나, 디스플레이 장치(25) 등의 외부 장치에 탑재되어 이용될 수도 있다.
상기 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(63)에 저장될 수 있다.
상기 응답 프로세서(26)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
상기 AI 서버로 구현되는 학습모델은, 개별서비스영역에 제공되는 각 서비스 별로 제공될 수 있다. 각 학습모델은 각 서비스를 위한 응답을 제공할 수 있다. 상기 동작결정모듈(30)은 각 학습모델을 이용하여 응답을 제공받을 수 있다.
도 5는 실시예에 따른 정보처리방법의 흐름을 보이는 도면이다.
도 5를 참조하면, 상기 노드로부터의 상기 트리거 신호를 정보처리장치(12)가 수신할 수 있다(S1). 상기 노드는 단말, 또는 가전기기 일 수 있다. 상기 정보처리장치는 상기 개별서비스영역에 개별서비스를 요청할 수 있다(S2). 여기서, 개별 서비스에는, 트리거 신호의 의미를 파악하는 것을 포함할 수 있다. 예를 들어 상기 인식서비스(35)의 스피치서비스를 이용할 수 있다.
상기 개별서비스영역은 정보처리장치의 요청에 대응하는 것을 결과로서 결과통지를 수행할 수 있다(S3). 상기 결과통지에는, 트리거신호의 의미, 트리거신호에 대응하는 필요한 동작의 목록, 및 상기 노드에게 요구되는 동작의 목록 중의 적어도 하나를 포함할 수 있다.
상기 정보처리장치는, 트리거 신호에 대응하여 필요한 가전기기의 동작을 선정하는 것, 및 트리거 신호에 대응하여 사용자에게 요구되는 동작을 선정하는 것 등을 수행할 수 있다. 상기 정보처리장치는 응용서비스를 제공할 수 있다. 정보처리장치는, 트리거신호의 의미, 트리거 신호에 대응하는 필요한 동작, 노드에게 요구되는 동작, 및 확인결과를 제 1 결과회신으로서 노드에게 통지할 수 있다(S4).
상기 정보처리장치는 제 1 가전기기로 제 1 제어신호를 송신할 수 있다(S5). 제 1 가전기기는 상기 제 1 제어신호의 수행결과를 포함하는 에크신호 및 상태보고신호를 송신할 수 있다(S6). 상기 정보처리장치는 제 2 가전기기로 제 2 제어신호를 송신할 수 있다(S7). 제 2 가전기기는 상기 제 2 제어신호의 수행결과를 포함하는 에크신호 및 상태보고신호를 송신할 수 있다(S8).
상기 정보처리장치는, 상기 제 1, 2 가전기기의 수행결과를 상기 노드에 제 2 결과회신으로서 노드에게 통지할 수 있다(S9). 상기 노드에는, 상기 제 1, 2 가전기기 외에 더 많은 가전기기를 포함할 수 있다. 상기 노드에는, 상기 제 1, 2 가전기기 중의 어느 한 가전기기를 포함할 수 있다. 상기 정보처리방법의 적어도 하나의 단계가 다른 실시예의 정보처리방법에서는 생략될 수 있다. 상기 정보처리방법에는 다른 실시예의 정보처리방법의 적어도 하나의 단계가 추가될 수 있다.
실시예의 가전기기를 위한 정보처리방법을 설명한다.
도 6은 실시예의 정보처리방법의 인터페이스를 보이는 도면이다. 도면 상의 인터페이스에서 사용하는 용어는 이해의 편의를 위하여 실시예의 설명에서 그대로 인용하였다. 유사한 의미의 다른 용어 및 방법을 사용할 수 있다. 도 6은 사용자가 외출하는 것을 예시한다.
도 6을 참조하면, 사용자(1d)는 단말(1c)를 이용하여 자신의 외출한다는 것을 송신할 수 있다. 상기 트리거 신호는 "외출 모드 실행해줘" 일 수 있다. 외출을 한다는 취지의 전송방법은 음성을 예시한다. 그 외에 문자메시지, 및 약정된 행동 등의 여러 방식으로 정보처리장치(10)로 전달될 수 있다. 본 단계는 도 5의 통지단계(S1)에 해당할 수 있다.
사용자의 메시지는 사용자가 외출한다는 취지로 파악할 수 있다. 사용자가 외출한다는 취지는 개별서비스영역(10)의 서비스로 제공되는, 인식서비스(35), 버틀러 서비스(33), 및 인식강화서비스(34) 중의 적어도 하나의 서비스에 의해서 해석될 수 있다. 해석된 결과는 사용자가 외출한다는 취지, 및 사용자가 외출하는 것에 대응하여 가전기기가 해야 하는 동작을 포함할 수 있다. 본 단계는 도 5의 조회단계(S2), 및 결과통지단계(S3)에 해당할 수 있다.
상기 해석된 결과에 대응하여, "네, 외출하시는 군요"의 형식으로 정보처리장치에서 단말(1c)로 회신을 줄 수 있다. 상기 해석된 결과가 가전기기로 전달될 수 있다. 취지를 전달받은 가전기기가 "네, 외출하시는 군요"로 사용자에게 회신을 줄 수 있다. 상기 가전기기는 적어도 하나가 포함될 수 있다. 각 가전기기는 자신에게 맞는 메시지를 전달할 수 있다.
회신을 받은 사용자(1d)는 정보처리시스템이 올바르게 동작하였음을 확인할 수 있다. 본 단계는 도 5의 제 1 결과회신단계(S4)해당할 수 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 기기로 제어신호를 송신하여 가전기기의 현재의 상태를 파악할 수 있다. 가전기기는 상기 제어신호에 대응하여 에크/상태보고를 송신할 수 있다. 본 단계는 도 5의 제어신호 및 에크/상태보고(S5 내지 S8)에 해당할 수 있다. 가전기기의 에크/상태보고(S6)(S8)에서, 사용자가 주목해야 하는 정보가 있는 경우에는, 도 5의 제 2 결과회신단계(S9)를 수행할 수 있다. 예를 들어, 가전기기가 정상으로 동작되지 않아서 에크가 없는 경우에는 그 취지를 제 2 결과회신으로 송신할 수 있다. 상기 제 2 결과회신은 생략할 수도 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 응용서비스를 제공할 수 있다. 상기 정보처리장치는 응용서비스의 수행을 위한 제어신호를 결정할 수 있다. 상기 정보처리장치는 상기 제어신호를 가전기기를 송신하고 제어할 수 있다. 이때에는 상기 가전기기의 에크/상태보고(S6)(S8)가 정상적으로 수행된 경우일 수 있다. 상기 응용서비스는 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 포함할 수 있다.
상기 해석된 결과에 대응하여, 상기 정보처리장치는 적어도 하나의 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 결정할 수 있다. 상기 정보처리장치는 결정된 동작순서, 동작모드, 및 동작시간 중의 적어도 하나로, 가전기기를 제어할 수 있다. 상기 정보처리장치는 가전기기를 제어결과는 단말(1c)로 통지할 수 있다. 이 단계는 제 3 결과회신이라고 할 수 있다.
상기 제 3 결과회신의 각 회신의 예를 제시한다. 상기 정보처리장치는, 공기청정기에 대해서는 "외출모드를 실행하겠습니다."로 단말로 회신할 수 있다. 상기 정보처리장치는 가열기기에 대해서는, "인덕션 전원이 켜져있어요."로 단말로 회신할 수 있다. 상기 정보처리장치는 광파오븐에 대해서는, "광파오븐안에 음식이 들어 있어요."로 단말로 회신할 수 있다. 상기 정보처리장치는 냉장고에 대해서는, "설정해 두신 외출모드 10분 전입니다. 주방 안전확인을 시작하겠습니다"로 단말로 회신할 수 있다. 상기 정보처리장치는 로봇청소기에 대해서는, 외출표식을 단말로 회신할 수 있다. 여기서 상기 외출표식은 사용자가 외출하는 것이므로 청소를 시작한다는 사전에 규약된 표지일 수 있다.
상기 제 3 결과회신은 위와 같이 단말기를 통할 수도 있다. 다른 방식으로, 상기 제 3 결과회신은 해당하는 가전기기가 메시지를 전달할 수 있다. 사용자가 외출을 알리는 중으로서, 집 내에 있을 수 있기 때문이다. 상기 메시지는 사용자에게 바로 전달될 수 있다. 상기 메시지는, 저장 음성, 경보, 및 저장사인 등 여러 가지가 있을 수 있다.
상기 제 3 결과회신단계는, 가전기기의 정보처리방법에 따라서, 더 다양한 경우를 가질 수 있다. 사용자는 상기 제 3 결과회신을 통하여 응용서비스가 적절히 수행된 것을 알 수 있다.
도 7은 실시예의 정보처리방법의 인터페이스를 보이는 도면이다. 도면 상의 인터페이스에서 사용하는 용어는 이해의 편의를 위하여 실시예의 설명에서 그대로 인용하였다. 유사한 의미의 다른 용어 및 방법을 사용할 수 있다. 도 7은 외출하면서 반려동물을 케어하는 추가모드의 실현, 및 실내 또는 실외에서 반겨동물캐어모드를 수행하도록 지시하는 것일 수 있다.
다른 내용은 상기 도 6의 설명과 동일하고 달라지는 것에 대하여 설명한다.
먼저, 상기 기초정보로는 '집으로 돌아갈 때까지 '두부'라고 집 좀 잘 봐줘'라는 음성정보일 수 있다. 상기 제 1 결과회신은, 해석된 결과에 대응하는 "네, '두부' 잘 보겠습니다"일 수 있다. 상기 제 1 결과회신은, 반려동물케어의 의미를 가질 수 있다.
상기 제 3 결과회신의 예를 제시한다. 상기 정보처리장치는, 공기청정기에 대해서는 "상쾌한 공기가 유지되도록 탈취 모드를 작동할게요"로 단말로 전송할 수 있다. 상기 정보처리장치는, 공조기에 대해서는, "펫케어 온도 조정 모드로 실행합니다"로 단말로 전송할 수 있다. 상기 정보처리장치는, 로봇 청소기에 대해서는, "'두부'가 많이 돌아다닌 곳을 집중적으로 청소합니다"로 단말로 전송할 수 있다.
상기 제 3 결과회신은 위와 같이 단말기를 통할 수도 있다. 다른 방식으로, 상기 제 3 결과회신은 해당하는 가전기기가 메시지를 직접 전달할 수 있다. 사용자가 외출 및 반려동물캐어모드를 알리는 중으로서, 집 내에 있을 수 있기 때문이다. 상기 메시지는 사용자에게 바로 전달될 수 있다. 상기 메시지는, 저장 음성, 경보, 및 저장메시지 등 여러 가지가 있을 수 있다.
이하에서는 가전기기를 위한 정보처리방법의 다양한 실시예를 설명한다.
도 8은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다.
도 8을 참조하면, 사용자(1d)가 단말(1c)을 이용하여 자신이 외출한다는 것을 송신할 수 있다(S11). 사용자는 음성을 전달할 수 있다.
외출한다는 취지는 개별서비스영역(10)의 서비스로 제공되는, 인식서비스(35), 버틀러 서비스(33), 및 인식강화서비스(34) 중의 적어도 하나의 서비스에 의해서 파악될 수 있다. 예를 들어, 인식서비스(35)에 의해서 외출의 의미가 학습모델에 의해서 파악될 수 있다. 이후에는 응용서비스를 제공할 수 있다. 예를 들어, 해석된 결과는 사용자가 외출한다는 취지, 사용자가 외출하는 것에 대응하여 가전기기가 해야 하는 동작을 포함할 수 있다(S12)(S13)
상기 해석된 결과에 대응하여, 상기 확인모듈(20)은 사용자가 외출하는 것이 맞는지 사용자에게 확인하는 제 1 결과회신단계(S14)를 수행할 수 있다.
상기 해석된 결과에 대응하여, 상기 확인모듈(20)은 가전기기로 제어신호를 송신하여 가전기기의 현재의 상태를 파악할 수 있다. 파악된 결과는, 가전기기의 상태를 포함하는 제 2 결과로 사용자에게 전달될 수 있다(S15)
상기 해석된 결과에 대응하여, 상기 동작결정모듈(30)은 적어도 하나의 가전기기의 동작순서, 동작모드, 및 동작시간 중의 적어도 하나를 결정할 수 있다. 상기 정보처리장치는 결정된 동작순서, 동작모드, 및 동작시간 중의 적어도 하나로, 가전기기를 제어할 수 있다. 상기 정보처리장치는 가전기기의 제어결과를 제 3 결과로 단말(1c)로 통지할 수 있다(S16). 상기 가전기기는 직접 제 3 결과회신을 사용자에게 할 수도 있다.
상기 정보처리방법의 수행 중에, 상기 확인모듈 및 상기 동작결정모듈은, 상기 개별서비스영역의 개별서비스를 이용할 수 있다. 사용자는 상기 제 1, 2, 3 결과회신에 의해서 상기 응용서비스의 진행 및 결과를 알 수 있다.
도 9는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 외출취지 및/또는 반려동물캐어취지가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 외출이 파악된 이후의 정보처리방법일 수 있다.
도 9를 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 가전기기(1b)로 송신하여 가전기기의 현재상태를 파악할 수 있다(S21). 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S22). 상기 가전기기는 확인모듈(20) 및 또는 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 송신될 수 있다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다. 상기 가전기기의 종류별로 및/또는 상기 상태보고메시지에 따라서, 가전기기의 동작모드는 서로 다르게 결정할 수 있다.
상기 정보처리방법을 예를 들어 설명한다.
세탁기와 같은 예약종료가전기기를 제 1 그룹이라고 할 수 있다.
세탁기의 경우에, 상기 상태보고메시지는 현재 동작 중으로서 언제 종료될 것인지가 예정될 수 있다. 이때에 상태보고메시지는 두 시간 후에 모든 행정이 종료한다는 메시지를 포함할 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 이 경우에는 동작 후 자동종료모드를 결정할 수 있다. 결정된 모드는 세탁기로 통보할 수 있다(S23), 결정된 사항은 상기 제 3 결과회신으로 사용자에게 보고할 수 있다(S24).
본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부 및 동작시간결정부는 작업을 하지 않을 수 있다.
상기되는 바와 같이 제 1 그룹의 가전기기에 대해서는 사용자가 외출하더라도 정상적인 가전기기의 동작을 보장할 수 있다.
텔레비전, 및 오디오 등의, 안전과 무관하고 사용자의 기호와 관련되는 가전기기를 제 2 그룹이라고 할 수 있다. 상기 제 2 그룹의 가전기기는 동작중이지만 예약종료가 없을 수 있다.
텔레비전의 경우에, 상기 상태보고메시지는 현재 동작 중으로서 언제 종료될 것인지가 예정되지 않을 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 이 경우에는 바로 종료하는 즉시종료모드를 결정할 수 있다. 결정된 모드는 텔레비전로 통보할 수 있다(S23). 이에 따라서 텔레비전은 바로 종료할 수 있다. 결정된 사항은 상기 제 3 결과회신으로 사용자에게 보고할 수 있다(S24).
본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부 및 동작시간결정부는 작업을 하지 않을 수 있다.
상기되는 바와 같이 제 2 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에 더 이상 동작이 필요없다. 이에 따라서, 바로 가전기기를 종료하여 에너지를 절약할 수 있다.
인덕션, 하이라이드, 가스레인지, 및 정수기 등, 개방된 환경에서 위해를 가하여 안전을 위협하는 가전기기를 제 3 그룹이라고 할 수 있다. 제 3 그룹에는 대표적인 가열조리기기를 예시할 수 있다.
인덕션의 경우에, 상기 상태보고메시지는 현재 동작 중임을 보고할 수 있다. 제 3 그룹의 동작 중은 사용자의 니즈에 대응하여 열/온수제공이 가능한 것을 의미할 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 이 경우에는 바로 강제락(rock)을 설정하는 안전모드를 결정할 수 있다. 결정된 모드는 인덕션으로 통보할 수 있다(S23). 이에 따라서 인덕션은 바로 안전모드를 실행할 수 있다. 여기서, 안전모드는 반려동물이나 예기하지 못한 외란에 의해서 동작을 막을 수 있는 모드를 의미할 수 있다. 예를 들어, 단말의 락킹모드와 동일한 기능을 설정할 수 있다. 결정된 사항은 상기 제 3 결과회신으로 사용자에게 보고할 수 있다(S24).
본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부 및 동작시간결정부는 작업을 하지 않을 수 있다.
상기되는 바와 같이 제 3 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에 안전하게 현 상태를 유지할 수 있다. 이에 따라서, 가정의 안전을 지킬 수 있다. 상기 정수기의 경우에는 냉각기능을 없애는 절전모드를 추가로 수행할 수 있다. 이 경우에는, 에너지부하를 더욱 줄일 수 있다.
냉장고, 와인셀러, 및 정수기 등, 정상동작을 하는 가전기기를 제 4 그룹이라고 할 수 있다.
냉장고의 경우에, 상기 상태보고메시지는 현재 동작 중임을 보고할 수 있다. 제 4 그룹의 동작 중은 즉각적인 변화는 어렵고 그 동작을 유지해야 하는 것을 의미할 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 이 경우에는 현재 동작을 유지하는 정상동작모드를 결정할 수 있다. 결정된 모드는 냉장고로 통보할 수 있다(S23). 이에 따라서 냉장고는 현재 동작을 유지할 수 있다. 결정된 사항은 상기 제 3 결과회신으로 사용자에게 보고할 수 있다(S24).
본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부 및 동작시간결정부는 작업을 하지 않을 수 있다.
상기되는 바와 같이 제 4 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에도 정상적으로 동작할 수 있다. 사용자는 귀가 후에 편리하게 가전기기를 이용할 수 있다.
본 가전기기를 위한 제어방법에 의해서 사용자는 한층 더 편리하고, 안전하고, 에너지 절감이 가능하게 가전기기를 사용할 수 있다,
도 10은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 외출취지가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 지연 귀가가 파악된 이후의 정보처리방법일 수 있다.
도 10을 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 가전기기(1b)로 송신하여 기기의 현재상태를 파악할 수 있다(S31). 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S32). 상기 가전기기는 확인모듈(20) 및 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 확인모듈로 송신할 수 있다. 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다.
상기 정보처리방법을 예를 들어 설명한다.
광파오븐, 및 세탁행정이 종료한 세탁기와 같은 가전기기를 제 5 그룹이라고 할 수 있다.
광파오븐의 경우에, 상기 상태보고메시지는 현재 동작완료되었고 사용자의 처치가 필요할 수 있다. 이때에 상태보고메시지는 광파오븐에 조리가 완료한 음식이 있고, 사용자의 니즈가 필요하다는 메시지를 포함할 수 있다. 예를 들어, 상기 상태보고메시지에는 오븐의 내부음식이 촬영된 이미지를 포함할 수 있다. 이때 광파오븐은 카메라를 내장할 수 있다. 상기 상태보고메시지는 상기 제 1 제어신호에 대한 응답일 수 있다. 이 경우에 상기 동작모드결정부는 사용자에게 음식이 있다는 사실을 통지하는 통지모드를 수행할 수 있다. 상기 통지모드는 단말로 제 1 출력신호를 송신하는 것으로 수행할 수 있다(S33).
상기 상태보고메시지는 서버의 추가정보를 참조하는 메시지일 수 있다. 예를 들어, 서버와 광파오븐은 서로 정보교환을 하여, 광파오븐의 도어열림과 도어닫힘을 인식할 수 있다. 이 경우에, 광파오븐의 운전경과는 상기 서버(2c)에 저장될 수 있다. 이 경우 상기 동작모드결정부는 상기 메모리(40)에 문의하고(S34), 그 회신을 받을 수 있다(S35). 예를 들어, 서버는 광파오븐의 도어개방후에 닫히고, 조리과정을 거친 후에, 도어가 다시 열리지 않은 것을 회신할 수 있다.
상기 동작모드결정부는 상기 메모리의 정보를 참조하여, 단말로 제 2 출력신호를 회신할 수 있다(S36). 사용자는 상기 제 1, 2 출력신호를 보고서 추가로 자신이 작업을 할지 말지를 결정할 수 있다. 예를 들어, 광파오븐이 경우에는 조리된 음식의 추가처치 또는 세탁물의 건조의 추가처치를 사용자가 더 할 지의 여부를 판단할 수 있다.
본 실시예는 다른 가전기기와의 협업이 제시되지 않으므로 동작순서결정부 및 동작시간결정부는 작업을 하지 않을 수 있다.
상기되는 바와 같이 제 5 그룹의 가전기기에 대해서는 사용자가 외출하더라도 사용자의 작업이 추가 필요한지 추가로 더 판단하여 가전기기 본연의 기능에 더욱 충실하게 이용할 수 있다. 특히, 사용자가 외출하는 경우에 편리하게 가전기기를 사용할 수 있다.
도 11은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 반려동물캐어모드가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 반려동물캐어지시가 파악된 이후의 정보처리방법일 수 있다.
도 11을 참조하면, 상기 확인모듈(20)은, 상기 제 1 제어신호를 제 1 가전기기(1b1)로 송신하여 기기의 현재상태를 파악할 수 있다(S41). 제 1 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S42). 상기 제 1 가전기기는 확인모듈(20) 및 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다. 상기 에크메시지는 동작결정모듈로 전송될 수 있다. 상기 확인모듈(20)은, 상기 제 2 제어신호를 제 2 가전기기(1b2)로 송신하여 기기의 현재상태를 파악할 수 있다(S43). 제 2 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S44). 상기 상태보고메시지는 동작결정모듈로 전송될 수 있다.
상기 제 1, 2 가전기기는 서로 다른 가전기기일 수 있다. 상기 제 1, 2 가전기기는 서로 협력운전을 수행하는 가전기기일 수 있다. 예를 들어, 상기 제 1 가전기기(1b1)는 카메라일 수 있다. 상기 제 1 가전기기는 반려동물을 인식할 수 있는 어떠한 장치를 배제하지 않을 수 있다. 상기 제 2 가전기기(1b2)는 공조기, 공기청정기, 및 로봇청소기 중의 적어도 하나일 수 있다.
상기 제 2 가전기기는 제 6 그룹의 가전기기로서, 반려동물을 캐어하는 가전기기일 수 있다. 제 6 그룹의 가전기기는 상기 예시적인 가전기기에 제한되지 않는다. 반려동물의 캐어를 위한 환기장치, 놀이장치, 급이장치 등 다양한 장치가 포함될 수 있다.
상기 상태보고메시지는 서버의 추가정보를 참조하는 메시지일 수 있다. 예를 들어, 서버는 반려동물의 종과 나이 등의 데이터를 저장할 수 있다. 이 경우 상기 동작모드결정부는 상기 메모리(40)에 문의하고(S45), 그 회신을 받을 수 있다(S46).
상기 동작모드결정부는 상기 메모리의 정보를 참조하여, 제 1 가전기기로 제 1 출력신호를 회신할 수 있다(S47a). 상기 동작모드결정부는 상기 메모리의 정보를 참조하여, 제 2 가전기기로 제 2 출력신호를 회신할 수 있다(S48a).
상기 동작모드결정부(32)는 두 개의 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부(32)는, 동작결정모듈의 내부 버스로 상기 동작순서결정부(31) 및 상기 동작시간결정부(33)와 정보를 공유할 수 있다. 상기 동작순서결정부(31) 및 상기 동작시간결정부(33)는, 상기 두 개의 상태보고메시지 및 결정모드 중의 적어도 하나를 참조하여 동작순서, 및 동작시간을 결정할 수 있다. 상기 동작모드결정부(32)는 상기 상태보고메시지를 참조하여, 가전기기의 동작모드를 결정할 수 있다. 상기 제 1, 2 가전기기의 종류별 및/또는 상기 상태보고메시지에 따라서, 상기 제 1, 2 가전기기의 동작모드, 동작시간, 및 동작순서는 서로 다르게 결정할 수 있다.
실시예는 상기 동작순서결정부(31)는 상기 메모리의 정보를 참조하여, 제 1 가전기기로 제 1 출력신호를 회신할 수 있다(S47b). 상기 동작모드결정부는 상기 메모리의 정보를 참조하여, 제 2 가전기기로 제 2 출력신호를 회신할 수 있다(S48b).
상기 정보처리방법을 예를 들어 설명한다.
제 1 가전기기는 카메라이고, 제 2 가전기기는 공기조화기이다. 이 경우에, 카메라는 반려동물을 추적하여 반려동물의 이동량을 평가할 수 있다. 반려동물의 이동량을 반영하여 이동량이 많은 경우에는 공기청정기의 필터링용량을 크게 할 수 있다. 상기 공기청정기는 상기 카메라의 정보에 추종하여 운전할 수 있다.
이때 상기 카메라의 획득 정보는 서버에서 처리될 수 있다. 서버는 공기청정기를 운전할 수 있다. 상기 카메라와 상기 공기청정기는 직접 또는 간접으로 연결되어 서로 정보교환을 할 수 있다.
이에 따라서, 반려동물의 행동량에 대응하여 공기정화용량을 조절할 수 있다. 이에 반려동물의 크기 등의 정보가 참조로 될 수 있다.
다른 예로, 제 1 가전기기는 카메라이고, 제 2 가전기기는 공기청정기이다. 이 경우에, 카메라는 반려동물을 추적하여 반려동물의 이동량을 평가할 수 있다. 반려동물의 이동량을 반영하여 이동량이 많은 경우에는 공기조화기의 냉방용량을 크게 할 수 있다. 상기 공기청정기는 상기 카메라의 정보에 추종하여 운전할 수 있다.
이때 상기 카메라의 획득 정보는 서버에서 처리될 수 있다. 서버는 공기청정기를 운전할 수 있다. 상기 카메라와 상기 공기청정기는 직접 또는 간접으로 연결되어 서로 정보교환을 할 수 있다.
이에 따라서, 반려동물의 행동량에 대응하여 온도를 조절할 수 있다. 이때 견종 및 나이를 함께 평가하여 반려동물에 적합한 온도를 제안할 수 있다.
다른 예로, 제 1 가전기기는 카메라이고, 제 2 가전기기는 로봇청소기이다. 이 경우에, 카메라는 반려동물을 추적하여 반려동물의 이동궤적을 알 수 있다. 반려동물의 이동궤적을 반영하여 이동궤적이 많은 경로에는 로봇청소기의 청소용량을 크게 할 수 있다. 상기 로봇청소기는 상기 카메라의 정보에 추종하여 운전할 수 있다.
이때 상기 카메라의 획득 정보는 서버에서 처리될 수 있다. 서버는 공기청정기를 운전할 수 있다. 상기 카메라와 상기 로봇청소기는 직접 또는 간접으로 연결되어 서로 정보교환을 할 수 있다.
이에 따라서, 반려동물의 행동량 및 이동궤적에 대응하여 로봇청소기의 사용량 로봇청소기의 이동경로을 제어할 수 있다. 이때 견종 및 나이를 함께 평가할 수 있다.
도 12는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 외출모드 및 반려동물캐어모드의 수행 중에 사용자가 귀가한 때의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 귀가가 파악된 이후의 정보처리방법일 수 있다. 귀가는 사용자의 단말이 가전기기가 사용하는 와아파이 망에 접속하는 시각, LBS기반으로 사용자가 가전기기와 동일위치에 있는 시각, 사용자가 단말로 귀가메시지를 보내는 것, 사용자의 음성 등과 같은 다양한 방식에 의해서 인식할 수 있다. 상기 개별서비스영역의 개별서비스를 이용하여 인식할 수도 있다.
도 12를 참조하면, 상기 확인모듈(20)은, 상기 제어신호를 가전기기(1b)로 송신하여 기기의 현재상태를 파악할 수 있다(S51). 가전기기는 에크 메시지 및 상태보고메시지를 송신할 수 있다(S52). 상기 가전기기는 확인모듈(20) 및 또는 동작결정모듈(30) 중의 적어도 하나로 에크 메시지 및 상태보고신호를 송신할 수 있다. 상기 정보처리장치 내부의 버스에 의해서, 정보처리장치의 각 모듈은 정보를 공유할 수 있다.
상기 동작모드결정부(32)는 상기 상태보고메시지를 수신할 수 있다. 상기 동작모드결정부는 상기 상태보고메시지를 참조하여, 가전기기의 현재 상태를 파악할 수 있다. 상기 가전기기의 현재 상태는 상기 외출모드 및 반려동물캐어모드 수행 전 이전이 상태로 복귀모드할 수 있다(S53). 복귀사실은 사용자의 단말로 전송할 수 있다(S54).
다른 실시예로는, 상기 귀가자의 구분에 따라서 복귀모드의 종류를 다르게 할 수 있다. 예를 들어, 귀가자가 어린이인 경우에는 상기 제 3 그룹의 가전기기는 복귀되지 않고 이전의 모드를 유지할 수 있다. 귀가자가 어른인 경우에는 상기 제 3 그룹의 가전기기도 복귀하도록 할 수 있다.
도 13은 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 다수의 가전기기를 위한 정보처리방법을 설명하는 도면이다.
도 13을 참조하면, 사용자의 가전기기에는 응용프로그램이 설치되어 있고, 가전기기는 네트워크로 서버와 연결될 수 있다(S61). 예시로 든 바와 같이, 상기 응용프로그램은 ThinQ app일 수 있다. 상기 응용프로그램은 서버(2c)에 의해서 설치될 수 있다.
이 상태에서 사용자의 외출로 인하여 외출모드 및 반려동물캐어모드를 요청할 수 있다(S62). 여기서 요청은, 단말의 지시, 사용자의 음성, 및 사용자의 행동 등 다양한 초기정보를 이용할 수 있다. 초기정보는 개별서비스영역의 각 개별서비스를 활용하여 의미를 파악할 수 있다.
상기 응용프로그램은 서버로 적어도 하나의 가전기기를 점검할 수 있다(S63). 서버는 가전기기의 소정의 제어명령을 전송할 수 있다. 서버는 적어도 두 개의 가전기기의 동작의 선행과 후행을 결정할 수 있다. 적어도 두 개의 가전기기는 상기 제어명령에 따라서 동작할 수 있다.
가전기기에 예약종료설정이 있는 지를 파악한다(S64). 이때 동작의 개시 여부는 상관없을 수 있다. 예약종료설정이 있는 상기 제 1 그룹의 가전기기는 이 경우에는 동작 후 자동종료하도록 제어할 수 있다(S66). 상기 제 1 그룹의 가전기기에 대해서는 사용자가 외출하더라도 정상적으로 동작할 수 있다.
상기 예약종료설정판단단계(S64)에서, 예약종료가 없는 제 2 그룹은 종료할 수 있다(S65). 상기 제 2 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에 더 이상 동작이 필요없다. 이에 따라서, 바로 가전기기를 종료하여 에너지를 절약할 수 있다.
상기 예약종료설정판단단계(S64)에서, 예악종료가 없고 안전을 위협할 수 있는 제 3 그룹은 강제락을 설정할 수 있다(S65). 여기서 강제락은 의도치 못한 조작이 있더라도 가전기기가 동작하지 않는 것을 말할 수 있다. 상기 제 3 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에 안전하게 비동작상태를 유지할 수 있다.
상기 예약종료설정판단단계(S64)에서, 예악종료가 없고 정상동작되어야 하는 제 4 그룹은 정상동작할 수 있다(S65). 상기 제 4 그룹의 가전기기에 대해서는 사용자가 외출하는 경우에도 정상적으로 동작할 수 있다. 사용자는 귀가 후에 편리하게 가전기기를 이용할 수 있다.
상기 외출모드의 설정 시에는 사용자가 추가 조치가 필요한 기기인 제 5 그룹을 더 확인할 수 있다(S67). 제 5 그룹의 가전기기가 스스로 정보를 송출할 수 있는 경우에는 가전기기의 정보를 단말로 전송할 수 있다(S68). 제 5 그룹의 가전기기가 서버의 도움을 통하여 동작하는 경우에는, 서버를 통하여 정보처리장치가 가전기기의 정보를 단말로 전송할 수 있다(S69). 사용자는 현재 제 5 그룹의 가전기기의 상태를 파악할 수 있다. 사용자는 추가로 처치를 할 지의 여부를 결정할 수 있다.
예들 들어, 광파오븐의 내부에 조리가 된 음식이 있을 수 있다. 이 경우에는 광파오븐의 자체적인 카메라의 촬영정보 또는 광파오븐의 조리시의 도어조작사실을 사용자에게 알릴 수 있다. 사용자는 전송정보를 파악하여, 조리된 음식을 냉장보관할 지의 여부를 결정하고 행동할 수 있다.
상기 외출모드 및 반려동물캐어모드를 요청단계(S62)에서 반려동물캐어모드의 요청이 있을 수 있다(S71). 상기 반려동물캐어모드는 상기 외출모드와 함께 또는 외출모드와 독립적으로 수행될 수도 있다. 여기서 요청은, 단말의 지시, 사용자의 음성, 및 사용자의 행동 등 다양한 초기정보를 이용할 수 있다. 초기정보는 개별서비스영역의 각 개별서비스를 활용하여 의미를 파악할 수 있다.
상기 응용프로그램은 서버로 적어도 하나의 가전기기를 사용할 수 있다. 여기서, 적어도 하나의 가전기기는 카메라를 포함할 수 있다. 여기서, 적어도 하나의 가전기기는 카메라를 장착하는 가전기기를 포함할 수 있다. 카메라 또는 가전기기 장착 카메라를 통하여 반려동물의 움직임을 감지할 수 있다(S72).
상기 제 6 그룹의 가전기기는 상기 반려동물의 움직임을 근거로 하여 동작할 수 있다(S73).
예를 들어 설명한다.
공기청정기의 경우에는, 반려동물의 행동량을 반영하여 행동량이 많은 경우에는 공기청정기의 필터링용량을 크게 할 수 있다. 이에 따라서, 반려동물의 행동량에 대응하여 공기정화용량을 조절할 수 있다. 공기조화기의 경우에는, 반려동물의 행동량을 반영하여 행동량이 많은 경우에는 공기조화기의 냉방용량을 크게 할 수 있다. 이에 따라서, 반려동물의 행동량에 대응하여 온도를 조절할 수 있다.
이와 같이 제 6 그룹의 가전기기는 반려동물의 행동양상에 대응하여 동작을 결정할 수 있다. 결정된 모드로 상기 가전기기는 동작할 수 있다.
이후에 카메라는 반려동물의 이동을 추적할 수 있다(S74). 반려동물이 움직일 수 있는(S75), 그 이동궤적을 저장하건, 그 이동궤적의 빈도수를 분석할 수 있다. 이후에 이동궤적이 있는 곳 또는 이동궤적이 많은 곳을 로봇청소기가 바닥청소를 수행할 수 있다(S76). 이에 따라서, 실내환경을 더 쾌적하게 유지할 수 있다.
실시예의 제어방법에 따르면, 사용자가 외출한다는 의사표시 또는 반려동물의 캐어를 원하는 의사표시를 기초정보를 제공만으로 편리하게 각 모드가 수행될 수 있다. 상기 외출모드 및 상기 반려동물캐어모드는 적어도 두 개의 가전기기의 협력을 통해서 사용자의 만족감이 더 커질 수 있다.
도 14는 실시예에 따른 가전기기를 위한 정보처리방법의 흐름도이다. 본 실시예는 사용자의 귀가가 파악된 후의 실시예일 수 있다. 예를 들어, 도 5의 정보처리방법에 의해서 사용자의 귀가를 뜻하는 트리거 신호가 파악된 이후의 정보처리방법일 수 있다.
도 14를 참조하면, 귀가한 사용자가 성인인지의 여부를 판단한다(S81). 성인인지의 여부는 단말의 식별, 음성분석, 및 행동패턴분석 등 다양한 방식을 이용할 수 있다. 여기서 다양한 방식은 개별서비스영역의 각 개별서비스를 포함할 수 있다.
귀가자가 성인인 경우에는 모든 가전기기의 상태를 외출모드 및 반려동물캐어모드의 전으로 복귀할 수 있다(S82). 귀가자가 성인이 아니라 어린이인 경우에는 제 3 그룹을 포함하는 일부의 가전기기는 제외하고, 외출모드 및 반려동물캐어모드의 전으로 복귀할 수 있다(S83). 이에 따르면, 사용자를 더욱 안전하게 할 수 있다.
본 발명에 따르면, 가전기기의 원격제어기능의 소비를 활성화할 수 있다.
1: 사용자영역
1a: 집
1b: 가전기기
1c: 엣지디바이스
2: 운용자영역
2a: 제 1 서버
2b: 제 2 서버
2c: 서버
2d: AI서버
10: 개별서비스영역
11: 응용서비스영역
12: 정보처리장치
20: 확인모듈
30: 동작결정모듈

Claims (20)

  1. 적어도 하나의 가전기기;
    상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말:
    개별서비스를 제공하는 개별서비스영역; 및
    상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함하고,
    상기 정보처리장치는,
    상기 적어도 하나의 가전기기를 사용하는 사용자가 외출하는 기초정보를 수신하는 것;
    상기 개별서비스를 이용하여, 상기 기초정보를 사용자의 외출을 의미하는 일정정보를 확인하는 것;
    상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것; 및
    상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 1 가전기기는 상기 제 1 상태에서 제 2 상태로 변경하는 것, 및 상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 2 가전기기를 제 1 상태로 유지하는 것을 포함하는,
    가전기기를 위한 정보처리시스템.
  2. 제 1 항에 있어서,
    상기 기초정보는 상기 단말로부터 입력되는, 가전기기를 위한 정보처리시스템.
  3. 제 1 항에 있어서,
    상기 제 2 가전기기는, 사전 예약정보에 따라 정상적으로 동작하고 종료하는 제 1 그룹의 가전기기, 및 상기 일정정보에도 불구하고 정상적으로 동작하는 제 4 그룹의 가전기기 중의, 어느 하나이고,
    상기 제 1 가전기기는, 상기 일정정보에 따라서 더 이상 동작이 필요없는 제 2 그룹의 가전기기, 및 상기 일정정보에 따라서 강제락이 설정되는 제 3 그룹의 가전기기 중의 어느 하나인,
    가전기기를 위한 정보처리시스템.
  4. 제 1 항에 있어서,
    상기 정보처리장치는,
    상기 일정정보에 대응하여 사용자의 추가조치가 필요한 제 5 그룹에 속하는 제 3 가전기기의 정보를 사용자에게 전송하는,
    가전기기를 위한 정보처리스템.
  5. 제 1 항에 있어서,
    상기 정보처리장치는,
    상기 적어도 하나의 가전기기의 제 1 상태 및, 상기 가전기기의 제 2 상태 중의, 적어도 어느 하나는, 상기 단말로 전송하는 가전기기를 위한 정보처리시스템.
  6. 적어도 하나의 가전기기;
    상기 적어도 하나의 가전기기의 정보를 처리할 수 있는 단말:
    개별서비스를 제공되는 개별서비스영역; 및
    상기 단말 및 상기 적어도 하나의 가전기기와 네트워크로 연결되고, 상기 개별서비스를 이용하여 응용서비스를 제공하는 정보처리장치를 포함하고,
    상기 정보처리장치는,
    상기 적어도 하나의 가전기기를 사용하는 사용자가 반려동물의 캐어를 요청하는 기초정보를 수신하는 것;
    상기 개별서비스를 이용하여, 상기 기초정보를 사용자의 반려동물캐어요청을 의미하는 일정정보를 확인하는 것;
    상기 적어도 하나의 가전기기의 제 1 상태를 확인하는 것;
    상기 일정정보에 대응하여 상기 적어도 하나의 가전기기 중의 제 1 가전기기는 상기 제 1 상태에서 제 2 상태로 변경하는 것; 및
    상기 제 1 가전기기의 획득정보를 이용하여, 상기 적어도 하나의 가전기기 중의 제 2 가전기기의 동작을 결정하는 것을 수행하는,
    가전기기를 위한 정보처리시스템.
  7. 제 6 항에 있어서,
    상기 제 1 가전기기는 카메라이고,
    상기 제 2 가전기기는, 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나인,
    가전기기를 위한 정보처리시스템.
  8. 노드의 요청에 응하여 적어도 하나의 가전기기의 동작상태를 확인하는 확인모듈; 및
    사용자의 외출을 포함하는 일정정보를 포함하는 트리거 신호가 있을 때,
    상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태에서 제 2 상태로 변경하는 것,
    상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태를 유지하는 것, 및,
    상기 적어도 하나의 가전기기 중의 어느 하나의 동작상태를 제 1 상태를 유지할 지의 여부를 단말로 문의하는 것을 수행하는,
    동작결정모듈을 포함하는 가전기기를 위한 정보처리장치.
  9. 제 8 항에 있어서,
    상기 동작결정모듈은 동작순서결정부를 포함하고,
    상기 동작순서결정부는 상기 일정정보에 대응하여, 상기 적어도 하나의 가전기기 중의 제 1 가전기기가, 상기 적어도 하나의 가전기기 중의 제 2 가전기기에 보다, 선행하여 동작하도록 결정하는 가전기기를 위한 정보처리장치.
  10. 정보처리장치가 노드로부터 사용자의 외출을 의미하는 트리거신호를 수신하는 것;
    상기 트리거 신호의 의미를 개별서비스를 이용하여 파악하는 것;
    상기 정보처리장치는, 적어도 하나의 가전기기의 제 1 상태를 파악하는 것; 및
    상기 트리거 신호의 의미에 대응하여,
    -상기 적어도 하나의 가전기기 중의 제 1 가전기기의 동작상태를 제 1 상태에서 제 2 상태로 변경하는 응용서비스를 수행하는 것
    -상기 적어도 하나의 가전기기 중의 제 2 가전기기의 동작상태를 제 1 상태를 유지하는 응용서비스를 수행하는 것,
    -상기 적어도 하나의 가전기기 중의 제 3 가전기기의 동작상태를 제 1 상태를 유지할 지의 여부를 사용자에게 문의하는 응용서비스를 수행하는 것, 및
    -상기 적어도 하나의 가전기기 중의 제 4 가전기기로부터의 획득정보를 이용하여, 상기 적어도 하나의 가전기기 중의 제 5 가전기기의 동작을 결정하는 응용서비스를 수행하는 것 중의 적어도 두 개를 포함하는,
    가전기기를 위한 정보처리방법.
  11. 제 10 항에 있어서,
    상기 제 1 가전기기는 가열조리기기를 포함하고, 상기 제 2 상태는 상기 가열조리기기가 강제락이 설정되는 것을 포함되는 가전기기를 위한 정보처리방법.
  12. 제 10 항에 있어서,
    상기 제 2 가전기기는 세탁기를 포함하고, 상기 제 1 상태는 세탁종료가 예약되어 있는 것을 포함되는 가전기기를 위한 정보처리방법.
  13. 제 10 항에 있어서,
    상기 제 3 가전기기는 오븐을 포함하고, 상기 제 1 상태는 오븐에 조리된 음식이 수용되는 상태인 가전기기를 위한 정보처리방법.
  14. 제 10 항에 있어서,
    상기 제 4 가전기기는 카메라를 포함하고, 상기 제 5 가전기기는 카메라의 촬영정보를 이용하여 동작하는 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 포함하는 가전기기를 위한 정보처리방법.
  15. 제 14 항에 있어서,
    상기 카메라는, 적어도 하나의 가전기기에 장착하는 가전기기를 위한 정보처리방법.
  16. 제 10 항에 있어서,
    상기 제 4 가전기기는 카메라를 포함하고, 상기 제 5 가전기기는 카메라의 촬영정보를 이용하여 동작하는 공기청정기를 포함하는 가전기기를 위한 정보처리방법.
  17. 제 10 항에 있어서,
    상기 응용서비스 중의 어느 하나의 수행 중에, 상기 정보처리장치가 노드로부터 사용자의 외출을 의미하는 트리거신호를 수신하는 것;
    사용자가 성인인지의 여부를 판단하는 것; 및
    상기 사용자가 성인이 아니면, 상기 응용서비스 중의 적어도 하나는 유지하는 것을 포함하는 가전기기를 위한 정보처리방법.
  18. 제 10 항에 있어서,
    상기 트리거신호 외에, 반려동물캐어를 요청하는 다른 트리거신호를 수신하는 것; 및
    상기 카메라로부터의 획득정보를 이용하여, 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 동작하는, 가전기기를 위한 정보처리방법.
  19. 제 18 항에 있어서,
    상기 다른 트리거신호의 수신시에는 메모리에 수록되는 반려동물의 정보를 이용하여 공기청정기, 로봇청소기, 및 공기조화기 중의 적어도 하나를 동작하는, 가전기기를 위한 정보처리방법.
  20. 제 18 항에 있어서,
    상기 로봇청소기는, 상기 획득정보 중에서 반려동물의 이동궤적을 따라서 청소를 수행하는 가전기기를 위한 정보처리방법.
KR1020220129584A 2022-10-11 2022-10-11 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치 KR20240049990A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220129584A KR20240049990A (ko) 2022-10-11 2022-10-11 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치
PCT/KR2023/013416 WO2024080563A1 (ko) 2022-10-11 2023-09-07 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220129584A KR20240049990A (ko) 2022-10-11 2022-10-11 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치

Publications (1)

Publication Number Publication Date
KR20240049990A true KR20240049990A (ko) 2024-04-18

Family

ID=90669498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220129584A KR20240049990A (ko) 2022-10-11 2022-10-11 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치

Country Status (2)

Country Link
KR (1) KR20240049990A (ko)
WO (1) WO2024080563A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079720A (ko) 2017-12-27 2019-07-08 (주)아이티로그 반려동물을 위한 지능형 냉난방 제어가 가능하고 조명기능이 내장된 리모컨 시스템

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014226236A (ja) * 2013-05-21 2014-12-08 パナソニック株式会社 炊飯器、炊飯システム、炊飯器の制御方法及び炊飯器の制御プログラム
KR102231092B1 (ko) * 2013-09-05 2021-03-24 삼성전자주식회사 제어 장치
KR20190098109A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 홈 모니터링 시스템
KR20210122581A (ko) * 2020-04-01 2021-10-12 삼성전자주식회사 청소 기능을 가지는 전자 장치 및 그의 청소를 수행하는 방법
KR20220047078A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20220125656A (ko) * 2021-03-05 2022-09-14 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079720A (ko) 2017-12-27 2019-07-08 (주)아이티로그 반려동물을 위한 지능형 냉난방 제어가 가능하고 조명기능이 내장된 리모컨 시스템

Also Published As

Publication number Publication date
WO2024080563A1 (ko) 2024-04-18

Similar Documents

Publication Publication Date Title
US20210160326A1 (en) Utilizing context information of environment component regions for event/activity prediction
CN106297781B (zh) 控制方法和控制器
CN105446162B (zh) 一种智能家居系统以及机器人的智能家居控制方法
US11194998B2 (en) Multi-user intelligent assistance
CN106257355B (zh) 设备控制方法和控制器
CN104823411B (zh) 自动化系统的语音控制配置
WO2019091171A1 (zh) 语音控制智能家电的方法、装置、系统和电子设备
US20180293367A1 (en) Multi-Factor Authentication via Network-Connected Devices
CN112051743A (zh) 设备控制方法、冲突处理方法、相应的装置及电子设备
CN106406119A (zh) 基于语音交互、云技术及集成智能家居监控的服务机器人
KR101413043B1 (ko) 실시간 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
US10394517B2 (en) Control method, controller, and device
CN105045140A (zh) 智能控制受控设备的方法和装置
WO2018006372A1 (zh) 一种基于意图识别控制家电的方法、系统及机器人
CN107196829B (zh) 智能家居控制方法、节点及节点联动方法和系统
CN107229262A (zh) 一种智能家居系统
CN109218148A (zh) 一种智能家居的组网架构方法,控制系统和控制设备
CN107360066A (zh) 一种家居服务机器人及智能家居系统
CN111897234A (zh) 一种基于5g网络的智能家居控制系统
WO2019199365A2 (en) Utilizing context information of environment component regions for event/activity prediction
CN113406893A (zh) 一种基于边缘网关的智能家居系统及其应用
US11511410B2 (en) Artificial intelligence (AI) robot and control method thereof
CN113359503B (zh) 设备控制方法及相关装置
WO2018023515A1 (zh) 一种手势及情感识别家居控制系统
KR20240049990A (ko) 가전기기를 위한 정보처리방법, 가전기기를 위한 정보처리시스템, 및 가전기기를 위한 정보처리장치