KR20230113347A

KR20230113347A - 자연어 처리 및 사용자 피드백을 사용하는 컴퓨팅 네트워크 독립적 가전제품 제어를 위한 시스템

Info

Publication number: KR20230113347A
Application number: KR1020237021235A
Authority: KR
Inventors: 존 테일러
Original assignee: 일렉트로룩스 홈 프로덕츠 인코퍼레이티드
Priority date: 2020-12-09
Filing date: 2020-12-09
Publication date: 2023-07-28
Also published as: US20230395072A1; EP4260179A1; WO2022125085A1; CN116569130A; AU2020481043A1

Abstract

자연어 처리 및 사용자 피드백을 사용하는 컴퓨팅 네트워크 독립적 가전제품 제어를 위한 장치, 방법, 및 시스템이 제공된다. 특히, 시스템은, 사용자와 인터페이싱할 수 있는 지능형 프런트 엔드(예를 들어, 통신 어댑터), 및 가전제품에 명령을 전송하도록 구성된 전자 제어기를 포함할 수 있다. 통신 어댑터는, 자연어 이해 및/또는 자연어 처리 기능을 갖는 인공 지능 모듈을 포함할 수 있으며, 모듈은 사용자로부터 청각 입력을 수신할 수 있고, 사용자에게 청각 피드백을 제공하여, 가전제품의 음성 기반 제어를 가능하게 할 수 있다. 프런트 엔드 시스템은, 음성 인식 데이터 및/또는 자연어 처리 데이터를 로컬로 저장하도록 추가로 구성될 수 있으므로, 다른 컴퓨팅 시스템과의 네트워크 연결이 없는 경우에도, 음성 제어가 계속 기능할 수 있다. 이러한 방식으로, 시스템은, 음성 기반 제어 기능을 가전제품에 제공하기 위한 효과적인 방식을 제공할 수 있다.

Description

자연어 처리 및 사용자 피드백을 사용하는 컴퓨팅 네트워크 독립적 가전제품 제어를 위한 시스템

본 개시물은 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품(appliance) 제어를 위한 장치, 방법, 및 시스템을 포함한다.

가전제품을 제어하기 위한 네트워크 독립적 방법이 필요하다.

이하는 이러한 실시형태에 대한 기본적인 이해를 제공하기 위해 본 발명의 하나 이상의 실시형태의 간략화된 요약을 제시한다. 이러한 요약은 고려되는 모든 실시형태의 광범위한 개요가 아니며, 모든 실시형태의 핵심 또는 중요 요소를 식별하거나 임의의 또는 모든 실시형태의 범위를 기술하려는 의도가 아니다. 이의 유일한 목적은 이후에 제시되는 보다 상세한 설명에 대한 서두로서 간략화된 형태로 하나 이상의 실시형태의 일부 개념을 제시하는 것이다.

자연어 처리 및 사용자 피드백을 사용하는 컴퓨팅 네트워크 독립적 가전제품 제어를 위한 장치, 방법, 및 시스템이 제공된다. 특히, 시스템은, 사용자와 인터페이싱(interface)할 수 있는 지능형 프런트 엔드(front end)(예를 들어, 통신 어댑터(communications adapter)), 및 가전제품에 명령을 전송하도록 구성된 전자 제어기를 포함할 수 있다. 통신 어댑터는, 자연어 이해 및/또는 자연어 처리 기능을 갖는 인공 지능 모듈을 포함할 수 있으며, 모듈은 사용자로부터 청각 입력을 수신할 수 있고, 사용자에게 청각 피드백을 제공하여, 가전제품의 음성 기반 제어를 가능하게 할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 프런트 엔드 시스템은, 음성 인식 데이터 및/또는 자연어 처리 데이터를 로컬로 저장하도록 추가로 구성될 수 있으므로, 다른 컴퓨팅 시스템과의 네트워크 연결이 없는 경우에도, 음성 제어가 계속 기능할 수 있다. 이러한 방식으로, 시스템은, 음성 기반 제어 기능을 가전제품에 제공하기 위한 효과적인 방식을 제공할 수 있다.

본원에 설명된 바와 같은 장치, 방법, 및 시스템은, 추가적인 실시형태 및/또는 임의의 실시형태의 양태를 포함할 수 있으며, 예를 들어, 아래에 설명되는 및/또는 본원의 다른 부분에 설명된 하나 이상의 다른 장치, 방법, 또는 시스템과 관련되는, 임의의 단일 실시형태 및/또는 양태 또는 실시형태 및/또는 양태의 임의의 조합을 포함할 수 있다.

제1 실시형태는, 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 통신 어댑터 장치를 제공한다. 장치는, 컴퓨터 판독 가능 프로그램 코드가 이에 저장된 메모리 소자; 가전제품의 가전제품 제어기에 장치를 작동 가능하게 연결하도록 구조화된 커넥터; 통신 장치; 및 메모리 소자 및 통신 장치에 작동 가능하게 결합된 처리 장치를 포함할 수 있다. 처리 장치는, 사용자로부터 가전제품을 제어하기 위한 음성 명령을 수신하는 단계; 자연어 이해("NLU") 모듈을 사용하여, 음성 명령을 파싱(parse)하는 단계; 음성 명령을 토큰(token) 세트로 변환하는 단계로서, 토큰 세트는, 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계; 가전제품의 가전제품 제어기에 토큰을 전송하는 단계; 및 토큰에 기초하여, 가전제품의 가전제품 제어기를 통해 가전제품을 제어하는 단계를 위해, 컴퓨터 판독 가능 프로그램 코드를 실행하도록 구성될 수 있다.

제1 실시형태의 제1 양태에서, 음성 명령은, 가전제품의 구성을 변경하기 위한 요청을 포함하며, 음성 명령을 파싱하는 단계는, 가전제품의 구성을 변경하기 위한 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고, 음성 명령을 토큰 세트로 변환하는 단계는, 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함한다.

제1 실시형태의 제2 양태에서, 단독으로 또는 제1 실시형태의 제1 양태와 조합하여, 음성 명령을 변환하는 단계는, 토큰 데이터베이스에 액세스하는 단계로서, 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리(entry)를 포함하고, 각각의 하나 이상의 엔트리는, 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계; 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 엔트리 세트는 가전제품과 관련되는, 단계; 가전제품과 관련되고 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및 토큰 데이터베이스 내의 하나 이상의 엔트리에 기초하여, 토큰 시퀀스를 생성하는 단계를 더 포함한다.

제1 실시형태의 제3 양태에서, 단독으로 또는 제1 실시형태의 제1 및 제2 양태 중 하나 이상과 조합하여, 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며, 음성 명령을 파싱하는 단계는, 음성 명령으로부터 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고, 토큰 시퀀스는 맞춤형 사용자 정의된 명령과 관련된다.

제1 실시형태의 제4 양태에서, 단독으로 또는 제1 실시형태의 제1 내지 제3 양태 중 하나 이상과 조합하여, 음성 명령을 수신하는 단계는, 사용자가 가전제품과 관련된 웨이크 워드(wake word)를 언급했음을 탐지하는 단계를 더 포함한다.

제1 실시형태의 제5 양태에서, 단독으로 또는 제1 실시형태의 제1 내지 제4 양태 중 하나 이상과 조합하여, 컴퓨터 판독 가능 프로그램 코드는, 추가로 처리 장치로 하여금, 사용자에게 청각 확인 요청을 출력하는 단계로서, 청각 확인 요청은, 음성 명령을 확인하도록 사용자에게 프롬프팅(prompt)하는, 단계; 및 사용자로부터 청각 확인을 수신하는 단계를 수행하도록 하며, 청각 확인은 음성 명령을 확인한다.

제1 실시형태의 제6 양태에서, 단독으로 또는 제1 실시형태의 제1 내지 제5 양태 중 하나 이상과 조합하여, 컴퓨터 판독 가능 프로그램 코드는, 추가로 처리 장치로 하여금, 지도형 학습(supervised learning) 프로세스를 개시하는 단계를 수행하도록 하며, 지도형 학습 프로세스는, 가전제품을 제어하는 결과에 관한 피드백에 대하여 사용자에게 프롬프팅하는 단계; 가전제품을 제어하는 결과에 관한 청각 피드백을 사용자로부터 수신하는 단계; 및 청각 피드백에 기초하여, 인공 지능("AI") 모듈을 사용하여, 가전제품과 관련된 하나 이상의 미리 정의된 설정을 조정하는 단계를 포함한다.

제2 실시형태는, 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 컴퓨터 구현 방법을 제공하고, 컴퓨터 구현 방법은, 가전제품의 가전제품 제어기에 통신 가능하게 결합된 통신 어댑터 장치를 사용하여, 사용자로부터 가전제품을 제어하기 위한 음성 명령을 수신하는 단계; 자연어 이해("NLU") 모듈을 사용하여, 음성 명령을 파싱하는 단계; NLU 모듈을 사용하여, 음성 명령을 토큰 세트로 변환하는 단계로서, 토큰 세트는, 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계; 가전제품의 가전제품 제어기에 토큰을 전송하는 단계; 및 토큰에 기초하여, 가전제품의 가전제품 제어기를 통해 가전제품을 제어하는 단계를 포함한다.

제2 실시형태의 제1 양태에서, 음성 명령은, 가전제품의 구성을 변경하기 위한 요청을 포함하며, 음성 명령을 파싱하는 단계는, 가전제품의 구성을 변경하기 위한 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고, 음성 명령을 토큰 세트로 변환하는 단계는, 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함한다.

제2 실시형태의 제2 양태에서, 단독으로 또는 제2 실시형태의 제1 양태와 조합하여, 음성 명령을 변환하는 단계는, 토큰 데이터베이스에 액세스하는 단계로서, 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리를 포함하고, 각각의 하나 이상의 엔트리는, 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계; 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 엔트리 세트는 가전제품과 관련되는, 단계; 가전제품과 관련되고 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및 토큰 데이터베이스 내의 하나 이상의 엔트리에 기초하여, 토큰 시퀀스를 생성하는 단계를 더 포함한다.

제2 실시형태의 제3 양태에서, 단독으로 또는 제2 실시형태의 제1 및 제2 양태 중 하나 이상과 조합하여, 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며, 음성 명령을 파싱하는 단계는, 음성 명령으로부터 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고, 토큰 시퀀스는 맞춤형 사용자 정의된 명령과 관련된다.

제2 실시형태의 제4 양태에서, 단독으로 또는 제2 실시형태의 제1 내지 제3 양태 중 하나 이상과 조합하여, 음성 명령을 수신하는 단계는, 사용자가 가전제품과 관련된 웨이크 워드를 언급했음을 탐지하는 단계를 더 포함한다.

제2 실시형태의 제5 양태에서, 단독으로 또는 제2 실시형태의 제1 내지 제4 양태 중 하나 이상과 조합하여, 컴퓨터 구현 방법은, 사용자에게 청각 확인 요청을 출력하는 단계로서, 청각 확인 요청은, 음성 명령을 확인하도록 사용자에게 프롬프팅하는, 단계; 및 사용자로부터 청각 확인을 수신하는 단계를 더 포함하며, 청각 확인은 음성 명령을 확인한다.

제3 실시형태는, 자연어 처리 및 사용자 피드백을 사용하는 통합형 네트워크 독립적 가전제품 제어 기능을 갖는 가전제품을 제공한다. 가전제품은, 가전제품 인터페이스; 가전제품 인터페이스에 작동 가능하게 결합된 가전제품 제어기; 및 가전제품 제어기에 통신 가능하게 결합된 통신 어댑터 장치를 포함할 수 있으며, 장치는, 프로세서; 통신 인터페이스; 및 실행 가능 코드가 이에 저장된 메모리를 포함한다. 실행 가능 코드는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 사용자로부터 가전제품을 제어하기 위한 음성 명령을 수신하는 단계; 자연어 이해("NLU") 모듈을 사용하여, 음성 명령을 파싱하는 단계; 음성 명령을 토큰 세트로 변환하는 단계로서, 토큰 세트는, 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계; 가전제품의 가전제품 제어기에 토큰을 전송하는 단계; 토큰에 기초하여, 가전제품의 가전제품 제어기를 통해 가전제품을 제어하는 단계를 수행하도록 할 수 있다.

제3 실시형태의 제1 양태에서, 음성 명령은, 가전제품의 구성을 변경하기 위한 요청을 포함하며, 음성 명령을 파싱하는 단계는, 가전제품의 구성을 변경하기 위한 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고, 음성 명령을 토큰 세트로 변환하는 단계는, 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함한다.

제3 실시형태의 제2 양태에서, 단독으로 또는 제3 실시형태의 제1 양태와 조합하여, 음성 명령을 변환하는 단계는, 토큰 데이터베이스에 액세스하는 단계로서, 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리를 포함하고, 각각의 하나 이상의 엔트리는, 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계; 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 엔트리 세트는 가전제품과 관련되는, 단계; 가전제품과 관련되고 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및 토큰 데이터베이스 내의 하나 이상의 엔트리에 기초하여, 토큰 시퀀스를 생성하는 단계를 더 포함한다.

제3 실시형태의 제3 양태에서, 단독으로 또는 제3 실시형태의 제1 및 제2 양태 중 하나 이상과 조합하여, 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며, 음성 명령을 파싱하는 단계는, 음성 명령으로부터 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고, 토큰 시퀀스는 맞춤형 사용자 정의된 명령과 관련된다.

제3 실시형태의 제4 양태에서, 단독으로 또는 제3 실시형태의 제1 내지 제3 양태 중 하나 이상과 조합하여, 음성 명령을 수신하는 단계는, 사용자가 가전제품과 관련된 웨이크 워드를 언급했음을 탐지하는 단계를 더 포함한다.

제3 실시형태의 제5 양태에서, 단독으로 또는 제3 실시형태의 제1 내지 제4 양태 중 하나 이상과 조합하여, 실행 가능 코드는, 추가로 프로세서로 하여금, 사용자에게 청각 확인 요청을 출력하는 단계로서, 청각 확인 요청은, 음성 명령을 확인하도록 사용자에게 프롬프팅하는, 단계; 및 사용자로부터 청각 확인을 수신하는 단계를 수행하도록 하며, 청각 확인은 음성 명령을 확인한다.

제3 실시형태의 제6 양태에서, 단독으로 또는 제3 실시형태의 제1 내지 제5 양태 중 하나 이상과 조합하여, 실행 가능 코드는, 추가로 프로세서로 하여금, 지도형 학습 프로세스를 개시하는 단계를 수행하도록 하며, 지도형 학습 프로세스는, 가전제품을 제어하는 결과에 관한 피드백에 대하여 사용자에게 프롬프팅하는 단계; 가전제품을 제어하는 결과에 관한 청각 피드백을 사용자로부터 수신하는 단계; 및 청각 피드백에 기초하여, 인공 지능("AI") 모듈을 사용하여, 가전제품과 관련된 하나 이상의 미리 정의된 설정을 조정하는 단계를 포함한다.

설명된 특징, 기능, 및 이점은 본 발명의 다양한 실시형태에서 독립적으로 달성될 수 있거나, 또 다른 실시형태와 조합될 수 있으며, 이에 대한 추가적인 세부 사항은 이하의 설명 및 도면을 참조하여 이해될 수 있다.

따라서, 본 발명의 실시형태는 일반적인 용어로 설명되었고, 이제 첨부된 도면이 참조될 것이며, 첨부된 도면으로서:
도 1은 본 개시물의 일 실시형태에 따라, 가전제품 제어 시스템을 위한 작동 환경을 도시한다;
도 2는 일부 실시형태에 따라, 통신 어댑터, 가전제품 인터페이스, 가전제품 제어기, 및 사용자 장치를 보다 상세히 도시하는 블록도를 도시한다;
도 3은 본 개시물의 일 실시형태에 따라, 통합형 가전제품 제어 시스템을 갖는 가전제품을 위한 작동 환경을 도시한다; 그리고
도 4는 일부 실시형태에 따라, 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 프로세스 흐름을 도시한다.

이제 본 발명의 실시형태는 본 발명의 일부 실시형태(그러나 모든 실시형태는 아님)가 도시되는 첨부된 도면을 참조하여 이하에서 보다 완전하게 설명될 것이다. 실제로, 본 발명은 다수의 상이한 형태로 구현될 수 있고, 본원에서 상술된 실시형태로 제한되는 것으로 해석되어서는 안되며; 오히려, 이러한 실시형태는 본 개시물이 해당 법적 요건을 충족시키도록 제공된다. 전반적으로 유사한 번호는 요소를 지칭한다. 가능한 경우, 본원에서 단수 형태로 표현된 임의의 용어는, 명시적으로 달리 언급되지 않는 한, 복수의 형태를 또한 포함하는 것으로 의도되며, 그 반대도 마찬가지이다. 또한, 비록 "하나 이상"이라는 문구도 본원에 사용되지만, 본원에 사용된 바와 같은 "일(a)" 및/또는 "하나(an)"라는 용어는 "하나 이상"을 의미한다.

본원에 사용된 바와 같은 "시스템"은, 본원에 설명된 바와 같은 기능을 수행할 수 있는 컴퓨팅 시스템, 장치, 소프트웨어, 애플리케이션, 하드웨어, 및/또는 다른 자원을 지칭할 수 있다. 따라서, 시스템은, 이들의 관련 애플리케이션과 함께, 데스크톱 컴퓨터, 랩톱 컴퓨터, 서버, 사물 인터넷("IoT") 장치, 네트워크화 단말기, 모바일 스마트폰, 스마트 장치(예를 들어, 스마트 워치), 네트워크 연결부, 및/또는 다른 유형의 컴퓨팅 시스템 또는 장치 및/또는 주변 장치를 포함할 수 있다.

본원에 사용된 바와 같은 "컴퓨팅 시스템" 또는 "컴퓨팅 장치"는, 엔티티 시스템 내의 네트워크화 컴퓨팅 장치를 지칭할 수 있다. 컴퓨팅 시스템은, 프로세서, 비-일시적 저장 매체, 통신 장치, 및 디스플레이를 포함할 수 있다. 컴퓨팅 시스템은, 유사하거나 상이한 장치의 임의의 조합으로부터 사용자 로그인 및 입력을 지원하도록 구성될 수 있다. 따라서, 컴퓨팅 시스템은, 스마트폰, 태블릿, 단일 보드 컴퓨터("SBC"), 시스템 온 칩("SoC"), 스마트 장치, 또는 랩톱과 같은, 휴대용 전자 장치일 수 있다. 다른 실시형태에서, 컴퓨팅 시스템은, 개인용 데스크톱 컴퓨터, 네트워크화 단말기, IoT 장치 등과 같은 고정식 유닛일 수 있다.

본원에 사용된 바와 같은 "사용자"는, 시스템과 상호 작용하여 그 안의 기능에 액세스할 수 있는 개인을 지칭할 수 있다.

따라서, "사용자 장치" 또는 "모바일 장치"라는 용어는, 휴대폰, 개인용 컴퓨팅 장치, 태블릿 컴퓨터, 웨어러블 장치, 및/또는 그 안에 데이터를 저장 및/또는 수신할 수 있는 임의의 고정식 또는 휴대용 전자 장치를 지칭할 수 있다.

본원에 사용된 바와 같은 "가전제품"은, 특정 기능을 수행하기 위해 가정 또는 오피스 환경에서 사용될 수 있는 다양한 기기 또는 장치를 지칭할 수 있다. 이러한 가전제품의 실시예는, 냉장고, 냉동고, 스토브(stove), 전자레인지, 세탁기, 건조기, 식기세척기, 에어컨, 온수기 등을 포함할 수 있다. 각각의 가전제품은, 가전제품(120)의 다양한 상태를 탐지하도록 및/또는 가전제품의 다양한 기능을 제어하도록 구성될 수 있는 가전제품 제어기를 포함할 수 있다. 예를 들어, 가전제품이 냉장고인 경우, 가전제품 제어기는, 냉장고의 온도, 현재 온도 설정, 내부 조명의 상태, 냉각수 레벨 등과 같은, 설정을 변경 및/또는 상태를 탐지할 수 있다. 가전제품이 오븐인 경우, 가전제품 제어기는, 현재 오븐 온도, 온도 설정, 타이머 설정, 현재 시간 등과 같은, 설정을 변경 및/또는 상태를 탐지할 수 있다.

본원에 사용된 바와 같은 "자연어 처리" 또는 "NLP"는, 컴퓨팅 장치가 언어 데이터를 처리 및 분석할 수 있도록 할 수 있는 인공 지능 기술을 지칭할 수 있다. 본원에 사용된 바와 같은 "자연어 이해" 또는 "NLU"는, 컴퓨팅 장치(예를 들어, NLP 기능을 갖는 장치)가 자연어를 이해하거나 파악하는 프로세스를 지칭할 수 있다. 따라서, 시스템은 NLP/NLU를 사용하여, 사용자로부터 언어 입력(예를 들어, 자연어를 포함하는 음성 명령)을 수신함으로써, 본원에 설명된 프로세스를 구동하기 위해 언어 입력을 처리, 분석, 및 해석할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 시스템은, 사용자에게 언어 출력을 제공하도록 추가로 구성될 수 있다(예를 들어, 자연어 생성 또는 "NLG" 또는 사전 기록된 오디오 샘플을 통해 생성된 음성 피드백을 통해). 음성 입력 및 출력이 예시적인 목적을 위해 설명되지만, 언어 입력 및/또는 출력이 다른 형태인 것은 본 개시물의 범위 내에 있다. 예를 들어, 사용자는 (예를 들어, 스마트폰을 통해) 서면 형태로 언어 입력을 제공할 수 있으며, 시스템은 (예를 들어, 가전제품 및/또는 프론트 엔드 모듈 상의 디스플레이를 통해) 서면 형태로 언어 출력을 제공할 수 있다.

본 개시물의 실시형태는, 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 시스템을 제공한다. 구체적으로, 시스템은, 사용자가 구두 명령을 통해 가전제품(예를 들어, 오븐, 식기세척기, 세탁기 등)을 제어할 수 있도록 하기 위한 음성 제어 기능을 제공할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 시스템은, 사용자에게 청각 피드백을 제공하여, 사용자로부터 수신된 명령을 확인하도록, 및/또는 가전제품에 관한 정보(예를 들어, 가전제품의 상태)를 사용자에게 업데이트하도록 추가로 구성될 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 시스템은, 다른 컴퓨팅 시스템과의 네트워크 연결(예를 들어, 인터넷 연결)과 무관하게 작동되도록 추가로 구성될 수 있으므로, 네트워크로부터의 가전제품의 의도적인 분리 또는 좋지 않은 네트워크 상태(예를 들어, 네트워크 지연시간 또는 클라우드 서버 정지 시간)에도 불구하고, 음성 제어 기능이 사용자에 의해 계속 사용될 수 있다.

시스템은, 전기 신호, 데이터, 및/또는 전력을 전송 및/또는 수신하도록 구성된 커넥터, 케이블, 또는 와이어를 통해 전자 가전제품 제어기와 작동 통신하는 통신 어댑터를 포함할 수 있다. 예를 들어, 통신 어댑터는 케이블 또는 와이어 하니스(wire harness)를 통해 가전제품 제어기의 직렬 포트에 연결될 수 있으므로, 통신 어댑터가 가전제품 제어기에 명령을 전송할 수 있거나/전송할 수 있고, 가전제품 제어기로부터 가전제품 관련 데이터(또는 "가전제품 데이터")를 수신할 수 있다. 통신 어댑터에 의해 처리되는 가전제품 데이터는, 제어되는 가전제품에 따라 좌우될 수 있다. 예를 들어, 오븐으로부터 수신되는 가전제품 데이터는, 오븐의 온도 설정, 오븐의 측정된 내부 온도, 오븐의 상태(예를 들어, 온 또는 오프), 내부 오븐 조명의 상태 등을 포함할 수 있다.

통신 어댑터는, 사용자로부터 음성 입력을 수신하고 가전제품 제어기를 통해 가전제품에 제어 명령을 전송하도록 구성된 NLU 모듈(예를 들어, 내장형 NLP/NLU 기능을 갖는 SoC)을 포함할 수 있다. NLU 모듈을 위한 로직은, 인터넷 연결이 없는 경우에도 NLU/NLP 기능이 이용 가능할 수 있도록, (예를 들어, 비휘발성 메모리 소자에) 로컬로 저장될 수 있다. 이와 관련하여, NLU 모델은, 사용자의 음성(구어(speech)를 포함할 수 있음)을 탐지하고, 단어 및 구절을 인식하기 위해 사용자의 구어를 파싱하며, 사용자의 구어 내에서 가전제품에 관련된 하나 이상의 명령(본원에서 "사용자 음성 명령"으로 지칭될 수 있음)의 존재를 탐지하고, 사용자 음성 명령을 가전제품 제어기에 의해 인식될 수 있는 하나 이상의 명령(본원에서 "가전제품 명령"으로 지칭될 수 있음)으로 변환하도록 구성될 수 있다.

일 실시형태에서, NLU 모듈은 온보드(on-board) 신경 처리 장치("NPU")를 포함할 수 있으며, 온보드 신경 처리 장치("NPU")는, 로컬로 저장된 기계 학습 데이터(예를 들어, NLU/NLP 트레이닝 데이터)를 호출하여, 사용자의 음성(예를 들어, 웨이크 워드 이후의 하나 이상의 언급된 음성 명령)을 탐지할 수 있고, 사용자로부터의 청각 입력을 로컬로 저장된 기계 학습 데이터와 비교하여, 어떤 단어 또는 구절이 사용자에 의해 언급되었을 가능성이 가장 높은지를 결정할 수 있으며, 사용자에 의해 언급된 단어 또는 구절을 하나 이상의 명령으로 변환하여, 가전제품을 제어할 수 있다. 이러한 방식으로 온보드 지능 및 로컬로 저장된 기계 학습 데이터를 구비함으로써, 시스템은, 외부 네트워크(예를 들어, 클라우드)를 통해 호스팅되는 기계 학습 데이터에 액세스할 필요 없이, 사용자의 명령을 이해할 수 있다.

그 다음, 통신 어댑터는 가전제품 명령을 가전제품 제어기에 전송할 수 있으며, 이는 결과적으로 가전제품 명령에 따른 가전제품의 구성에 대한 하나 이상의 변경을 야기할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품 명령은, 가전제품의 터치 인터페이스로부터 수신될 수 있는 명령의 유형(예를 들어, 키패드 또는 키 누름, 터치스크린 입력 등)을 모방할 수 있는 직렬 명령일 수 있다. 따라서, 본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터는 기존의 가전제품에 개조(retrofitted)되어, 가전제품의 하드웨어, 펌웨어, 및/또는 소프트웨어에 대한 최소한의 변경으로 음성 인식 기능을 제공할 수 있다. 다른 실시형태에서, 통신 어댑터는, 가전제품의 제조 공정 동안 가전제품 내에 통합될 수 있다.

예시적인 실시형태에서, 사용자는 오븐을 제어하기 위한 음성 명령을 사용하기를 원할 수 있다. 프로세스를 시작하기 위해, 사용자는 웨이크 워드를 언급함으로써 시스템을 활성화시킬 수 있다. 시스템은, 웨이크 워드를 탐지하는 경우, 웨이크 워드에 후속되는 사용자에 의해 제공된 구어를 통해 이의 NLU/NLP 프로세스를 실행하도록 구성될 수 있다. 그 다음, 사용자는 사용자의 구어에 의해 오븐에 하나 이상의 명령을 내릴 수 있다. 예를 들어, 사용자는 "375도로 굽도록 오븐 설정"이라고 말할 수 있다. NLU 모듈은 사용자의 구어를 파싱하여, 가전제품과 관련된 키워드를 식별할 수 있다. 본 실시예를 계속하면, NLU 모듈은, 가전제품에 전송될 명령과 관련된 적절한 파라미터로서, "굽기" 및 "375도"라는 단어를 인식할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, NLU 모듈은, 청각 피드백에 의해 수신된 명령을 사용자에게 확인하도록 구성될 수 있다. 예를 들어, NLU 모듈은, "375도로 굽도록 오븐을 설정합니다, 동의하십니까?"와 같은, 확인 질의를 사용자에게 제기할 수 있는 음성 출력을 (예를 들어, 통신 어댑터의 통합형 스피커를 통해) 생성할 수 있다. 이러한 실시형태에서, NLU 모듈은, 사용자로부터 확인 입력(예를 들어, 사용자가 NLU 모듈에 의해 생성된 음성 출력에 응답하여 "예"라고 말함)을 수신한 후에만 진행할 수 있다.

사용자의 구어로부터 탐지된 사용자 명령에 기초하여, NLU 모듈은, 파라미터를 가전제품 제어기에 제공될 하나 이상의 가전제품 명령으로 변환할 수 있다. 특히, NLU 모듈은 특정 가전제품과 관련된 토큰 데이터베이스를 판독할 수 있으며, 토큰 데이터베이스는, 개별 고유 토큰과의 키 입력의 매핑을 포함하는 엔트리를 포함한다. 예를 들어, 오븐의 키 인터페이스는, 숫자 0 내지 9의 개별 키와 함께, "굽기", "시간", "ok", "시작", 및 "취소"에 해당하는 키를 포함할 수 있다. 각각의 키는 특정 토큰과 관련될 수 있으며, 토큰은 가전제품 제어기에 전송될 신호의 유형을 표시한다. 예를 들어, "굽기" 키는 토큰 "A1"과 관련될 수 있으며, 숫자 키는 토큰 "N0" 내지 "N9"와 관련될 수 있고, "ok" 키는 토큰 "O1"과 관련될 수 있다. 토큰 데이터베이스에 기초하여, 시스템은, NLU 모듈에 의해 파싱된 사용자 명령에 해당하는 가전제품 제어기에 전송하기 위한 정확한 토큰 시퀀스(예를 들어, 하나 이상의 가전제품 명령)를 결정할 수 있다. 본 실시예를 계속하면, "375도로 굽도록 오븐 설정"을 위한 정확한 시퀀스는, "굽기", "3", "7", "5", 및 "ok"에 해당하는 키 입력일 수 있다. 따라서, 통신 어댑터는, 토큰 A1, N3, N7, N5, 및 O1을 가전제품 제어기에 순차적으로 전송할 수 있다. 가전제품을 제어하기 위한 키 누름을 모방함으로써, 시스템은, 제어 기능을 제공하기 위해 가전제품을 거의 변경할 필요가 없거나 전혀 변경할 필요가 없을 수 있다.

시스템의 기능이 다른 유형의 가전제품에 적용 가능할 수 있으며, 본 개시물의 범위가 오븐 가전제품에 제한되도록 의도되지 않음은 당업자에 의해 이해될 것이다. 다른 예시적인 실시형태에서, 사용자는 "가열 건조로 대량 세척 사이클 실행"과 같은 식기세척기를 제어하기 위한 음성 명령을 내릴 수 있다. 이러한 실시형태에서, NLU 모듈은 "세척 사이클" 및 "가열 건조"라는 핵심 구절을 파싱할 수 있으며, 식기세척기와 관련된 토큰 데이터베이스의 검색을 수행하여, 가열 건조 기능이 있는 세척 사이클에 해당하는 정확한 키 입력(및 토큰) 시퀀스를 결정할 수 있다. 시퀀스가 결정되면, 통신 어댑터는 토큰 시퀀스를 가전제품 제어기에 전송할 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터는, 결과적으로 가전제품-특정된 데이터(예를 들어, 특정 가전제품과 관련된 데이터)를 저장할 수 있는 가전제품 데이터베이스를 더 포함할 수 있다. 특히, 가전제품이 오븐인 경우, 통신 어댑터의 데이터베이스 내에 저장된 가전제품-특정된 데이터는, 가전제품의 다양한 파라미터에 대한 사전 설정(preset)을 포함할 수 있다. 예시적인 실시형태에서, 가전제품-특정된 데이터는, 오븐을 위한 레시피-특정된 파라미터를 포함할 수 있다. 사용자는 "칠면조를 굽도록 오븐 설정"과 같은 음성 명령을 제공할 수 있다. NLU 모듈을 사용하여 사용자의 명령을 파싱하면, 시스템은 데이터베이스 내의 가전제품-특정된 데이터를 판독함으로써, 사용자 지정 명령(예를 들어, 사전 설정 레시피에 따라 칠면조를 굽기 위한 명령)에 기초하여, 적절한 파라미터(예를 들어, 오븐 온도, 굽기 시간 등)를 설정할 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터는, 음성 명령의 실행에 관련된 추가적인 정보를 획득하기 위해, 사용자에게 하나 이상의 음성 출력을 제기할 수도 있다. 예를 들어, 시스템은, 조리되고 있는 아이템의 중량을 말하거나, 아이템이 냉동, 냉장, 또는 해동되어 있는지 여부를 말하도록, 사용자에게 프롬프팅할 수 있다. 하나 이상의 음성 출력에 대한 사용자의 응답을 수신하는 단계에 기초하여, 시스템은 (예를 들어, 조리 시간 및 온도를 결정하기 위해) 이의 가전제품 파라미터를 이에 따라 조정할 수 있다. 이러한 실시형태에서, 가전제품-특정된 데이터는, 상이한 식품 중량 및/또는 온도에서의 다양한 유형의 식품을 위한 사전 설정 데이터를 더 포함할 수 있다. 가전제품 데이터베이스는, 사용자 생성 맞춤형 가전제품-특정된 데이터를 더 포함할 수 있다. 예를 들어, 사용자는, 사용자의 선호도 또는 필요(예를 들어, 맞춤형 레시피)에 따라 가전제품 사전 설정을 생성할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 사용자는 음성 명령에 의해 맞춤형 사전 설정을 제공할 수 있다(예를 들어, "현재 설정을 '내 맞춤형 레시피'로 저장"). 다른 실시형태에서, 사용자는 통신 어댑터 상의 인터페이스(예를 들어, 통신 어댑터와 작동 통신하는 터치스크린)를 통해, 또는 통신 어댑터와 통신 가능하게 결합된 사용자 장치를 통해, 맞춤형 사전 설정을 제공할 수 있다(예를 들어, 사용자는 통신 어댑터와 연결되는 사용자의 모바일 장치의 애플리케이션을 통해 사전 설정을 제공한다).

본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터는, 기계 학습에 기초하여, 시간이 지남에 따라 가전제품-특정된 데이터(예를 들어, 사전 설정)를 점진적으로 조정하도록 구성될 수 있는 인공 지능("AI") 모듈을 더 포함할 수 있다. 이와 관련하여, AI 모듈은, 사용자에 의해 제공된 피드백에 기초하는 지도형 학습을 사용하여 트레이닝될 수 있다. 예시적인 실시형태에서, 오븐은 전술한 바와 같은 사용자의 칠면조 조리 사이클을 종료할 수 있다. 조리 사이클의 완료 시에, 통신 어댑터는 (예를 들어, 음성 출력을 통해) 조리 사이클의 결과에 관한 피드백(예를 들어, 칠면조가 너무 차갑거나, 너무 익었거나, 적당하거나 등)을 제공하도록 사용자에게 프롬프팅할 수 있다. (예를 들어, 음성 응답에 의해) 사용자로부터 피드백을 수신하면, AI 모듈은 이에 따라 가전제품 파라미터를 동적으로 조정할 수 있다. 예를 들어, 사용자가 칠면조가 너무 익었다는 피드백을 제공하는 경우, AI 모듈은, (예를 들어, 조리 온도를 낮춤으로써 및/또는 조리 시간을 줄임으로써) 사용자의 피드백에 응답하여 "칠면조" 설정에 대한 사전 설정을 조정할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, AI 모듈은, 사용자의 음성을 인식하고, 시간이 지남에 따라 사용자의 음성을 다른 음성과 구별하도록 추가로 구성될 수 있다.

다른 실시형태에서, AI 모듈은, 가전제품 제어기로부터 수신된 데이터에 기초하여 특정 상태를 탐지할 수 있다. 예를 들어, 오븐은, 가전제품 제어기에 온도 데이터를 제공할 수 있는 내부 온도계를 포함할 수 있다. AI 모듈은 온도 데이터(다양한 조리 단계에서 오븐의 실제 온도를 반영함)를 판독할 수 있으며, 온도 설정을 선택할 때 온도 데이터를 고려할 수 있다. 학습 데이터는, 후속 학습 작업 시에, (예를 들어, 통신 어댑터에 위치된 저장 장치 내에, 또는 통신 어댑터에 의해 액세스 가능한 외부 장치 내에) 통신 어댑터에 의한 액세스를 위해 저장될 수 있는 이력 데이터로서 저장될 수 있다. 이러한 방식으로, AI 모듈은 사용자의 선호도에 적응할 수 있으며, 시간이 지남에 따라 이의 저장된 사전 설정을 점진적으로 최적화할 수 있다.

본원에 설명된 바와 같은 시스템은, 통상적인 가전제품 통신 장치에 비해 다수의 기술적 이점을 제공한다. 예를 들어, 네트워크 독립적 기반으로 작동됨으로써, 시스템은, 최적이 아닌 네트워크 상태(예를 들어, 클라우드 서버 무응답 또는 정지 시간, 높은 네트워크 지연시간 등)에 있는 경우에도, 또는 심지어 인터넷 연결이 없는 경우에도(예를 들어, 네트워킹 하드웨어 고장, 서비스 사용 불능, 방화벽 규칙 및 설정, 의도적인 연결 해제 등), 유연한 자연어 기반 음성 활성화 기능을 유지할 수 있다. 또한, AI 모듈을 사용함으로써, 시스템은, 사용자 피드백 및/또는 이력 가전제품 데이터의 수집에 기초하여, 시간이 지남에 따라 이의 가전제품 설정을 최적화할 수 있다.

이제 도면을 참조하면, 도 1은 일부 실시형태에 따라, 가전제품 제어 시스템을 위한 작동 환경을 도시한다. 시스템은, 가전제품(120)의 가전제품 제어기(125)에 연결된 커넥터(150)(예를 들어, 전기 커넥터, 케이블, 또는 와이어)를 통해 가전제품(120)과 작동 통신하는 통신 어댑터(110)를 포함할 수 있다. 커넥터(150)는, 배선 또는 케이블 하니스, 데이터 케이블 등과 같은 유선 연결부일 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터(110)는, 독립적 전원(예를 들어, 전력 어댑터, 배터리 등과 같은 전력 공급기)을 통해 전력 공급될 수 있다. 다른 실시형태에서, 통신 어댑터(110)는, 가전제품 제어기(125)에 연결된 전기 커넥터를 통해 전력 공급될 수 있다. 통신 어댑터(110)는, 본원의 다른 부분에 추가로 상세히 설명되는 바와 같이, 사용자(101)로부터 입력을 수신하도록 및/또는 사용자(101)에게 출력을 제공하도록 구성될 수 있다.

가전제품(120)은, 특정 작업을 수행하기 위해 사용될 수 있는 임의의 유형의 장치일 수 있다. 따라서, 가전제품(120)의 실시예는, 예를 들어, 오븐, 냉장고, 전자레인지, 레인지, 세탁기, 건조기, 식기세척기, 냉장고, 냉동고, 믹서기, 조리기 등을 포함할 수 있다. 가전제품(120)은, 사용자(101)로부터 입력을 수신하기 위해 및/또는 사용자(101)에게 출력을 제공하기 위해, 다양한 하드웨어, 소프트웨어, 및/또는 펌웨어 구성 요소를 포함할 수 있는 가전제품 인터페이스(124)를 포함할 수 있다. 예를 들어, 가전제품 인터페이스(124)는, 가전제품(120)의 하나 이상의 기능을 활성화시키기 위해 및/또는 가전제품(120)의 작동을 위한 파라미터를 설정하기 위해 사용자(101)에 의해 선택될 수 있는 하나 이상의 상호 작용 가능 인터페이스 요소(예를 들어, 버튼, 키, 터치 활성화 영역, 다이얼, 노브(knob), 슬라이더(slider) 등)를 포함할 수 있다. 가전제품 인터페이스(124)는, LCD/LED 디스플레이, 도트 매트릭스 디스플레이, 오디오 스피커 등과 같은, 하나 이상의 출력 요소를 더 포함할 수 있으며, 출력 요소는, 가전제품(120)의 현재 상태(예를 들어, 수치적 LCD 디스플레이 상에 디스플레이되는 타이머를 통한 남은 초단위의 수)를 표시할 수 있다.

가전제품 인터페이스(124)는, 사용자(101)로부터 수신된 입력(예를 들어, 키 누름)을 인터페이스 입력(127)으로서 가전제품 제어기(125)에 전송할 수 있다. 그 다음, 가전제품 제어기(125)는, 인터페이스 입력(127)에 기초하여, 가전제품(120)의 구성 또는 상태를 변경할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품 제어기(125)는, 가전제품(120)의 현재 구성 또는 상태를 판독하고, 하나 이상의 인터페이스 출력(128)을 가전제품 인터페이스(124)에 전송하도록 추가로 구성될 수 있다. 인터페이스 출력(128)의 실시예는, 청각 출력(예를 들어, 경보, 비프, 버저, 메시지 등) 또는 가전제품 인터페이스(124) 내의 디스플레이된 값(예를 들어, 현재 온도, 설정 온도, 현재 타이머 등)에 대한 변경을 포함할 수 있다.

예시적인 실시형태에서, 가전제품(120)은 전자레인지 오븐일 수 있다. 이러한 실시형태에서, 가전제품 인터페이스(124)는, 전자레인지의 다양한 기능에 해당하는 하나 이상의 키를 포함할 수 있다. 예를 들어, 가전제품 인터페이스(124)는, 숫자 키, "입력" 및/또는 "ok" 키, "취소 키" 등을 포함할 수 있다. 따라서, 가전제품 제어기(125)는, 인터페이스 입력(127)으로서 가전제품 인터페이스(124)로부터의 상기 키에 해당하는 하나 이상의 신호를 수신하도록 구성될 수 있다. 인터페이스 입력(127)에 기초하여, 가전제품 인터페이스(124)는, 인터페이스 입력(127)에 기초하여, 가열 설정, 타이머 설정, 클록 설정, 사전 설정 가열 프로파일 등을 조정할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품 제어기(125)는, 하나 이상의 인터페이스 출력(128)을 전자레인지의 가전제품 인터페이스(124)에 전송하도록 추가로 구성될 수 있으며, 인터페이스 출력(128)은, 예를 들어, 가전제품 인터페이스(124)의 수치적 디스플레이 상에 표시될 남은 조리 시간, 가전제품 인터페이스(124)의 스피커를 통해 재생될 청각 신호(예를 들어, 조리가 완료되었음을 표시하는 비프) 등일 수 있다.

통신 어댑터(110)는, 본원에 개시된 실시형태 중 일부 또는 전부에서, 자연어를 파싱하고, 자연어를 이해하며, 자연어에 기초하여 하나 이상의 프로세스를 수행하기 위한 NLU 및/또는 NLP 기능을 갖는 SoC일 수 있는, NLU 모듈(115)을 포함할 수 있다. 이와 관련하여, NLU 모듈(115)은, 사용자(101)로부터 청각 입력(예를 들어, 하나 이상의 음성 명령을 포함하는 언급된 문장, 구절, 또는 단어)을 수신하고, 청각 입력으로부터 언어를 파싱하며, 언어를 가전제품 제어기(125)에 의해 인식 및 이해될 수 있는 신호로 변환하도록 구성될 수 있다. NLU 모듈(115)의 핵심 기능(예를 들어, NLP 라이브러리, 기계 학습 데이터 등)은, 외부 시스템과의 네트워크 연결(예를 들어, 인터넷 연결)이 없는 경우에도, NLU 모듈(115)의 기능에 액세스될 수 있도록, NLU 모듈(115) 및/또는 통신 어댑터(110)에 로컬로 저장될 수 있다.

따라서, NLU 모듈(115)은, 사용자(101)의 음성 명령을 가전제품 인터페이스(124)로부터 수신된 인터페이스 입력(127)을 에뮬레이트(emulate)하는 하나 이상의 키 명령으로 변환하도록 구성될 수 있다. 예를 들어, 사용자(101)가 "대량 세척 및 가열 건조로 식기세척기 실행"과 같은 구두 명령을 제공하는 경우, NLU 모듈(115)은, 구두 명령을 파싱하여 가전제품 인터페이스(124)로부터 수신된 인터페이스 입력(127)을 에뮬레이트하는 신호(예를 들어, 일련의 키 누름)로 변환할 수 있다. 그 다음, 통신 어댑터(110)는, 변환된 신호를 커넥터(150)를 통해 가전제품 제어기(125)에 전송할 수 있다. 이러한 방식으로, 시스템은, 가전제품 제어기(125)에 대한 최소한의 변경으로 음성 명령 기능을 제공할 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, NLU 모듈(115)은 사용자(101)에게 청각 출력을 제공하도록 추가로 구성될 수 있다. 이와 관련하여, NLU 모듈(115)은, 사용자(101)에게 청각 출력을 제공할 수 있는 스피커 또는 다른 오디오 출력 장치를 포함할 수 있다. 예를 들어, NLU 모듈(115)은, 음성 출력을 통해 사용자(101)의 명령을 확인하도록 구성될 수 있다(예를 들어, "대량 세척 및 가열 건조로 식기세척기, 이것이 맞습니까?"). 다른 실시형태에서, NLU 모듈(115)은, 커넥터(150)를 통해 가전제품 제어기(125)로부터 통신 어댑터(110)에 의해 수신된 가전제품(120)의 구성 또는 상태와 관련된 정보를 출력하도록 구성될 수 있다. 예를 들어, 가전제품(120)이 냉장고인 경우, 사용자(101)는 "냉장고의 현재 온도가 얼마입니까?"라고 질의할 수 있다. 이에 응답하여, 통신 어댑터(110)는 가전제품 제어기(125)로부터 현재 온도 정보를 판독할 수 있다. 그 다음, NLU 모듈(115)은, 냉장고의 현재 온도를 표시하는 청각 출력(예를 들어, "현재 온도는 화씨 34도입니다")을 (예를 들어, 자연어 생성을 통해) 생성할 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터(110)는, 사용자 장치(130)와 추가로 통신 가능하게 결합될 수 있으며, 사용자 장치(130)는 사용자(101)에 의해 작동되는 컴퓨팅 장치일 수 있다. 따라서, 사용자 장치(130)는 사용자(101)의 스마트폰 또는 다른 휴대용 컴퓨팅 장치일 수 있지만, 사용자 장치(130)가 임의의 다른 유형의 컴퓨팅 시스템(예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, IoT 장치, 웨어러블 스마트 장치, 태블릿, 단일 보드 컴퓨터 등)인 것도 본 개시물의 범위 내에 있다. 특히, 통신 어댑터(110)는, 무선 통신 프로토콜(예를 들어, 와이파이, 블루투스 등)을 통해 사용자 장치(130)와 통신할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 예를 들어, 사용자의 음성 명령이 NLU 모듈(115)에 의해 정확하게 탐지되거나 등록되지 않을 수 있는 거리에 사용자(101)가 위치되는 경우(예를 들어, 사용자(101)가 NLU 모듈(115)로부터 너무 멀리 떨어져 있거나, 사용자(101)와 NLU 모듈(115) 사이의 경로가 차단되는 경우), 사용자(101)는 사용자 장치(130)를 통해 NLU 모듈(115)에 음성 명령을 제공할 수 있다. 유사하게, NLU 모듈(115)은, 본원에 개시된 실시형태 중 일부 또는 전부에서, 사용자 장치(130)를 통해 이의 음성 출력을 제공하도록 구성될 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 사용자(101)는 사용자 장치(130)를 사용하여, 통신 어댑터(110)의 추가적인 기능에 액세스할 수 있다. 예를 들어, 사용자(101)는, 사용자 장치(130) 상에 제공된 사용자 인터페이스를 통해, 맞춤형 가전제품 설정 또는 프로파일을 업로드 또는 선택할 수 있거나, 가전제품 상태 정보를 볼 수 있거나, 가전제품 관련 사전 설정(예를 들어, 맞춤형 레시피)을 생성할 수 있는 등이다.

도 2는 일부 실시형태에 따라, 통신 어댑터(110), 가전제품 인터페이스(124), 가전제품 제어기(125), 및 사용자 장치(130)를 보다 상세히 도시하는 블록도이다. 통신 어댑터(110)는, 네트워크를 통해 도 2에 도시된 바와 같은 하나 이상의 다른 장치와 작동 통신할 수 있다. 본원에 사용된 바와 같은 "네트워크"는, 인터넷과 같은 세계 정보망(GAN), 광역 통신망(WAN), 근거리 통신망(LAN), 또는 임의의 다른 유형의 네트워크 또는 네트워크 조합을 지칭할 수 있다. 네트워크는, 네트워크 상의 장치 간의 유선, 무선, 또는 유선 및 무선 통신의 조합을 제공할 수 있다.

통신 어댑터(110)는, 통신 인터페이스(211)로서 이러한 장치에 통신 가능하게 결합된 프로세서(221), 및 메모리(231)를 포함할 수 있다. 프로세서(221), 및 본원에 설명된 다른 프로세서는, 전형적으로 통신 및/또는 로직 기능을 구현하기 위한 회로를 포함한다. 예를 들어, 프로세서(221)는, 디지털 신호 프로세서 장치, 마이크로프로세서 장치, 및 다양한 아날로그 대 디지털 변환기, 디지털 대 아날로그 변환기, 및/또는 다른 지원 회로를 포함할 수 있다. 통신 어댑터(110)는 통신 인터페이스(211)를 사용하여, 네트워크를 통해 다른 장치와 통신할 수 있다. 본원에 사용된 바와 같은 "통신 인터페이스"는, 이더넷 인터페이스, 셀룰러 데이터, GPS, 또는 와이파이 신호로 작동되도록 구성된 트랜시버에 결합된 안테나, 및/또는 근거리 무선 통신("NFC") 인터페이스를 포함할 수 있다. 일부 실시형태에서, 처리 장치, 메모리, 및 통신 장치는 제어기의 구성 요소일 수 있으며, 제어기는 메모리 내에 저장된 코드에 기초하여 하나 이상의 기능을 실행한다.

본원에 사용된 바와 같은 "메모리"는, 데이터, 코드, 또는 다른 정보를 저장하도록 구성된 임의의 컴퓨터 판독 가능 매체(본원에서 아래에 정의되는 바와 같음)를 포함한다. 메모리는, 데이터의 임시 저장을 위한 캐시 영역을 포함하는 휘발성 랜덤 액세스 메모리(RAM)와 같은, 휘발성 메모리를 포함할 수 있다. 또한, 메모리는 내장형 및/또는 착탈식일 수 있는 비휘발성 메모리를 포함할 수 있다. 추가적으로 또는 대안적으로, 비휘발성 메모리는, 전기적으로 소거 가능 프로그래밍 가능 판독 전용 메모리(EEPROM), 플래시 메모리 등을 포함할 수 있다. 메모리(231)는 이에 저장된 어댑터 애플리케이션(241)을 가질 수 있으며, 어댑터 애플리케이션(241)은, 다른 기능 중에서도, 가전제품 제어기(125)로부터 데이터를 검색하고, 사용자 장치(130)와 출력을 전송 및 입력을 수신하며, 가전제품 구성 프로파일에 액세스하고 가전제품 구성 프로파일을 구현하거나/구현하며, 가전제품 제어기(125)에 명령을 전송하기 위한 코드 및/또는 로직을 포함한다.

통신 어댑터(110)의 프로세서(221)는, 본원에 개시된 실시형태 중 일부 또는 전부에서, 자연어 처리 기능을 갖는 SoC일 수 있는 NLU 모듈(115)에 추가로 작동 가능하게 결합될 수 있다. 따라서, NLU 모듈(115)은, 사용자(101)로부터 청각 입력을 수신하기 위해(예를 들어, 마이크로폰 또는 다른 오디오 포착 장치), 및/또는 사용자(101)에게 청각 출력을 제공하기 위해(예를 들어, 스피커 또는 다른 오디오 출력 장치) 하드웨어 및/또는 소프트웨어 구성 요소에 작동 가능하게 결합될 수 있거나/결합될 수 있으며, 이를 포함할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, NLU 모듈(115)은, 통신 어댑터(110)의 통신 인터페이스(211)를 통해 사용자 장치(130)와 추가로 통신 가능하게 결합될 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, 통신 어댑터(110)의 메모리(231)는, 이에 저장된 가전제품 데이터베이스(242)를 추가로 가질 수 있다. 가전제품 데이터베이스(242)는, 가전제품의 식별 부호(identity), 가전제품 구성 및 설정, 가전제품 사전 설정, 맞춤형 사용자 정의된 설정 및/또는 사전 설정 등과 같은, 가전제품에 관련된 정보를 포함할 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품 데이터베이스(242)는, 본원의 다른 부분에서 추가로 상세히 설명되는 바와 같이, 시간이 지남에 따라 사용자(101) 및/또는 관련 가전제품에 이의 기능을 점진적으로 적응시키기 위해, NLU 모듈(115)에 의해 사용될 기계 학습 데이터를 더 포함할 수 있다.

전형적으로, 통신 어댑터(110)는, 가전제품 제어기(125) 내의 제어 보드(222)와 통신 가능하게 결합된 연결 포트(252)를 통해 가전제품 제어기(125)와 작동 통신한다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품(120)은, 연결 포트(252)를 가전제품 제어기(125)의 제어 보드(222)에 연결하는 데이터 전송 케이블을 더 포함할 수 있다. 연결 포트(252)는, 예를 들어, 전기 소켓, 데이터 포트, 슬롯, 또는 전기 신호 및/또는 데이터의 입력 및 출력을 가능하게 하는 다른 유형의 연결 포인트일 수 있다. 예를 들어, 연결 포트(252)는, USB 포트, USB 마이크로 또는 미니 포트, USB 타입-C 포트, Thunderbolt 포트, 직렬 포트 등일 수 있다. 제어 보드(222)는, 다양한 제어기, 저항기, 커패시터, 변압기, 스위치, 퓨즈, 와이어 등을 포함할 수 있으며, 이에 따라, 가전제품 제어기(125)는, 가전제품(120)에 관한 정보(예를 들어, 온도계로부터의 내부 온도 판독값)를 수신할 수 있거나/수신할 수 있고, 가전제품(120)의 구성의 변경을 야기할 수 있다(예를 들어, 물이 세탁기 내로 흐를 수 있도록 하기 위한 솔레노이드의 작동). 따라서, 통신 어댑터(110)는, 연결 포트(252)를 통해 가전제품 제어기(125)에 가전제품 명령을 전송하도록 및/또는 가전제품 제어기(125)로부터 정보를 수신하도록 구성될 수 있다.

가전제품(120)은, 전술한 바와 같은 가전제품 인터페이스(124) 및 가전제품 제어기(125)를 포함할 수 있다. 가전제품(120)은, 가전제품(120)을 전원(예를 들어, 전기 콘센트)에 연결하여 가전제품(120), 가전제품 인터페이스(124), 및/또는 가전제품 제어기(125)에 전력을 공급하는 전력 공급 케이블을 더 포함할 수 있다. 다른 실시형태에서, 가전제품(120)은 휴대용 전력 공급기(예를 들어, 배터리)를 포함할 수 있다. 데이터 전송 케이블이 전력 공급 케이블에 인접하게 그리고 전력 공급 케이블과 나란히 연장되도록, 데이터 전송 케이블이 가전제품의 전력 공급 케이블과 통합될 수 있다. 이러한 실시형태에서, 연결 포트(252)는, 전원에 연결되는 전력 공급 케이블의 단부 근처에 위치되는 데이터 전송 케이블의 종단점일 수 있다. 예를 들어, 연결 포트(252)는, 전력 공급 케이블의 변압기 내에 통합된 USB 포트일 수 있다. 이러한 실시형태에서, 통신 어댑터(110)는, 커넥터(150)(예를 들어, USB 케이블)를 통해, 가전제품(120)의 외부에 있을 수 있는 연결 포트(252)(예를 들어, USB 포트)에 작동 가능하게 연결될 수 있으므로, 통신 어댑터(110)가 가전제품 제어기(125)의 제어 보드(222)와 통신할 수 있다.

가전제품(120)의 가전제품 인터페이스(124)는, 가전제품(120)을 제어하기 위한 입력을 (예를 들어, 사용자로부터) 수신하기 위한 하나 이상의 인터페이스 요소를 포함할 수 있는 입력 구성 요소(260)를 포함할 수 있다. 따라서, 입력 구성 요소(260)는, 키, 버튼, 다이얼, 용량성 터치 표면, 터치스크린 등을 포함할 수 있으며, 이들은 (예를 들어, 연결 포트(252)를 통해) 가전제품 인터페이스(124)로부터 가전제품 제어기(125)로 특정 신호를 전송하도록 활성화될 수 있다. 가전제품 인터페이스(124)는, 가전제품(120)의 상태 또는 구성에 관한 정보를 제공하도록 구성될 수 있는 출력 구성 요소(261)를 더 포함할 수 있다. 예를 들어, 출력 구성 요소(261)는, 가전제품 제어기(125)로부터 수신된 신호에 기초하여 활성화될 수 있는, 디스플레이 구성 요소(예를 들어, 수치적 디스플레이, 컬러 디스플레이, 터치스크린, 표시등 등) 및/또는 오디오 구성 요소(예를 들어, 스피커, 버저, 차임벨(chime) 등)를 포함할 수 있다.

사용자 장치(130)는, 통신 인터페이스(213)와 통신 가능하게 결합된 프로세서(223), 및 사용자 애플리케이션(253)이 이에 저장된 메모리(233)를 포함할 수 있다. 사용자 애플리케이션(253)에 따라, 사용자는 가전제품에 관한 정보(예를 들어, 가전제품의 현재 상태)를 볼 수 있거나/볼 수 있고, 통신 어댑터(110) 및/또는 가전제품 제어기(125)에 명령을 내릴 수 있다. 또한, 본원에 개시된 실시형태 중 일부 또는 전부에서, 사용자 애플리케이션(253)은, 통신 어댑터(110)의 NLU 모듈(115)에 음성 명령을 전송할 수 있거나/전송할 수 있고, 통신 어댑터(110)의 NLU 모듈(115)로부터 음성 출력을 수신할 수 있다.

사용자 장치(130)는, 사용자로부터 입력을 수신할 수 있고 사용자에게 출력을 제공할 수 있는 사용자 인터페이스(243)를 더 포함할 수 있다. 이와 관련하여, 사용자 인터페이스(243)는, 사용자로부터 입력을 수용하고 사용자에게 출력을 제공하기 위한 하드웨어 및 소프트웨어 도구를 포함할 수 있다. 따라서, 사용자 인터페이스(243)는, 키보드, 마우스, 센서, 카메라, 마이크로폰, 생체 측정 입력 장치(예를 들어, 지문 판독기) 등과 같은 입력 장치, 또는 디스플레이, 오디오 출력 장치, 프로젝터 등과 같은 하드웨어를 포함할 수 있다. 사용자 인터페이스(243)는, 사용자가 이를 통해 사용자 장치(130)로부터 출력을 수신 및/또는 입력을 제공할 수 있고, 이에 따라, 그 다음, 사용자가 통신 어댑터(110) 및/또는 가전제품 제어기(125)와 통신할 수 있게 하는, 그래픽 또는 명령 라인 인터페이스와 같은 소프트웨어를 더 포함할 수 있다. 사용자 인터페이스(243)가 표시되는 디스플레이는, 사용자 장치(130) 내의 통합형 디스플레이(예를 들어, 태블릿 또는 스마트폰 화면), 또는 외부 디스플레이 장치(예를 들어, 컴퓨터 모니터 또는 텔레비전)를 포함할 수 있음을 이해해야 한다.

도 3은 본 개시물의 일 실시형태에 따라, 통합형 가전제품 제어 시스템을 갖는 가전제품을 위한 작동 환경을 도시한다. 특히, 도 3은 서로 작동 통신하는, 가전제품 인터페이스(124), 통신 어댑터(110), 및 가전제품 제어기(125)를 포함하는 가전제품(120)을 도시한다. 이러한 실시형태에서, 통신 어댑터(110)는, 가전제품(120)이 본원에 설명된 바와 같은 통신 어댑터(110)의 NLU/NLP 기능을 기본적으로 지원하도록, 가전제품(120)의 통합형 부분일 수 있다.

이와 관련하여, 통신 어댑터(110)는, 일부 실시형태에서, (예를 들어, NPU를 사용하는) 온보드 NLU 기능, 및 NLU/NLP와 관련된 로컬로 저장된 기계 학습 데이터를 갖는 SoC일 수 있는 NLU 모듈(115)을 포함할 수 있다. NLU 모듈(115)은, 사용자(101) 및/또는 사용자 장치(130)와 인터페이싱하기 위한 입력 및/또는 출력 장치(예를 들어, 오디오 입력 및/또는 출력 장치, 무선 통신 장치 등)를 더 포함할 수 있다.

가전제품 인터페이스(124)는, 본원의 다른 부분에 설명된 바와 같이, 가전제품 제어기(125)에 인터페이스 입력(127)을 제공하도록 및/또는 가전제품 제어기(125)로부터 인터페이스 출력(128)을 수신하도록 구성될 수 있다. 또한, 통신 어댑터(110)는, NLU 모듈(115)에 의해 생성된 가전제품 명령을 전송하고, 이러한 명령을 가전제품 제어기(125)에 전송하여, 가전제품을 제어하도록 구성될 수 있다. 일부 실시형태에서, 통신 어댑터(110)는, 본원의 다른 부분에도 설명된 바와 같이, 가전제품 제어기(125)로부터 가전제품 데이터를 검색하고, 이러한 가전제품 데이터를 사용자(101) 및/또는 사용자 장치(130)에 제공하도록 추가로 구성될 수 있다.

도 4는 본 개시물의 일부 실시형태에 따라, 자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 프로세스 흐름을 도시한다. 프로세스는 블록(401)에서 시작되며, 시스템은, 통신 어댑터를 통해, 사용자로부터 가전제품을 제어하기 위한 음성 명령을 수신한다. 음성 명령은 사용자에 의해 언급될 수 있으며, 시스템 내의 오디오 포착 장치에 의해 탐지될 수 있다. 예를 들어, 통신 어댑터는, 사용자의 음성을 탐지할 수 있는 통합형 마이크로폰을 갖는 NLU 모듈을 포함할 수 있다. 다른 실시형태에서, 시스템은, 가전제품 내의 마이크로폰을 통해 사용자의 음성을 탐지할 수 있다. 또 다른 실시형태에서, 사용자의 음성은, 스마트폰 또는 다른 휴대용 장치와 같이, 사용자에 의해 소유되는 및/또는 작동되는 사용자 장치를 통해 포착될 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, 시스템은, 사용자의 "웨이크 워드" 사용 이후에 제어될 가전제품을 식별함으로써 활성화될 수 있다. 예를 들어, 오븐을 제어하길 원하는 사용자는 "웨이크 오븐"이라는 단어를 말할 수 있으며, 이는 통신 어댑터로 하여금, 오븐을 제어하기 위해 전송될 명령으로서 사용자로부터의 임의의 후속 음성 입력을 인식하도록 할 것이다. 예시적인 실시형태는 예시적인 목적을 위해 제공된다. 사용자는 "웨이크 오븐"이라고 말한 다음에, "300도로 25분 동안 구워"라는 구절을 말할 수 있다. 웨이크 워드(예를 들어, "웨이크 오븐")를 탐지하면, 시스템은, 가전제품이 어떻게 제어되어야 하는지를 나타내는 사용자로부터의 음성 명령으로서, "300도로 25분 동안 구워"라는 구절을 인식할 수 있다. 이러한 방식으로, 시스템은 음성 명령이 적용되는 특정 가전제품을 식별할 수 있으므로, 시스템이 타겟 가전제품을 다른 음성-사용 가능 가전제품과 구별할 수 있다.

프로세스는 블록(402)으로 계속되며, 시스템은 자연어 이해("NLU") 모듈을 사용하여, 음성 명령을 파싱한다. 특히, NLU 모듈은, 가전제품의 파라미터, 설정, 프로파일, 구성, 또는 기능에 해당하는 사용자의 음성 명령 내의 언급된 단어를 인식하도록 구성될 수 있다. 위의 실시예를 계속하면, NLU 모듈은, 웨이크 워드에 기초하여, 사용자가 오븐을 제어하려고 시도하고 있음을 인식할 수 있다. 따라서, NLU 모듈은 사용자로부터의 후속 음성 입력을 파싱하여, 조리 모드(예를 들어, 굽기), 온도(예를 들어, 300도), 조리 시간(예를 들어, 25분) 등과 같은, 오븐의 기능에 해당하는 명령을 식별할 수 있다.

다른 실시형태에서, 통신 어댑터는, 사용자에 의해 지정된 바와 같은 맞춤형 가전제품 설정, 사전 설정, 또는 구성을 저장할 수 있다. 예를 들어, 가전제품이 오븐인 경우, 사용자는 레시피와 관련된 특정 가전제품 설정(예를 들어, 15분 동안 화씨 500도)을 갖는 맞춤형 레시피(예를 들어, "나의 바게트 레시피")를 저장할 수 있다. 따라서, 사용자의 음성 명령이 "나의 바게트 레시피를 위한 오븐 설정"인 경우, NLU 모듈은 음성 명령 내의 맞춤형 설정을 인식할 수 있고, 맞춤형 설정에 따라 가전제품의 구성을 변경할 수 있다.

본원에 개시된 실시형태 중 일부 또는 전부에서, NLU 모듈은, NLU 모듈에 의해 파싱된 및/또는 탐지된 명령을 사용자에게 확인하도록 구성될 수 있다. 이와 관련하여, NLU 모듈은, 음성 명령이 NLU 모듈에 의해 정확하게 탐지되었는지를 확인하기 위해, 사용자에게 청각 프롬프트(예를 들어, "300도로 25분 동안 굽기, 이것이 정확합니까?")를 제공할 수 있다. 사용자가 프롬프트를 확인하는 경우(예를 들어, "예"라고 말함으로써), 시스템은 본원에 설명된 프로세스를 진행할 수 있다. 그러나, 사용자가 프롬프트를 거절하는 경우(예를 들어, "아니오"라고 말함으로써), NLU 모듈은, 다시 한 번 음성 입력을 제공하도록 사용자에게 프롬프팅하도록 구성될 수 있다. 사용자가 NLU 모듈에 의해 탐지된 명령의 구두 확인을 제공할 때까지, 확인 프로세스가 계속될 수 있다.

프로세스는 블록(403)으로 계속되며, 시스템은 음성 명령을 토큰 세트로 변환하고, 토큰 세트는, 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당한다. 특히, 각각의 토큰은, 가전제품 인터페이스 상의 인터페이스 요소와 상호 작용하는 사용자에 기초하여, 가전제품 인터페이스로부터 가전제품 제어기로 전송된 신호에 해당할 수 있다. 예를 들어, 각각의 토큰은, 가전제품 인터페이스 상의 특정 키(예를 들어, 숫자 키, "굽기" 키, "시작" 키, "시간" 키, "OK" 키 등)와 관련될 수 있다. 위의 실시예를 계속하면, 가전제품 인터페이스 상의 숫자 키(예를 들어, 숫자 0 내지 9)는 토큰 N1 내지 N9와 관련될 수 있으며, "굽기" 키는 토큰 A1과 관련될 수 있고, "시간" 키는 토큰 T1과 관련될 수 있으며, “OK” 키는 토큰 O1과 관련될 수 있고, "시작" 키는 토큰 S1과 관련될 수 있다.

토큰 세트는, 특정 가전제품 및/또는 특정 인터페이스에 의해 요구되는 순서로 생성될 수 있다. 예를 들어, 300도로 25분 동안 굽도록 오븐을 설정하기 위한 프로토콜은, 가전제품 인터페이스 상의 이하의 키 누름 시퀀스를 포함할 수 있다: 굽기, 3, 0, 0, 시간, 2, 5, OK, 시작. 이러한 시나리오에서, 토큰 세트는, 사용자에 의해 지정된 명령을 나타내기 위한 이하의 토큰 시퀀스를 포함할 수 있다: A1, N3, N0, N0, T1, N2, N5, O1, S1.

동일한 유형의 가전제품도 특정 방식으로 가전제품의 구성을 변경하기 위해 필요한 상이한 프로토콜(예를 들어, 상이한 키 누름 시퀀스)을 가질 수 있기 때문에, 시스템에 의해 생성되는 토큰 세트/시리즈는 제어될 가전제품에 따라 좌우될 수 있음을 이해해야 한다. 따라서, 본원에 개시된 실시형태 중 일부 또는 전부에서, 시스템은, 통신 어댑터에 저장될 수 있는 토큰 데이터베이스를 포함할 수 있다. 토큰 데이터베이스는, 다양한 가전제품에 대한 엔트리(예를 들어, 가전제품 명칭, 제조사, 모델 번호 등), 특정 가전제품과 관련될 수 있는 다양한 토큰, 및 가전제품의 특정 기능에 액세스하기 위한 프로토콜(예를 들어, "퍼머넌트 프레스(permanent press)" 설정으로 세탁을 실행하도록 세탁기를 설정하기 위해 필요한 토큰 시퀀스)을 포함할 수 있다. 따라서, 본원에 개시된 실시형태 중 일부 또는 전부에서, 음성 명령을 토큰 세트로 변환하는 단계는, 토큰 데이터베이스에 액세스하는 단계, 가전제품과 관련된 하나 이상의 토큰을 식별하는 단계, 하나 이상의 토큰과 관련된 프로토콜을 식별하는 단계, 및 토큰 데이터베이스 내의 정보에 기초하여 하나 이상의 토큰의 시퀀스를 배치하는 단계를 더 포함할 수 있다.

프로세스는 블록(404)으로 계속되며, 시스템은 토큰을 가전제품의 가전제품 제어기에 전송한다. 통신 어댑터는, 가전제품의 직렬 포트에 연결된 와이어 또는 케이블을 통해 가전제품 제어기에 연결될 수 있다. 가전제품의 직렬 포트는, 가전제품 인터페이스 및/또는 통신 어댑터로부터 신호를 수신하도록 구성될 수 있다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품 제어기는, 진단 목적을 위해 신호의 소스 간에 (예를 들어, 통신 어댑터 및/또는 가전제품 인터페이스의 하드웨어 ID를 식별함으로써) 구별하도록 구성될 수 있다. 예를 들어, 통신 어댑터와 가전제품 제어기 간에 통신 에러가 탐지되는 경우, 가전제품 제어기는, 통신 에러를 표시하는 에러 메시지를 가전제품 인터페이스 상에 디스플레이하도록 구성될 수 있다. 다른 실시형태에서, 토큰은 가전제품 제어기에 전송될 수 있으며, 가전제품 인터페이스의 키 누름을 완전히 에뮬레이트할 수 있으므로, 가전제품 제어기는, 신호가 가전제품 인터페이스로부터 비롯되는지 또는 통신 어댑터로부터 비롯되는지 여부를 구별할 수 없다. 이러한 방식으로, 시스템은, 기존 가전제품 제어기에 대한 최소한의 변경으로 또는 전혀 변경 없이, 기존 가전제품을 개조하기 위한 방식을 제공할 수 있다.

프로세스는 블록(405)으로 계속되며, 시스템은, 토큰에 기초하여, 가전제품 제어기를 통해 가전제품을 제어한다. 본원에 개시된 실시형태 중 일부 또는 전부에서, 가전제품을 제어하는 단계는, 가전제품의 구성을 변경하는 단계를 포함할 수 있다. 위의 실시예를 계속하면, 시스템은, 생성된 토큰 시퀀스에 기초하여, 오븐으로 하여금, 300도로 25분 동안 굽도록 이의 구성을 변경하도록 할 수 있다. 이러한 방식으로, 가전제품의 구성은, 가전제품 인터페이스가 사용된 경우 변경되었던 것과 동일한 방식으로 변경될 수 있다.

다른 실시형태에서, 가전제품을 제어하는 단계는, 가전제품 제어기로부터 가전제품 상태 정보를 판독하는 단계, 및 (예를 들어, 음성 출력을 통해) 사용자에게 상태 정보를 제공하는 단계를 포함할 수 있다. 예를 들어, 사용자는 "오븐의 현재 온도가 얼마입니까?"라고 질의할 수 있다. 이러한 시나리오에서, 가전제품을 제어하는 단계는, 가전제품 제어기로부터 온도 정보를 판독하는 단계(결과적으로, 내부 서모스탯(thermostat) 또는 온도계로부터 온도 정보를 판독할 수 있음), 및 온도 정보를 포함하는 음성 출력(예를 들어, "오븐의 현재 온도는 화씨 300도입니다")을 사용자에게 생성하는 단계를 포함할 수 있다.

일반적으로 본원에 설명된 각각의 통신 인터페이스는, 컴퓨터 시스템이 네트워크 상의 하나 이상의 다른 시스템의 통신 인터페이스에 및/또는 하나 이상의 다른 시스템의 통신 인터페이스로부터 정보를 전달, 전송, 수신, 및/또는 달리 통신할 수 있도록 하는, 하드웨어, 및 경우에 따라, 소프트웨어를 포함한다. 예를 들어, 사용자 입력 시스템의 통신 인터페이스는, 무선 트랜시버, 모뎀, 서버, 전기 연결부, 및/또는 사용자 입력 시스템을 다른 시스템에 작동 가능하게 연결하는 다른 전자 장치를 포함할 수 있다. 무선 트랜시버는, 정보의 무선 전송 및 수신을 가능하게 하기 위한 무선 회로를 포함할 수 있다.

당업자에 의해 이해되는 바와 같이, 본 발명은 장치(예를 들어, 시스템, 기계, 장치, 컴퓨터 프로그램 제품, 및/또는 기타를 포함함)로서, 방법(예를 들어, 비즈니스 프로세스, 컴퓨터 구현 프로세스, 및/또는 기타를 포함함)으로서, 또는 전술한 것들의 임의의 조합으로서 구현될 수 있다. 따라서, 본 발명의 실시형태는 전체적으로 소프트웨어 실시형태(펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함함), 전체적으로 하드웨어 실시형태, 또는 본원에서 전반적으로 "시스템"으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태를 조합하는 실시형태의 형태를 취할 수 있다. 또한, 본 발명의 실시형태는 컴퓨터 실행 가능 프로그램 코드 부분이 그 안에 저장된 컴퓨터 판독 가능 저장 매체를 포함하는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

그 문구가 본원에 사용된 바와 같이, 프로세서는, 예를 들어, 하나 이상의 범용 회로가 컴퓨터 판독 가능 매체 내에 구현된 특정 컴퓨터 실행 가능 프로그램 코드를 실행함으로써 기능을 수행하도록 하는 것, 및/또는 하나 이상의 애플리케이션-특정된 회로가 기능을 수행하도록 하는 것을 포함하는, 다양한 방식으로 특정 기능을 수행하도록 "구성"될 수 있다.

임의의 적합한 컴퓨터 판독 가능 매체가 사용될 수 있음을 이해할 것이다. 컴퓨터 판독 가능 매체는, 실체적(tangible) 전자 장치, 자기, 광학, 적외선, 전자기, 및/또는 반도체 시스템, 장치, 및/또는 기기와 같은, 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있지만, 이에 제한되지 않는다. 예를 들어, 일부 실시형태에서, 비-일시적 컴퓨터 판독 가능 매체는, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능 프로그래밍 가능 판독 전용 메모리(EEPROM 또는 플래시 메모리), 컴팩트 디스크 판독 전용 메모리(CD-ROM), 및/또는 일부 다른 실체적 광학 및/또는 자기 저장 장치를 포함한다. 그러나, 본 발명의 다른 실시형태에서, 컴퓨터 판독 가능 매체는, 그 안에 구현된 컴퓨터 실행 가능 프로그램 코드 부분을 포함하는 전파 신호와 같이 일시적일 수 있다.

또한, 전문화된 컴퓨터에서 요구될 수 있는 본 발명의 전문화된 작업을 수행하기 위한 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은, 예를 들어, 자바, 펄(Perl), 스몰토크(Smalltalk), C++, SAS, SQL, 파이썬, 오브젝트 C, 및/또는 기타와 같은, 객체 지향 스크립트된 및/또는 스크립트되지 않은 프로그래밍 언어를 포함함을 이해할 것이다. 일부 실시형태에서, 본 발명의 실시형태의 작업을 수행하기 위한 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은, "C" 프로그래밍 언어 및/또는 유사한 프로그래밍 언어와 같은, 통상적인 절차적 프로그래밍 언어로 작성된다. 대안적으로 또는 추가적으로, 컴퓨터 프로그램 코드는, 예를 들어, F#과 같은, 하나 이상의 멀티패러다임(multi-paradigm) 프로그래밍 언어로 작성될 수 있다.

본 발명의 실시형태는 흐름도 및/또는 블록도를 참조하여 위에 설명된다. 본원에 설명된 프로세스의 단계는 흐름도에 도시된 것과 상이한 순서로 수행될 수 있음을 이해할 것이다. 즉, 흐름도의 블록으로 나타낸 프로세스는, 일부 실시형태에서, 도시된 순서와 다른 순서로 수행될 수 있거나, 조합 또는 분할될 수 있거나, 동시에 수행될 수 있다. 또한, 일부 실시형태에서, 블록도에서 블록으로 도시된 하나 이상의 시스템과 시스템 간의 단순히 개념적 설명으로 도시된 블록도의 블록은, 블록도에서 블록으로 도시된 하나 이상의 다른 시스템과 조합될 수 있거나, 하드웨어 및/또는 소프트웨어를 공유할 수 있음을 이해할 것이다. 마찬가지로, 기기, 시스템, 장치, 및/또는 기타는 하나 이상의 기기, 시스템, 장치, 및/또는 기타로 구성될 수 있다. 예를 들어, 프로세서가 본원에 도시되거나 설명되는 경우, 프로세서는, 서로 결합될 수 있거나 결합되지 않을 수 있는 복수의 마이크로프로세서 또는 다른 처리 장치로 구성될 수 있다. 마찬가지로, 메모리가 본원에 도시되거나 설명되는 경우, 메모리는, 서로 결합될 수 있거나 결합되지 않을 수 있는 복수의 메모리 소자로 구성될 수 있다.

또한, 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은, 특정한 방식으로 기능하도록 컴퓨터 및/또는 다른 프로그래밍 가능 데이터 처리 장치에 지시할 수 있는 일시적 또는 비-일시적 컴퓨터 판독 가능 매체(예를 들어, 메모리 등)에 저장될 수 있으므로, 컴퓨터 판독 가능 매체에 저장된 컴퓨터 실행 가능 프로그램 코드 부분은, 흐름도(들) 및/또는 블록도 블록(들)에 명시된 단계 및/또는 기능을 구현하는 명령 메커니즘을 포함하는 제조 물품을 생성함을 이해할 것이다.

또한, 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분은 컴퓨터 및/또는 다른 프로그래밍 가능 데이터 처리 장치 상에 로딩되어, 일련의 작업 단계가 컴퓨터 및/또는 다른 프로그래밍 가능 장치를 통해 수행되도록 할 수 있다. 일부 실시형태에서, 이에 따라, 컴퓨터 및/또는 다른 프로그래밍 가능 장치를 통해 실행되는 하나 이상의 컴퓨터 실행 가능 프로그램 코드 부분이 흐름도(들)에 명시된 단계 및/또는 블록도 블록(들)에 명시된 기능을 구현하기 위한 작업 단계를 제공하도록, 컴퓨터 구현 프로세스를 생성한다. 대안적으로, 컴퓨터 구현 단계는, 본 발명의 실시형태를 수행하기 위해 오퍼레이터 및/또는 인간 구현 단계와 조합될 수 있다.

특정 예시적인 실시형태가 첨부된 도면에 설명되고 도시되었지만, 위의 단락에 설명된 것과 더불어, 다양한 다른 변경, 조합, 생략, 변형 및 대체가 가능하기 때문에, 이러한 실시형태는 단지 폭넓은 발명의 예시일 뿐이며 제한적인 것이 아니고, 본 발명은 도시되고 설명된 특정 구성 및 배치로 제한되지 않음을 이해해야 한다. 당업자는 방금 설명된 실시형태의 다양한 적응 및 변형이 본 발명의 범위 및 사상을 벗어나지 않으면서 구성될 수 있음을 이해할 것이다. 따라서, 첨부된 청구범위의 범위 내에서, 본 발명은 본원에 구체적으로 설명된 것과 달리 실시될 수 있음을 이해해야 한다.

Claims

자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 통신 어댑터 장치로서,
컴퓨터 판독 가능 프로그램 코드가 이에 저장된 메모리 소자;
상기 장치를 가전제품의 가전제품 제어기에 작동 가능하게 연결하도록 구조화된 커넥터;
통신 장치; 및
상기 메모리 소자 및 상기 통신 장치에 작동 가능하게 결합된 처리 장치를 포함하며,
상기 처리 장치는,
사용자로부터 상기 가전제품을 제어하기 위한 음성 명령을 수신하는 단계;
자연어 이해("NLU") 모듈을 사용하여, 상기 음성 명령을 파싱하는 단계;
상기 음성 명령을 토큰 세트로 변환하는 단계로서, 상기 토큰 세트는, 상기 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계;
상기 가전제품의 상기 가전제품 제어기에 상기 토큰을 전송하는 단계; 및
상기 토큰에 기초하여, 상기 가전제품의 상기 가전제품 제어기를 통해 상기 가전제품을 제어하는 단계를 위해, 상기 컴퓨터 판독 가능 프로그램 코드를 실행하도록 구성되는,
자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 통신 어댑터 장치.
제1항에 있어서,
상기 음성 명령은, 상기 가전제품의 구성을 변경하기 위한 요청을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 가전제품의 구성을 변경하기 위한 상기 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고,
상기 음성 명령을 토큰 세트로 변환하는 단계는, 상기 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함하는, 통신 어댑터 장치.
제1항 또는 제2항에 있어서,
상기 음성 명령을 변환하는 단계는,
토큰 데이터베이스에 액세스하는 단계로서, 상기 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리를 포함하고, 각각의 상기 하나 이상의 엔트리는, 상기 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계;
상기 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 상기 엔트리 세트는 상기 가전제품과 관련되는, 단계;
상기 가전제품과 관련되고 상기 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및
상기 토큰 데이터베이스 내의 상기 하나 이상의 엔트리에 기초하여, 상기 토큰 시퀀스를 생성하는 단계를 더 포함하는, 통신 어댑터 장치.
제3항에 있어서,
상기 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 음성 명령으로부터 상기 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고,
상기 토큰 시퀀스는 상기 맞춤형 사용자 정의된 명령과 관련되는, 통신 어댑터 장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 음성 명령을 수신하는 단계는, 상기 사용자가 상기 가전제품과 관련된 웨이크 워드를 언급했음을 탐지하는 단계를 더 포함하는, 통신 어댑터 장치.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 컴퓨터 판독 가능 프로그램 코드는, 추가로 상기 처리 장치로 하여금,
상기 사용자에게 청각 확인 요청을 출력하는 단계로서, 상기 청각 확인 요청은, 상기 음성 명령을 확인하도록 상기 사용자에게 프롬프팅하는, 단계; 및
상기 사용자로부터 청각 확인을 수신하는 단계를 수행하도록 하며,
상기 청각 확인은 상기 음성 명령을 확인하는, 통신 어댑터 장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 컴퓨터 판독 가능 프로그램 코드는, 추가로 상기 처리 장치로 하여금, 지도형 학습 프로세스를 개시하는 단계를 수행하도록 하며,
상기 지도형 학습 프로세스는,
상기 가전제품을 제어하는 결과에 관한 피드백에 대하여 상기 사용자에게 프롬프팅하는 단계;
상기 가전제품을 제어하는 상기 결과에 관한 청각 피드백을 상기 사용자로부터 수신하는 단계; 및
상기 청각 피드백에 기초하여, 인공 지능("AI") 모듈을 사용하여, 상기 가전제품과 관련된 하나 이상의 미리 정의된 설정을 조정하는 단계를 포함하는, 통신 어댑터 장치.
자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 컴퓨터 구현 방법으로서,
가전제품의 가전제품 제어기에 통신 가능하게 결합된 통신 어댑터 장치를 사용하여, 사용자로부터 상기 가전제품을 제어하기 위한 음성 명령을 수신하는 단계;
자연어 이해("NLU") 모듈을 사용하여, 상기 음성 명령을 파싱하는 단계;
상기 NLU 모듈을 사용하여, 상기 음성 명령을 토큰 세트로 변환하는 단계로서, 상기 토큰 세트는, 상기 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계;
상기 가전제품의 상기 가전제품 제어기에 상기 토큰을 전송하는 단계; 및
상기 토큰에 기초하여, 상기 가전제품의 상기 가전제품 제어기를 통해 상기 가전제품을 제어하는 단계를 포함하는,
자연어 처리 및 사용자 피드백을 사용하는 네트워크 독립적 가전제품 제어를 위한 컴퓨터 구현 방법.
제8항에 있어서,
상기 음성 명령은, 상기 가전제품의 구성을 변경하기 위한 요청을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 가전제품의 구성을 변경하기 위한 상기 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고,
상기 음성 명령을 토큰 세트로 변환하는 단계는, 상기 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함하는, 컴퓨터 구현 방법.
제8항 또는 제9항에 있어서,
상기 음성 명령을 변환하는 단계는,
토큰 데이터베이스에 액세스하는 단계로서, 상기 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리를 포함하고, 각각의 상기 하나 이상의 엔트리는, 상기 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계;
상기 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 상기 엔트리 세트는 상기 가전제품과 관련되는, 단계;
상기 가전제품과 관련되고 상기 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및
상기 토큰 데이터베이스 내의 상기 하나 이상의 엔트리에 기초하여, 상기 토큰 시퀀스를 생성하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제10항에 있어서,
상기 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 음성 명령으로부터 상기 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고,
상기 토큰 시퀀스는 상기 맞춤형 사용자 정의된 명령과 관련되는, 컴퓨터 구현 방법.
제8항 내지 제11항 중 어느 한 항에 있어서,
상기 음성 명령을 수신하는 단계는, 상기 사용자가 상기 가전제품과 관련된 웨이크 워드를 언급했음을 탐지하는 단계를 더 포함하는, 컴퓨터 구현 방법.
제8항 내지 제12항 중 어느 한 항에 있어서,
상기 컴퓨터 구현 방법은,
상기 사용자에게 청각 확인 요청을 출력하는 단계로서, 상기 청각 확인 요청은, 상기 음성 명령을 확인하도록 상기 사용자에게 프롬프팅하는, 단계; 및
상기 사용자로부터 청각 확인을 수신하는 단계를 더 포함하며,
상기 청각 확인은 상기 음성 명령을 확인하는, 컴퓨터 구현 방법.
자연어 처리 및 사용자 피드백을 사용하는 통합형 네트워크 독립적 가전제품 제어 기능을 갖는 가전제품으로서,
가전제품 인터페이스;
상기 가전제품 인터페이스에 작동 가능하게 결합된 가전제품 제어기; 및
상기 가전제품 제어기에 통신 가능하게 결합된 통신 어댑터 장치를 포함하며,
상기 장치는,
프로세서;
통신 인터페이스; 및
실행 가능 코드가 이에 저장된 메모리를 포함하고,
상기 실행 가능 코드는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
사용자로부터 상기 가전제품을 제어하기 위한 음성 명령을 수신하는 단계;
자연어 이해("NLU") 모듈을 사용하여, 상기 음성 명령을 파싱하는 단계;
상기 음성 명령을 토큰 세트로 변환하는 단계로서, 상기 토큰 세트는, 상기 가전제품의 가전제품 인터페이스 상의 인터페이스 요소 세트에 해당하는, 단계;
상기 가전제품의 상기 가전제품 제어기에 상기 토큰을 전송하는 단계; 및
상기 토큰에 기초하여, 상기 가전제품의 상기 가전제품 제어기를 통해 상기 가전제품을 제어하는 단계를 수행하도록 하는,
자연어 처리 및 사용자 피드백을 사용하는 통합형 네트워크 독립적 가전제품 제어 기능을 갖는 가전제품.
제14항에 있어서,
상기 음성 명령은, 상기 가전제품의 구성을 변경하기 위한 요청을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 가전제품의 구성을 변경하기 위한 상기 요청과 관련된 하나 이상의 파라미터를 식별하는 단계를 포함하고,
상기 음성 명령을 토큰 세트로 변환하는 단계는, 상기 하나 이상의 파라미터에 기초하여 하나 이상의 토큰을 선택하는 단계를 포함하는, 가전제품.
제14항 또는 제15항에 있어서,
상기 음성 명령을 변환하는 단계는,
토큰 데이터베이스에 액세스하는 단계로서, 상기 토큰 데이터베이스는, 하나 이상의 가전제품과 관련된 하나 이상의 엔트리를 포함하고, 각각의 상기 하나 이상의 엔트리는, 상기 가전제품의 하나 이상의 기능과 관련된 하나 이상의 토큰을 포함하는, 단계;
상기 하나 이상의 엔트리 내의 엔트리 세트를 식별하는 단계로서, 상기 엔트리 세트는 상기 가전제품과 관련되는, 단계;
상기 가전제품과 관련되고 상기 음성 명령에 해당하는 토큰 시퀀스를 식별하는 단계; 및
상기 토큰 데이터베이스 내의 상기 하나 이상의 엔트리에 기초하여, 상기 토큰 시퀀스를 생성하는 단계를 더 포함하는, 가전제품.
제16항에 있어서,
상기 음성 명령은 맞춤형 사용자 정의된 명령을 포함하며,
상기 음성 명령을 파싱하는 단계는, 상기 음성 명령으로부터 상기 맞춤형 사용자 정의된 명령을 탐지하는 단계를 포함하고,
상기 토큰 시퀀스는 상기 맞춤형 사용자 정의된 명령과 관련되는, 가전제품.
제14항 내지 제17항 중 어느 한 항에 있어서,
상기 음성 명령을 수신하는 단계는, 상기 사용자가 상기 가전제품과 관련된 웨이크 워드를 언급했음을 탐지하는 단계를 더 포함하는, 가전제품.
제14항 내지 제18항 중 어느 한 항에 있어서,
상기 실행 가능 코드는, 추가로 상기 프로세서로 하여금,
상기 사용자에게 청각 확인 요청을 출력하는 단계로서, 상기 청각 확인 요청은, 상기 음성 명령을 확인하도록 상기 사용자에게 프롬프팅하는, 단계; 및
상기 사용자로부터 청각 확인을 수신하는 단계를 수행하도록 하며,
상기 청각 확인은 상기 음성 명령을 확인하는, 가전제품.
제14항 내지 제19항 중 어느 한 항에 있어서,
상기 실행 가능 코드는, 추가로 상기 프로세서로 하여금, 지도형 학습 프로세스를 개시하는 단계를 수행하도록 하며,
상기 지도형 학습 프로세스는,
상기 가전제품을 제어하는 결과에 관한 피드백에 대하여 상기 사용자에게 프롬프팅하는 단계;
상기 가전제품을 제어하는 상기 결과에 관한 청각 피드백을 상기 사용자로부터 수신하는 단계; 및
상기 청각 피드백에 기초하여, 인공 지능("AI") 모듈을 사용하여, 상기 가전제품과 관련된 하나 이상의 미리 정의된 설정을 조정하는 단계를 포함하는, 가전제품.