KR102489914B1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102489914B1
KR102489914B1 KR1020180109849A KR20180109849A KR102489914B1 KR 102489914 B1 KR102489914 B1 KR 102489914B1 KR 1020180109849 A KR1020180109849 A KR 1020180109849A KR 20180109849 A KR20180109849 A KR 20180109849A KR 102489914 B1 KR102489914 B1 KR 102489914B1
Authority
KR
South Korea
Prior art keywords
user
electronic device
artificial intelligence
identification information
mode
Prior art date
Application number
KR1020180109849A
Other languages
English (en)
Other versions
KR20190031167A (ko
Inventor
윤창배
김정인
오세원
조효영
김경래
김희정
양현진
차지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/629,399 priority Critical patent/US11874904B2/en
Priority to EP22193890.5A priority patent/EP4117232A1/en
Priority to CN201880055363.1A priority patent/CN111095892B/zh
Priority to PCT/KR2018/010921 priority patent/WO2019054827A1/ko
Priority to CN202210639432.1A priority patent/CN115016708A/zh
Priority to EP18856663.2A priority patent/EP3633947B1/en
Publication of KR20190031167A publication Critical patent/KR20190031167A/ko
Application granted granted Critical
Publication of KR102489914B1 publication Critical patent/KR102489914B1/ko
Priority to US18/534,300 priority patent/US20240111848A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

전자 장치 및 이의 제어 방법이 개시된다. 개시되는 전자 장치는, 입력부, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 타 전자 장치에게 요청하도록 통신부를 제어하고, 요청에 대한 응답으로서, 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며, 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 식별 정보를 바탕으로 타 전자 장치로 사용자 명령을 전송하도록 통신부를 제어하는 명령어들을 포함할 수 있다.
상기 인공 지능 비서 기능을 제공하는 전자 장치 또는 서버는, 규칙 기반 또는 인공 지능 알고리즘을 이용하여 음성을 인식하고 분석할 수 있다. 인공 지능 알고리즘을 이용하여 음성은 인식하고 분석하는 경우, 인공 지능 비서 기능을 제공하는 전자 장치 또는 서버는 기계 학습, 신경망 또는 딥러닝 알고리즘을 이용하여 음성을 인식하고 분석할 수 있다.

Description

전자 장치 및 이의 제어 방법{Electronic Device and method for controlling the electronic device}
본 개시는 인공 지능 비서의 활용 방법에 관한 것으로, 더욱 상세하게는 인공 지능 비서 기능을 외부 장치에서 사용하는 게스트 모드를 제공하는 전자 장치 및 이의 제어 방법에 관한 것이다.
키보드나 마우스를 이용한 전통적인 입력 방식에 부가하여, 최근의 전자 장치들은 음성 입력과 같은 다양한 입력 방식을 지원할 수 있다. 예를 들어, 스마트폰, 태블릿 또는 인공 지능 스피커와 같은 전자 장치들은 음성 인식 서비스가 실행된 상태에서 입력되는 사용자의 음성을 인식하고, 음성 입력에 대응되는 동작을 실행하거나 검색 결과를 제공할 수 있다.
음성 인식 기능은 자연어를 처리하는 기술을 기반으로 발전하고 있다. 자연어를 처리하는 기술은 사용자 발화의 의도를 파악하고, 의도에 맞는 결과를 사용자에게 제공하는 기술이다.
근래에 다양한 업체들이 이러한 음성 인식 기능에 기반한 인공 지능 비서 기능을 제공하고 있다.
인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예를 들면, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
기존의 인공 지능 비서 기능은 사용자가 사전에 등록한 장치에서 수행될 수 있다. 이에 따라, 사용자는 계속적인 사용으로 본인에게 맞추어진 인공 지능 비서 기능을 사용자가 기 설정하지 않은 장치 또는 타인의 장치에서 사용할 수 없는 불편함이 있었다.
또한 사용자가 사용하는 인공 지능 비서 기능과 다른 인공 지능 비서 기능을 사용하는 장치에서 사용자의 인공 지능 비서 기능을 사용할 수 없는 불편함이 있었다.
본 개시는 사용자가 기 설정하지 않은 장치 또는 타인의 장치에서도 종래에 사용하던 인공 지능 비서 기능을 사용할 수 있는 방법을 제안한다. 또한, 사용자가 사용하는 인공 지능 비서가 아닌 다른 인공 지능 비서를 제공하는 장치에서도 사용자의 인공 지능 비서 기능을 사용할 수 있는 방법을 제안하고자 한다.
일 실시예에 따른 전자 장치는, 입력부, 통신부, 프로세서, 및 메모리;를 포함하고, 상기 메모리는, 상기 프로세서가, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하도록 상기 통신부를 제어하고, 상기 요청에 대한 응답으로서, 상기 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며, 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는 명령어들(instructions)을 포함할 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 통신부를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스가 표시되도록 상기 디스플레이를 제어하고, 상기 사용자 인터페이스를 통한 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작; 상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작; 상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작, 상기 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시하는 동작, 및 상기 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작; 상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작; 상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 수행하도록 설정된 명령어들을 저장하는 기록 매체를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작, 상기 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시하는 동작, 및 상기 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작을 수행하도록 설정된 명령어들을 저장하는 기록 매체를 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 사용자는 사용자가 사용하는 인공 지능 비서 기능을 다른 인공 지능 비서 기능을 제공하는 장치에서도 사용할 수 있게 된다.
본 개시의 다양한 실시예에 따르면, 사용자는 사용자 인공 지능 비서 기능을 사용하던 장치가 아닌 외부 장치에서도 사용자에게 맞추어진 인공 지능 비서 기능을 사용할 수 있게 된다.
도 1a는 일 실시예에 따른 인공 지능 비서 기능에 포함 된 게스트 모드를 설정하는 과정을 설명하기 위한 도면이다.
도 1b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
도 1c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
도 1d는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
도 1e는 일 실시예에 따른 인공 지능 비서의 게스트 모드를 종료하는 상황을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 게스트 장치가 인공 지능 비서 기능에 포함된 게스트 모드의 시작과 종료를 알리는 알림을 생성하는 상황을 설명하기 위한 도면들이다.
도 3은 일 실시예에 따른 사용자 장치가 인공 지능 비서의 게스트 모드 시작을 위한 사용자 승인을 요청하는 상황을 설명하기 위한 도면들이다.
도 4는 일 실시예에 따른 사용자 장치가 사용자의 승인을 요청하는 다양한 상황을 설명하기 위한 도면들이다.
도 5는 일 실시예에 따른 게스트 장치, 사용자 장치 및 서버의 개략적인 블록도이다.
도 6은 일 실시예에 따른 게스트 장치가 사용자 장치에 전송하는 확인 신호의 실시예를 설명하는 도면이다.
도 7은 일 실시예에 따른 사용자 장치와 게스트 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드 활용을 설명하기 위한 도면이다.
도 8을 일 실시예에 따른 인공 지능 비서 기능의 게스트 모드 실행 방법을 설명하는 흐름도이다.
도 9a는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 9b는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 9c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
도 10은 일 실시예에 게스트 장치와 사용자 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 11a는 일 실시예에 따른 게스트 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
도 11b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
도 12는 일 실시예에 따른 인공 지능 비서 기능의 동작 방법을 설명하기 위한 도면이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다.
도 1a는 일 실시예에 따른 인공 지능 비서 기능에 포함 된 게스트 모드를 설정하는 과정을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 인공 지능 비서 기능은 게스트 모드 제공 장치(이하, 게스트 장치)(10) 및 사용자 장치(20) 중 적어도 하나를 포함하는 전자 장치와 적어도 하나 이상의 서버(15, 25)를 이용하여 구현될 수 있다. 서버(15, 25)는 클라우드(cloud) 서버를 포함할 수 있다. 그러나 이에 한정되는 것은 아니다.
전자 장치는 게스트 장치(10) 및 사용자 장치(20) 중 적어도 하나를 포함할 수 있다. 전자 장치는 전자 장치 내부에 저장 된 앱(또는, 어플리케이션 프로그램(application program))(예를 들면, 알람 앱, 메시지 앱, 갤러리 앱 등)을 통해 사용자에게 필요한 기능 또는 서비스를 제공할 수 있다.
예를 들어, 전자 장치는 전자 장치 내부에 저장된 음성 인식 앱과 같은 지능형 앱을 통해 다른 앱을 실행하고 동작시킬 수 있다. 전자 장치는 음성 인식 앱과 같은 지능형 앱을 동작시키기 위한 사용자 입력을 수신할 수 있다. 사용자 입력은, 예를 들면, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다.
일 실시예에 따르면, 전자 장치는 휴대폰, 스마트폰, PDA(personal digital assistant), 인공 지능(AI, artificial intelligence) 스피커 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 장치를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 전자 장치는 사용자의 발화를 수신하고 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 전자 장치는 생성된 명령을 이용하여 다양한 앱을 동작시킬 수 있다.
일 실시예에 따르면, 서버(15, 25)는 제3 기기(30)를 통해 전자 장치로부터 사용자 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 제3 기기는, 예를 들면, 엑세스 포인트(AP, access point), 중계기, 공유기, 게이트웨이 또는 허브 중 적어도 하나일 수 있다.
다양한 실시예에 따르면, 서버(15, 25)는 복수 개일 수 있다. 예를 들어, A 서버(15)는 A 인공 지능 비서 기능을 지원하는 플랫폼 또는 제조사의 서버이고, B 서버(25)는 B 인공 지능 비서 기능을 지원하는 플랫폼 또는 제조사의 서버일 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, A 인공 지능 비서 기능과 B 인공 지능 비서 기능은 다수 개의 서버를 이용하여 구현될 수 있다.
다양한 실시예에 따르면, 서버(15, 25)는 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 패스 룰은 앱의 기능을 수행하기 위한 동작(또는 오퍼레이션(operation)에 대한 정보 또는 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한 패스 룰은 앱의 동작 순서를 포함할 수 있다. 전자 장치는 패스 룰을 수신하고, 패스 룰에 따라 앱을 선택하고, 선택된 앱에서 패스 룰에 포함된 동작을 실행시킬 수 있다.
일 실시예에 따르면, 서버(15, 25)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 서버(15, 25)는 전자 장치로부터 사용자 정보(예를 들면, 컨텍스트 정보, 앱 실행 정보 등)를 수신하여 데이터베이스에 저장할 수 있다. 서버(15, 25)는 데이터베이스에 포함된 정보를 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다.
일 실시예에 따르면, 서버(15, 25)는 전자 장치 내에 저장된 기능 또는 앱의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 서버(15, 25)는 사용자 정보를 이용하여 사용자가 사용할 수 있는 기능에 대한 데이터베이스를 생성할 수 있다. 전자 장치는 통신망을 통해 서버(15, 25)로부터 제공될 수 있는 기능에 대한 정보를 수신하여 사용자에게 제공할 수 있다.
다양한 실시예에 따르면, 서버(15, 25) 또는 전자 장치는 자연어 이해 모듈, 자연어 생성 모듈 등 학습을 통하여 인식 능력을 향상시키는 인식 모델을 포함할 수 있다. 이 경우, 인식 모델은 기계 학습, 신경망 또는 딥러닝 알고리즘 등의 인공 지능 알고리즘을 이용하여 학습된 모델일 수 있다. 이 경우, 상술한 사용자의 발화를 인식하여 텍스트 데이터로 변경하는 과정에서 인공 지능 알고리즘을 사용할 수 있다. 이에 대한 설명은 도 12에서 후술한다.
도 1a를 이용하여 인공 지능 비서 기능에 포함된 게스트 모드의 설정 방법을 설명한다.
인공 지능 비서 기능의 제1 모드(예로, 게스트 모드)는, 예를 들면, 사용자 소유의 전자 장치가 아닌 타 전자 장치를 이용하여 사용자 소유의 전자 장치에서 사용하던 인공 지능 비서 기능을 수행하는 모드를 의미할 수 있다. 즉, 사용자의 소유가 아닌 게스트 장치(10)에서 사용자 장치(20)를 제어하여 사용자 장치(20)에서 사용하던 인공 지능 비서 기능을 사용하는 것을 의미할 수 있다.
이 경우, 게스트 장치(10)와 사용자 장치(20)는 서로 다른 인공 지능 비서 기능을 사용할 수 있다. 예를 들어, 게스트 장치(10)는 A 서버(15)와 연동되는 A 인공 지능 비서 기능을 사용하고, 사용자 장치(20)는 B 서버(25)와 연동되는 B 인공 지능 비서 기능을 사용할 수 있다.
즉, 사용자는 사용자 장치(20)에서 사용하던 B 인공 지능 비서 기능을 게스트 모드를 이용하여 게스트 장치(10)에서 사용할 수 있다. 다양한 실시예에 따르면, A 서버(15)는 A 제조사 또는 A 플랫폼에서 생성한 서버일 수 있고, B 서버(25)는 B 제조사 또는 B 플랫폼에서 생성한 서버일 수 있다.
일 실시예에 따르면, 게스트 장치(10)는 사용자가 인공 지능 비서 기능을 사용했던 데이터 또는 사용자의 사용을 통하여 사용자에게 맞추어진 음성 비서 데이터와 관련된 정보를 사용자 장치(20) 또는 사용자 장치(20)와 통신망을 통해 연결된 B 서버(25)로부터 수신할 수 있다.
동작 ①에서, 게스트 장치(10)는 사용자(1)로부터 게스트 모드의 설정을 요청하는 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 설정을 요청하는 발화를 할 수 있다. 그리고, 게스트 장치(10)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다. 다양한 실시예에 따르면, 게스트 장치(10)와 서버(15, 20)는 제3 기기(30)를 이용하지 않고 바로 네트워크를 형성할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 게스트 모드의 설정을 요청하는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 게스트 모드의 설정을 준비할 수 있다. 예를 들어, 게스트 장치(10)는 와이파이 다이렉트(wifi direct) 또는 애드 훅(Ad-hoc) 기능을 실행하여 주변에 위치한 통신 가능한 장치를 검색하는 확인 신호를 생성하여 전송할 수 있다. 이 때, 주변에 위치한 장치는 사용자 장치(20)일 수 있다. 즉, 게스트 장치(10)는 사용자 장치(20)에서 사용하는 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청할 수 있다.
동작 ⑤에서, 사용자 장치(20)는 게스트 장치(10)로부터 인공 지능 비서 기능을 사용하기 위한 호출어(예를 들면, 빅스비, 알렉사, 코타나 등)를 포함하는 식별 정보를 요청하는 확인 신호를 수신할 수 있다. 이 경우, 사용자 장치(20)는 상기 식별 정보 전송에 대한 사용자(1)의 확인을 요청하는 사용자 인터페이스를 표시할 수 있다.
인공 지능 비서 기능을 사용하기 위한 식별 정보는, 예를 들면, B 인공 지능 비서에 접근할 수 있는 계정 정보, B 인공 지능 비서의 명칭, B 인공 지능 비서를 제공하는 제조사 명칭, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼 중 적어도 하나를 포함할 수 있다.
이때, 식별 정보가 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼인 경우, 게스트 장치(10)는 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼에 대응하는 인공 지능 비서의 호출어를 저장할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 식별 정보의 전송에 대한 사용자(1)의 확인이 있는 경우, 식별 정보를 게스트 장치(10)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 사용자 장치(20)로부터 식별 정보가 수신되는 경우, 제3 기기(30)에 연결할 수 있는 정보를 사용자 장치(20)에 전송할 수 있다. 예를 들어, 게스트 장치(10)와 제3 기기(30)가 wi-fi(wireless fidelity)를 이용하여 통신망을 수립한 경우, 유선/무선 LAN(local area network) 프레임에 포함된 옵셥 필드를 이용하여 게스트 장치(10)와 사용자 장치(20) 사이의 인터페이스를 정의할 수 있다.
일 실시예에 따르면, 게스트 장치(10)와 사용자 장치(20)는 자연어 기반의 인터페이스를 정의할 수 있다. 예를 들어, 게스트 장치(10)와 사용자 장치(20)는 사용자로부터 입력된 음성을 파일 형태로 주고받을 수 있다. 또한, 게스트 장치(10)와 사용자 장치(20)는 음성을 구조화된 텍스트 형태(예를 들어, CSV(comma separated value), XML(extensible markup language), HTML(hypertext markup language), JSON(java script object notation) 등)로 변환하거나, 자연어 형태의 텍스트 형태로 변환하여 주고받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 와이파이 다이렉트(wifi direct) 또는 애드 훅(Ad-hoc) 기능을 종료하고, 제3 기기(30)에 접속하고, 게스트 모드가 실행되었음을 알리는 사용자 인터페이스를 생성할 수 있다.
예를 들어, 게스트 장치(10)가 AI(artificial intelligence) 스피커인 경우, 게스트 장치(10)는 음성으로 게스트 모드의 시작을 사용자에게 알릴 수 있다. 게스트 장치(10)가 스마트 폰, 또는 태블릿 PC인 경우, 게스트 장치(10)는 디스플레이 등에 게스트 모드의 시작을 알리는 사용자 인터페이스를 표시할 수 있다.
한편, 상술한 실시예에서는 게스트 모드로 진입하기 위하여, 게스트 모드의 설정을 요청하는 사용자 명령(예로, 사용자 발화)를 수신하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)가 사용자 장치(20)가 포함하는 네트워크 시스템(예로, 홈 네트워크 시스템)에 접속된 경우, 게스트 장치(10)는 게스트 모드로 진입할 수 있다.
도 1b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 음악을 재생하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 내가 어제 듣던 가수의 앨범을 계속 재생해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 음악을 재생하려는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 사용자 장치(20)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 음악을 재생하는 것은 게스트 장치(10)의 동작으로 판단하고, 음악 파일(예: 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 획득하는 것은 사용자 장치(20)의 동작으로 판단할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 사용자 장치(20)에게 사용자가 어제 듣던 가수의 앨범의 음악 파일을 전송해줄 것을 요청할 수 있다. 예를 들어, 게스트 장치(10)는 사용자 장치(20)로부터 수신한 식별 정보(예를 들면, B 인공 지능 비서의 호출어인 빅스비)를 이용하여 "빅스비, 어제 듣던 가수의 앨범에 있는 음악 파일을 전송해줘"와 같은 자연어 기반 텍스트를 제3 기기(30)로 전송할 수 있다. 또 다른 실시예에 의하면, 게스트 장치(10)는 게스트 장치(10)와 사용자 장치(20) 사이에 정의된 인터페이스에 따라 자연어 기반 텍스트가 아닌 입력된 음성을 파일 형태로 바로 사용자 장치(20)로 전송하거나 입력된 음성을 B 인공 지능 비서 기능에 대응되는 구조화된 텍스트로 변경하여 사용자 장치(20)로 전송할 수 있다.
다양한 실시예에 따르면, 식별 정보가 "빅스비"가 아니라, B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼인 경우, 게스트 장치(10)는 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼과 대응하여 저장된 호출어인 "빅스비"이용하여 동작 ⑤와 동일한 동작을 수행할 수 있다.
동작 ⑤에서, 사용자 장치(20)는 제3 기기(30)로부터 "빅스비, 어제 듣던 가수의 앨범에 있는 음악 파일을 전송해줘"라는 게스트 장치(10)의 요청을 수신할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 검색할 수 있다. 동작 ⑥에서, 사용자 장치(20)는 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)이 사용자 장치(20)에 없는 경우, 통신망을 통해 연결된 B 서버(25)에게 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)의 전송을 요청하여 수신받을 수 있다.
동작 ⑦에서, 사용자 장치(20)는 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 제3 기기(30)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 전송받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 음악 재생 어플리케이션을 실행하고, 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 재생할 수 있다.
다양한 실시예에 따르면, 사용자(1)는 게스트 모드를 이용하여 네트워크에 연결된 다양한 가전 기기들(1000)을 제어할 수 있다.
예를 들어, 게스트 장치(10)는 "TV를 켜고 1번 채널을 보여줘"라는 사용자(1)의 명령에 수신할 수 있다. 게스트 장치(10)는 수신된 명령을 사용자 장치(20)로 전송할 수 있다. 사용자 장치(20)는 수신된 명령에 따라서 네트워크에 연결된 TV(1001)을 제어하여 TV를 ON 하고, 채널을 1번으로 변경할 수 있다.
도 1c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
예를 들어, 게스트 장치(10)가 사용하는 A 서버(15)를 통해 B 서버(25)가 제공하는 B 인공 지능 비서 기능을 게스트 모드로 활용하는 상황일 수 있다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 음악을 재생하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 내가 가장 많이 청취한 앨범을 재생해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)에 전송하고, A 서버(15)에 포함된 음성 인식 알고리즘 등을 이용하여 확인할 수 있다.
동작 ②에서, 게스트 장치(10)는 수신된 명령을 음성 파일 형태로 제3 기기(30)로 전송할 수 있다. 동작 ②에서, A 서버(15)는 제3 기기(30)로부터 사용자(1)의 명령을 수신할 수 있다.
동작 ③에서 A 서버(15)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작으로 구분할 수 있다. 예를 들어, A 서버(15)는 음악을 재생하는 것은 게스트 장치(10)의 동작으로 판단하고, 음악 파일(예: 사용자가 가장 많이 청취한 앨범에 있는 음악 파일)을 획득하는 것은 B 서버(25)의 동작으로 판단할 수 있다.
동작 ④에서, A 서버(15)는 B 서버(25)에게 "사용자가 가장 많이 청취한 앨범"에 있는 음악 파일을 전송해줄 것을 요청할 수 있다. 예를 들어, A 서버(15)는, 도 1a에서 상술한 바와 같이, 사용자 장치(20)로부터 수신한 식별 정보(예를 들면, B 인공 지능 비서의 호출어인 빅스비)를 이용하여 "빅스비, 가장 많이 청취한 앨범에 있는 음악 파일을 전송해줘"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다. 또 다른 실시예에 의하면, A 서버(15)는 A 서버(15)와 B 서버(25) 사이에 정의된 인터페이스에 따라 자연어 기반 텍스트가 아닌 입력된 음성을 파일 형태로 바로 B 서버(25)로 전송하거나 입력된 음성을 B 인공 지능 비서 기능에 대응되는 구조화된 텍스트로 변경하여 B 서버(25)로 전송할 수 있다
동작 ⑤에서, B 서버(25)는 A 서버(15)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 검색할 수 있다. 동작 ⑤에서, B 서버(25)는 A 서버(15)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)이 B 서버(25)에 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 전송을 요청하여 수신 받을 수 있다.
동작 ⑥에서, B 서버(25)는 수신된 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 A 서버(15)로 전송할 수 있다.
동작 ⑦에서, A 서버(15)는 수신된 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 제3 기기(30)로 전송할 수 있다. 또한, A 서버(15)는 게스트 장치(10)에게 음악 재생 어플리케이션을 실행할 것을 명령할 수 있다. 동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)과 명령을 수신할 수 있다.
동작 ⑧에서, 게스트 장치(10)는 음악 재생 어플리케이션을 실행하고, 수신된 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 재생할 수 있다.
도 1d는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
예를 들어, 게스트 장치(10)가 B 서버(25)를 통해 B 서버(25)가 제공하는 B 인공 지능 비서 기능을 게스트 모드로 활용하는 상황일 수 있다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 이미지를 표시하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 어제 촬영한 이미지를 보여줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)에 전송하고, A 서버(15)에 포함된 음성 인식 알고리즘 등을 이용하여 확인할 수 있다.
동작 ②에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 어제 촬영한 이미지)을 획득하는 것은 B 서버(25)의 동작으로 판단할 수 있다.
동작 ③에서, 게스트 장치(10)는 "빅스비, 어제 촬영한 이미지를 전송해줘"와 같은 명령을 제3 기기(30)로 전송할 수 있다. 동작 ③에서 B 서버(25)는 제3 기기(30)를 통해 게스트 장치(10)가 전송한 명령을 수신할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)와 B 서버(25)는 제3 기기(30)없이 직접 통신망을 통해 명령 또는 데이터를 송수신할 수 있다.
동작 ④에서, B 서버(25)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)를 검색할 수 있다. 동작 ④에서, B 서버(25)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)이 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)의 전송을 요청하여 수신받을 수 있다.
동작 ⑤에서, B 서버(25)는 이미지 파일(예를 들면, 어제 촬영한 이미지)을 제3 기기(30)로 전송할 수 있다. 동작 ⑤에서, 게스트 장치(10)는 제3 기기(30)로부터 이미지 파일(예를 들면, 어제 촬영한 이미지)을 수신할 수 있다.
동작 ⑥에서, 게스트 장치(10)는 이미지 재생 어플리케이션을 실행하고, 수신된 이미지 파일(예를 들면, 어제 촬영한 이미지)을 표시할 수 있다.
도 1e는 일 실시예에 따른 인공 지능 비서의 게스트 모드를 종료하는 상황을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 사용자(1)로부터 게스트 모드의 종료를 요청하는 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 종료를 요청하는 발화를 할 수 있다. 그리고, 게스트 장치(10)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 게스트 모드의 종료를 요청하는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 게스트 모드의 종료에 대한 알림을 제3 기기(30)로 전송할 수 있다.
동작 ④에서, 사용자 장치(20)는 제3 기기(30)로부터 게스트 모드의 종료에 대한 알림을 수신할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드 동작 동안 사용자 장치(20)로부터 수신된 데이터 및 식별 정보를 모두 삭제할 수 있다. 이로 인해, 사용자(1)는 게스트 장치(10)와 같은 타인의 전자 장치에 사용자(1)와 관련된 정보를 남기지 않을 수 있다. 또한, 게스트 장치(10)는 게스트 모드의 종료를 알리는 사용자 인터페이스를 생성할 수 있다.
다양한 실시예에 따르면, 사용자(1)는 사용자 장치(20)를 이용하여 게스트 모드를 종료할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 게스트 모드의 종료를 요청하는 사용자(1)의 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 종료를 요청하는 발화를 할 수 있다. 그리고, 사용자 장치(20)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
동작 ⑦에서, 사용자 장치(20)는 게스트 모드의 종료에 대한 알림을 제3 기기(30)로 전송할 수 있다. 동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 게스트 모드의 종료에 대한 알림을 수신할 수 있다. 사용자 장치(20)는 수신된 명령에 따라 게스트 장치(10)로의 데이터 전송을 중단할 수 있다.
게스트 장치(10)는 게스트 모드의 종료에 대한 알림이 수신되는 경우, 인공 지능 비서 기능의 게스트 모드 동작 동안 사용자 장치(20)로부터 수신된 데이터 및 식별 정보를 모두 삭제할 수 있다. 이로 인해, 사용자(1)는 게스트 장치(10)와 같은 타인의 전자 장치에 사용자(1)와 관련된 정보를 남기지 않을 수 있다.
이와 같이, 본 개시의 일 실시예에 따르면, 사용자(1)는 사용하던 전자 장치가 아닌 다른 전자 장치를 이용하여 사용자의 전자 장치에서 사용하던 인공 지능 비서 기능을 사용할 수 있다. 이로 인해, 사용자는 사용자의 사용 이력에 따라 최적화된 인공 지능 비서 기능을 별도 설정 없이 다른 전자 장치에서 이용할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 음성 비서 게스트 모드를 지원하는 타 전자 장치는 게스트 모드의 종료 시 수신된 모든 데이터를 삭제하여 사용자의 정보가 타 전자 장치에 남아있는 것을 방지할 수 있다.
한편, 상술한 실시예에서는 게스트 장치(10)와 사용자 장치(20)가 서로 다른 인공 지능 비서 기능을 사용하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)와 사용자 장치(20)는 서로 같은 인공 지능 비서 기능을 사용할 수 있다. 예를 들어, 게스트 장치(10) 및 사용자 장치(20) 모두 A 서버(15)와 연동되는 A 인공 지능 비서 기능을 사용할 수 있다. 이 경우, 게스트 장치(10)에 게스트 모드의 설정을 요청하는 명령이 수신되면, 게스트 장치(10)는 A 서버(15)로부터 사용자 장치(20)의 계정 정보를 획득할 수 있다. 게스트 장치(10)는 획득된 사용자 장치(20)의 계정 정보를 바탕으로 사용자 장치(20)에 액세스하여 사용자 장치(20)를 제어할 수 있다.
또한, 상술한 실시예에서는 게스트 장치(10)에 B 인공 지능 비서의 호출어를 이용한 사용자의 발화가 입력된 경우, 게스트 장치(10)가 사용자 장치(20)에 사용자 발화(또는 사용자 발화에 대응되는 텍스트)를 전송하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)에 A 인공지능 비서의 호출어를 이용한 사용자 발화가 입력된 경우에도, 게스트 장치(10)가 사용자 장치(20)에 사용자 발화(또는 사용자 발화에 대응되는 텍스트를 전송할 수 있다.
예로, A 인공지능 비서의 호출어가 "갤럭시"이고, B 인공지능 비서의 호출어가 "빅스비"인 경우, 게스트 장치(10)에 "갤럭시, 어제 촬영한 이미지를 보여줘"라는 사용자 음성이 입력될 수 있다. 이때, 게스트 장치(10)는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 사용자 장치(20)(또는 B 서버(25))가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 어제 촬영한 이미지)을 획득하는 것은 사용자 장치(20)(또는 B 서버(25))의 동작으로 판단할 수 있다.
이때, 게스트 장치(10)는 사용자 장치(20)(또는 B 서버(25))의 동작으로 판단한 명령을 전송하기 위하여, 식별 정보에 포함된 B 인공지능 비서기능의 호출어를 이용할 수 있다. 예로, 게스트 장치(10)는 "빅스비, 어제 촬영한 이미지를 전송해줘"와 같은 텍스트(또는 구조화된 텍스트)와 같이, B 인공지능 비서기능의 호출어를 포함하는 명령을 생성하고, 생성된 명령을 사용자 장치(20)(또는 B 서버(25))에 전송할 수 있다.
사용자 장치(20)(또는 B 서버(25))는 게스트 장치(10)로부터 수신된 명령에 응답하여 어제 촬영한 이미지를 게스트 장치(10)로 전송할 수 있다.
즉, 게스트 장치(10)는 B 인공지능 비서기능의 호출어를 포함하는 사용자 명려이가 입력되지 않더라도 B 인공지능 비서기능의 호출어를 이용하여 사용자 명령을 사용자 장치(20)(또는 B 서버(25))로 전송할 수 있다.
또 다른 실시예에서는 게스트 장치(10)는 사용자 발화에 포함된 B 인공지능 비서기능의 호출어를 바탕으로 사용자 장치(20)가 수행할 동작을 판단할 수 있다. 예로, 게스트 장치(10)에 "갤럭시, 빅스비에게 어제 촬영한 이미지를 전송해 달라고 요청해 줘"라는 사용자 발화가 수신된 경우, 게스트 장치(10)는 사용자 발화에 포함된 B 인공지능 비서의 호출어인 "빅스비"를 바탕으로 B 인공지능 비서(즉, 사용자 장치(20))가 수행할 동작이 "어제 촬영한 이미지 전송"이라는 것을 판단할 수 있다.
도 2는 일 실시예에 따른 게스트 장치가 인공 지능 비서 기능에 포함된 게스트 모드의 시작과 종료를 알리는 알림을 생성하는 상황을 설명하기 위한 도면들이다.
도 2의 (a)를 참조하면, 게스트 장치(10)는 게스트 모드의 설정을 요청하는 사용자의 명령을 수신하고, "게스트 모드의 설정을 준비합니다."(210) 라는 알림을 표시할 수 있다.
게스트 장치(10)가 AI 스피커인 경우, 게스트 모드의 설정을 요청하는 사용자의 발화를 수신할 수 있다. AI 스피커는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 발화를 텍스트 형태로 변환하여 게스트 모드의 설정을 요청하는 발화의 내용을 인식할 수 있다.
게스트 장치(10)가 스마트 폰과 같이 터치 스크린 또는 물리 키를 포함하는 경우, 게스트 모드의 설정을 요청하는 사용자의 터치 입력 또는 키 입력을 수신하고, 게스트 모드를 시작할 수 있다. 그러나 이에 한정되지 않고, 스마트 폰도 사용자의 발화를 수신하여 게스트 모드를 시작할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "게스트 모드 설정을 준비합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드 설정을 준비하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드 설정을 준비하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (b)를 참조하면, 게스트 장치(10)는 와이파이 다이렉트(wi-fi direct) 또는 애드 훅(Ad-hoc) 기능을 실행하여 주변에 위치한 통신 가능한 장치를 검색하는 확인 신호를 전송할 수 있다. 확인 신호는, 예를 들면, 사용자 장치에서 사용하던 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청하는 신호일 수 있다.
게스트 장치(10)는 확인 신호를 전송하고, 식별 정보를 수신하는 동안, "사용 정보 확인 중"(220) 이라는 알림을 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "사용 정보 확인 중"이라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 사용 정보를 확인하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 사용 정보를 확인하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (c)를 참조하면, 게스트 장치(10)는 사용자 장치로부터 식별 정보를 수신하면, 게스트 모드를 시작할 수 있다. 예를 들어, 게스트 장치(10)는 와이파이 모드로 통신 방법을 변경하고, 사용자 장치에게 제3 기기에 접속할 수 있는 와이파이 연결 정보를 제공할 수 있다. 사용자 장치가 제3 기기에 접속한 것이 확인되면, 게스트 장치(10)는 "게스트 모드를 시작합니다."(230) 라는 알림을 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "게스트 모드를 시작합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드를 시작하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드를 시작하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (d)를 참조하면, 게스트 장치(10)는 게스트 모드의 종료를 요청하는 사용자의 명령을 수신하면, 게스트 모드를 종료할 수 있다. 예를 들어, 게스트 장치(10)가 AI 스피커인 경우, 게스트 모드의 종료를 요청하는 사용자의 발화를 수신할 수 있다. 게스트 장치(10)는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 발화의 내용을 인식할 수 있다.
게스트 장치(10)가 스마트 폰과 같이 터치 스크린 또는 물리 키를 포함하는 경우, 게스트 모드의 종료를 요청하는 사용자의 터치 입력 또는 키 입력을 수신하고, 게스트 모드를 종료할 수 있다. 그러나 이에 한정되지 않고, 스마트 폰도 사용자의 발화를 수신하여 게스트 모드를 종료할 수 있다.
일 실시예에 따르면, 게스트 장치(10)는 게스트 모드 실행 중 외부의 서버 또는 사용자 장치로부터 수신되어 게스트 장치(10)에 저장된 데이터 및 식별 정보를 모두 삭제할 수 있다.
게스트 장치(10)는 데이터 삭제 후 또는 데이터를 삭제하면서, "게스트 모드를 종료합니다."(240) 라는 알림을 디스플레이(11)에 표시할 수 있다. 전자 장치가 AI 스피커인 경우, 전자 장치는 "게스트 모드를 종료합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드를 종료하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드를 종료하는 단계를 상징하는 소리를 생성할 수도 있다.
도 3은 일 실시예에 따른 사용자 장치가 인공 지능 비서의 게스트 모드 시작을 위한 사용자 승인을 요청하는 상황을 설명하기 위한 도면들이다.
도 3의 (a)를 참조하면, 사용자 장치(20)는 게스트 모드의 시작을 위한 사용자 승인을 요청하는 알림을 생성할 수 있다. 예를 들어, 사용자 장치(20)는 게스트 장치로부터 게스트 모드 실행을 위한 식별 정보를 요청하는 확인 신호가 수신되면, 디스플레이(21)에 "게스트 모드를 위한 사용자 승인을 요청합니다."(310) 라는 사용자 인터페이스를 표시할 수 있다.
도 3의 (b)를 참조하면, 사용자 장치(20)는 식별 정보 전송을 위한 사용자 승인을 위하여 사용자의 발화를 요청하는 사용자 인터페이스를 표시할 수 있다. 예를 들어, 사용자 장치(20)는 ""삼성" 표시된 단어를 읽어 주세요"(320)라는 사용자 인터페이스를 표시할 수 있다.
일 실시예에 따르면, 사용자 장치(20)는 사용자의 발화를 수신하고 음성 데이터를 분석하여 사용자를 확인할 수 있다. 즉, 사용자 장치(20)는 표시된 발화를 읽은 음성 특징(예를 들면, 톤, 억양 등)을 인공 지능 비서 기능을 사용하면서 누적된 사용자의 음성 특징과 비교하여 동일한지 확인할 수 있다.
도 3의 (c)를 참조하면, 사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일한 경우, "게스트 모드를 위한 사용자 승인이 완료되었습니다."(340)라는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 3의 (d)를 참조하면, 사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일하지 않은 경우, 다시 한번 발화를 요청하는 사용자 인터페이스를 표시할 수 있다. 이 경우, 사용자 장치(20)는 종래 표시한 단어보다 음성 특징을 구분하기 용이한 단어를 설정할 수 있다. 예를 들어, 사용자 장치는 ""삶은 달걀" 표시된 단어를 읽어 주세요."(330)라는 사용자 인터페이스를 표시할 수 있다.
사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일한 경우, 도 3의 (c)와 같이, "게스트 모드를 위한 사용자 승인이 완료되었습니다."(340)라는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4는 일 실시예에 따른 사용자 장치가 사용자의 승인을 요청하는 다양한 상황을 설명하기 위한 도면들이다.
일 실시예에 따르면, 사용자 장치(20)는 발화를 인식하는 것 이외에 다양한 방식으로 식별 정보 전송에 대한 사용자의 확인을 진행할 수 있다.
도 4의 (a) 내지 도 4의 (c)를 참조하면, 사용자 장치(20)는 사용자의 신체의 적어도 일부를 인식하기 위한 생체 인식 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4의 (a)를 참조하면, 사용자 장치(20)는 홍채 인식 사용자 인터페이스(410)를 표시할 수 있다. 사용자 장치(20)는 내장된 카메라(미도시)를 이용하여 사용자의 두 눈이 두 개의 원에 위치하는 경우의 영상을 촬영하여 사용자의 홍채를 인식할 수 있다.
도 4의 (b)를 참조하면, 사용자 장치(20)는 안면 인식 사용자 인터페이스(420)를 표시할 수 있다. 사용자 장치(20)는 내장된 카메라(미도시)를 이용하여 사용자의 얼굴이 타원에 위치하는 경우의 영상을 촬영하여 사용자의 안면을 인식할 수 있다.
도 4의 (c)를 참조하면, 사용자 장치(20)는 지문 인식 사용자 인터페이스(430)를 표시할 수 있다. 사용자 장치(20)는 디스플레이(21)의 일부에 지문 인식 모듈을 포함할 수 있다. 이 경우, 사용자 장치(20)는 디스플레이(21)의 일정 영역에 지문 인식 사용자 인터페이스를 표시할 수 있다.
다양한 실시예에 따르면, 사용자 장치(20)는 홈 키 또는 사용자 장치(20)의 다른 영역에 지문 인식 모듈을 위치할 수 있다. 이 경우, 사용자 장치(20)는 해당 영역에 손가락을 위치하도록 안내하는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4의 (d)를 참조하면, 사용자 장치(20)는 기 설정된 비밀 번호를 입력하는 사용자 인터페이스(440)를 표시할 수 있다. 이 경우, 사용자 장치는, 예를 들어, 사용자가 비밀 번호 입력 사용자 인터페이스를 터치하는 경우, 문자 또는 숫자를 입력할 수 있는 사용자 인터페이스를 팝업 형태로 디스플레이(21)에 표시할 수 있다.
도 5는 일 실시예에 따른 게스트 장치, 사용자 장치 및 서버의 개략적인 블록도이다.
도 5의 (a) 내지 도 5의 (c)를 참조하면, 게스트 장치(10)는 프로세서(510), 통신부(512), 메모리(514) 및 입력부(516)를 포함할 수 있다. 사용자 장치(20)는 프로세서(520), 통신부(522), 메모리(524) 및 디스플레이(523)를 포함할 수 있다. 서버(15)는 프로세서(530), 통신부(532) 및 메모리(534)를 포함할 수 있다. 그러나, 이에 한정되지는 않고 게스트 장치(10), 사용자 장치(20) 및 서버(15)는 구성 요소를 더 포함하거나 덜 포함할 수 있다.
일 실시예에 따르면, 프로세서(510. 520. 530)는, 예를 들면, 소프트웨어를 구동하여 프로세서(510. 520. 530)에 연결된 전자 장치의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(510. 520. 530)는 다른 구성요소(예를 들면, 통신부)로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
일 실시예에 따르면, 프로세서(510. 520. 530)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서는 메인 프로세서와 별개로 또는 임베디드 되어 운영될 수 있다.
이런 경우, 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치의 구성요소들 중 적어도 하나의 구성요소(예: 입력부, 또는 통신부)와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 통신부, 카메라 모듈)의 일부 구성 요소로서 구현될 수 있다.
일 실시예에 따르면, 메모리(514, 524, 534)는, 전자 장치의 적어도 하나의 구성요소(예: 프로세서(510. 520. 530))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(514, 524, 534)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
일 실시예에 따르면, 통신부(512, 522, 532)는 게스트 장치(10), 사용자 장치(20) 및 서버(15)와의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(512, 522, 532)은 프로세서(510, 520, 530)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
일 실시예에 따르면, 통신부(512, 522, 532)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈()은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
도 5의 (a)를 참조하면, 게스트 장치(10)의 프로세서(510)는 인공 지능 비서 기능을 외부 장치에서 사용할 수 있는 게스트 모드의 설정을 요청하는 명령이 입력부(516)를 통해 수신되는 경우, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 사용자 장치(20)로 요청하고, 사용자 장치(20)로부터 식별 정보를 수신하도록 통신부(512)를 제어할 수 있다.
일 실시예에 따르면, 게스트 장치(10)의 메모리(514)는 사용자 장치(20)로부터 수신된 식별 정보 및 인공 지능 비서 기능의 게스트 모드 동작 시에 사용되는 데이터가 저장될 수 있다. 게스트 장치(10)의 입력부(516)는, 예를 들면, 마이크, 터치 패널 등 사용자의 입력을 받을 수 있는 구성 요소일 수 있다. 다양한 실시예에 따르면, 게스트 장치(10)는 디스플레이, 출력부(예: 스피커, 조명 장치 등)을 더 포함할 수 있다.
도 5의 (b)를 참조하면, 사용자 장치(20)의 프로세서(520)는 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청하는 신호가 수신되는 경우, 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 생성하고, 사용자의 확인이 있는 경우, 식별 정보를 게스트 장치(10)로 전송하도록 통신부(522)를 제어할 수 있다.
일 실시예에 따르면, 사용자 장치(20)의 메모리(524)는 사용자가 인공 지능 비서 기능을 사용하면서 생성된 데이터가 저장될 수 있다. 예를 들어, 인공 지능 비서 기능을 호출하는 식별 정보, 사용자의 사용 이력 등이 저장될 수 있다. 또한, 사용자 장치(20)의 메모리(524)는 게스트 장치(10)로부터 수신한 제3 기기에 접속할 수 있는 정보를 저장할 수 있다.
사용자 장치(20)의 디스플레이(526)는 프로세서(520)의 제어에 따라서 식별 정보를 게스트 장치로 전송하는 것에 대한 확인을 요청하는 사용자 인터페이스를 표시할 수 있다. 디스플레이(526)는 터치 입력을 수신하는 터치 스크린의 형태일 수 있다. 다양한 실시예에 따르면, 사용자 장치(20)는 출력부(예: 스피커, 조명 장치 등), 입력부(예: 마이크), 카메라 모듈 등을 더 포함할 수 있다.
도 5의 (c)를 참조하면, 서버(15)의 프로세서(530)는 음성 인식 알고리즘을 이용하여 게스트 장치(10) 또는 사용자 장치(20)로부터 수신된 음성 파일에 포함된 내용을 확인할 수 있다. 서버(15)의 프로세서(530)는 확인된 내용에 따라 게스트 장치(10) 또는 사용자 장치(20)와 데이터를 송수신할 수 있다.
도 6은 일 실시예에 따른 게스트 장치가 사용자 장치에 전송하는 확인 신호의 실시예를 설명하는 도면이다.
도 6을 참조하면, 게스트 장치(예: 도 1a의 게스트 장치(10))는, 예를 들면, 제2 통신 방식으로 변경한 후, 하기와 같은 구조를 포함하는 확인 신호를 생성하여 사용자 장치(예: 도 1a의 사용자 장치(20))를 검색할 수 있다.
게스트 장치(예: 도 1a의 게스트 장치(10))가 생성하는 확인 신호는, 예를 들면, 무선 네트워크의 존재를 알리고, 상대방 장치로 하여금 무선 네트워크를 찾도록 도와주고, 무선 네트워크에 참여하도록 주기적으로(예를 들면, 초당 10회 등)으로 방송하는 프레임을 의미할 수 있다. 이 경우, 확인 신호는 무선 네트워크와 관련된 각종 파라미터 정보를 포함할 수 있다.
일 실시예에 따른 확인 신호는 헤더와 프레임 몸체로 구분할 수 있다.
헤더는, 예를 들면, Frame control 필드, Duration/ID 필드, DA(destination address, 목적지 주소) 필드 및 SA(source address, 송신지 주소) 필드, BSS ID(basic service set identifier) 필드 및 시퀀스 제어 필드를 포함할 수 있다.
Frame control 필드는 프레임의 맨 처음 시작 부분에 위치하고, 2 바이트의 크기를 가질 수 있다. Frame control 필드는 네트워크를 형성하는 각 장치간에 전달되는 프레임의 제어와 관련된 정보를 담을 수 있다.
Duration/ID 필드는 Frame control 필드 바로 뒤에 따라오는 2 바이트 크기를 가지는 필드이다. Duration/ID 필드는 NAV(network allocation vector) 값 또는 ps-조사 프레임의 해당 스테이션 ID를 제공할 수 있다.
DA(destination address, 목적지 주소) 필드 및 SA(source address, 송신지 주소) 필드는 전자 장치의 식별을 위한 6바이트 크기의 하드웨어 상에 구현된 물리적 주소를 의미할 수 있다.
BSS ID(basic service set identifier) 필드는 숫자값으로서 기본 서비스 영역을 식별하는 6바이트의 식별자 또는 네트워크 ID를 의미할 수 있다. BSS ID 필드는 여러 기본 서비스 영역들이 공존할 때 서로를 식별 가능하게 할 수 있다.
시퀀스 제어 필드는 정해진 순서에 따라 제어(control) 동작을 차례대로 행하도록 안내하는 2 바이트 크기의 필드이다.
FCS(frame check sequence) 필드는 프레임의 끝 부분에 위치하는 4 바이트의 필드로서, 수신측의 에러 검출을 돕기 위해 삽입하는 필드이다.
프레임 몸체는 관리 목적에 따라서 많은 수의 고정 또는 가변 길이의 필드/요소들로 유연하게 구성될 수 있다. 프레임 몸체는, 예를 들면, Timestamp 필드, Beacon interval 필드, Capacity Information 필드, SSID 필드 및 옵션필드를 포함할 수 있다.
Timestamp 필드는 8 바이트의 크기를 가지고, 기본 서비스 영역에서 각 장치간의 동기화를 위한 필드이다.
Beacon interval 필드는 2 바이트의 크기를 가지고, 비콘 프레임 전송 주기(또는, 시간 간격)을 표시할 수 있다.
Capacity Information 필드는 2 바이트의 크기를 가지고, 비콘 프레임, 프로브 응답 프레임 등에 주로 사용될 수 있다.
SSID 필드는 가변 필드로서, 문자값을 가지며, 여러 개의 Acess Point 들을 그룹화하여 하나의 IP 서브넷 관할 하에 두고 운영하는 서비스 제공자의 명칭을 의미할 수 있다.
옵션필드는 다양한 정보를 포함할 수 있다. 일 실시예에 따르면, 본 개시에서는 게스트 장치(예: 도1a의 게스트 장치(10))와 사용자 장치(예: 도 1b의 게스트 장치(20))간의 인터페이스 방법에 대한 정의를 포함할 수 있다. 예를 들어, 게스트 장치(예: 도1a의 게스트 장치(10))와 사용자 장치(예: 도 1b의 게스트 장치(20))는 자연어 기반의 상호 통신 방법을 정의할 수 있다.
이 경우, 두 장치(예: 게스트 장치, 사용자 장치)는 사용자가 입력한 음성을 파일 형태로 송수신하거나, 사용자가 입력한 음성을 구조화된 텍스트 형태(예를 들어, CSV(comma separated value), XML(extensible markup language), HTML(hypertext markup language), JSON(java script object notation) 등)로 변경하거나, 또는 사용자가 입력한 음성을 자연어 텍스트 형태로 변경한 후 송수신할 수 있다.
도 7은 일 실시예에 따른 사용자 장치와 게스트 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드 활용을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 인공 지능 비서 기능을 이용하여 이미지를 표시하려는 사용자의 명령을 수신할 수 있다. 이하에서, 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 8월에 촬영한 사진 표시해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 이미지를 표시하려는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 서버(15)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 8월에 촬영된 이미지들)을 획득하는 것은 서버(15)의 동작으로 판단할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 서버(15)에게 "8월에 촬영된 이미지"파일들을 전송해줄 것을 요청할 수 있다. 예를 들어, 게스트 장치(10)는 "빅스비, 8월에 촬영한 이미지 파일을 전송해줘"와 같은 자연어 기반 텍스트를 제3 기기(30)로 전송할 수 있다.
동작 ⑤에서, 서버(15)는 제3 기기(30)로부터 "빅스비, 8월에 촬영한 이미지 파일을 전송해줘"라는 게스트 장치(10)의 요청을 수신할 수 있다.
동작 ⑥에서, 서버(15)는 게스트 장치(10)의 요청에 대응하는 이미지 파일들(예를 들면, 8월에 촬영된 이미지 파일들)을 검색할 수 있다. 동작 ⑥에서, 서버(15)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)이 서버(15)에 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)을 요청하여 수신받을 수 있다.
동작 ⑦에서, 서버(15)는 이미지 파일을 제3 기기(30)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 이미지 파일을 전송 받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 이미지 재생 어플리케이션을 실행하고, 수신된 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)을 표시할 수 있다.
도 8을 일 실시예에 따른 인공 지능 비서 기능의 게스트 모드 실행 방법을 설명하는 흐름도이다.
동작 810을 참조하면, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드의 설정을 요청하는 명령을 수신할 수 있다. 그리고, 게스트 장치(10)는 사용자의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다. 이 경우, 게스트 장치(10)는 인공 지능 비서 기능을 위해 통신망을 설립하고 있는 서버에 수신된 명령을 전송하여 발화에 포함된 내용을 인식할 수도 있다.
동작 820을 참조하면, 게스트 장치(10)는 제1 통신 방식을 제2 통신 방식으로 변경할 수 있다. 예를 들면, 게스트 장치(10)는 와이파이(wi-fi) 모드를 Ad-hoc 모드 또는 와이파이 다이렉트(wi-fi direct) 모드로 변경할 수 있다.
동작 830을 참조하면, 게스트 장치(10)는 제2 통신 방식을 이용하여 인공 지능 비서 기능을 사용하기 위한 식별 정보를 사용자 장치(20)에게 요청할 수 있다.
동작 840을 참조하면, 사용자 장치(20)는 식별 정보 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 생성하여 표시할 수 있다. 예를 들어, 사용자 장치(20)는 음성 인식 기능을 이용하여 사용자의 확인을 수신할 수 있다.
동작 850을 참조하면, 사용자 장치(20)는 식별 정보를 게스트 장치(10)로 전송할 수 있다.
동작 860을 참조하면, 식별 정보를 수신한 게스트 장치(10)는 제1 통신 방식에 연결할 수 있는 정보를 사용자 장치(20)에게 전송할 수 있다.
동작 870을 참조하면, 게스트 장치(10)는 제2 통신 방식을 제1 통신 방식으로 변경할 수 있다. 예를 들어, 게스트 장치(10)는 Ad-hoc 모드 또는 와이파이 다이렉트(wi-fi direct) 모드를 와이파이(wi-fi)모드로 변경할 수 있다.
동작 880을 참조하면, 사용자 장치(20)는 제1 통신 방식에 연결할 수 있는 연결 정보를 이용하여 게스트 장치(10)와 통신망을 설립하여 연결될 수 있다.
동작 890을 참조하면, 사용자 장치(20)는 연결 완료 메시지를 게스트 장치(10)로 전송할 수 있다.
도 9a는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 910을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 912을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 사용자 장치(20)가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 오늘 일정을 알려줘"인 경우, 게스트 장치(10)는 오늘의 일정을 획득하는 것은 사용자 장치(20)의 동작이고, 수신된 일정을 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 914을 참조하면, 게스트 장치(10)는 기 수신된 사용자 장치(20)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 사용자 장치(20)의 동작을 포함하는 명령어를 사용자 장치(20)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 오늘 일정을 보내주세요"와 같은 자연어 기반 텍스트를 사용자 장치(20)로 전송할 수 있다.
동작 916을 참조하면, 사용자 장치(20)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, 사용자 장치(20)는 일정 어플리케이션에 저장된 사용자의 오늘 일정을 획득할 수 있다. 다양한 실시예에 따르면, 사용자 장치(20)는 인공 지능 비서 기능을 지원하는 서버와 연동하여 사용자의 오늘 일정을 획득할 수도 있다.
동작 918을 참조하면, 사용자 장치(20)는 데이터를 게스트 장치(10)로 전송할 수 있다.
동작 920을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 사용자의 오늘 일정을 스피커를 통해서 제공하거나, 또는 디스플레이를 통해 표시할 수 있다.
도 9b는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 930을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다. 사용자의 명령은, 예를 들면, "빅스비, 내일 일정을 알려줘"일 수 있다.
동작 932를 참조하면, 게스트 장치(10)는 수신된 사용자의 명령을 A 서버(15)로 전송할 수 있다.
동작 934를 참조하면, A 서버(15)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작을 구분할 수 있다. 예를 들어, A 서버(15)는 내일의 일정을 획득하는 것은 B 서버(25)의 동작이고, 수신된 일정을 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 936을 참조하면, A 서버(15)는 기 수신된 B 서버(25)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 B 서버(25)의 동작을 포함하는 명령어를 B 서버(25)로 전송할 수 있다. 예를 들어, A 서버(15)는 "빅스비, 내일 일정을 보내주세요"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다.
동작 938을 참조하면, B 서버(25)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, B 서버(25)는 메모리에 저장된 사용자의 일정 파일(예를 들면, 사용자의 내일 일정 파일)을 획득할 수 있다. 다양한 실시예에 따르면. B 서버(25)는 사용자 장치(20)와 연동하여 사용자의 일정 파일(예를 들면, 사용자의 내일 일정 파일)을 획득할 수도 있다.
동작 940을 참조하면, B 서버(25)는 획득한 데이터를 A 서버(15)로 전송할 수 있다.
동작 942를 참조하면, A 서버(15)는 게스트 장치(10)의 동작을 확인할 수 있다.
동작 944를 참조하면, A 서버(15)는 게스트 장치(10)가 수행할 동작과 수신된 데이터를 게스트 장치(10)로 전송할 수 있다. 예를 들어, A 서버(15)는 게스트 장치(10)가 일정 관리 어플리케이션을 실행할 것을 명령할 수 있다.
동작 946을 참조하면, 게스트 장치(10)는 수신된 게스트 장치(10)가 수행할 동작과 데이터를 이용하여 사용자 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 사용자의 내일 일정을 스피커를 통해서 제공하거나, 또는 디스플레이를 통해 표시할 수 있다.
도 9c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
동작 950을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 952을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 어제 작성한 문서 보여줘"인 경우, 게스트 장치(10)는 어제 작성한 문서를 획득하는 것은 B 서버(25)의 동작이고, 수신된 문서를 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 954을 참조하면, 게스트 장치(10)는 기 수신된 B 서버(25)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 B 서버(25)의 동작을 포함하는 명령어를 B 서버(25)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 어제 작성된 문서를 보내주세요"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다.
동작 956을 참조하면, B 서버(25)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, B 서버(25)는 문서 작성 어플리케이션에 저장된 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 획득할 수 있다. 다양한 실시예에 따르면, B 서버(25)는 사용자 장치(20)와 연동하여 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 획득할 수도 있다.
동작 958을 참조하면, 사용자 장치(20)는 획득한 데이터를 게스트 장치(10)로 전송할 수 있다.
동작 920을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 디스플레이를 통해 표시할 수 있다.
도 10은 일 실시예에 게스트 장치와 사용자 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 1010을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 1020을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치가 수행할 동작과 사용자 장치가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 운명 교향곡을 재생해줘"인 경우, 게스트 장치(10)는 운명 교향곡 음악 파일을 획득하는 것은 A 서버(15)의 동작이고, 수신된 음악 파일을 재생하는 것은 사용자 장치(20)의 동작으로 판단할 수 있다.
동작 1030을 참조하면, 게스트 장치(10)는 인공 지능 비서의 식별 정보를 이용하여 A 서버(15)의 동작을 포함하는 명령어를 사용자 장치(20)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 운명 교향곡 음악 파일을 보내주세요"와 같은 자연어 기반 텍스트를 A 서버(15)로 전송할 수 있다.
동작 1040을 참조하면, A 서버(15)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, A 서버(15)는 메모리에 저장된 음악 파일(예를 들면, 운명 교향곡 음악 파일)을 획득할 수 있다. 다양한 실시예에 따르면, A 서버(15)는 인공 지능 비서 기능을 사용하는 사용자 장치와 연동하여 음악 파일(예를 들면, 운명 교향곡 음악 파일)을 획득할 수도 있다.
동작 1050을 참조하면, A 서버(15)는 데이터(예를 들면, 음악 파일)를 게스트 장치(10)로 전송할 수 있다.
동작 1060을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 음악 파일(예를 들면, 운명 교향‚u 음악 파일)을 스피커를 통해서 재생할 수 있다.
도 11a는 일 실시예에 따른 게스트 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
동작 1110을 참조하면, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 종료하려는 사용자의 명령을 수신할 수 있다.
동작 1112을 참조하면, 게스트 장치(10)는 게스트 모드 종료를 요청하는 사용자의 명령이 수신 된 것을 사용자 장치(20)에게 알릴 수 있다. 예를 들어, 게스트 장치(10)는 "빅스비, 게스트 모드 종료합니다."와 같은 자연어 기반 텍스트를 사용자 장치(20)로 전송할 수 있다.
동작 1114을 참조하면, 사용자 장치(20)는 게스트 장치(10)와 통신망을 형성하였던 제1 통신 방식을 종료할 수 있다.
동작 1116을 참조하면, 게스트 장치(10)는 수신된 데이터 및 식별 정보를 삭제할 수 있다. 예를 들어, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 실행하면서 사용자 장치(20)로부터 수신된 식별 정보 및 사용자 장치(20) 또는 외부의 서버로부터 수신된 모든 데이터를 삭제할 수 있다.
도 11b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
동작 1120을 참조하면, 사용자 장치(20)는 인공 지능 비서의 게스트 모드를 종료하려는 사용자의 명령을 수신할 수 있다.
동작 1122를 참조하면, 사용자 장치(20)는 게스트 모드 종료를 요청하는 사용자의 명령이 수신된 것을 게스트 장치(10)에게 알릴 수 있다.
동작 1124를 참조하면, 게스트 장치(10)는 수신된 데이터 및 식별 정보를 삭제할 수 있다. 예를 들어, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 실행하면서 사용자 장치(20)로부터 수신된 식별 정보 및 사용자 장치(20) 또는 외부의 서버로부터 수신된 모든 데이터를 삭제할 수 있다.
동작 1126을 참조하면, 사용자 장치(20)는 게스트 장치(10)와 통신망을 형성하였던 제1 통신 방식을 종료할 수 있다.
도 12는 일 실시예에 따른 인공 지능 비서 기능의 동작 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 인공 지능 비서 기능은 게스트 장치(10)와 사용자 장치(20)를 포함하는 전자 장치(1200d), 지능형 서버(1200a), 개인 정보화 서버(1200b) 및 제안 서버(1200c)를 포함할 수 있다. 다양한 실시예에 따르면, 지능형 서버(1200a), 개인 정보화 서버(1200b) 및 제안 서버(1200c)는 도 1a와 같이 하나의 서버로 구성될 수도 있다.
지능형 서버(1200a)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(1210), 자연어 이해(natural language understanding)(NLU) 모듈(1220), 패스 플래너(path planner) 모듈(1230), 대화 매니저(dialogue manager)(DM) 모듈(1240), 자연어 생성(natural language generator)(NLG) 모듈(1250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(1260)을 포함할 수 있다.
지능형 서버(1200a)의 자연어 이해 모듈(1220) 또는 패스 플래너 모듈(1230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(1210)은 전자 장치(1200d)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(1210)은 전자 장치(1200d)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(1210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(1211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(1220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 도메인(domain), 의도(intend) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)을 포함할 수 있다. 복수의 룰은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(1221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(1221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(1220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(1221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)뿐만 아니라 자동 음성 인식 모듈(1210)도 자연어 인식 데이터베이스(1221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상기 자연어 이해 모듈(1220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 패스 플래너 모듈(1230)로부터 전자 장치(1200d)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 맵핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 전자 장치(1200d)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(1230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(1231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(1231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(1220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(1220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력에 대한 요청으로 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력에 대응되는 하나의 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력에 대응되는 복수의 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(1220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 자연어 이해 모듈(1220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(1230)에 연결된 패스 룰 데이터베이스(1231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 전자 장치(1222d)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(1220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(1231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(1220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 사용자의 의도 및 파라미터를 전자 장치(1200d)에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(1220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(1230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(1231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 자연어 이해 모듈(1220)에서 생성된 패스 룰을 패스 룰 데이터베이스(1231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(1231)에 저장된 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 패스 룰 데이터베이스(1231)에 저장된 테이블에는 복수의 패스 룰 또는 복수의 패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(1240)은 자연어 이해 모듈(1220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(1240)은 파라미터의 정보가 충분하지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(1240)는 자연어 이해 모듈(1220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(1240)는 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(1240)는 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(1240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(1220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(1240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 전자 장치(1200d)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG 모듈)(1250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 전자 장치(1200d)로 송신되어 디스플레이에 표시되거나, 텍스트 음성 변환 모듈(TTS 모듈)(1260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(TTS 모듈)(1260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(1260)은 자연어 생성 모듈(1250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 전자 장치(1200d)로 송신할 수 있다. 전자 장치(1200d)는 상기 음성 형태의 정보를 스피커로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220), 패스 플래너 모듈(1230) 및 대화 매니저 모듈(1240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(1220), 패스 플래너 모듈(1230) 및 대화 매니저 모듈(1240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 전자 장치(1200d)로 송신될 수 있다.
도 13은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 도면이다. 한편 도 13에서 설명한 전자 장치는 상술한 게스트 장치(10)이며, 타 전자 장치는 상술한 사용자 장치(20)이다.
우선, 전자 장치는 타 전자 장치의 인공지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트 발생을 감지할 수 있다(S1310). 이때, 제1 모드의 설정을 요청하는 이벤트는 제1 모드의 설정을 요청하는 사용자 발화를 수신하는 이벤트(예로, "빅스비, 게스트 모드로 전환해줘"), 전자 장치에 구비된 특정 버튼을 선택하는 이벤트, 전자 장치에 표시된 메뉴 화면을 통해 제1 모드의 설정을 요청하는 사용자 입력을 수신하는 이벤트, 타 전자 장치를 포함하는 네트워크 시스템에 접속하는 이벤트 등이 포함될 수 있다. 이때, 전자 장치는 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 제2 통신 방식을 이용하여 식별 정보를 타 전자 장치에게 요청할 수 있다.
전자 장치는 인공지능 비서기능을 사용하기 위한 호출어를 포함하는 식별 정보를 타 전자 장치에게 요청할 수 있다(S1320). 즉, 전자 장치는 타 전자 장치가 사용하는 B 인공지능 비서기능을 사용하기 위한 호출어(예로, 빅스비)를 포함하는 식별 정보를 타 전자 장치에게 요청할 수 있다. 이때, 식별 정보에는 인공 지능 비서의 명칭, 인공 지능 비서의 계정 정보, 인공 지능 비서를 제조하는 제조사 명칭, 인공 지능 비서의 URL 정보 또는 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함할 수 있다.
전자 장치는 요청에 대한 응답으로서, 타 전자 장치로부터 식별 정보를 수신할 수 있다(S1330). 이때, 전자 장치는 제2 통신 방식을 이용하여 식별 정보를 수신할 수 있다. 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우, 전자 장치는 제2 통신 방식을 제1 통신 방식으로 재변경할 수 있다.
전자 장치는 인공지능 비서의 제1 모드로 동작하는 동안 사용자 명령을 수신할 수 있다(S1340). 일 실시예에서는, 전자 장치는 식별 정보에 포함된 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다. 예로, 전자 장치는 "빅스비, 어제 찍은 사진 보여줘"라는 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다. 다른 실시예에서는, 전자 장치는 전자 장치의 인공지능 비서기능의 호출어를 포함하는 사용자 발화 명령을 포함할 수 있다. 예로, 전자 장치의 인공지능 기능의 호출어가 "갤럭시"인 경우, 전자 장치는 "갤럭시, 어제 찍은 사진 보여줘"라는 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다.
전자 장치는 식별 정보를 바탕으로 타 전자 장치로 사용자 명령을 전송할 수 있다(S1350). 특히, 전자 장치는 입력부를 이용하여 수신되는 사용자 명령에서 타 전자 장치가 수행할 동작을 구분하고, 식별 정보를 포함하여 타 전자 장치가 수행할 동작을 명령어(command)로 생성하고, 생성된 명령어를 타 전자 장치로 전송할 수 있다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 도면이다. 한편 도 13에서 설명한 전자 장치는 상술한 사용자 장치(20)이며, 타 전자 장치는 상술한 게스트 장치(10)이다.
전자 장치는 인공지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신할 수 있다(S1410). 이때, 전자 장치는 제1 통신 방식을 이용하여 식별 정보의 전송을 요청하는 신호를 수신할 수 있다.
전자 장치는 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시할 수 있다(S1420). 예로, 전자 장치는 도 2 내지 도 4에서 설명한 방법을 통해 사용자 인터페이스를 통해 사용자의 확인을 수신할 수 있다.
전자 장치는 사용자의 확인에 대한 결과로서, 식별 정보를 타 전자 장치로 전송할 수 있다(S1430). 이때, 전자 장치는 제1 통신 방식을 이용하여 식별 정보를 전송할 수 있으며, 식별 정보를 전송한 후, 제1 통신 방식을 제2 통신 방식으로 변경할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)으로 제공될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체 또는 판매자 및 구매자 간에 거래되는 상품을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램 제품은 전자 장치 또는 전자 장치 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 게스트 장치 11: 디스플레이
15: A 서버 20: 사용자 장치
21: 디스플레이 25: B 서버
30: 제3 기기 510: 프로세서
512: 통신부 514: 메모리
516: 입력부 520: 프로세서
522: 통신부 523: 디스플레이
524: 메모리 530: 프로세서
532: 통신부 534: 메모리
1200a: 지능형 서버 1200b: 개인 정보화 서버
1200c: 제안 서버 1200d: 전자 장치
l210: 자동 음성 인식 모듈 1220: 자연어 이해 모듈
1230: 패스 플래너 모듈 1231: 패스 룰 데이터베이스
1240: 대화 매니저 모듈 1250: 자연어 생성 모듈
1260: 텍스트 음성 변환 모듈

Claims (18)

  1. 입력부;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 상기 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 상기 제2 통신 방식을 이용하여 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하도록 상기 통신부를 제어하고,
    상기 요청에 대한 응답으로서, 상기 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며,
    상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는 명령어들(instructions)을 포함하며,
    상기 제1 통신 방식은 와이-파이 모드이며, 상기 제2 통신 방식은 애드-훅 모드 또는 와이파이 다이렉트 모드인, 전자 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우에, 상기 제2 통신 방식을 상기 제1 통신 방식으로 재변경하는 명령어들을 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 식별 정보는,
    상기 인공 지능 비서의 명칭, 상기 인공 지능 비서의 계정 정보, 상기 인공 지능 비서를 제조하는 제조사 명칭, 상기 인공 지능 비서의 URL 정보 또는 상기 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 입력부를 통해 상기 호출어를 포함하는 사용자 명령이 수신되는 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는, 전자 장치.
  6. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 입력부를 이용하여 수신되는 사용자 명령에서 상기 타 전자 장치가 수행할 동작을 구분하고, 상기 식별 정보를 포함하여 상기 타 전자 장치가 수행할 동작을 명령어(command)로 생성하고, 생성된 명령어를 상기 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 입력부를 통해 상기 제1 모드의 종료를 요청하는 명령이 수신되는 경우, 상기 식별 정보 및 상기 인공 지능 비서의 제1 모드 동작 시에 수신된 데이터를 삭제하는 명령어들을 포함하는, 전자 장치.
  8. 디스플레이;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    애드-훅 모드 또는 와이-파이 다이렉트 모드를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스가 표시되도록 상기 디스플레이를 제어하고,
    상기 사용자 인터페이스를 통한 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함하는, 전자 장치.
  9. 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작;
    상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 전자 장치에 포함된 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 상기 제2 통신 방식을 이용하여 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작;
    상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및
    상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 포함하며,
    상기 제1 통신 방식은 와이-파이 모드이며, 상기 제2 통신 방식은 애드-훅 모드 또는 와이-파이 다이렉트 모드인 전자 장치의 제어 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 제어 방법은,
    상기 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우,
    상기 제2 통신 방식을 상기 제1 통신 방식으로 재변경하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 식별 정보는,
    상기 인공 지능 비서의 명칭, 상기 인공 지능 비서의 계정 정보, 상기 인공 지능 비서를 제조하는 제조사 명칭 또는 상기 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함하는, 전자 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 제어 방법은,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 호출어를 포함하는 사용자 명령이 수신되는 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  14. 제9항에 있어서,
    상기 제어 방법은,
    상기 인공 지능 비서의 제1 동작 시, 사용자의 명령이 수신되는 경우, 수신된 사용자 명령에서 상기 타 전자 장치가 수행할 동작을 구분하고, 상기 식별 정보를 포함하여 상기 타 전자 장치가 수행할 동작을 명령어로 생성하고, 생성된 명령어를 상기 타 전자 장치로 전송하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  15. 제9항에 있어서,
    상기 제어 방법은,
    상기 제1 모드의 종료를 요청하는 명령이 수신되는 경우,
    상기 식별 정보 및 상기 인공 지능 비서의 제1 모드 동작 시에 수신된 데이터를 삭제하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  16. 애드-훅 모드 또는 와이-파이 다이렉트 모드를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작;
    상기 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시하는 동작; 및
    상기 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  17. 전자 장치가, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작;
    상기 전자 장치가, 상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 전자 장치에 포함된 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 상기 제2 통신 방식을 이용하여 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하며 상기 제1 통신 방식은 와이-파이 모드이며, 상기 제2 통신 방식은 애드-훅 모드 또는 와이-파이 다이렉트 모드인 동작;
    상기 전자 장치가, 상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및
    상기 전자 장치가, 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 실행시키기 위하여 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
  18. 전자 장치가, 애드-훅 모드 또는 와이-파이 다이렉트 모드를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작;
    상기 전자 장치가, 상기 식별 정보의 전송을 요청하는 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 생성하는 동작; 및
    상기 전자 장치가, 상기 사용자 인터페이스를 통한 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작;을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 컴퓨터 프로그램.
KR1020180109849A 2017-09-15 2018-09-13 전자 장치 및 이의 제어 방법 KR102489914B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US16/629,399 US11874904B2 (en) 2017-09-15 2018-09-17 Electronic device including mode for using an artificial intelligence assistant function of another electronic device
EP22193890.5A EP4117232A1 (en) 2017-09-15 2018-09-17 Electronic device and control method therefor
CN201880055363.1A CN111095892B (zh) 2017-09-15 2018-09-17 电子装置及其控制方法
PCT/KR2018/010921 WO2019054827A1 (ko) 2017-09-15 2018-09-17 전자 장치 및 이의 제어 방법
CN202210639432.1A CN115016708A (zh) 2017-09-15 2018-09-17 电子装置及其控制方法
EP18856663.2A EP3633947B1 (en) 2017-09-15 2018-09-17 Electronic device and control method therefor
US18/534,300 US20240111848A1 (en) 2017-09-15 2023-12-08 Electronic device and control method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762559095P 2017-09-15 2017-09-15
US62/559,095 2017-09-15
KR20170156173 2017-11-22
KR1020170156173 2017-11-22

Publications (2)

Publication Number Publication Date
KR20190031167A KR20190031167A (ko) 2019-03-25
KR102489914B1 true KR102489914B1 (ko) 2023-01-20

Family

ID=65907674

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180109849A KR102489914B1 (ko) 2017-09-15 2018-09-13 전자 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US11874904B2 (ko)
EP (1) EP3633947B1 (ko)
KR (1) KR102489914B1 (ko)
CN (1) CN111095892B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343274B2 (en) * 2018-10-05 2022-05-24 Meta Platforms, Inc. Non-spoofable privacy indicator showing disabling of sensors on a network-connected client device
US11467882B2 (en) * 2018-12-21 2022-10-11 Target Brands, Inc. Methods and systems for rapid deployment of configurable computing resources
KR20210099564A (ko) * 2018-12-31 2021-08-12 인텔 코포레이션 인공 지능을 이용한 보안 시스템
WO2020213116A1 (ja) * 2019-04-18 2020-10-22 マクセル株式会社 情報処理装置およびデジタルアシスタントシステム
KR102093430B1 (ko) * 2019-06-24 2020-03-25 박연묵 인공지능 스마트 디바이스의 마이크모듈부 구조 및 이를 포함하는 인공지능 스마트 디바이스
WO2021002611A1 (en) * 2019-07-03 2021-01-07 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US20210042398A1 (en) * 2019-08-08 2021-02-11 Pulsepoint, Inc. Validation of Properties of a User Device in a Network
KR102370161B1 (ko) * 2019-09-18 2022-03-03 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버
KR20220149832A (ko) * 2021-04-30 2022-11-09 주식회사 다비다 IoT 스타네트워크를 기반으로 스마트펜과 인공지능 스피커를 이용한 영어 학습 플랫폼 시스템 및 서비스 제공 방법
US11778454B2 (en) * 2021-09-28 2023-10-03 International Business Machines Corporation Service provider independent mobile phone number-based service delivery

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160179462A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Connected device voice command support

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073411A1 (en) 2001-10-16 2003-04-17 Meade William K. System and method for automatically applying a user preference from a mobile computing device to an appliance
JP4867914B2 (ja) 2004-03-01 2012-02-01 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャンネルオーディオコーディング
US7562385B2 (en) 2005-04-20 2009-07-14 Fuji Xerox Co., Ltd. Systems and methods for dynamic authentication using physical keys
KR20070015661A (ko) 2005-08-01 2007-02-06 삼성전자주식회사 이동통신 단말기에서 다른 이동통신 단말기의 접근인식을위한 장치 및 방법
KR20090124668A (ko) 2008-05-30 2009-12-03 (주)지란지교소프트 웹 상의 저장공간 공유 방법 및 그 방법을 수행하는 장치
CN102340331A (zh) 2010-07-20 2012-02-01 上海闻泰电子科技有限公司 移动终端蓝牙系统自动识别身份并发出信号的方法
KR20120013864A (ko) 2010-08-05 2012-02-15 오종택 휴대폰 및 사용자 프로파일, 서비스 서버를 이용한 스마트 안심서비스 시스템 및 방법
US9288228B2 (en) * 2011-08-05 2016-03-15 Nokia Technologies Oy Method, apparatus, and computer program product for connection setup in device-to-device communication
US8452597B2 (en) * 2011-09-30 2013-05-28 Google Inc. Systems and methods for continual speech recognition and detection in mobile computing devices
KR101899970B1 (ko) 2011-12-06 2018-09-19 한국전자통신연구원 모바일 클라우드 환경에 적용되는 모바일 단말과 클라우드 서버 및 이를 이용한 모바일 클라우드 컴퓨팅 방법
KR20130078486A (ko) 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN102629246B (zh) 2012-02-10 2017-06-27 百纳（武汉）信息技术有限公司 识别浏览器语音命令的服务器及浏览器语音命令识别方法
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
US8818276B2 (en) * 2012-05-16 2014-08-26 Nokia Corporation Method, apparatus, and computer program product for controlling network access to guest apparatus based on presence of hosting apparatus
EP2883204B1 (en) * 2012-08-10 2020-10-07 Nuance Communications, Inc. Virtual agent communication for electronic devices
CN103051734A (zh) * 2013-01-23 2013-04-17 广东志高空调有限公司 家电远程语音控制方法、系统及通信终端
WO2015038135A1 (en) * 2013-09-12 2015-03-19 Fingi Inc. Systems, methods and devices that allow the hospitality industry and guests to confirm identity and perform identity secure tasks
US9185641B2 (en) * 2013-07-16 2015-11-10 Qualcomm Innovation Center, Inc. Using discoverable peer-to-peer services to allow remote onboarding of headless devices over a Wi-Fi network
JP5613314B1 (ja) 2013-11-14 2014-10-22 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム
US20150167995A1 (en) * 2013-12-12 2015-06-18 Google Inc. Safe sandbox mode for a home device
US9804820B2 (en) * 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US20150189504A1 (en) * 2013-12-26 2015-07-02 Yen Hsiang Chew Method and apparatus for secure high-bandwidth ad-hoc networking
US9111214B1 (en) * 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
CN104978965B (zh) 2014-04-07 2019-04-26 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法
US9754479B2 (en) 2014-06-25 2017-09-05 Microsoft Technology Licensing, Llc Remote control of a mobile computing device with an auxiliary device
US20160070580A1 (en) * 2014-09-09 2016-03-10 Microsoft Technology Licensing, Llc Digital personal assistant remote invocation
US9424841B2 (en) * 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
CN111427533B (zh) 2014-12-11 2023-07-25 微软技术许可有限责任公司 能够实现可动作的消息传送的虚拟助理系统
US9990921B2 (en) 2015-12-09 2018-06-05 Lenovo (Singapore) Pte. Ltd. User focus activated voice recognition
US10021109B2 (en) * 2016-02-24 2018-07-10 Xerox Corporation System and method for automatically providing proximity based guest access to a network of resource devices
US10945129B2 (en) * 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10685656B2 (en) * 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
CN106326486B (zh) 2016-09-05 2019-10-15 北京百度网讯科技有限公司 基于人工智能的推送信息的方法和装置
US10853747B2 (en) * 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
US11663535B2 (en) * 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10559309B2 (en) * 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10885219B2 (en) * 2017-02-13 2021-01-05 Microsoft Technology Licensing, Llc Privacy control operation modes
US10438584B2 (en) * 2017-04-07 2019-10-08 Google Llc Multi-user virtual assistant for verbal device control
US11188808B2 (en) * 2017-04-11 2021-11-30 Lenovo (Singapore) Pte. Ltd. Indicating a responding virtual assistant from a plurality of virtual assistants
DK179745B1 (en) * 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US10580098B2 (en) * 2017-05-29 2020-03-03 Virtual OnQ Systems, LLC Voice activated hotel room monitor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160179462A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Connected device voice command support

Also Published As

Publication number Publication date
KR20190031167A (ko) 2019-03-25
CN111095892A (zh) 2020-05-01
CN111095892B (zh) 2022-06-24
EP3633947A4 (en) 2020-05-27
US11874904B2 (en) 2024-01-16
US20200143017A1 (en) 2020-05-07
EP3633947B1 (en) 2022-11-02
EP3633947A1 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
KR102489914B1 (ko) 전자 장치 및 이의 제어 방법
US20210065716A1 (en) Voice processing method and electronic device supporting the same
KR102389625B1 (ko) 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
CN110998720A (zh) 话音数据处理方法及支持该方法的电子设备
US9538005B1 (en) Automated response system
KR20190109868A (ko) 사운드 데이터를 처리하는 시스템 및 시스템의 제어 방법
KR102339819B1 (ko) 프레임워크를 이용한 자연어 표현 생성 방법 및 장치
US11096112B2 (en) Electronic device for setting up network of external device and method for operating same
KR20190019401A (ko) 전자 장치 및 그 제어 방법
KR102508863B1 (ko) 전자 장치 및 상기 전자 장치로부터 수신된 데이터를 처리하는 서버
WO2021008538A1 (zh) 语音交互方法及相关装置
KR102343084B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102472010B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR102594838B1 (ko) 사용자 발화에 응답하여 통화를 포함하는 태스크를 수행하는 전자 장치 및 그 동작 방법
KR20200074690A (ko) 전자 장치 및 이의 제어 방법
CN111258529B (zh) 电子设备及其控制方法
KR102369309B1 (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
JP6689953B2 (ja) 通訳サービスシステム、通訳サービス方法及び通訳サービスプログラム
KR20210001082A (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
KR20210066651A (ko) 전자 장치 및 이의 제어 방법
JP2010079149A (ja) 来客受付装置、担当者端末、来客受付方法、及び来客受付プログラム
CN114999496A (zh) 音频传输方法、控制设备及终端设备
US20240111848A1 (en) Electronic device and control method therefor
KR102519635B1 (ko) 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
US20230368785A1 (en) Processing voice input in integrated environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right