WO2019054827A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2019054827A1
WO2019054827A1 PCT/KR2018/010921 KR2018010921W WO2019054827A1 WO 2019054827 A1 WO2019054827 A1 WO 2019054827A1 KR 2018010921 W KR2018010921 W KR 2018010921W WO 2019054827 A1 WO2019054827 A1 WO 2019054827A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
electronic device
artificial intelligence
guest
identification information
Prior art date
Application number
PCT/KR2018/010921
Other languages
English (en)
French (fr)
Inventor
윤창배
김정인
오세원
조효영
김경래
김희정
양현진
차지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180109849A external-priority patent/KR102489914B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22193890.5A priority Critical patent/EP4117232A1/en
Priority to EP18856663.2A priority patent/EP3633947B1/en
Priority to US16/629,399 priority patent/US11874904B2/en
Priority to CN202210639432.1A priority patent/CN115016708A/zh
Priority to CN201880055363.1A priority patent/CN111095892B/zh
Publication of WO2019054827A1 publication Critical patent/WO2019054827A1/ko
Priority to US18/534,300 priority patent/US20240111848A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present invention relates to a method of utilizing an artificial intelligence secretary, and more particularly, to an electronic device providing a guest mode using an artificial intelligence assistant function in an external apparatus and a control method thereof.
  • modern electronic devices can support a variety of input methods such as voice input.
  • electronic devices such as smart phones, tablets, or artificial intelligent speakers may recognize a user's voice input while the voice recognition service is running, perform an action corresponding to the voice input, or provide search results .
  • Speech recognition is evolving based on natural language processing technology.
  • the technology for processing natural language is a technique for grasping the intention of user utterance and providing the user with an intentional result.
  • Artificial intelligence system is a system that the machine learns, judges, and becomes smarter, unlike the existing rule-based smart system. Artificial intelligence systems are becoming more and more recognizable as users use them, and existing rule-based smart systems are increasingly being replaced by deep-run-based artificial intelligence systems.
  • Machine learning for example, deep learning
  • machine learning for example, machine learning
  • Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself.
  • Element technology is a technology that simulates functions such as recognition and judgment of human brain using machine learning algorithms such as deep learning. Understanding, reasoning / prediction, knowledge representation, and motion control.
  • Linguistic understanding is a technology for recognizing, applying, and processing human language / characters, including natural language processing, machine translation, dialogue system, query response, speech recognition / synthesis, and the like.
  • Visual understanding is a technology for recognizing and processing objects as human vision, including object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference prediction is a technique for judging and logically inferring and predicting information, including knowledge / probability based reasoning, optimization prediction, preference base planning, and recommendation.
  • Knowledge representation is a technology for automating human experience information into knowledge data, including knowledge building (data generation / classification) and knowledge management (data utilization).
  • the motion control is a technique for controlling the autonomous travel of the vehicle and the motion of the robot, and includes motion control (navigation, collision, traveling), operation control (behavior control), and the like.
  • the existing artificial intelligence assistant function can be performed on a device registered by the user in advance. Accordingly, the user has inconvenience that the artificial intelligence assistant function tailored to the user can not be used in a device that the user has not previously set up or in a device of another person.
  • the user's artificial intelligence assistant function can not be used in the device using the artificial intelligent assistant function used by the user and another artificial intelligent assistant function.
  • This disclosure proposes a method that can use an artificial intelligence assistant function which is conventionally used in a device that the user has not previously set up or in a device of another person.
  • An electronic device includes an input unit, a communication unit, a processor, and a memory, wherein the memory is configured to request a setting of a first mode in which the processor can use an artificial intelligence assistant function of another electronic device
  • the communication unit controls the communication unit to request identification information including a caller for using the artificial intelligence assistant function to the other electronic device, and as a response to the request, Instructions for receiving the identification information from the device and controlling the communication unit to transmit a user command to the other electronic device based on the identification information when a user command is received in the first mode of operation of the AI secretary instructions.
  • An electronic device includes a display, a communication unit, a processor, and a memory, wherein the processor is configured to cause the processor to transmit identification information including an alerting code for using the intelligent secretarial function via the communication unit Controls the display to display a user interface requesting a user's confirmation of the transmission of the identification information when a signal requesting the identification of the user is received and, as a result of user's confirmation through the user interface, And to control the communication unit to transmit to another electronic device.
  • the processor is configured to cause the processor to transmit identification information including an alerting code for using the intelligent secretarial function via the communication unit Controls the display to display a user interface requesting a user's confirmation of the transmission of the identification information when a signal requesting the identification of the user is received and, as a result of user's confirmation through the user interface, And to control the communication unit to transmit to another electronic device.
  • a method of controlling an electronic device comprising: detecting occurrence of an event requesting a setting of a first mode in which an artificial intelligence assistant function of another electronic device can be used; Requesting the other electronic device for identification information including a caller for using the artificial intelligence secretaround function when an occurrence of an event requesting the setting of the first mode is detected; Receiving, as a response to the request, the identification information from the other electronic device; And transmitting a user command to the other electronic device based on the identification information when a user command is received in the first mode operation of the AI secretary.
  • a method of controlling an electronic device includes: receiving a signal requesting transmission of identification information including a caller for using an artificial intelligence assistant function; transmitting, when the signal is received, Displaying on the display a user interface requesting a user's confirmation of the identity of the user, and transmitting the identification information to another electronic device as a result of the user's confirmation.
  • the computer program product includes the steps of: detecting the occurrence of an event requesting a setting of a first mode in which an artificial intelligence assistant function of another electronic device can be used; Requesting the other electronic device for identification information including a caller for using the artificial intelligence secretaround function when an occurrence of an event requesting the setting of the first mode is detected; Receiving, as a response to the request, the identification information from the other electronic device; And transmitting a user command to the other electronic device based on the identification information when a user command is received in the first mode operation of the AI secretary, have.
  • a computer program product is characterized by the acts of: receiving a signal requesting transmission of identification information comprising an alerting word to use an artificial intelligence assistant function; when receiving the signal, Displaying a user interface requesting confirmation of the user on the display and transmitting the identification information to another electronic device as a result of the confirmation of the user, have.
  • a user may use the artificial intelligence assistant function used by a user in an apparatus that provides another artificial intelligent assistant function.
  • a user can use an artificial intelligence assistant function tailored to the user, even on an external device other than the one that used the user AI secretarial function.
  • FIG. 1A is a diagram for explaining a process of setting a guest mode included in the AI secretarial function according to an exemplary embodiment.
  • 1B is a diagram for explaining a situation in which a guest mode of an artificial intelligent assistant is utilized using a user apparatus according to an embodiment.
  • 1C is a diagram for explaining a situation in which a guest mode of an artificial intelligent assistant is utilized using a server according to an embodiment.
  • FIG. 1D is a view for explaining another situation utilizing the guest mode of the artificial intelligent assistant using the server according to the embodiment.
  • FIG. 1E is a diagram for explaining a situation where the guest mode of the AI secretary according to one embodiment is terminated.
  • FIG. 1E is a diagram for explaining a situation where the guest mode of the AI secretary according to one embodiment is terminated.
  • FIG. 2 is a diagram for explaining a situation in which a guest device according to an embodiment generates an announcement indicating the start and end of the guest mode included in the AI secretarial function.
  • FIG. 3 is a diagram illustrating a situation in which a user apparatus according to an embodiment requests a user approval for starting the guest mode of the AI secretary.
  • FIG. 4 is a diagram for explaining various situations in which a user apparatus according to an embodiment requests an approval of a user.
  • FIG. 5 is a schematic block diagram of a guest device, a user device, and a server according to one embodiment.
  • FIG. 6 is a diagram for explaining an embodiment of an acknowledgment signal transmitted to a user apparatus by a guest device according to an embodiment.
  • FIG. 7 is a diagram for explaining the guest mode utilization when the user apparatus and the guest apparatus according to the embodiment use the same artificial intelligence assistant function.
  • FIG. 8 is a flowchart illustrating a guest mode execution method of the artificial intelligence assistant function according to an embodiment.
  • 9A is a flow diagram illustrating a situation in which a guest mode of an artificial intelligence assistant is utilized utilizing a user device according to one embodiment.
  • 9B is a flowchart illustrating a situation in which a guest mode of the AI secretary is utilized using a server according to an embodiment.
  • 9C is a diagram for explaining another situation utilizing the guest mode of the AI secretary using the server according to the embodiment.
  • FIG. 10 is a flow diagram illustrating a situation in which a guest device and a user device utilize a guest mode when using the same artificial intelligence assistant function in one embodiment.
  • 11A is a flowchart for explaining a situation in which the artificial intelligent assistant function is terminated using a guest device according to an embodiment.
  • FIG. 11B is a flowchart illustrating a situation in which the artificial intelligent assistant function is terminated using a user apparatus according to an embodiment.
  • FIG. 12 is a diagram for explaining an operation method of the artificial intelligent assistant function according to an embodiment.
  • the electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a laptop, a desktop, a smart phone
  • portable multimedia device e.g., a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • FIG. 1A is a diagram for explaining a process of setting a guest mode included in the AI secretarial function according to an exemplary embodiment.
  • the artificial intelligence assistant function includes an electronic device including at least one of a guest mode provision device 10 (hereinafter guest device) and a user device 20 and at least one server 15, . ≪ / RTI >
  • the servers 15 and 25 may include a cloud server.
  • the present invention is not limited thereto.
  • the electronic device may include at least one of the guest device 10 and the user device 20.
  • the electronic device can provide a function or a service necessary for a user through an application (or an application program) stored in the electronic device (for example, an alarm app, a message app, a gallery app, etc.).
  • an electronic device can run and operate another app through an intelligent app, such as a speech recognition app stored within an electronic device.
  • the electronic device may receive user input for operating an intelligent app, such as a speech recognition app.
  • the user input may be received via, for example, a physical button, a touch pad, a voice input, a remote input, or the like.
  • the electronic device may include various devices connectable to the Internet, such as a mobile phone, a smart phone, a personal digital assistant (PDA), an artificial intelligence (AI) speaker or a notebook computer.
  • a mobile phone such as a smart phone, a personal digital assistant (PDA), an artificial intelligence (AI) speaker or a notebook computer.
  • PDA personal digital assistant
  • AI artificial intelligence
  • the electronic device may receive a user's utterance as a user input.
  • the electronic device may receive a user's utterance and generate an instruction to operate the app based on a user's utterance. Accordingly, the electronic device can operate various apps using the generated commands.
  • the server 15, 25 may receive user voice input from the electronic device via the third device 30 and change it to text data.
  • the third device may be at least one of, for example, an access point (AP), a repeater, a router, a gateway, or a hub.
  • AP access point
  • the third device may be at least one of, for example, an access point (AP), a repeater, a router, a gateway, or a hub.
  • the A-server 15 may be a platform or a manufacturer's server supporting the A-assistant secretarial function
  • the B-server 25 may be a platform or a manufacturer's server supporting the B-AI secretarial function.
  • the A and B artificial intelligence functions can be implemented using multiple servers.
  • the server 15, 25 may generate (or select) a path rule based on the text data.
  • the pass rule may include information about an operation (or an operation for performing an function of an app or a parameter necessary for executing an operation), and a pass rule may include an operation order of the app.
  • the electronic device can receive the pass rules, select the apps according to the pass rules, and execute the actions contained in the pass rules in the selected apps.
  • the server 15, 25 may include a database in which user information is stored.
  • the servers 15 and 25 can receive user information (e.g., context information, app execution information, etc.) from the electronic device and store them in the database.
  • the servers 15 and 25 can use the information included in the database in the case of generating a pass rule for user input.
  • the server 15, 25 may include a database that stores information about functions or functions to be provided or functions to be stored in the electronic device.
  • the server 15, 25 may use the user information to create a database of functions available to the user.
  • the electronic device can receive information on a function that can be provided from the server (15, 25) through a communication network and provide it to the user.
  • the server 15, 25 or the electronic device may include a recognition model that enhances recognition capability through learning, such as a natural language understanding module, a natural language generation module, and the like.
  • the recognition model may be a model learned using artificial intelligence algorithms such as machine learning, neural network, or deep learning algorithm.
  • the artificial intelligence algorithm can be used in the process of recognizing the user's utterance and changing the text data. This will be described later with reference to FIG.
  • the first mode (e.g., guest mode) of the AI secretarial function is a mode in which an AI secretary function used in an electronic device owned by the user is performed using, for example, another electronic device other than the user's own electronic device It can mean. That is, it means that the guest device 10, which is not owned by the user, controls the user device 20 to use the artificial intelligence assistant function used in the user device 20.
  • the guest device 10 and the user device 20 can use different artificial intelligence assistant functions.
  • the guest device 10 may use the A artificial intelligence assistant function associated with the A server 15 and the user device 20 may use the B artificial intelligence assistant function associated with the B server 25 .
  • the user can use the B artificial intelligence secret function used in the user device 20 in the guest device 10 using the guest mode.
  • the A-server 15 may be a manufacturer A or a server A-platform
  • the B-server 25 may be a B-maker or a B-platform server.
  • the guest device 10 may communicate with the user device 20 or the user device 20 with information associated with the voice secretary data tailored to the user through the use of the data or user using the artificial intelligence assistant function, From the B server 25 connected via the communication network.
  • the guest device (10) can receive an instruction from the user (1) to request the setting of the guest mode.
  • the user 1 can make a speech requesting the setting of the guest mode.
  • the guest device 10 receives the utterance of the user 1 and can recognize the contents included in the utterance by using an intelligent app such as a voice recognition app.
  • the guest device 10 can confirm the contents included in the command received from the user 1 using the A server 15.
  • the guest device 10 may transmit the received command to the third device 30.
  • the A server (15) can receive the command of the user (1).
  • the A server 15 receives the user's utterance and can recognize the contents of the utterance using an intelligent program such as a voice recognition program.
  • the guest device 10 and the servers 15 and 20 can form a network directly without using the third device 30.
  • the A server 15 can transmit the contents of the speech to the third device 30.
  • the guest device 10 can receive the contents of the utterance requesting the setting of the guest mode.
  • the operations 2, 2, 3, and 3 may be omitted.
  • the guest device 10 can prepare for the setting of the guest mode.
  • the guest device 10 may perform a WiFi direct or ad-hoc function to generate and transmit an acknowledgment signal to search for a nearby communicatable device.
  • the peripheral device may be the user device 20. That is, the guest device 10 may request identification information for using the artificial intelligence assistant function used in the user device 20.
  • the user device 20 transmits an acknowledgment signal for requesting identification information including a call word (for example, Bixby, Alexa, Kotana, etc.) for using the artificial intelligence assistant function from the guest device 10 .
  • the user device 20 may display a user interface requesting confirmation of the user 1 for the transmission of the identification information.
  • the identification information for using the artificial intelligence secretary function includes, for example, account information for accessing the artificial intelligence secretary B, the name of the artificial intelligence secretary B, the name of the manufacturer providing the secretary of artificial intelligence B, URL (uniform resource locator) information, or a platform for providing B artificial intelligence secretaries.
  • the identification information is the platform providing the name of the B artificial intelligent secretary, the manufacturer of the B artificial intelligent secretary, the URL (uniform resource locator) information of the B artificial intelligent secretary, or the B artificial intelligent secretary,
  • the name of the artificial intelligence secretary, the manufacturer of the B artificial intelligence secretary, the URL (uniform resource locator) information of the B artificial intelligence secretary, or the caller of the artificial intelligence secretary corresponding to the platform providing the B artificial intelligence secretary.
  • the user device 20 can transmit the identification information to the guest device 10 when the user 1 has confirmed the transmission of the identification information.
  • the guest device 10 may transmit to the user device 20 information that can be connected to the third device 30 when identification information is received from the user device 20.
  • the guest device 10 and the third device 30 establish a communication network using wi-fi (wireless fidelity)
  • an option field included in a wired / wireless LAN (local area network) frame is used Thereby defining an interface between the guest device 10 and the user device 20.
  • guest device 10 and user device 20 may define a natural language-based interface.
  • the guest device 10 and the user device 20 can exchange voice inputted from the user in a file form.
  • the guest device 10 and the user device 20 may also store voice in a structured text form (e.g., comma separated value (CSV), extensible markup language (XML), hypertext markup language (HTML) object notation, etc.), or can be converted into a natural-text form.
  • a structured text form e.g., comma separated value (CSV), extensible markup language (XML), hypertext markup language (HTML) object notation, etc.
  • the guest device 10 terminates the wifi direct or ad-hoc function, connects to the third device 30, and creates a user interface indicating that the guest mode has been executed .
  • the guest device 10 can voice the user to the start of the guest mode.
  • the guest device 10 is a smart phone or a tablet PC, the guest device 10 may display a user interface informing the display of the start of the guest mode.
  • a user command for example, user utterance
  • the guest apparatus 10 can enter the guest mode.
  • a network system for example, a home network system
  • 1B is a diagram for explaining a situation in which a guest mode of an artificial intelligent assistant is utilized using a user apparatus according to an embodiment.
  • the guest device 10 can receive an instruction of the user 1 to reproduce music using the B artificial intelligence assistant function.
  • the caller of the B artificial intelligence assistant is assumed to be " BIX ratio ".
  • the command of the user 1 may be, for example, " Bixby, keep playing the album of the singer I listened to yesterday ".
  • the guest device 10 can receive the speech of the user 1 and recognize the contents included in the received speech using an intelligent app such as a speech recognition app.
  • the guest device 10 can confirm the contents included in the command received from the user 1 using the A server 15.
  • the guest device 10 may transmit the received command to the third device 30.
  • the A server (15) can receive the command of the user (1).
  • the A server 15 receives the utterance of the user 1 and can recognize the contents of the utterance by using an intelligent program such as a voice recognition program.
  • the A server 15 can transmit the contents of the speech to the third device 30.
  • the guest device 10 can receive the contents of the speech to reproduce music.
  • the operations 2, 2, 3, and 3 may be omitted.
  • the guest device 10 can classify the command of the user 1 into an operation to be performed by the guest device 10 and an operation to be performed by the user device 20. For example, the guest device 10 determines that playing music is an operation of the guest device 10 and acquiring a music file (e.g., a music file in the album of the singer the user has listened to yesterday) 20).
  • a music file e.g., a music file in the album of the singer the user has listened to yesterday
  • the guest device 10 may request the user device 20 to transmit the music file of the artist's album that the user has heard yesterday.
  • the guest device 10 uses the identification information received from the user device 20 (for example, the BIX ratio, which is the call word of the B secretary secretary) Based text such as " Send a file " to the third device 30.
  • the guest device 10 can directly input the inputted voice, not the natural language based text, in the form of a file directly to the user device 20 according to the interface defined between the guest device 10 and the user device 20
  • the transmitted or inputted voice can be converted into structured text corresponding to the B artificial intelligence secretary function and transmitted to the user device 20.
  • the identification information is not " Big Biss, " but the name of the B artificial intelligence secretary, the manufacturer of the B artificial intelligence secretary, the URL (uniform resource locator) information of the B artificial intelligence secretary, or the B artificial intelligence secretary
  • the guest device 10 corresponds to the name of the B artificial intelligence secretary, the manufacturer of the B artificial intelligence secretary, the URL (uniform resource locator) information of the B artificial intelligence secretary, or the platform providing the B artificial intelligence secretary,
  • the same operation as the operation [5] can be performed using the " Bix ratio "
  • the user device 20 can receive the request of the guest device 10 from the third device 30, " Bixby, send a music file in the album of the singer who listened yesterday ".
  • the user device 20 can search for a music file corresponding to the request of the guest device 10 (for example, a music file in the album of the singer the user has listened to yesterday).
  • a music file corresponding to the request of the guest device 10 is not present in the user device 20 (for example, a music file in the album of the singer the user has listened to yesterday) (For example, a music file in the album of the singer who listened to yesterday) corresponding to the request of the guest device 10 to the B server 25 connected thereto via the Internet.
  • the user device 20 can transmit the received music file (for example, a music file in the album of the singer the user has listened to yesterday) to the third device 30.
  • the received music file for example, a music file in the album of the singer the user has listened to yesterday
  • the guest device 10 can receive a music file received from the third device 30 (for example, a music file in the album of the singer the user has listened to yesterday).
  • a music file received from the third device 30 for example, a music file in the album of the singer the user has listened to yesterday.
  • the guest device 10 executes a music playback application and can play back the received music file (for example, a music file in the album of the singer the user has listened to yesterday).
  • a music playback application for example, a music file in the album of the singer the user has listened to yesterday.
  • the user 1 may control the various home appliances 1000 connected to the network using the guest mode.
  • the guest device 10 can receive the command of the user 1 " turn on the TV and show channel 1 ".
  • the guest device 10 may send the received command to the user device 20.
  • the user device 20 can control the TV 1001 connected to the network according to the received command to turn on the TV and change the channel to No. 1.
  • 1C is a diagram for explaining a situation in which a guest mode of an artificial intelligent assistant is utilized using a server according to an embodiment.
  • the guest device 10 may utilize the B artificial intelligence assistant function provided by the B server 25 through the A server 15 used by the guest device 10 as a guest mode.
  • the guest device 10 can receive an instruction of the user 1 to reproduce music using the B artificial intelligence assistant function.
  • the caller of the B artificial intelligence assistant is assumed to be " BIX ratio ".
  • the command of the user 1 may be, for example, " Bixby, play the album I listened to the most ".
  • the guest device 10 can receive the speech of the user 1 and recognize the contents included in the received speech using an intelligent app such as a speech recognition app.
  • the guest device 10 can transmit the content included in the command received from the user 1 to the A server 15 and can be confirmed using the speech recognition algorithm included in the A server 15 have.
  • the guest device 10 can transmit the received command to the third device 30 in the form of a voice file.
  • the A server (15) can receive the command of the user (1) from the third device (30).
  • the A server 15 can classify the command of the user 1 into an operation to be performed by the guest device 10 and an operation to be performed by the B server 25. For example, the A server 15 judges that playing music is an operation of the guest device 10, and acquiring a music file (e.g., a music file in the album most frequently listened to by the user) 25) can be determined.
  • a music file e.g., a music file in the album most frequently listened to by the user
  • the A server 15 may request the B server 25 to transmit the music file in the " album most heavily listened to by the user ". 1A, for example, the A server 15 uses the identification information received from the user device 20 (for example, the BIX ratio, which is a call word of the B secretary secretary) Based text such as " Send music files in the most-listened album " to the B server 25.
  • the A server 15 directly inputs the input voice, not the natural language text, in a file form directly to the B server 25 according to the interface defined between the A server 15 and the B server 25 The transmitted or inputted voice can be converted into a structured text corresponding to the B artificial intelligent secretary function and transmitted to the B server 25
  • the B server 25 can search for a music file corresponding to the request of the A server 15 (for example, a music file included in the album most frequently listened to by the user). In operation 5, when the music file corresponding to the request of the A server 15 (for example, the music file included in the album most frequently listened to by the user) is not in the B server 25, And can receive and receive a transmission request to the user device 20 connected thereto through a communication network.
  • the B server 25 can transmit the received music file (for example, a music file contained in the album most frequently listened to by the user) to the A server 15.
  • the received music file for example, a music file contained in the album most frequently listened to by the user
  • the A server 15 can transmit to the third device 30 the received (e.g., the music file included in the album most frequently listened to by the user).
  • the A-server 15 can instruct the guest device 10 to execute the music playback application.
  • the guest device 10 may receive commands from the third device 30 (e.g., a music file included in the album most frequently listened to by the user) and an instruction.
  • the guest device 10 can execute a music playback application and play back the received (e.g., music files included in the album most frequently listened to by the user).
  • a music playback application e.g., music files included in the album most frequently listened to by the user.
  • FIG. 1D is a view for explaining another situation utilizing the guest mode of the artificial intelligent assistant using the server according to the embodiment.
  • the guest device 10 may utilize the B artificial intelligence assistant function provided by the B server 25 via the B server 25 in the guest mode.
  • the guest device (10) can receive the command of the user (1) to display an image using the B artificial intelligence secret function.
  • the caller of the B artificial intelligence assistant is assumed to be " BIX ratio ".
  • the command of the user 1 may be, for example, " Bixby, show images taken yesterday ".
  • the guest device 10 can receive the speech of the user 1 and recognize the contents included in the received speech using an intelligent app such as a speech recognition app.
  • the guest device 10 can transmit the content included in the command received from the user 1 to the A server 15 and can be confirmed using the speech recognition algorithm included in the A server 15 have.
  • the guest device 10 can classify the command of the user 1 into an operation to be performed by the guest device 10 and an operation to be performed by the B server 25. For example, the guest device 10 determines that displaying the image is an operation of the guest device 10, and acquiring an image file (e.g., an image photographed yesterday) is determined to be an operation of the B server 25 .
  • an image file e.g., an image photographed yesterday
  • the guest device 10 can transmit a command such as " Send a captured image yesterday " to the third device 30.
  • the B server 25 can receive the command transmitted by the guest device 10 through the third device 30.
  • the present invention is not limited to this, and the guest device 10 and the B server 25 can send and receive commands or data via the direct communication network without the third device 30.
  • the B server 25 can retrieve an image file corresponding to the request of the guest device 10 (for example, an image photographed yesterday). In operation 4, if there is no image file corresponding to the request of the guest device 10 (for example, an image taken yesterday), the B server 25 sends the user device 20 connected via the communication network to the guest device 10 (For example, an image photographed yesterday) corresponding to the request of the user (e.g.
  • the B server 25 can transmit an image file (for example, an image photographed yesterday) to the third device 30.
  • the guest device 10 can receive an image file (e.g., an image photographed yesterday) from the third device 30.
  • the guest device 10 can execute an image playback application and display a received image file (e.g., an image taken yesterday).
  • a received image file e.g., an image taken yesterday.
  • FIG. 1E is a diagram for explaining a situation where the guest mode of the AI secretary according to one embodiment is terminated.
  • FIG. 1E is a diagram for explaining a situation where the guest mode of the AI secretary according to one embodiment is terminated.
  • the guest device (10) can receive an instruction from the user (1) to request the end of the guest mode.
  • the user 1 can make a speech requesting the end of the guest mode.
  • the guest device 10 receives the utterance of the user 1 and can recognize the contents included in the utterance by using an intelligent app such as a voice recognition app.
  • the guest device 10 can confirm the contents included in the command received from the user 1 using the A server 15.
  • the guest device 10 may transmit the received command to the third device 30.
  • the A server (15) can receive the command of the user (1).
  • the A server 15 receives the utterance of the user 1 and can recognize the contents of the utterance by using an intelligent program such as a voice recognition program.
  • the operations 2, 2, 3, and 3 may be omitted.
  • the guest device (10) can transmit a notification of the end of the guest mode to the third device (30).
  • the user device (20) can receive notification of the end of the guest mode from the third device (30).
  • the guest device 10 may delete all of the data and identification information received from the user device 20 during the guest mode operation of the AI secretarial function. For this reason, the user 1 may not leave the information related to the user 1 in the electronic device of the other person, such as the guest device 10.
  • the guest device 10 can generate a user interface notifying the end of the guest mode.
  • the user 1 may terminate the guest mode using the user device 20.
  • the user device 20 can receive the command of the user 1 requesting the end of the guest mode. For example, the user 1 can make a speech requesting the end of the guest mode. Then, the user device 20 receives the utterance of the user 1 and can recognize the contents included in the utterance by using an intelligent app such as a voice recognition app.
  • an intelligent app such as a voice recognition app.
  • the user device 20 can transmit a notification of the end of the guest mode to the third device 30.
  • the guest device 10 can receive notification of the end of the guest mode from the third device 30.
  • the user device 20 can stop the data transmission to the guest device 10 in accordance with the received command.
  • the guest device 10 may delete all of the data and identification information received from the user device 20 during the guest mode operation of the AI secretarial function when a notification of the end of the guest mode is received. For this reason, the user 1 may not leave the information related to the user 1 in the electronic device of the other person, such as the guest device 10.
  • the user 1 can use the artificial intelligence assistant function used in the user's electronic device by using the electronic device other than the electronic device which is used. Accordingly, the user can utilize the artificial intelligence assistant function optimized in accordance with the use history of the user in other electronic devices without setting.
  • other electronic devices supporting the voice assistant guest mode may delete all data received at the end of the guest mode, thereby preventing the user's information from remaining in other electronic devices.
  • the guest device 10 and the user device 20 use different artificial intelligence assistant functions.
  • the guest device 10 and the user device 20 can use the same AI secretarial function.
  • both the guest device 10 and the user device 20 can use the A ' s intelligent assistant function associated with the A-server 15.
  • the guest device 10 can acquire the account information of the user device 20 from the A server 15 when an instruction to request the guest device 10 to set the guest mode is received.
  • the guest device 10 may access the user device 20 based on the acquired account information of the user device 20 to control the user device 20.
  • the guest device 10 when the user's utterance using the caller of the B artificial intelligence secretary is input to the guest device 10, the guest device 10 transmits the user's utterance The guest device 10 transmits the user's utterance to the user device 20 even when the user's utterance using the caller of the A's assistant secretary is input to the guest device 10.
  • User text (or text corresponding to user text) can be transmitted.
  • the guest device 10 receives the user's utterance and can recognize the contents included in the received utterance using an intelligent app such as a voice recognition app.
  • the guest device 10 can divide the command of the user 1 into an operation to be performed by the guest device 10 and an operation to be performed by the user device 20 (or the B server 25). For example, the guest device 10 may determine that displaying an image is an operation of the guest device 10, and acquiring an image file (e.g., a captured image yesterday) may be performed by the user device 20 25) can be determined.
  • an image file e.g., a captured image yesterday
  • the guest device 10 can use the caller of the B artificial intelligence secret function included in the identification information to transmit the command determined by the operation of the user device 20 (or the B server 25).
  • the guest device 10 may generate an instruction that includes an invocation of the B artificial intelligence function, such as text (or structured text), such as " Command to user device 20 (or B server 25).
  • the user device 20 (or the B server 25) can transmit an image taken yesterday to the guest device 10 in response to a command received from the guest device 10.
  • the guest device 10 transmits a user command to the user device 20 (or the B server 25 (or the B server 25) by using the caller of the B artificial intelligent assistant function even if the user friend including the caller of the B artificial intelligent assistant function is not input )).
  • the guest device 10 may determine an action to be performed by the user device 20 based on the caller of the B artificial intelligence function included in the user utterance. For example, when the guest device 10 receives a user's utterance of " request Galaxy to send an image taken yesterday to Bixby ", the guest device 10 sends a call to the B artificial intelligence secretary It can be determined that the operation to be performed by the B artificial intelligence secretary (i.e., the user device 20) is " image transmission taken yesterday "
  • FIG. 2 is a diagram for explaining a situation in which a guest device according to an embodiment generates an announcement indicating the start and end of the guest mode included in the AI secretarial function.
  • the guest device 10 may receive a command from the user requesting the setting of the guest mode and display a notification of " Prepare the setting of the guest mode " 210 .
  • the guest device 10 may receive the user's utterance requesting the setting of the guest mode.
  • the AI speaker receives the user's utterance and can convert the utterance into text form using an intelligent app such as a voice recognition app to recognize the content of the utterance requesting the setting of the guest mode.
  • the guest device 10 When the guest device 10 includes a touch screen or physical key, such as a smart phone, it may receive a touch input or key input of a user requesting the setting of the guest mode and start the guest mode.
  • the present invention is not limited to this, and the smartphone can also receive the user's utterance to start the guest mode.
  • the guest device 10 may generate a voice " Prepare guest mode setup. &Quot; However, without being limited thereto, the guest device 10 may generate light symbolizing the step of preparing the guest mode setting using the built-in illumination device. In addition, the guest device 10 may generate a sound symbolizing the step of preparing the guest mode setting.
  • the guest device 10 may perform a wi-fi direct or ad-hoc function to send an acknowledgment signal to search for nearby communicatable devices have.
  • the confirmation signal may be, for example, a signal requesting identification information for using the artificial intelligence assistant function used in the user apparatus.
  • the guest device 10 transmits an acknowledgment signal and can display on the display 11 a notification of " confirming use information " 220 while receiving the identification information.
  • the guest device 10 may generate a voice " verifying usage information ".
  • the present invention is not limited to this, and the guest device 10 can generate light symbolizing the step of confirming the use information by using the built-in illumination device. Further, the guest device 10 may generate a sound symbolizing the step of confirming the usage information.
  • the guest device 10 when the guest device 10 receives the identification information from the user device, it can start the guest mode. For example, the guest device 10 can change the communication method in Wi-Fi mode and provide the user device with Wi-Fi connection information that can be connected to the third device. If it is confirmed that the user device has connected to the third device, the guest device 10 can display a notification on the display 11 that the " start guest mode "
  • the guest device 10 may generate a voice " Start guest mode. &Quot;
  • the present invention is not limited thereto, and the guest device 10 can generate light symbolizing the step of starting the guest mode using the built-in illumination device.
  • the guest device 10 may generate a sound symbolizing the step of starting the guest mode.
  • the guest device 10 can terminate the guest mode upon receiving a command from the user requesting termination of the guest mode.
  • the guest device 10 may receive a user's utterance requesting termination of the guest mode.
  • the guest device 10 can receive the user's utterance and recognize the contents of the utterance using an intelligent app, such as a voice recognition app.
  • the guest device 10 When the guest device 10 includes a touch screen or physical key, such as a smart phone, it may receive a touch input or key input of a user requesting termination of the guest mode and terminate the guest mode.
  • the present invention is not limited to this, and the smartphone can also terminate the guest mode by receiving the user's utterance.
  • the guest device 10 may delete all data and identification information received from an external server or user device during execution of the guest mode and stored in the guest device 10.
  • the guest device 10 may display on the display 11 a notification that "exit guest mode" (240), after deleting data or deleting the data. If the electronic device is an AI speaker, the electronic device may generate a voice " exit guest mode. &Quot; However, the present invention is not limited to this, and the guest device 10 can generate light symbolizing the step of terminating the guest mode using the built-in illumination device. In addition, the guest device 10 may generate a sound symbolizing the step of terminating the guest mode.
  • FIG. 3 is a diagram illustrating a situation in which a user apparatus according to an embodiment requests a user approval for starting the guest mode of the AI secretary.
  • the user device 20 may generate a notification requesting a user approval for the start of the guest mode. For example, when the user device 20 receives an acknowledgment signal requesting identification information for guest mode execution from the guest device, a message " Request user approval for guest mode " 310 is displayed on the display 21 The user interface can be displayed.
  • the user device 20 may display a user interface requesting user's utterance for user authentication for transmitting identification information.
  • the user device 20 may display a user interface " Please read the word " Samsung "
  • the user device 20 can receive the user's speech and analyze the voice data to identify the user. That is, the user device 20 can compare the voice characteristics (e.g., tone, intonation, etc.) that read the displayed speech with the accumulated voice characteristics of the user while using the artificial intelligence assistant function.
  • voice characteristics e.g., tone, intonation, etc.
  • the user device 20 uses the feature of the speech that has read the speech and the accumulated voice characteristics using the artificial intelligence assistant function, the user approval for the guest mode is completed.
  • the user interface 340 may be displayed on the display 21.
  • the user device 20 displays a user interface for requesting utterance again when the characteristics of the voice read by the utterance and the accumulated voice characteristics are not the same using the artificial intelligence assistant function can do.
  • the user device 20 can set a word that is easier to distinguish the voice characteristic than words that are conventionally displayed. For example, the user device may display a user interface of "Please read the word marked” boiled egg "(330).
  • the user device 20 can recognize that the user's authorization for the guest mode has been completed as shown in FIG. 3 (c) if the characteristics of the voiced speech and the accumulated voice characteristics are the same while using the artificial intelligence assistant function 340 may be displayed on the display 21.
  • FIG. 4 is a diagram for explaining various situations in which a user apparatus according to an embodiment requests an approval of a user.
  • the user device 20 can proceed with user identification of the identification information transmission in various ways other than recognizing the speech.
  • the user device 20 may display on the display 21 a biometric user interface for recognizing at least a portion of the user's body.
  • the user device 20 may display the iris recognition user interface 410.
  • the user device 20 can recognize an iris of a user by capturing an image when two eyes of the user are located in two circles by using a built-in camera (not shown).
  • the user device 20 may display the face recognition user interface 420.
  • the user device 20 can recognize the face of the user by capturing an image when the user's face is located at the ellipse by using a built-in camera (not shown).
  • the user device 20 may display a fingerprint recognition user interface 430.
  • the user device 20 may include a fingerprint recognition module in a portion of the display 21.
  • the user device 20 may display a fingerprint recognition user interface in a certain area of the display 21.
  • the user device 20 may place the fingerprint recognition module in a home key or other area of the user device 20.
  • the user device 20 can display on the display 21 a user interface for guiding a finger to the area.
  • the user device 20 may display a user interface 440 for inputting a predetermined password.
  • the user apparatus can display, on the display 21, a user interface capable of inputting characters or numbers in a pop-up form.
  • FIG. 5 is a schematic block diagram of a guest device, a user device, and a server according to one embodiment.
  • the guest device 10 may include a processor 510, a communication unit 512, a memory 514, and an input unit 516.
  • the user device 20 may include a processor 520, a communication unit 522, a memory 524, and a display 523.
  • the server 15 may include a processor 530, a communication unit 532, and a memory 534. [ However, it is not so limited, and the guest device 10, the user device 20, and the server 15 may further include or fewer components.
  • the processor 510. 520. 530 may include at least one other component of an electronic device (e.g., a hardware or software component Element), and can perform various data processing and operations.
  • processors 510, 520, 530 may load and process instructions or data received from other components (e.g., communications) into volatile memory and store the resulting data in nonvolatile memory.
  • the processor 510. 520. 530 may be a main processor (e.g., a central processing unit or an application processor), and, independently and, in addition, or alternatively, (E.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor).
  • the coprocessor may be operated separately from or embedded in the main processor.
  • the coprocessor may be associated with the main processor while the main processor is in an active (e.g., application running) state, for example, on behalf of the main processor while the main processor is in an inactive , At least some of the functions or states associated with at least one component (e.g., input, or communications) of the components of the electronic device.
  • a co-processor e.g., an image signal processor or a communications processor
  • may be implemented as a component of some other functionally related component e.g., communication unit, camera module.
  • memory 514, 524, and 534 may store various data, e.g., software, and / or data used by at least one component (e.g., processor 510 520. 530) And can store input data or output data for the related command.
  • Memory 514, 524, and 534 may include volatile memory or non-volatile memory.
  • the communication units 512, 522, and 532 may establish a wired or wireless communication channel with the guest device 10, the user device 20, and the server 15, and perform communication through the established communication channel .
  • the communication units 512, 522 and 532 may include one or more communication processors supporting wired communication or wireless communication, which operate independently from the processors 510, 520, and 530 (e.g., application processors).
  • the communication portion 512, 522, 532 may be a wireless communication module (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) (e.g., a local area network (LAN) communication module, or a power line communication module), and using the corresponding communication module, a first network And may communicate with external electronic devices via a network (e.g., a cellular network, the Internet, or a telecommunications network such as a computer network (e.g., LAN or WAN)).
  • a network e.g., a cellular network, the Internet, or a telecommunications network such as a computer network (e.g., LAN or WAN)
  • a network e.g., a cellular network, the Internet, or a telecommunications network such as a computer network (e.g., LAN or WAN)
  • a network e.g., a cellular network, the Internet, or
  • the processor 510 of the guest device 10 when the processor 510 of the guest device 10 receives an instruction for requesting the setting of the guest mode that can be used in the external device by the artificial intelligence assistant function through the input unit 516 May request identification information from the user device 20, including the caller, to use the artificial intelligence assistant function, and may control the communication unit 512 to receive identification information from the user device 20.
  • the memory 514 of the guest device 10 may store the identification information received from the user device 20 and the data used in the guest mode operation of the AI secretarial function.
  • the input unit 516 of the guest device 10 may be a component capable of receiving a user input, such as a microphone, a touch panel, or the like.
  • the guest device 10 may further include a display, an output (e.g., a speaker, a lighting device, etc.).
  • the processor 520 of the user device 20 when the processor 520 of the user device 20 receives a signal requesting the identification information for using the artificial intelligence assistant function, the processor 520 of the user device 20 confirms the user's confirmation of the transmission of the identification information
  • the control unit 522 can control the communication unit 522 to transmit the identification information to the guest device 10 when the user's confirmation is received.
  • the memory 524 of the user device 20 may store data generated while the user is using the intelligent assistant function. For example, identification information that invokes the AI secretarial function, user's usage history, and the like may be stored. The memory 524 of the user device 20 may also store information that can be accessed by the third device received from the guest device 10. [
  • the display 526 of the user device 20 may display a user interface requesting confirmation of transmitting identification information to the guest device under the control of the processor 520.
  • Display 526 may be in the form of a touch screen that receives touch input.
  • the user device 20 may further include an output unit (e.g., a speaker, a lighting device, etc.), an input unit (e.g., a microphone), a camera module,
  • the processor 530 of the server 15 can confirm the contents included in the voice file received from the guest device 10 or the user device 20 using the voice recognition algorithm .
  • the processor 530 of the server 15 can transmit and receive data with the guest device 10 or the user device 20 according to the confirmed contents.
  • FIG. 6 is a diagram for explaining an embodiment of an acknowledgment signal transmitted to a user apparatus by a guest device according to an embodiment.
  • the guest device changes, for example, to the second communication method and then generates an acknowledgment signal including the following structure, E.g., the user device 20 of Figure 1a).
  • the acknowledgment signal generated by the guest device may be used, for example, to notify the presence of a wireless network, help the partner device find a wireless network, (For example, 10 times per second, etc.).
  • the confirmation signal may include various parameter information related to the wireless network.
  • the acknowledgment signal may be divided into a header and a frame body.
  • the header includes, for example, a frame control field, a Duration / ID field, a DA (destination address) field, a SA (source address) field, a BSS ID (basic service set identifier) . ≪ / RTI >
  • the Frame control field is located at the very beginning of the frame and can have a size of 2 bytes.
  • the Frame control field may contain information related to the control of frames transmitted between each device forming the network.
  • the Duration / ID field is a field having a size of 2 bytes following the Frame control field.
  • the Duration / ID field may provide a network allocation vector (NAV) value or the corresponding station ID of the ps-inquiry frame.
  • NAV network allocation vector
  • the DA (destination address) field and the SA (source address) field may represent a physical address implemented on a 6-byte hardware for identification of the electronic device.
  • the basic service set identifier (BSS) field may be a 6-byte identifier or a network ID that identifies a basic service area as a numerical value.
  • the BSS ID field can identify each other when several basic service areas coexist.
  • the sequence control field is a 2-byte-size field for guiding the control operation in order in a predetermined order.
  • FCS frame check sequence
  • the frame body can be flexibly configured with a large number of fixed or variable length fields / elements depending on the management purpose.
  • the frame body may include, for example, a Timestamp field, a Beacon interval field, a Capacity Information field, an SSID field, and an optional field.
  • the Timestamp field has a size of 8 bytes and is a field for synchronization between devices in the basic service area.
  • the Beacon interval field has a size of 2 bytes and can display the beacon frame transmission period (or time interval).
  • the Capacity Information field has a size of 2 bytes and can be mainly used for a beacon frame, a probe response frame, and the like.
  • the SSID field is a variable field having a character value, and may be the name of a service provider that groups and manages access points under one IP subnet.
  • the option field may contain various information.
  • the present disclosure may include a definition of a method of interfacing between a guest device (e.g., guest device 10 of FIG. 1A) and a user device (e.g., guest device 20 of FIG. 1B).
  • a guest device e.g., the guest device 10 of FIG. 1A
  • a user device e.g., the guest device 20 of FIG. 1B
  • the two devices transmit and / or receive the voice inputted by the user in a file form or a voice inputted by the user into a structured text form (e.g., CSV (extensible markup language), hypertext markup language (HTML), java script object notation (JSON), or the like), or may change the voice inputted by the user into a natural-language text form.
  • a structured text form e.g., CSV (extensible markup language), hypertext markup language (HTML), java script object notation (JSON), or the like
  • CSV compact markup language
  • HTML hypertext markup language
  • JSON java script object notation
  • FIG. 7 is a diagram for explaining the guest mode utilization when the user apparatus and the guest apparatus according to the embodiment use the same artificial intelligence assistant function.
  • the guest device 10 may receive a command of the user to display an image using the artificial intelligence assistant function.
  • the caller of the artificial intelligence assistant is assumed to be a " BIX ratio ".
  • the command of the user 1 may be, for example, " Bixby, display picture taken in August ".
  • the guest device 10 can receive the speech of the user 1 and recognize the contents included in the received speech using an intelligent app such as a speech recognition app.
  • the guest device 10 can confirm the contents included in the command received from the user 1 using the A server 15.
  • the guest device 10 may transmit the received command to the third device 30.
  • the A server (15) can receive the user's command.
  • the A server 15 receives the utterance of the user 1 and can recognize the contents of the utterance by using an intelligent program such as a voice recognition program.
  • the A server 15 can transmit the contents of the speech to the third device 30.
  • the guest device 10 may receive the contents of the speech to display an image.
  • the operations 2, 2, 3, and 3 may be omitted.
  • the guest device (10) can classify the command of the user (1) into an operation to be performed by the guest device (10) and an operation to be performed by the server (15). For example, the guest device 10 determines that displaying an image is an operation of the guest device 10, and acquiring an image file (e.g., images photographed in August) It can be judged.
  • an image file e.g., images photographed in August
  • the guest device 10 may request the server 15 to transmit " images photographed in August ".
  • the guest device 10 may transmit the natural language-based text such as " Bixby, send an image file photographed in August " to the third device 30.
  • the server 15 may receive a request from the third device 30 to send the image file " Bixby, photographed in August. &Quot;
  • the server 15 can retrieve image files corresponding to the request of the guest device 10 (for example, image files photographed in August).
  • the server 15 when the server 15 does not have an image file (for example, an image file photographed in August) corresponding to the request of the guest device 10, the server 15 transmits the image file (For example, an image file photographed in August) corresponding to the request of the guest apparatus 10 to the image forming apparatus 20
  • the server 15 can transmit the image file to the third device 30.
  • the guest device (10) can receive the image file from the third device (30).
  • the guest device 10 can execute an image playback application and display a received image file (for example, an image file photographed in August).
  • a received image file for example, an image file photographed in August.
  • FIG. 8 is a flowchart illustrating a guest mode execution method of the artificial intelligence assistant function according to an embodiment.
  • the guest device 10 may receive an instruction to request the setting of the guest mode of the AI secretarial function. Then, the guest device 10 receives the user's utterance and can recognize the contents included in the utterance by using an intelligent app such as a voice recognition app. In this case, the guest device 10 may recognize the contents included in the utterance by transmitting the received command to the server establishing the communication network for the artificial intelligence assistant function.
  • an intelligent app such as a voice recognition app.
  • the guest device 10 may recognize the contents included in the utterance by transmitting the received command to the server establishing the communication network for the artificial intelligence assistant function.
  • the guest device 10 may change the first communication method to the second communication method.
  • the guest device 10 may change the wi-fi mode to the Ad-hoc mode or the wi-fi direct mode.
  • the guest device 10 may request the user device 20 to use identification information for using the artificial intelligence assistant function using the second communication method.
  • the user device 20 may generate and display a user interface requesting confirmation of the user for identification information transmission.
  • the user device 20 may receive a confirmation of the user using the voice recognition function.
  • the user device 20 may send the identification information to the guest device 10.
  • the guest device 10 having received the identification information can send information to the user device 20 that can connect to the first communication method.
  • the guest device 10 may change the second communication method to the first communication method.
  • the guest device 10 may change the Ad-hoc mode or the wi-fi direct mode to the wi-fi mode.
  • the user device 20 can establish a communication network with the guest device 10 using connection information that can be connected to the first communication method.
  • the user device 20 may send a connection complete message to the guest device 10.
  • 9A is a flow diagram illustrating a situation in which a guest mode of an artificial intelligence assistant is utilized utilizing a user device according to one embodiment.
  • the guest device 10 may receive a command of the user to utilize the artificial intelligence assistant.
  • the guest device 10 can distinguish between the actions that the guest device 10 will perform in the received command and the actions that the user device 20 will perform. For example, if the user's command is " Big Bite, Tell Me Today's Today ", the guest device 10 is the operation of the user device 20 to get the schedule for today, It can be determined that the operation of the apparatus 10 is in operation.
  • the guest device 10 uses the identity of the AI secretary used by the previously received user device 20 to send an instruction to the user device 20, including the operation of the user device 20 Lt; / RTI > For example, the guest device 10 may send a natural language based text such as " Bixby, send a schedule today " to the user device 20.
  • the user device 20 may acquire data in accordance with the received command.
  • the user device 20 may acquire the user's current schedule stored in the schedule application.
  • the user device 20 may work with a server that supports the AI secretarial function to obtain the user's current schedule.
  • the user device 20 may send data to the guest device 10.
  • the guest device 10 may execute the user's command using the received data.
  • the guest device 10 may provide the current user's current schedule via a speaker, or display it via a display.
  • 9B is a flowchart illustrating a situation in which a guest mode of the AI secretary is utilized using a server according to an embodiment.
  • the guest device 10 may receive the user's command to use the AI secretary.
  • the command of the user can be, for example, " Bixby, let me know the schedule tomorrow. &Quot;
  • the guest device 10 may send the received user's command to the A server 15.
  • the A server 15 can distinguish the operation to be performed by the guest device 10 from the operation to be performed by the B server 25 in the received command. For example, the A server 15 can determine that acquiring the schedule of tomorrow is the operation of the B server 25, and displaying the received schedule can be determined as the operation of the guest device 10. [
  • the A server 15 transmits an instruction including the operation of the B server 25 to the B server 25 using the identification information of the artificial intelligence secretary used by the received B server 25 Lt; / RTI > For example, the A server 15 can transmit the text based on natural language such as " Bixby, send a schedule tomorrow " to the B server 25.
  • the B server 25 can acquire data according to the received command.
  • the B server 25 can acquire a schedule file of the user stored in the memory (for example, a schedule file of the user tomorrow).
  • the B server 25 may acquire a schedule file of the user (for example, a schedule file of the user tomorrow) in cooperation with the user device 20.
  • the B server 25 can transmit the acquired data to the A server 15.
  • the A server 15 can confirm the operation of the guest device 10.
  • the A server 15 can send the operation to be performed by the guest device 10 and the received data to the guest device 10. [ For example, the A server 15 can instruct the guest device 10 to execute the schedule management application.
  • the guest device 10 may perform user commands using the operations and data to be performed by the received guest device 10.
  • the guest device 10 can provide the schedule of the received user's tomorrow through a speaker, or display it through a display.
  • 9C is a diagram for explaining another situation utilizing the guest mode of the AI secretary using the server according to the embodiment.
  • the guest device 10 may receive the user's command to use the AI secretary.
  • the guest device 10 can distinguish the operation to be performed by the guest device 10 from the operation to be performed by the B server 25 in the received command. For example, when the user's command is " Bixby, show a document created yesterday ", the guest device 10 acquires the document created yesterday is the operation of the B server 25, It can be determined that the operation of the apparatus 10 is in operation.
  • the guest device 10 uses the identification information of the artificial intelligence secretary used by the received B server 25 to send an instruction including the operation of the B server 25 to the B server 25 Lt; / RTI > For example, the guest device 10 may send a text based on natural language such as " Big Biff, send me a written document yesterday " to the B server 25.
  • the B server 25 can acquire data according to the received command.
  • the B server 25 can acquire a document file (for example, a document file created by the user yesterday) stored in the document creating application.
  • the B server 25 may acquire a document file (for example, a document file created by the user yesterday) in cooperation with the user apparatus 20.
  • the user device 20 may send the acquired data to the guest device 10.
  • the guest device 10 may execute the user's command using the received data.
  • the guest device 10 can display the received document file (e.g., a document file created by the user yesterday) through the display.
  • FIG. 10 is a flow diagram illustrating a situation in which a guest device and a user device utilize a guest mode when using the same artificial intelligence assistant function in one embodiment.
  • the guest device 10 may receive a command of a user to utilize an artificial intelligence assistant.
  • the guest device 10 can distinguish an operation to be performed by the guest device from an operation to be performed by the user device in the received command. For example, when the command of the user is " play Bixby, Destiny Symphony, " the guest device 10 acquires the destiny symphony music file is an operation of the A server 15, Can be determined by the operation of the user device 20. [
  • the guest device 10 may send an instruction to the user device 20, including the operation of the A server 15, using the identity of the AI secretary.
  • the guest device 10 may transmit a natural-language based text such as " Bixby, Send a Fate Symphony Music File " to the A server 15.
  • the A server 15 may acquire data according to the received command.
  • the A server 15 may acquire a music file (e.g., a destiny symphony music file) stored in the memory.
  • the A server 15 may obtain a music file (e.g., a doom symphony music file) in conjunction with a user device using the artificial intelligence assistant function.
  • the A server 15 may send data (e.g., a music file) to the guest device 10.
  • data e.g., a music file
  • the guest device 10 can execute the user's command using the received data.
  • the guest device 10 can play a received music file (e.g., a folk symphony music file) through a speaker.
  • a received music file e.g., a folk symphony music file
  • 11A is a flowchart for explaining a situation in which the artificial intelligent assistant function is terminated using a guest device according to an embodiment.
  • the guest device 10 may receive a command of the user to exit the guest mode of the AI secretarial function.
  • the guest device 10 may notify the user device 20 that the command of the user requesting the guest mode termination is received.
  • the guest device 10 may send a natural language based text such as " Big Sigh, Guest Mode Exit " to the user device 20.
  • the user device 20 may terminate the first communication method of forming the communication network with the guest device 10.
  • the guest device 10 may delete the received data and identification information.
  • the guest device 10 may delete the identification information received from the user device 20 and all data received from the user device 20 or an external server while executing the guest mode of the AI secretarial function.
  • FIG. 11B is a flowchart illustrating a situation in which the artificial intelligent assistant function is terminated using a user apparatus according to an embodiment.
  • the user device 20 may receive a command of the user to end the guest mode of the AI secretary.
  • the user device 20 may notify the guest device 10 that the command of the user requesting the guest mode termination is received.
  • the guest device 10 may delete the received data and identification information.
  • the guest device 10 may delete the identification information received from the user device 20 and all data received from the user device 20 or an external server while executing the guest mode of the AI secretarial function.
  • the user device 20 may terminate the first communication method that established the communication network with the guest device 10.
  • FIG. 12 is a diagram for explaining an operation method of the artificial intelligent assistant function according to an embodiment.
  • the artificial intelligence assistant function includes an electronic device 1200d including the guest device 10 and the user device 20, an intelligent server 1200a, a personal information server 1200b, and a proposal server 1200c .
  • the intelligent server 1200a, the personal information server 1200b, and the proposal server 1200c may be configured as one server as shown in FIG.
  • the intelligent server 1200a includes an automatic speech recognition (ASR) module 1210, a natural language understanding (NLU) module 1220, a path planner module 1230, a dialogue manager (DM) module 1240, a natural language generator (NLG) module 1250 or a text to speech (TTS) module 1260.
  • ASR automatic speech recognition
  • NLU natural language understanding
  • DM dialogue manager
  • NLG natural language generator
  • TTS text to speech
  • the natural language understanding module 1220 or the path planner module 1230 of the intelligent server 1200a may generate a path rule.
  • automatic speech recognition (ASR) module 1210 may convert user input received from electronic device 1200d into text data.
  • the automatic speech recognition module 1210 may convert user input received from the electronic device 1200d into text data.
  • the automatic speech recognition module 1210 may include a speech recognition module.
  • the speech recognition module may include an acoustic model and a language model.
  • the acoustic model may include information related to speech
  • the language model may include information on a combination of unit phoneme information and unit phoneme information.
  • the speech recognition module may convert user speech into text data using information on vocalization and information on unit phonemic information.
  • Information about the acoustic model and the language model may be stored, for example, in an automatic speech recognition database (ASR DB) 1211.
  • ASR DB automatic speech recognition database
  • the natural language understanding module 1220 can perform a syntactic analysis or a semantic analysis to grasp a user's intention.
  • the grammatical analysis can divide the user input into grammatical units (e.g., words, phrases, morphemes, etc.) and determine what grammatical elements the divided units have.
  • the semantic analysis can be performed using semantic matching, rule matching, formula matching, or the like. Accordingly, the natural language understanding module 1220 may obtain a domain (domain), an intent, or a parameter (or a slot) necessary for expressing the intention of the user input.
  • the one domain e.g., an alarm
  • the plurality of rules may include, for example, one or more mandatory element parameters.
  • the matching rule may be stored in a natural language understanding database (NLU DB) 1221.
  • the natural language understanding module 1220 grasps the meaning of words extracted from user input using linguistic features (e.g., grammatical elements) such as morphemes, phrases, and the like, And the intention of the user. For example, the natural language understanding module 1220 may determine a user intention by calculating how many words extracted from user input are included in each domain and intention. According to one embodiment, the natural language understanding module 1220 may determine the parameters of the user input using words based on the understanding of the intent. According to one embodiment, the natural language understanding module 1220 can determine a user's intention using a natural language recognition database 1221 in which a linguistic feature for grasping the intention of the user input is stored.
  • linguistic features e.g., grammatical elements
  • the natural language understanding module 1220 may determine a user intention by calculating how many words extracted from user input are included in each domain and intention.
  • the natural language understanding module 1220 may determine the parameters of the user input using words based on the understanding of the intent.
  • the natural language understanding module 1220 can determine
  • the natural language understanding module 1220 can determine a user's intention using a personalized language model (PLM). For example, the natural language understanding module 1220 can determine a user's intention using personalized information (e.g., a contact list, a music list).
  • PLM personalized language model
  • the personalized language model may be stored in the natural language recognition database 1221, for example.
  • the automatic speech recognition module 1210 as well as the natural language understanding module 1220 can recognize the user's voice by referring to the personalized language model stored in the natural language recognition database 1221.
  • the natural language understanding module 1220 may generate a pass rule based on the intent and parameters of the user input. For example, the natural language understanding module 1220 may select an app to be executed based on an intention of a user input, and determine an action to be performed in the selected app. The natural language understanding module 1220 can generate a path rule by determining a parameter corresponding to the determined operation. According to one embodiment, the pass rule generated by the natural language understanding module 1220 may include information about the app to be executed, the action to be performed in the app, and the parameters needed to perform the action.
  • the natural language understanding module 1220 may generate one pass rule or a plurality of pass rules based on the intent and parameters of the user input. For example, the natural language understanding module 1220 receives the path rule set corresponding to the electronic device 1200d from the path planner module 1230, maps the intent and parameters of the user input to the received path rule set, The rules can be determined.
  • the natural language understanding module 1220 determines an app to be executed, an action to be performed in the app, and parameters needed to perform the action based on the intent and parameters of the user input, You can create a rule.
  • the natural language understanding module 1220 may use the information of the electronic device 1200d to perform an operation to be performed in the application to be executed and the application in an ontology or a graph model You can create path rules by arranging them.
  • the generated path rule may be stored in a path rule database (PR DB) 1231 through, for example, the path planner module 1230. [ The generated path rule may be added to the path rule set of the database 1231. [
  • PR DB path rule database
  • the natural language understanding module 1220 may select at least one of the generated plurality of pass rules. For example, the natural language understanding module 1220 may select an optimal path rule for the plurality of pass rules. As another example, the natural language understanding module 1220 can select a plurality of pass rules if only some actions are specified based on user utterances. The natural language understanding module 1220 can determine one of the plurality of pass rules by a user's further input.
  • the natural language understanding module 1220 may send a pass rule to the electronic device 1200d in response to a user input.
  • the natural language understanding module 1220 may send one pass rule corresponding to user input to the electronic device 1200d.
  • the natural language understanding module 1220 may transmit a plurality of pass rules corresponding to user inputs to the electronic device 1200d. The plurality of pass rules may be generated by the natural language understanding module 1220 if, for example, only some actions are specified based on user utterances.
  • the path planner module 1230 may select at least one of the plurality of pass rules.
  • the path planner module 1230 can pass a set of path rules including a plurality of pass rules to the natural language understanding module 1220.
  • the plurality of path rules of the path rule set may be stored in a form of a table in the path rule database 1231 connected to the path planner module 1230.
  • the path planner module 1230 can transmit a path rule set corresponding to information (e.g., OS information, app information) of the electronic device 1222d to the natural language understanding module 1220.
  • the table stored in the path rule database 1231 can be stored for each domain or domain version, for example.
  • the path planner module 1230 may select one pass rule or a plurality of pass rules from the pass rule set and transmit the selected pass rules to the natural language understanding module 1220. [ For example, the path planner module 1230 selects one pass rule or a plurality of pass rules by matching the user's intention and parameters with the path rule set corresponding to the electronic device 1200d, .
  • the path planner module 1230 may generate one pass rule, or a plurality of pass rules, using the user intent and parameters. For example, the path planner module 1230 can generate a single pass rule or a plurality of pass rules by determining an app to be executed and an action to be executed in the app based on the user's intention and parameters. According to one embodiment, the path planner module 1230 may store the generated path rule in the path rule database 1231.
  • the path planner module 1230 may store the pass rules generated in the natural language understanding module 1220 in the pass rule database 1231. [ The generated path rule may be added to the path rule set stored in the path rule database 1231.
  • the table stored in the path rule database 1231 may include a plurality of path rules or a plurality of path rule sets.
  • the plurality of path rules or the plurality of path rule sets may reflect the type, version, type, or characteristic of the device that executes each pass rule.
  • the conversation manager module 1240 may determine whether the intention of the user identified by the natural language understanding module 1220 is clear. For example, the conversation manager module 1240 can determine whether the user's intent is clear based on whether the information of the parameter is sufficient. The conversation manager module 1240 may determine whether the parameters identified in the natural language understanding module 1220 are sufficient to perform the task. According to one embodiment, the conversation manager module 1240 may perform feedback requesting the user for the necessary information if the intention of the user is unclear. For example, the conversation manager module 1240 may perform feedback requesting information about a parameter for grasping a user's intent.
  • the conversation manager module 1240 may include a content provider module. If the content providing module can perform an operation based on the intention and parameters identified in the natural language understanding module 1220, the content providing module may generate a result of performing a task corresponding to a user input. According to one embodiment, the conversation manager module 1240 may send the results generated in the content provision module to the electronic device 1200d in response to user input.
  • the natural language generation module (NLG module) 1250 may change the specified information into a text form.
  • the information changed in the text form may be in the form of a natural language utterance.
  • the specified information may be, for example, information about additional inputs, information to guide completion of an operation corresponding to the user input, or information (e.g., feedback information on user input) that directs additional input of the user.
  • the information changed in the text form may be transmitted to the electronic device 1200d and displayed on the display, or may be transmitted to the text-to-speech conversion module (TTS module) 1260 to be changed to a voice form.
  • TTS module text-to-speech conversion module
  • the text-to-speech module (TTS module) 1260 may change textual information to speech-like information.
  • the text-to-speech conversion module 1260 receives text-type information from the natural language generation module 1250, converts the text-type information into voice-form information, and transmits the information to the electronic device 1200d. And the electronic device 1200d can output the information in the form of speech to the speaker.
  • the natural language understanding module 1220, the path planner module 1230, and the conversation manager module 1240 may be implemented as a single module.
  • the natural language understanding module 1220, the path planner module 1230, and the conversation manager module 1240 may be implemented as a module to determine the user's intent and parameters, You can create a response (eg, a path rule). Accordingly, the generated response can be transmitted to the electronic device 1200d.
  • FIG. 13 is a diagram for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device described in Fig. 13 is the above-described guest device 10, and the other electronic device is the user device 20 described above.
  • the electronic device can detect occurrence of an event requesting a setting of a first mode in which the artificial intelligence assistant function of another electronic device can be used (S1310).
  • the event requesting the setting of the first mode may include an event (for example, " BIX ratio, switch to guest mode ") for receiving a user utterance requesting the setting of the first mode, An event for receiving a user input requesting setting of a first mode through a menu screen displayed on the electronic device, an event for connecting to a network system including another electronic device, and the like.
  • the electronic device can change the first communication method of the communication unit to the second communication method, and request the identification information to another electronic device using the second communication method.
  • the electronic device may request identification information including the caller for using the artificial intelligence assistant function to another electronic device (S1320). That is, the electronic device can request the other electronic device to provide identification information including a call word (for example, a BIX ratio) for using the B artificial intelligence function used by another electronic device.
  • the identification information may include at least one of the name of the artificial intelligence secretary, the account information of the artificial intelligence secretary, the name of the manufacturer making the artificial intelligence secretary, the URL information of the artificial intelligence secretary, have.
  • the electronic device may receive the identification information from the other electronic device as a response to the request (S1330). At this time, the electronic device can receive the identification information using the second communication method. When the identification information is received using the second communication method, the electronic device can re-change the second communication method to the first communication method.
  • the electronic device may receive a user command while operating in the first mode of the artificial intelligence assistant (S1340).
  • the electronic device may receive a user utterance command that includes an invocation that is included in the identification information.
  • the electronic device may receive a user utterance command that includes a call to " Bixby, Show me a picture taken yesterday ".
  • the electronic device may include a user utterance command that includes an invocation of an artificial intelligence assistant function of the electronic device. For example, if the caller of the artificial intelligence function of the electronic device is " Galaxy ", the electronic device may receive a user utterance command that includes a call to " Galaxy, show a picture taken yesterday ".
  • the electronic device can transmit the user command to the other electronic device based on the identification information (S1350).
  • an electronic device distinguishes an operation to be performed by another electronic device in a user command received using an input unit, generates an operation to be performed by another electronic device including identification information as a command, To other electronic devices.
  • FIG. 14 is a diagram for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • the electronic device described in Fig. 13 is the above-described user device 20, and the other electronic device is the guest device 10 described above.
  • the electronic device may receive a signal requesting transmission of identification information including an alerting word to use the artificial intelligence assistant function (S1410). At this time, the electronic device can receive a signal requesting transmission of the identification information using the first communication method.
  • the electronic device may display on the display a user interface requesting confirmation of the user for transmission of the identification information (S1420).
  • the electronic device may receive a confirmation of the user via the user interface via the method described in Figures 2-4.
  • the electronic device may transmit the identification information to another electronic device as a result of the confirmation of the user (S1430). At this time, the electronic device can transmit the identification information using the first communication method, and can change the first communication method to the second communication method after transmitting the identification information.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer-readable medium may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
  • the method according to the disclosed embodiments may be provided as a computer program product.
  • the computer program product may include a S / W program, a computer readable storage medium storing the S / W program, or a merchandise traded between the merchant and the purchaser.
  • a computer program product includes a product in the form of a software program (e.g., a downloadable app) that is electronically distributed through an electronic device or electronic device manufacturer or an electronic marketplace (e.g., Google Play Store, AppStore) can do.
  • a software program e.g., a downloadable app
  • an electronic marketplace e.g., Google Play Store, AppStore
  • the S / W program may be stored on a storage medium or may be created temporarily.
  • the storage medium may be a manufacturer or a server of an electronic market, or a storage medium of a relay server.
  • part may be a hardware component such as a processor or a circuit, and / or a software component executed by a hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치 및 이의 제어 방법이 개시된다. 개시되는 전자 장치는, 입력부, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 타 전자 장치에게 요청하도록 통신부를 제어하고, 요청에 대한 응답으로서, 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며, 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 식별 정보를 바탕으로 타 전자 장치로 사용자 명령을 전송하도록 통신부를 제어하는 명령어들을 포함할 수 있다. 상기 인공 지능 비서 기능을 제공하는 전자 장치 또는 서버는, 규칙 기반 또는 인공 지능 알고리즘을 이용하여 음성을 인식하고 분석할 수 있다. 인공 지능 알고리즘을 이용하여 음성은 인식하고 분석하는 경우, 인공 지능 비서 기능을 제공하는 전자 장치 또는 서버는 기계 학습, 신경망 또는 딥러닝 알고리즘을 이용하여 음성을 인식하고 분석할 수 있다.

Description

전자 장치 및 이의 제어 방법
본 개시는 인공 지능 비서의 활용 방법에 관한 것으로, 더욱 상세하게는 인공 지능 비서 기능을 외부 장치에서 사용하는 게스트 모드를 제공하는 전자 장치 및 이의 제어 방법에 관한 것이다.
키보드나 마우스를 이용한 전통적인 입력 방식에 부가하여, 최근의 전자 장치들은 음성 입력과 같은 다양한 입력 방식을 지원할 수 있다. 예를 들어, 스마트폰, 태블릿 또는 인공 지능 스피커와 같은 전자 장치들은 음성 인식 서비스가 실행된 상태에서 입력되는 사용자의 음성을 인식하고, 음성 입력에 대응되는 동작을 실행하거나 검색 결과를 제공할 수 있다.
음성 인식 기능은 자연어를 처리하는 기술을 기반으로 발전하고 있다. 자연어를 처리하는 기술은 사용자 발화의 의도를 파악하고, 의도에 맞는 결과를 사용자에게 제공하는 기술이다.
근래에 다양한 업체들이 이러한 음성 인식 기능에 기반한 인공 지능 비서 기능을 제공하고 있다.
인공 지능 시스템은 기존의 룰(rule) 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공 지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 룰 기반 스마트 시스템은 점차 딥러닝 기반 인공 지능 시스템으로 대체되고 있다.
인공 지능 기술은 기계학습(예를 들면, 딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공 지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
기존의 인공 지능 비서 기능은 사용자가 사전에 등록한 장치에서 수행될 수 있다. 이에 따라, 사용자는 계속적인 사용으로 본인에게 맞추어진 인공 지능 비서 기능을 사용자가 기 설정하지 않은 장치 또는 타인의 장치에서 사용할 수 없는 불편함이 있었다.
또한 사용자가 사용하는 인공 지능 비서 기능과 다른 인공 지능 비서 기능을 사용하는 장치에서 사용자의 인공 지능 비서 기능을 사용할 수 없는 불편함이 있었다.
본 개시는 사용자가 기 설정하지 않은 장치 또는 타인의 장치에서도 종래에 사용하던 인공 지능 비서 기능을 사용할 수 있는 방법을 제안한다. 또한, 사용자가 사용하는 인공 지능 비서가 아닌 다른 인공 지능 비서를 제공하는 장치에서도 사용자의 인공 지능 비서 기능을 사용할 수 있는 방법을 제안하고자 한다.
일 실시예에 따른 전자 장치는, 입력부, 통신부, 프로세서, 및 메모리;를 포함하고, 상기 메모리는, 상기 프로세서가, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하도록 상기 통신부를 제어하고, 상기 요청에 대한 응답으로서, 상기 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며, 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는 명령어들(instructions)을 포함할 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 통신부, 프로세서, 및 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 통신부를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스가 표시되도록 상기 디스플레이를 제어하고, 상기 사용자 인터페이스를 통한 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작; 상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작; 상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작, 상기 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시하는 동작, 및 상기 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작을 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작; 상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작; 상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및 상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 수행하도록 설정된 명령어들을 저장하는 기록 매체를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신하는 동작, 상기 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시하는 동작, 및 상기 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하는 동작을 수행하도록 설정된 명령어들을 저장하는 기록 매체를 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 사용자는 사용자가 사용하는 인공 지능 비서 기능을 다른 인공 지능 비서 기능을 제공하는 장치에서도 사용할 수 있게 된다.
본 개시의 다양한 실시예에 따르면, 사용자는 사용자 인공 지능 비서 기능을 사용하던 장치가 아닌 외부 장치에서도 사용자에게 맞추어진 인공 지능 비서 기능을 사용할 수 있게 된다.
도 1a는 일 실시예에 따른 인공 지능 비서 기능에 포함 된 게스트 모드를 설정하는 과정을 설명하기 위한 도면이다.
도 1b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
도 1c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
도 1d는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
도 1e는 일 실시예에 따른 인공 지능 비서의 게스트 모드를 종료하는 상황을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 게스트 장치가 인공 지능 비서 기능에 포함된 게스트 모드의 시작과 종료를 알리는 알림을 생성하는 상황을 설명하기 위한 도면들이다.
도 3은 일 실시예에 따른 사용자 장치가 인공 지능 비서의 게스트 모드 시작을 위한 사용자 승인을 요청하는 상황을 설명하기 위한 도면들이다.
도 4는 일 실시예에 따른 사용자 장치가 사용자의 승인을 요청하는 다양한 상황을 설명하기 위한 도면들이다.
도 5는 일 실시예에 따른 게스트 장치, 사용자 장치 및 서버의 개략적인 블록도이다.
도 6은 일 실시예에 따른 게스트 장치가 사용자 장치에 전송하는 확인 신호의 실시예를 설명하는 도면이다.
도 7은 일 실시예에 따른 사용자 장치와 게스트 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드 활용을 설명하기 위한 도면이다.
도 8을 일 실시예에 따른 인공 지능 비서 기능의 게스트 모드 실행 방법을 설명하는 흐름도이다.
도 9a는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 9b는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 9c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
도 10은 일 실시예에 게스트 장치와 사용자 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
도 11a는 일 실시예에 따른 게스트 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
도 11b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
도 12는 일 실시예에 따른 인공 지능 비서 기능의 동작 방법을 설명하기 위한 도면이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다.
도 1a는 일 실시예에 따른 인공 지능 비서 기능에 포함 된 게스트 모드를 설정하는 과정을 설명하기 위한 도면이다.
본 개시의 일 실시예에 따른 인공 지능 비서 기능은 게스트 모드 제공 장치(이하, 게스트 장치)(10) 및 사용자 장치(20) 중 적어도 하나를 포함하는 전자 장치와 적어도 하나 이상의 서버(15, 25)를 이용하여 구현될 수 있다. 서버(15, 25)는 클라우드(cloud) 서버를 포함할 수 있다. 그러나 이에 한정되는 것은 아니다.
전자 장치는 게스트 장치(10) 및 사용자 장치(20) 중 적어도 하나를 포함할 수 있다. 전자 장치는 전자 장치 내부에 저장 된 앱(또는, 어플리케이션 프로그램(application program))(예를 들면, 알람 앱, 메시지 앱, 갤러리 앱 등)을 통해 사용자에게 필요한 기능 또는 서비스를 제공할 수 있다.
예를 들어, 전자 장치는 전자 장치 내부에 저장된 음성 인식 앱과 같은 지능형 앱을 통해 다른 앱을 실행하고 동작시킬 수 있다. 전자 장치는 음성 인식 앱과 같은 지능형 앱을 동작시키기 위한 사용자 입력을 수신할 수 있다. 사용자 입력은, 예를 들면, 물리적 버튼, 터치 패드, 음성 입력, 원격 입력 등을 통해 수신될 수 있다.
일 실시예에 따르면, 전자 장치는 휴대폰, 스마트폰, PDA(personal digital assistant), 인공 지능(AI, artificial intelligence) 스피커 또는 노트북 컴퓨터 등 인터넷에 연결 가능한 각종 장치를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 사용자의 발화를 사용자 입력으로 수신할 수 있다. 전자 장치는 사용자의 발화를 수신하고 사용자의 발화에 기초하여 앱을 동작시키는 명령을 생성할 수 있다. 이에 따라, 전자 장치는 생성된 명령을 이용하여 다양한 앱을 동작시킬 수 있다.
일 실시예에 따르면, 서버(15, 25)는 제3 기기(30)를 통해 전자 장치로부터 사용자 음성 입력을 수신하여 텍스트 데이터(text data)로 변경할 수 있다. 제3 기기는, 예를 들면, 엑세스 포인트(AP, access point), 중계기, 공유기, 게이트웨이 또는 허브 중 적어도 하나일 수 있다.
다양한 실시예에 따르면, 서버(15, 25)는 복수 개일 수 있다. 예를 들어, A 서버(15)는 A 인공 지능 비서 기능을 지원하는 플랫폼 또는 제조사의 서버이고, B 서버(25)는 B 인공 지능 비서 기능을 지원하는 플랫폼 또는 제조사의 서버일 수 있다. 그러나 이에 한정되지는 않는다. 예를 들어, A 인공 지능 비서 기능과 B 인공 지능 비서 기능은 다수 개의 서버를 이용하여 구현될 수 있다.
다양한 실시예에 따르면, 서버(15, 25)는 텍스트 데이터에 기초하여 패스 룰(path rule)을 생성(또는, 선택)할 수 있다. 패스 룰은 앱의 기능을 수행하기 위한 동작(또는 오퍼레이션(operation)에 대한 정보 또는 동작을 실행하기 위해 필요한 파라미터에 대한 정보를 포함할 수 있다. 또한 패스 룰은 앱의 동작 순서를 포함할 수 있다. 전자 장치는 패스 룰을 수신하고, 패스 룰에 따라 앱을 선택하고, 선택된 앱에서 패스 룰에 포함된 동작을 실행시킬 수 있다.
일 실시예에 따르면, 서버(15, 25)는 사용자 정보가 저장된 데이터베이스를 포함할 수 있다. 서버(15, 25)는 전자 장치로부터 사용자 정보(예를 들면, 컨텍스트 정보, 앱 실행 정보 등)를 수신하여 데이터베이스에 저장할 수 있다. 서버(15, 25)는 데이터베이스에 포함된 정보를 사용자 입력에 대한 패스 룰을 생성하는 경우에 이용할 수 있다.
일 실시예에 따르면, 서버(15, 25)는 전자 장치 내에 저장된 기능 또는 앱의 소개 또는 제공될 기능에 대한 정보가 저장된 데이터베이스를 포함할 수 있다. 예를 들어, 서버(15, 25)는 사용자 정보를 이용하여 사용자가 사용할 수 있는 기능에 대한 데이터베이스를 생성할 수 있다. 전자 장치는 통신망을 통해 서버(15, 25)로부터 제공될 수 있는 기능에 대한 정보를 수신하여 사용자에게 제공할 수 있다.
다양한 실시예에 따르면, 서버(15, 25) 또는 전자 장치는 자연어 이해 모듈, 자연어 생성 모듈 등 학습을 통하여 인식 능력을 향상시키는 인식 모델을 포함할 수 있다. 이 경우, 인식 모델은 기계 학습, 신경망 또는 딥러닝 알고리즘 등의 인공 지능 알고리즘을 이용하여 학습된 모델일 수 있다. 이 경우, 상술한 사용자의 발화를 인식하여 텍스트 데이터로 변경하는 과정에서 인공 지능 알고리즘을 사용할 수 있다. 이에 대한 설명은 도 12에서 후술한다.
도 1a를 이용하여 인공 지능 비서 기능에 포함된 게스트 모드의 설정 방법을 설명한다.
인공 지능 비서 기능의 제1 모드(예로, 게스트 모드)는, 예를 들면, 사용자 소유의 전자 장치가 아닌 타 전자 장치를 이용하여 사용자 소유의 전자 장치에서 사용하던 인공 지능 비서 기능을 수행하는 모드를 의미할 수 있다. 즉, 사용자의 소유가 아닌 게스트 장치(10)에서 사용자 장치(20)를 제어하여 사용자 장치(20)에서 사용하던 인공 지능 비서 기능을 사용하는 것을 의미할 수 있다.
이 경우, 게스트 장치(10)와 사용자 장치(20)는 서로 다른 인공 지능 비서 기능을 사용할 수 있다. 예를 들어, 게스트 장치(10)는 A 서버(15)와 연동되는 A 인공 지능 비서 기능을 사용하고, 사용자 장치(20)는 B 서버(25)와 연동되는 B 인공 지능 비서 기능을 사용할 수 있다.
즉, 사용자는 사용자 장치(20)에서 사용하던 B 인공 지능 비서 기능을 게스트 모드를 이용하여 게스트 장치(10)에서 사용할 수 있다. 다양한 실시예에 따르면, A 서버(15)는 A 제조사 또는 A 플랫폼에서 생성한 서버일 수 있고, B 서버(25)는 B 제조사 또는 B 플랫폼에서 생성한 서버일 수 있다.
일 실시예에 따르면, 게스트 장치(10)는 사용자가 인공 지능 비서 기능을 사용했던 데이터 또는 사용자의 사용을 통하여 사용자에게 맞추어진 음성 비서 데이터와 관련된 정보를 사용자 장치(20) 또는 사용자 장치(20)와 통신망을 통해 연결된 B 서버(25)로부터 수신할 수 있다.
동작 ①에서, 게스트 장치(10)는 사용자(1)로부터 게스트 모드의 설정을 요청하는 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 설정을 요청하는 발화를 할 수 있다. 그리고, 게스트 장치(10)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다. 다양한 실시예에 따르면, 게스트 장치(10)와 서버(15, 20)는 제3 기기(30)를 이용하지 않고 바로 네트워크를 형성할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 게스트 모드의 설정을 요청하는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 게스트 모드의 설정을 준비할 수 있다. 예를 들어, 게스트 장치(10)는 와이파이 다이렉트(wifi direct) 또는 애드 훅(Ad-hoc) 기능을 실행하여 주변에 위치한 통신 가능한 장치를 검색하는 확인 신호를 생성하여 전송할 수 있다. 이 때, 주변에 위치한 장치는 사용자 장치(20)일 수 있다. 즉, 게스트 장치(10)는 사용자 장치(20)에서 사용하는 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청할 수 있다.
동작 ⑤에서, 사용자 장치(20)는 게스트 장치(10)로부터 인공 지능 비서 기능을 사용하기 위한 호출어(예를 들면, 빅스비, 알렉사, 코타나 등)를 포함하는 식별 정보를 요청하는 확인 신호를 수신할 수 있다. 이 경우, 사용자 장치(20)는 상기 식별 정보 전송에 대한 사용자(1)의 확인을 요청하는 사용자 인터페이스를 표시할 수 있다.
인공 지능 비서 기능을 사용하기 위한 식별 정보는, 예를 들면, B 인공 지능 비서에 접근할 수 있는 계정 정보, B 인공 지능 비서의 명칭, B 인공 지능 비서를 제공하는 제조사 명칭, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼 중 적어도 하나를 포함할 수 있다.
이때, 식별 정보가 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼인 경우, 게스트 장치(10)는 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼에 대응하는 인공 지능 비서의 호출어를 저장할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 식별 정보의 전송에 대한 사용자(1)의 확인이 있는 경우, 식별 정보를 게스트 장치(10)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 사용자 장치(20)로부터 식별 정보가 수신되는 경우, 제3 기기(30)에 연결할 수 있는 정보를 사용자 장치(20)에 전송할 수 있다. 예를 들어, 게스트 장치(10)와 제3 기기(30)가 wi-fi(wireless fidelity)를 이용하여 통신망을 수립한 경우, 유선/무선 LAN(local area network) 프레임에 포함된 옵셥 필드를 이용하여 게스트 장치(10)와 사용자 장치(20) 사이의 인터페이스를 정의할 수 있다.
일 실시예에 따르면, 게스트 장치(10)와 사용자 장치(20)는 자연어 기반의 인터페이스를 정의할 수 있다. 예를 들어, 게스트 장치(10)와 사용자 장치(20)는 사용자로부터 입력된 음성을 파일 형태로 주고받을 수 있다. 또한, 게스트 장치(10)와 사용자 장치(20)는 음성을 구조화된 텍스트 형태(예를 들어, CSV(comma separated value), XML(extensible markup language), HTML(hypertext markup language), JSON(java script object notation) 등)로 변환하거나, 자연어 형태의 텍스트 형태로 변환하여 주고받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 와이파이 다이렉트(wifi direct) 또는 애드 훅(Ad-hoc) 기능을 종료하고, 제3 기기(30)에 접속하고, 게스트 모드가 실행되었음을 알리는 사용자 인터페이스를 생성할 수 있다.
예를 들어, 게스트 장치(10)가 AI(artificial intelligence) 스피커인 경우, 게스트 장치(10)는 음성으로 게스트 모드의 시작을 사용자에게 알릴 수 있다. 게스트 장치(10)가 스마트 폰, 또는 태블릿 PC인 경우, 게스트 장치(10)는 디스플레이 등에 게스트 모드의 시작을 알리는 사용자 인터페이스를 표시할 수 있다.
한편, 상술한 실시예에서는 게스트 모드로 진입하기 위하여, 게스트 모드의 설정을 요청하는 사용자 명령(예로, 사용자 발화)를 수신하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)가 사용자 장치(20)가 포함하는 네트워크 시스템(예로, 홈 네트워크 시스템)에 접속된 경우, 게스트 장치(10)는 게스트 모드로 진입할 수 있다.
도 1b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 음악을 재생하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 내가 어제 듣던 가수의 앨범을 계속 재생해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 음악을 재생하려는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 사용자 장치(20)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 음악을 재생하는 것은 게스트 장치(10)의 동작으로 판단하고, 음악 파일(예: 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 획득하는 것은 사용자 장치(20)의 동작으로 판단할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 사용자 장치(20)에게 사용자가 어제 듣던 가수의 앨범의 음악 파일을 전송해줄 것을 요청할 수 있다. 예를 들어, 게스트 장치(10)는 사용자 장치(20)로부터 수신한 식별 정보(예를 들면, B 인공 지능 비서의 호출어인 빅스비)를 이용하여 "빅스비, 어제 듣던 가수의 앨범에 있는 음악 파일을 전송해줘"와 같은 자연어 기반 텍스트를 제3 기기(30)로 전송할 수 있다. 또 다른 실시예에 의하면, 게스트 장치(10)는 게스트 장치(10)와 사용자 장치(20) 사이에 정의된 인터페이스에 따라 자연어 기반 텍스트가 아닌 입력된 음성을 파일 형태로 바로 사용자 장치(20)로 전송하거나 입력된 음성을 B 인공 지능 비서 기능에 대응되는 구조화된 텍스트로 변경하여 사용자 장치(20)로 전송할 수 있다.
다양한 실시예에 따르면, 식별 정보가 "빅스비"가 아니라, B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼인 경우, 게스트 장치(10)는 B 인공 지능 비서의 명칭, B 인공 지능 비서의 제조사, B 인공 지능 비서의 URL(uniform resource locator) 정보 또는 B 인공 지능 비서를 제공하는 플랫폼과 대응하여 저장된 호출어인 "빅스비"이용하여 동작 ⑤와 동일한 동작을 수행할 수 있다.
동작 ⑤에서, 사용자 장치(20)는 제3 기기(30)로부터 "빅스비, 어제 듣던 가수의 앨범에 있는 음악 파일을 전송해줘"라는 게스트 장치(10)의 요청을 수신할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 검색할 수 있다. 동작 ⑥에서, 사용자 장치(20)는 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)이 사용자 장치(20)에 없는 경우, 통신망을 통해 연결된 B 서버(25)에게 게스트 장치(10)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)의 전송을 요청하여 수신받을 수 있다.
동작 ⑦에서, 사용자 장치(20)는 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 제3 기기(30)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 전송받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 음악 재생 어플리케이션을 실행하고, 수신된 음악 파일(예를 들면, 사용자가 어제 듣던 가수의 앨범에 있는 음악 파일)을 재생할 수 있다.
다양한 실시예에 따르면, 사용자(1)는 게스트 모드를 이용하여 네트워크에 연결된 다양한 가전 기기들(1000)을 제어할 수 있다.
예를 들어, 게스트 장치(10)는 "TV를 켜고 1번 채널을 보여줘"라는 사용자(1)의 명령에 수신할 수 있다. 게스트 장치(10)는 수신된 명령을 사용자 장치(20)로 전송할 수 있다. 사용자 장치(20)는 수신된 명령에 따라서 네트워크에 연결된 TV(1001)을 제어하여 TV를 ON 하고, 채널을 1번으로 변경할 수 있다.
도 1c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하기 위한 도면이다.
예를 들어, 게스트 장치(10)가 사용하는 A 서버(15)를 통해 B 서버(25)가 제공하는 B 인공 지능 비서 기능을 게스트 모드로 활용하는 상황일 수 있다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 음악을 재생하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 내가 가장 많이 청취한 앨범을 재생해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)에 전송하고, A 서버(15)에 포함된 음성 인식 알고리즘 등을 이용하여 확인할 수 있다.
동작 ②에서, 게스트 장치(10)는 수신된 명령을 음성 파일 형태로 제3 기기(30)로 전송할 수 있다. 동작 ②에서, A 서버(15)는 제3 기기(30)로부터 사용자(1)의 명령을 수신할 수 있다.
동작 ③에서 A 서버(15)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작으로 구분할 수 있다. 예를 들어, A 서버(15)는 음악을 재생하는 것은 게스트 장치(10)의 동작으로 판단하고, 음악 파일(예: 사용자가 가장 많이 청취한 앨범에 있는 음악 파일)을 획득하는 것은 B 서버(25)의 동작으로 판단할 수 있다.
동작 ④에서, A 서버(15)는 B 서버(25)에게 "사용자가 가장 많이 청취한 앨범"에 있는 음악 파일을 전송해줄 것을 요청할 수 있다. 예를 들어, A 서버(15)는, 도 1a에서 상술한 바와 같이, 사용자 장치(20)로부터 수신한 식별 정보(예를 들면, B 인공 지능 비서의 호출어인 빅스비)를 이용하여 "빅스비, 가장 많이 청취한 앨범에 있는 음악 파일을 전송해줘"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다. 또 다른 실시예에 의하면, A 서버(15)는 A 서버(15)와 B 서버(25) 사이에 정의된 인터페이스에 따라 자연어 기반 텍스트가 아닌 입력된 음성을 파일 형태로 바로 B 서버(25)로 전송하거나 입력된 음성을 B 인공 지능 비서 기능에 대응되는 구조화된 텍스트로 변경하여 B 서버(25)로 전송할 수 있다
동작 ⑤에서, B 서버(25)는 A 서버(15)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 검색할 수 있다. 동작 ⑤에서, B 서버(25)는 A 서버(15)의 요청에 대응하는 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)이 B 서버(25)에 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 전송을 요청하여 수신 받을 수 있다.
동작 ⑥에서, B 서버(25)는 수신된 음악 파일(예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 A 서버(15)로 전송할 수 있다.
동작 ⑦에서, A 서버(15)는 수신된 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 제3 기기(30)로 전송할 수 있다. 또한, A 서버(15)는 게스트 장치(10)에게 음악 재생 어플리케이션을 실행할 것을 명령할 수 있다. 동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)과 명령을 수신할 수 있다.
동작 ⑧에서, 게스트 장치(10)는 음악 재생 어플리케이션을 실행하고, 수신된 (예를 들면, 사용자가 가장 많이 청취한 앨범에 포함된 음악 파일)을 재생할 수 있다.
도 1d는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
예를 들어, 게스트 장치(10)가 B 서버(25)를 통해 B 서버(25)가 제공하는 B 인공 지능 비서 기능을 게스트 모드로 활용하는 상황일 수 있다.
동작 ①에서, 게스트 장치(10)는 B 인공 지능 비서 기능을 이용하여 이미지를 표시하려는 사용자(1)의 명령을 수신할 수 있다. 이하에서, B 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 어제 촬영한 이미지를 보여줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)에 전송하고, A 서버(15)에 포함된 음성 인식 알고리즘 등을 이용하여 확인할 수 있다.
동작 ②에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 어제 촬영한 이미지)을 획득하는 것은 B 서버(25)의 동작으로 판단할 수 있다.
동작 ③에서, 게스트 장치(10)는 "빅스비, 어제 촬영한 이미지를 전송해줘"와 같은 명령을 제3 기기(30)로 전송할 수 있다. 동작 ③에서 B 서버(25)는 제3 기기(30)를 통해 게스트 장치(10)가 전송한 명령을 수신할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)와 B 서버(25)는 제3 기기(30)없이 직접 통신망을 통해 명령 또는 데이터를 송수신할 수 있다.
동작 ④에서, B 서버(25)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)를 검색할 수 있다. 동작 ④에서, B 서버(25)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)이 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 어제 촬영한 이미지)의 전송을 요청하여 수신받을 수 있다.
동작 ⑤에서, B 서버(25)는 이미지 파일(예를 들면, 어제 촬영한 이미지)을 제3 기기(30)로 전송할 수 있다. 동작 ⑤에서, 게스트 장치(10)는 제3 기기(30)로부터 이미지 파일(예를 들면, 어제 촬영한 이미지)을 수신할 수 있다.
동작 ⑥에서, 게스트 장치(10)는 이미지 재생 어플리케이션을 실행하고, 수신된 이미지 파일(예를 들면, 어제 촬영한 이미지)을 표시할 수 있다.
도 1e는 일 실시예에 따른 인공 지능 비서의 게스트 모드를 종료하는 상황을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 사용자(1)로부터 게스트 모드의 종료를 요청하는 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 종료를 요청하는 발화를 할 수 있다. 그리고, 게스트 장치(10)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자(1)의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 게스트 모드의 종료를 요청하는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자(1)의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 게스트 모드의 종료에 대한 알림을 제3 기기(30)로 전송할 수 있다.
동작 ④에서, 사용자 장치(20)는 제3 기기(30)로부터 게스트 모드의 종료에 대한 알림을 수신할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드 동작 동안 사용자 장치(20)로부터 수신된 데이터 및 식별 정보를 모두 삭제할 수 있다. 이로 인해, 사용자(1)는 게스트 장치(10)와 같은 타인의 전자 장치에 사용자(1)와 관련된 정보를 남기지 않을 수 있다. 또한, 게스트 장치(10)는 게스트 모드의 종료를 알리는 사용자 인터페이스를 생성할 수 있다.
다양한 실시예에 따르면, 사용자(1)는 사용자 장치(20)를 이용하여 게스트 모드를 종료할 수 있다.
동작 ⑥에서, 사용자 장치(20)는 게스트 모드의 종료를 요청하는 사용자(1)의 명령을 수신할 수 있다. 예를 들면, 사용자(1)는 게스트 모드의 종료를 요청하는 발화를 할 수 있다. 그리고, 사용자 장치(20)는 사용자(1)의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다.
동작 ⑦에서, 사용자 장치(20)는 게스트 모드의 종료에 대한 알림을 제3 기기(30)로 전송할 수 있다. 동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 게스트 모드의 종료에 대한 알림을 수신할 수 있다. 사용자 장치(20)는 수신된 명령에 따라 게스트 장치(10)로의 데이터 전송을 중단할 수 있다.
게스트 장치(10)는 게스트 모드의 종료에 대한 알림이 수신되는 경우, 인공 지능 비서 기능의 게스트 모드 동작 동안 사용자 장치(20)로부터 수신된 데이터 및 식별 정보를 모두 삭제할 수 있다. 이로 인해, 사용자(1)는 게스트 장치(10)와 같은 타인의 전자 장치에 사용자(1)와 관련된 정보를 남기지 않을 수 있다.
이와 같이, 본 개시의 일 실시예에 따르면, 사용자(1)는 사용하던 전자 장치가 아닌 다른 전자 장치를 이용하여 사용자의 전자 장치에서 사용하던 인공 지능 비서 기능을 사용할 수 있다. 이로 인해, 사용자는 사용자의 사용 이력에 따라 최적화된 인공 지능 비서 기능을 별도 설정 없이 다른 전자 장치에서 이용할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 음성 비서 게스트 모드를 지원하는 타 전자 장치는 게스트 모드의 종료 시 수신된 모든 데이터를 삭제하여 사용자의 정보가 타 전자 장치에 남아있는 것을 방지할 수 있다.
한편, 상술한 실시예에서는 게스트 장치(10)와 사용자 장치(20)가 서로 다른 인공 지능 비서 기능을 사용하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)와 사용자 장치(20)는 서로 같은 인공 지능 비서 기능을 사용할 수 있다. 예를 들어, 게스트 장치(10) 및 사용자 장치(20) 모두 A 서버(15)와 연동되는 A 인공 지능 비서 기능을 사용할 수 있다. 이 경우, 게스트 장치(10)에 게스트 모드의 설정을 요청하는 명령이 수신되면, 게스트 장치(10)는 A 서버(15)로부터 사용자 장치(20)의 계정 정보를 획득할 수 있다. 게스트 장치(10)는 획득된 사용자 장치(20)의 계정 정보를 바탕으로 사용자 장치(20)에 액세스하여 사용자 장치(20)를 제어할 수 있다.
또한, 상술한 실시예에서는 게스트 장치(10)에 B 인공 지능 비서의 호출어를 이용한 사용자의 발화가 입력된 경우, 게스트 장치(10)가 사용자 장치(20)에 사용자 발화(또는 사용자 발화에 대응되는 텍스트)를 전송하였으나, 이는 일 실시예에 불과할 뿐, 게스트 장치(10)에 A 인공지능 비서의 호출어를 이용한 사용자 발화가 입력된 경우에도, 게스트 장치(10)가 사용자 장치(20)에 사용자 발화(또는 사용자 발화에 대응되는 텍스트를 전송할 수 있다.
예로, A 인공지능 비서의 호출어가 "갤럭시"이고, B 인공지능 비서의 호출어가 "빅스비"인 경우, 게스트 장치(10)에 "갤럭시, 어제 촬영한 이미지를 보여줘"라는 사용자 음성이 입력될 수 있다. 이때, 게스트 장치(10)는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 사용자 장치(20)(또는 B 서버(25))가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 어제 촬영한 이미지)을 획득하는 것은 사용자 장치(20)(또는 B 서버(25))의 동작으로 판단할 수 있다.
이때, 게스트 장치(10)는 사용자 장치(20)(또는 B 서버(25))의 동작으로 판단한 명령을 전송하기 위하여, 식별 정보에 포함된 B 인공지능 비서기능의 호출어를 이용할 수 있다. 예로, 게스트 장치(10)는 "빅스비, 어제 촬영한 이미지를 전송해줘"와 같은 텍스트(또는 구조화된 텍스트)와 같이, B 인공지능 비서기능의 호출어를 포함하는 명령을 생성하고, 생성된 명령을 사용자 장치(20)(또는 B 서버(25))에 전송할 수 있다.
사용자 장치(20)(또는 B 서버(25))는 게스트 장치(10)로부터 수신된 명령에 응답하여 어제 촬영한 이미지를 게스트 장치(10)로 전송할 수 있다.
즉, 게스트 장치(10)는 B 인공지능 비서기능의 호출어를 포함하는 사용자 명려이가 입력되지 않더라도 B 인공지능 비서기능의 호출어를 이용하여 사용자 명령을 사용자 장치(20)(또는 B 서버(25))로 전송할 수 있다.
또 다른 실시예에서는 게스트 장치(10)는 사용자 발화에 포함된 B 인공지능 비서기능의 호출어를 바탕으로 사용자 장치(20)가 수행할 동작을 판단할 수 있다. 예로, 게스트 장치(10)에 "갤럭시, 빅스비에게 어제 촬영한 이미지를 전송해 달라고 요청해 줘"라는 사용자 발화가 수신된 경우, 게스트 장치(10)는 사용자 발화에 포함된 B 인공지능 비서의 호출어인 "빅스비"를 바탕으로 B 인공지능 비서(즉, 사용자 장치(20))가 수행할 동작이 "어제 촬영한 이미지 전송"이라는 것을 판단할 수 있다.
도 2는 일 실시예에 따른 게스트 장치가 인공 지능 비서 기능에 포함된 게스트 모드의 시작과 종료를 알리는 알림을 생성하는 상황을 설명하기 위한 도면들이다.
도 2의 (a)를 참조하면, 게스트 장치(10)는 게스트 모드의 설정을 요청하는 사용자의 명령을 수신하고, "게스트 모드의 설정을 준비합니다."(210) 라는 알림을 표시할 수 있다.
게스트 장치(10)가 AI 스피커인 경우, 게스트 모드의 설정을 요청하는 사용자의 발화를 수신할 수 있다. AI 스피커는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 발화를 텍스트 형태로 변환하여 게스트 모드의 설정을 요청하는 발화의 내용을 인식할 수 있다.
게스트 장치(10)가 스마트 폰과 같이 터치 스크린 또는 물리 키를 포함하는 경우, 게스트 모드의 설정을 요청하는 사용자의 터치 입력 또는 키 입력을 수신하고, 게스트 모드를 시작할 수 있다. 그러나 이에 한정되지 않고, 스마트 폰도 사용자의 발화를 수신하여 게스트 모드를 시작할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "게스트 모드 설정을 준비합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드 설정을 준비하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드 설정을 준비하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (b)를 참조하면, 게스트 장치(10)는 와이파이 다이렉트(wi-fi direct) 또는 애드 훅(Ad-hoc) 기능을 실행하여 주변에 위치한 통신 가능한 장치를 검색하는 확인 신호를 전송할 수 있다. 확인 신호는, 예를 들면, 사용자 장치에서 사용하던 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청하는 신호일 수 있다.
게스트 장치(10)는 확인 신호를 전송하고, 식별 정보를 수신하는 동안, "사용 정보 확인 중"(220) 이라는 알림을 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "사용 정보 확인 중"이라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 사용 정보를 확인하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 사용 정보를 확인하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (c)를 참조하면, 게스트 장치(10)는 사용자 장치로부터 식별 정보를 수신하면, 게스트 모드를 시작할 수 있다. 예를 들어, 게스트 장치(10)는 와이파이 모드로 통신 방법을 변경하고, 사용자 장치에게 제3 기기에 접속할 수 있는 와이파이 연결 정보를 제공할 수 있다. 사용자 장치가 제3 기기에 접속한 것이 확인되면, 게스트 장치(10)는 "게스트 모드를 시작합니다."(230) 라는 알림을 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 AI 스피커인 경우, 게스트 장치(10)는 "게스트 모드를 시작합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드를 시작하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드를 시작하는 단계를 상징하는 소리를 생성할 수도 있다.
도 2의 (d)를 참조하면, 게스트 장치(10)는 게스트 모드의 종료를 요청하는 사용자의 명령을 수신하면, 게스트 모드를 종료할 수 있다. 예를 들어, 게스트 장치(10)가 AI 스피커인 경우, 게스트 모드의 종료를 요청하는 사용자의 발화를 수신할 수 있다. 게스트 장치(10)는 사용자의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 발화의 내용을 인식할 수 있다.
게스트 장치(10)가 스마트 폰과 같이 터치 스크린 또는 물리 키를 포함하는 경우, 게스트 모드의 종료를 요청하는 사용자의 터치 입력 또는 키 입력을 수신하고, 게스트 모드를 종료할 수 있다. 그러나 이에 한정되지 않고, 스마트 폰도 사용자의 발화를 수신하여 게스트 모드를 종료할 수 있다.
일 실시예에 따르면, 게스트 장치(10)는 게스트 모드 실행 중 외부의 서버 또는 사용자 장치로부터 수신되어 게스트 장치(10)에 저장된 데이터 및 식별 정보를 모두 삭제할 수 있다.
게스트 장치(10)는 데이터 삭제 후 또는 데이터를 삭제하면서, "게스트 모드를 종료합니다."(240) 라는 알림을 디스플레이(11)에 표시할 수 있다. 전자 장치가 AI 스피커인 경우, 전자 장치는 "게스트 모드를 종료합니다."라는 음성을 생성할 수 있다. 그러나 이에 한정되지 않고, 게스트 장치(10)는 내장된 조명 장치를 이용하여 게스트 모드를 종료하는 단계를 상징하는 빛을 생성할 수 있다. 또한, 게스트 장치(10)는 게스트 모드를 종료하는 단계를 상징하는 소리를 생성할 수도 있다.
도 3은 일 실시예에 따른 사용자 장치가 인공 지능 비서의 게스트 모드 시작을 위한 사용자 승인을 요청하는 상황을 설명하기 위한 도면들이다.
도 3의 (a)를 참조하면, 사용자 장치(20)는 게스트 모드의 시작을 위한 사용자 승인을 요청하는 알림을 생성할 수 있다. 예를 들어, 사용자 장치(20)는 게스트 장치로부터 게스트 모드 실행을 위한 식별 정보를 요청하는 확인 신호가 수신되면, 디스플레이(21)에 "게스트 모드를 위한 사용자 승인을 요청합니다."(310) 라는 사용자 인터페이스를 표시할 수 있다.
도 3의 (b)를 참조하면, 사용자 장치(20)는 식별 정보 전송을 위한 사용자 승인을 위하여 사용자의 발화를 요청하는 사용자 인터페이스를 표시할 수 있다. 예를 들어, 사용자 장치(20)는 ""삼성" 표시된 단어를 읽어 주세요"(320)라는 사용자 인터페이스를 표시할 수 있다.
일 실시예에 따르면, 사용자 장치(20)는 사용자의 발화를 수신하고 음성 데이터를 분석하여 사용자를 확인할 수 있다. 즉, 사용자 장치(20)는 표시된 발화를 읽은 음성 특징(예를 들면, 톤, 억양 등)을 인공 지능 비서 기능을 사용하면서 누적된 사용자의 음성 특징과 비교하여 동일한지 확인할 수 있다.
도 3의 (c)를 참조하면, 사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일한 경우, "게스트 모드를 위한 사용자 승인이 완료되었습니다."(340)라는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 3의 (d)를 참조하면, 사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일하지 않은 경우, 다시 한번 발화를 요청하는 사용자 인터페이스를 표시할 수 있다. 이 경우, 사용자 장치(20)는 종래 표시한 단어보다 음성 특징을 구분하기 용이한 단어를 설정할 수 있다. 예를 들어, 사용자 장치는 ""삶은 달걀" 표시된 단어를 읽어 주세요."(330)라는 사용자 인터페이스를 표시할 수 있다.
사용자 장치(20)는 발화를 읽은 음성의 특징과 인공 지능 비서 기능을 사용하면서 누적된 음성 특징이 동일한 경우, 도 3의 (c)와 같이, "게스트 모드를 위한 사용자 승인이 완료되었습니다."(340)라는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4는 일 실시예에 따른 사용자 장치가 사용자의 승인을 요청하는 다양한 상황을 설명하기 위한 도면들이다.
일 실시예에 따르면, 사용자 장치(20)는 발화를 인식하는 것 이외에 다양한 방식으로 식별 정보 전송에 대한 사용자의 확인을 진행할 수 있다.
도 4의 (a) 내지 도 4의 (c)를 참조하면, 사용자 장치(20)는 사용자의 신체의 적어도 일부를 인식하기 위한 생체 인식 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4의 (a)를 참조하면, 사용자 장치(20)는 홍채 인식 사용자 인터페이스(410)를 표시할 수 있다. 사용자 장치(20)는 내장된 카메라(미도시)를 이용하여 사용자의 두 눈이 두 개의 원에 위치하는 경우의 영상을 촬영하여 사용자의 홍채를 인식할 수 있다.
도 4의 (b)를 참조하면, 사용자 장치(20)는 안면 인식 사용자 인터페이스(420)를 표시할 수 있다. 사용자 장치(20)는 내장된 카메라(미도시)를 이용하여 사용자의 얼굴이 타원에 위치하는 경우의 영상을 촬영하여 사용자의 안면을 인식할 수 있다.
도 4의 (c)를 참조하면, 사용자 장치(20)는 지문 인식 사용자 인터페이스(430)를 표시할 수 있다. 사용자 장치(20)는 디스플레이(21)의 일부에 지문 인식 모듈을 포함할 수 있다. 이 경우, 사용자 장치(20)는 디스플레이(21)의 일정 영역에 지문 인식 사용자 인터페이스를 표시할 수 있다.
다양한 실시예에 따르면, 사용자 장치(20)는 홈 키 또는 사용자 장치(20)의 다른 영역에 지문 인식 모듈을 위치할 수 있다. 이 경우, 사용자 장치(20)는 해당 영역에 손가락을 위치하도록 안내하는 사용자 인터페이스를 디스플레이(21)에 표시할 수 있다.
도 4의 (d)를 참조하면, 사용자 장치(20)는 기 설정된 비밀 번호를 입력하는 사용자 인터페이스(440)를 표시할 수 있다. 이 경우, 사용자 장치는, 예를 들어, 사용자가 비밀 번호 입력 사용자 인터페이스를 터치하는 경우, 문자 또는 숫자를 입력할 수 있는 사용자 인터페이스를 팝업 형태로 디스플레이(21)에 표시할 수 있다.
도 5는 일 실시예에 따른 게스트 장치, 사용자 장치 및 서버의 개략적인 블록도이다.
도 5의 (a) 내지 도 5의 (c)를 참조하면, 게스트 장치(10)는 프로세서(510), 통신부(512), 메모리(514) 및 입력부(516)를 포함할 수 있다. 사용자 장치(20)는 프로세서(520), 통신부(522), 메모리(524) 및 디스플레이(523)를 포함할 수 있다. 서버(15)는 프로세서(530), 통신부(532) 및 메모리(534)를 포함할 수 있다. 그러나, 이에 한정되지는 않고 게스트 장치(10), 사용자 장치(20) 및 서버(15)는 구성 요소를 더 포함하거나 덜 포함할 수 있다.
일 실시예에 따르면, 프로세서(510. 520. 530)는, 예를 들면, 소프트웨어를 구동하여 프로세서(510. 520. 530)에 연결된 전자 장치의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(510. 520. 530)는 다른 구성요소(예를 들면, 통신부)로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
일 실시예에 따르면, 프로세서(510. 520. 530)는 메인 프로세서(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서는 메인 프로세서와 별개로 또는 임베디드 되어 운영될 수 있다.
이런 경우, 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서와 함께, 전자 장치의 구성요소들 중 적어도 하나의 구성요소(예: 입력부, 또는 통신부)와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 통신부, 카메라 모듈)의 일부 구성 요소로서 구현될 수 있다.
일 실시예에 따르면, 메모리(514, 524, 534)는, 전자 장치의 적어도 하나의 구성요소(예: 프로세서(510. 520. 530))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(514, 524, 534)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
일 실시예에 따르면, 통신부(512, 522, 532)는 게스트 장치(10), 사용자 장치(20) 및 서버(15)와의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신부(512, 522, 532)은 프로세서(510, 520, 530)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다.
일 실시예에 따르면, 통신부(512, 522, 532)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈()은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
도 5의 (a)를 참조하면, 게스트 장치(10)의 프로세서(510)는 인공 지능 비서 기능을 외부 장치에서 사용할 수 있는 게스트 모드의 설정을 요청하는 명령이 입력부(516)를 통해 수신되는 경우, 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 사용자 장치(20)로 요청하고, 사용자 장치(20)로부터 식별 정보를 수신하도록 통신부(512)를 제어할 수 있다.
일 실시예에 따르면, 게스트 장치(10)의 메모리(514)는 사용자 장치(20)로부터 수신된 식별 정보 및 인공 지능 비서 기능의 게스트 모드 동작 시에 사용되는 데이터가 저장될 수 있다. 게스트 장치(10)의 입력부(516)는, 예를 들면, 마이크, 터치 패널 등 사용자의 입력을 받을 수 있는 구성 요소일 수 있다. 다양한 실시예에 따르면, 게스트 장치(10)는 디스플레이, 출력부(예: 스피커, 조명 장치 등)을 더 포함할 수 있다.
도 5의 (b)를 참조하면, 사용자 장치(20)의 프로세서(520)는 인공 지능 비서 기능을 사용하기 위한 식별 정보를 요청하는 신호가 수신되는 경우, 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 생성하고, 사용자의 확인이 있는 경우, 식별 정보를 게스트 장치(10)로 전송하도록 통신부(522)를 제어할 수 있다.
일 실시예에 따르면, 사용자 장치(20)의 메모리(524)는 사용자가 인공 지능 비서 기능을 사용하면서 생성된 데이터가 저장될 수 있다. 예를 들어, 인공 지능 비서 기능을 호출하는 식별 정보, 사용자의 사용 이력 등이 저장될 수 있다. 또한, 사용자 장치(20)의 메모리(524)는 게스트 장치(10)로부터 수신한 제3 기기에 접속할 수 있는 정보를 저장할 수 있다.
사용자 장치(20)의 디스플레이(526)는 프로세서(520)의 제어에 따라서 식별 정보를 게스트 장치로 전송하는 것에 대한 확인을 요청하는 사용자 인터페이스를 표시할 수 있다. 디스플레이(526)는 터치 입력을 수신하는 터치 스크린의 형태일 수 있다. 다양한 실시예에 따르면, 사용자 장치(20)는 출력부(예: 스피커, 조명 장치 등), 입력부(예: 마이크), 카메라 모듈 등을 더 포함할 수 있다.
도 5의 (c)를 참조하면, 서버(15)의 프로세서(530)는 음성 인식 알고리즘을 이용하여 게스트 장치(10) 또는 사용자 장치(20)로부터 수신된 음성 파일에 포함된 내용을 확인할 수 있다. 서버(15)의 프로세서(530)는 확인된 내용에 따라 게스트 장치(10) 또는 사용자 장치(20)와 데이터를 송수신할 수 있다.
도 6은 일 실시예에 따른 게스트 장치가 사용자 장치에 전송하는 확인 신호의 실시예를 설명하는 도면이다.
도 6을 참조하면, 게스트 장치(예: 도 1a의 게스트 장치(10))는, 예를 들면, 제2 통신 방식으로 변경한 후, 하기와 같은 구조를 포함하는 확인 신호를 생성하여 사용자 장치(예: 도 1a의 사용자 장치(20))를 검색할 수 있다.
게스트 장치(예: 도 1a의 게스트 장치(10))가 생성하는 확인 신호는, 예를 들면, 무선 네트워크의 존재를 알리고, 상대방 장치로 하여금 무선 네트워크를 찾도록 도와주고, 무선 네트워크에 참여하도록 주기적으로(예를 들면, 초당 10회 등)으로 방송하는 프레임을 의미할 수 있다. 이 경우, 확인 신호는 무선 네트워크와 관련된 각종 파라미터 정보를 포함할 수 있다.
일 실시예에 따른 확인 신호는 헤더와 프레임 몸체로 구분할 수 있다.
헤더는, 예를 들면, Frame control 필드, Duration/ID 필드, DA(destination address, 목적지 주소) 필드 및 SA(source address, 송신지 주소) 필드, BSS ID(basic service set identifier) 필드 및 시퀀스 제어 필드를 포함할 수 있다.
Frame control 필드는 프레임의 맨 처음 시작 부분에 위치하고, 2 바이트의 크기를 가질 수 있다. Frame control 필드는 네트워크를 형성하는 각 장치간에 전달되는 프레임의 제어와 관련된 정보를 담을 수 있다.
Duration/ID 필드는 Frame control 필드 바로 뒤에 따라오는 2 바이트 크기를 가지는 필드이다. Duration/ID 필드는 NAV(network allocation vector) 값 또는 ps-조사 프레임의 해당 스테이션 ID를 제공할 수 있다.
DA(destination address, 목적지 주소) 필드 및 SA(source address, 송신지 주소) 필드는 전자 장치의 식별을 위한 6바이트 크기의 하드웨어 상에 구현된 물리적 주소를 의미할 수 있다.
BSS ID(basic service set identifier) 필드는 숫자값으로서 기본 서비스 영역을 식별하는 6바이트의 식별자 또는 네트워크 ID를 의미할 수 있다. BSS ID 필드는 여러 기본 서비스 영역들이 공존할 때 서로를 식별 가능하게 할 수 있다.
시퀀스 제어 필드는 정해진 순서에 따라 제어(control) 동작을 차례대로 행하도록 안내하는 2 바이트 크기의 필드이다.
FCS(frame check sequence) 필드는 프레임의 끝 부분에 위치하는 4 바이트의 필드로서, 수신측의 에러 검출을 돕기 위해 삽입하는 필드이다.
프레임 몸체는 관리 목적에 따라서 많은 수의 고정 또는 가변 길이의 필드/요소들로 유연하게 구성될 수 있다. 프레임 몸체는, 예를 들면, Timestamp 필드, Beacon interval 필드, Capacity Information 필드, SSID 필드 및 옵션필드를 포함할 수 있다.
Timestamp 필드는 8 바이트의 크기를 가지고, 기본 서비스 영역에서 각 장치간의 동기화를 위한 필드이다.
Beacon interval 필드는 2 바이트의 크기를 가지고, 비콘 프레임 전송 주기(또는, 시간 간격)을 표시할 수 있다.
Capacity Information 필드는 2 바이트의 크기를 가지고, 비콘 프레임, 프로브 응답 프레임 등에 주로 사용될 수 있다.
SSID 필드는 가변 필드로서, 문자값을 가지며, 여러 개의 Acess Point 들을 그룹화하여 하나의 IP 서브넷 관할 하에 두고 운영하는 서비스 제공자의 명칭을 의미할 수 있다.
옵션필드는 다양한 정보를 포함할 수 있다. 일 실시예에 따르면, 본 개시에서는 게스트 장치(예: 도1a의 게스트 장치(10))와 사용자 장치(예: 도 1b의 게스트 장치(20))간의 인터페이스 방법에 대한 정의를 포함할 수 있다. 예를 들어, 게스트 장치(예: 도1a의 게스트 장치(10))와 사용자 장치(예: 도 1b의 게스트 장치(20))는 자연어 기반의 상호 통신 방법을 정의할 수 있다.
이 경우, 두 장치(예: 게스트 장치, 사용자 장치)는 사용자가 입력한 음성을 파일 형태로 송수신하거나, 사용자가 입력한 음성을 구조화된 텍스트 형태(예를 들어, CSV(comma separated value), XML(extensible markup language), HTML(hypertext markup language), JSON(java script object notation) 등)로 변경하거나, 또는 사용자가 입력한 음성을 자연어 텍스트 형태로 변경한 후 송수신할 수 있다.
도 7은 일 실시예에 따른 사용자 장치와 게스트 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드 활용을 설명하기 위한 도면이다.
동작 ①에서, 게스트 장치(10)는 인공 지능 비서 기능을 이용하여 이미지를 표시하려는 사용자의 명령을 수신할 수 있다. 이하에서, 인공 지능 비서의 호출어는 "빅스비"로 가정하여 설명한다. 사용자(1)의 명령은, 예를 들면, "빅스비, 8월에 촬영한 사진 표시해 줘"일 수 있다. 게스트 장치(10)는 사용자(1)의 발화를 수신하고, 음성 인식 앱과 같은 지능형 앱을 이용하여 수신된 발화에 포함된 내용을 인식할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)는 사용자(1)로부터 받은 명령에 포함된 내용을 A 서버(15)를 이용하여 확인할 수 있다.
예를 들어, 동작 ②에서, 게스트 장치(10)는 수신된 명령을 제3 기기(30)로 전송할 수 있다. 동작 ②＇에서 A 서버(15)는 사용자의 명령을 수신할 수 있다. A 서버(15)는 사용자(1)의 발화를 수신하고 음성 인식 프로그램과 같은 지능형 프로그램을 이용하여 발화의 내용을 인식할 수 있다.
동작 ③에서, A 서버(15)는 발화의 내용을 제3 기기(30)로 전송할 수 있다. 동작 ③＇에서, 게스트 장치(10)는 이미지를 표시하려는 발화의 내용을 수신할 수 있다.
다양한 실시예에 따르면, 게스트 장치(10)가 음성 인식 앱과 같은 지능형 앱을 이용하여 사용자의 발화를 인식하는 경우, 동작 ②, ②＇, ③, ③＇ 는 생략할 수 있다.
동작 ④에서, 게스트 장치(10)는 사용자(1)의 명령을 게스트 장치(10)가 수행할 동작과 서버(15)가 수행할 동작으로 구분할 수 있다. 예를 들어, 게스트 장치(10)는 이미지를 표시하는 것은 게스트 장치(10)의 동작으로 판단하고, 이미지 파일(예: 8월에 촬영된 이미지들)을 획득하는 것은 서버(15)의 동작으로 판단할 수 있다.
동작 ⑤에서, 게스트 장치(10)는 서버(15)에게 "8월에 촬영된 이미지"파일들을 전송해줄 것을 요청할 수 있다. 예를 들어, 게스트 장치(10)는 "빅스비, 8월에 촬영한 이미지 파일을 전송해줘"와 같은 자연어 기반 텍스트를 제3 기기(30)로 전송할 수 있다.
동작 ⑤에서, 서버(15)는 제3 기기(30)로부터 "빅스비, 8월에 촬영한 이미지 파일을 전송해줘"라는 게스트 장치(10)의 요청을 수신할 수 있다.
동작 ⑥에서, 서버(15)는 게스트 장치(10)의 요청에 대응하는 이미지 파일들(예를 들면, 8월에 촬영된 이미지 파일들)을 검색할 수 있다. 동작 ⑥에서, 서버(15)는 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)이 서버(15)에 없는 경우, 통신망을 통해 연결된 사용자 장치(20)에게 게스트 장치(10)의 요청에 대응하는 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)을 요청하여 수신받을 수 있다.
동작 ⑦에서, 서버(15)는 이미지 파일을 제3 기기(30)로 전송할 수 있다.
동작 ⑦에서, 게스트 장치(10)는 제3 기기(30)로부터 이미지 파일을 전송 받을 수 있다.
동작 ⑧에서, 게스트 장치(10)는 이미지 재생 어플리케이션을 실행하고, 수신된 이미지 파일(예를 들면, 8월에 촬영된 이미지 파일)을 표시할 수 있다.
도 8을 일 실시예에 따른 인공 지능 비서 기능의 게스트 모드 실행 방법을 설명하는 흐름도이다.
동작 810을 참조하면, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드의 설정을 요청하는 명령을 수신할 수 있다. 그리고, 게스트 장치(10)는 사용자의 발화를 수신하고 음성 인식 앱과 같은 지능형 앱을 이용하여 발화에 포함된 내용을 인식할 수 있다. 이 경우, 게스트 장치(10)는 인공 지능 비서 기능을 위해 통신망을 설립하고 있는 서버에 수신된 명령을 전송하여 발화에 포함된 내용을 인식할 수도 있다.
동작 820을 참조하면, 게스트 장치(10)는 제1 통신 방식을 제2 통신 방식으로 변경할 수 있다. 예를 들면, 게스트 장치(10)는 와이파이(wi-fi) 모드를 Ad-hoc 모드 또는 와이파이 다이렉트(wi-fi direct) 모드로 변경할 수 있다.
동작 830을 참조하면, 게스트 장치(10)는 제2 통신 방식을 이용하여 인공 지능 비서 기능을 사용하기 위한 식별 정보를 사용자 장치(20)에게 요청할 수 있다.
동작 840을 참조하면, 사용자 장치(20)는 식별 정보 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 생성하여 표시할 수 있다. 예를 들어, 사용자 장치(20)는 음성 인식 기능을 이용하여 사용자의 확인을 수신할 수 있다.
동작 850을 참조하면, 사용자 장치(20)는 식별 정보를 게스트 장치(10)로 전송할 수 있다.
동작 860을 참조하면, 식별 정보를 수신한 게스트 장치(10)는 제1 통신 방식에 연결할 수 있는 정보를 사용자 장치(20)에게 전송할 수 있다.
동작 870을 참조하면, 게스트 장치(10)는 제2 통신 방식을 제1 통신 방식으로 변경할 수 있다. 예를 들어, 게스트 장치(10)는 Ad-hoc 모드 또는 와이파이 다이렉트(wi-fi direct) 모드를 와이파이(wi-fi)모드로 변경할 수 있다.
동작 880을 참조하면, 사용자 장치(20)는 제1 통신 방식에 연결할 수 있는 연결 정보를 이용하여 게스트 장치(10)와 통신망을 설립하여 연결될 수 있다.
동작 890을 참조하면, 사용자 장치(20)는 연결 완료 메시지를 게스트 장치(10)로 전송할 수 있다.
도 9a는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 910을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 912을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 사용자 장치(20)가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 오늘 일정을 알려줘"인 경우, 게스트 장치(10)는 오늘의 일정을 획득하는 것은 사용자 장치(20)의 동작이고, 수신된 일정을 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 914을 참조하면, 게스트 장치(10)는 기 수신된 사용자 장치(20)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 사용자 장치(20)의 동작을 포함하는 명령어를 사용자 장치(20)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 오늘 일정을 보내주세요"와 같은 자연어 기반 텍스트를 사용자 장치(20)로 전송할 수 있다.
동작 916을 참조하면, 사용자 장치(20)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, 사용자 장치(20)는 일정 어플리케이션에 저장된 사용자의 오늘 일정을 획득할 수 있다. 다양한 실시예에 따르면, 사용자 장치(20)는 인공 지능 비서 기능을 지원하는 서버와 연동하여 사용자의 오늘 일정을 획득할 수도 있다.
동작 918을 참조하면, 사용자 장치(20)는 데이터를 게스트 장치(10)로 전송할 수 있다.
동작 920을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 사용자의 오늘 일정을 스피커를 통해서 제공하거나, 또는 디스플레이를 통해 표시할 수 있다.
도 9b는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 930을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다. 사용자의 명령은, 예를 들면, "빅스비, 내일 일정을 알려줘"일 수 있다.
동작 932를 참조하면, 게스트 장치(10)는 수신된 사용자의 명령을 A 서버(15)로 전송할 수 있다.
동작 934를 참조하면, A 서버(15)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작을 구분할 수 있다. 예를 들어, A 서버(15)는 내일의 일정을 획득하는 것은 B 서버(25)의 동작이고, 수신된 일정을 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 936을 참조하면, A 서버(15)는 기 수신된 B 서버(25)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 B 서버(25)의 동작을 포함하는 명령어를 B 서버(25)로 전송할 수 있다. 예를 들어, A 서버(15)는 "빅스비, 내일 일정을 보내주세요"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다.
동작 938을 참조하면, B 서버(25)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, B 서버(25)는 메모리에 저장된 사용자의 일정 파일(예를 들면, 사용자의 내일 일정 파일)을 획득할 수 있다. 다양한 실시예에 따르면. B 서버(25)는 사용자 장치(20)와 연동하여 사용자의 일정 파일(예를 들면, 사용자의 내일 일정 파일)을 획득할 수도 있다.
동작 940을 참조하면, B 서버(25)는 획득한 데이터를 A 서버(15)로 전송할 수 있다.
동작 942를 참조하면, A 서버(15)는 게스트 장치(10)의 동작을 확인할 수 있다.
동작 944를 참조하면, A 서버(15)는 게스트 장치(10)가 수행할 동작과 수신된 데이터를 게스트 장치(10)로 전송할 수 있다. 예를 들어, A 서버(15)는 게스트 장치(10)가 일정 관리 어플리케이션을 실행할 것을 명령할 수 있다.
동작 946을 참조하면, 게스트 장치(10)는 수신된 게스트 장치(10)가 수행할 동작과 데이터를 이용하여 사용자 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 사용자의 내일 일정을 스피커를 통해서 제공하거나, 또는 디스플레이를 통해 표시할 수 있다.
도 9c는 일 실시예에 따른 서버를 이용하여 인공 지능 비서의 게스트 모드를 활용하는 다른 상황을 설명하기 위한 도면이다.
동작 950을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 952을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치(10)가 수행할 동작과 B 서버(25)가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 어제 작성한 문서 보여줘"인 경우, 게스트 장치(10)는 어제 작성한 문서를 획득하는 것은 B 서버(25)의 동작이고, 수신된 문서를 표시하는 것은 게스트 장치(10)의 동작으로 판단할 수 있다.
동작 954을 참조하면, 게스트 장치(10)는 기 수신된 B 서버(25)가 사용하는 인공 지능 비서의 식별 정보를 이용하여 B 서버(25)의 동작을 포함하는 명령어를 B 서버(25)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 어제 작성된 문서를 보내주세요"와 같은 자연어 기반 텍스트를 B 서버(25)로 전송할 수 있다.
동작 956을 참조하면, B 서버(25)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, B 서버(25)는 문서 작성 어플리케이션에 저장된 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 획득할 수 있다. 다양한 실시예에 따르면, B 서버(25)는 사용자 장치(20)와 연동하여 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 획득할 수도 있다.
동작 958을 참조하면, 사용자 장치(20)는 획득한 데이터를 게스트 장치(10)로 전송할 수 있다.
동작 920을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 문서 파일(예를 들면, 사용자가 어제 작성한 문서 파일)을 디스플레이를 통해 표시할 수 있다.
도 10은 일 실시예에 게스트 장치와 사용자 장치가 동일한 인공 지능 비서 기능을 사용하는 경우에 게스트 모드를 활용하는 상황을 설명하는 흐름도이다.
동작 1010을 참조하면, 게스트 장치(10)는 인공 지능 비서를 이용하려는 사용자의 명령을 수신할 수 있다.
동작 1020을 참조하면, 게스트 장치(10)는 수신된 명령에서 게스트 장치가 수행할 동작과 사용자 장치가 수행할 동작을 구분할 수 있다. 예를 들어, 사용자의 명령이 "빅스비, 운명 교향곡을 재생해줘"인 경우, 게스트 장치(10)는 운명 교향곡 음악 파일을 획득하는 것은 A 서버(15)의 동작이고, 수신된 음악 파일을 재생하는 것은 사용자 장치(20)의 동작으로 판단할 수 있다.
동작 1030을 참조하면, 게스트 장치(10)는 인공 지능 비서의 식별 정보를 이용하여 A 서버(15)의 동작을 포함하는 명령어를 사용자 장치(20)로 전송할 수 있다. 예를 들어, 게스트 장치(10)는"빅스비, 운명 교향곡 음악 파일을 보내주세요"와 같은 자연어 기반 텍스트를 A 서버(15)로 전송할 수 있다.
동작 1040을 참조하면, A 서버(15)는 수신된 명령어에 따라서 데이터를 획득할 수 있다. 예를 들어, A 서버(15)는 메모리에 저장된 음악 파일(예를 들면, 운명 교향곡 음악 파일)을 획득할 수 있다. 다양한 실시예에 따르면, A 서버(15)는 인공 지능 비서 기능을 사용하는 사용자 장치와 연동하여 음악 파일(예를 들면, 운명 교향곡 음악 파일)을 획득할 수도 있다.
동작 1050을 참조하면, A 서버(15)는 데이터(예를 들면, 음악 파일)를 게스트 장치(10)로 전송할 수 있다.
동작 1060을 참조하면, 게스트 장치(10)는 수신된 데이터를 이용하여 사용자의 명령을 수행할 수 있다. 예를 들어, 게스트 장치(10)는 수신된 음악 파일(예를 들면, 운명 교향굑 음악 파일)을 스피커를 통해서 재생할 수 있다.
도 11a는 일 실시예에 따른 게스트 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
동작 1110을 참조하면, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 종료하려는 사용자의 명령을 수신할 수 있다.
동작 1112을 참조하면, 게스트 장치(10)는 게스트 모드 종료를 요청하는 사용자의 명령이 수신 된 것을 사용자 장치(20)에게 알릴 수 있다. 예를 들어, 게스트 장치(10)는 "빅스비, 게스트 모드 종료합니다."와 같은 자연어 기반 텍스트를 사용자 장치(20)로 전송할 수 있다.
동작 1114을 참조하면, 사용자 장치(20)는 게스트 장치(10)와 통신망을 형성하였던 제1 통신 방식을 종료할 수 있다.
동작 1116을 참조하면, 게스트 장치(10)는 수신된 데이터 및 식별 정보를 삭제할 수 있다. 예를 들어, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 실행하면서 사용자 장치(20)로부터 수신된 식별 정보 및 사용자 장치(20) 또는 외부의 서버로부터 수신된 모든 데이터를 삭제할 수 있다.
도 11b는 일 실시예에 따른 사용자 장치를 이용하여 인공 지능 비서 기능을 종료하는 경우의 상황을 설명하는 흐름도이다.
동작 1120을 참조하면, 사용자 장치(20)는 인공 지능 비서의 게스트 모드를 종료하려는 사용자의 명령을 수신할 수 있다.
동작 1122를 참조하면, 사용자 장치(20)는 게스트 모드 종료를 요청하는 사용자의 명령이 수신된 것을 게스트 장치(10)에게 알릴 수 있다.
동작 1124를 참조하면, 게스트 장치(10)는 수신된 데이터 및 식별 정보를 삭제할 수 있다. 예를 들어, 게스트 장치(10)는 인공 지능 비서 기능의 게스트 모드를 실행하면서 사용자 장치(20)로부터 수신된 식별 정보 및 사용자 장치(20) 또는 외부의 서버로부터 수신된 모든 데이터를 삭제할 수 있다.
동작 1126을 참조하면, 사용자 장치(20)는 게스트 장치(10)와 통신망을 형성하였던 제1 통신 방식을 종료할 수 있다.
도 12는 일 실시예에 따른 인공 지능 비서 기능의 동작 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 인공 지능 비서 기능은 게스트 장치(10)와 사용자 장치(20)를 포함하는 전자 장치(1200d), 지능형 서버(1200a), 개인 정보화 서버(1200b) 및 제안 서버(1200c)를 포함할 수 있다. 다양한 실시예에 따르면, 지능형 서버(1200a), 개인 정보화 서버(1200b) 및 제안 서버(1200c)는 도 1a와 같이 하나의 서버로 구성될 수도 있다.
지능형 서버(1200a)는 자동 음성 인식(automatic speech recognition)(ASR) 모듈(1210), 자연어 이해(natural language understanding)(NLU) 모듈(1220), 패스 플래너(path planner) 모듈(1230), 대화 매니저(dialogue manager)(DM) 모듈(1240), 자연어 생성(natural language generator)(NLG) 모듈(1250) 또는 텍스트 음성 변환(text to speech)(TTS) 모듈(1260)을 포함할 수 있다.
지능형 서버(1200a)의 자연어 이해 모듈(1220) 또는 패스 플래너 모듈(1230)은 패스 룰(path rule)을 생성할 수 있다.
일 실시 예에 따르면, 자동 음성 인식(automatic speech recognition)(ASR) 모듈(1210)은 전자 장치(1200d)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다.
일 실시 예에 따르면, 자동 음성 인식 모듈(1210)은 전자 장치(1200d)로부터 수신된 사용자 입력을 텍스트 데이터로 변환할 수 있다. 예를 들어, 자동 음성 인식 모듈(1210)은 발화 인식 모듈을 포함할 수 있다. 상기 발화 인식 모듈은 음향(acoustic) 모델 및 언어(language) 모델을 포함할 수 있다. 예를 들어, 상기 음향 모델은 발성에 관련된 정보를 포함할 수 있고, 상기 언어 모델은 단위 음소 정보 및 단위 음소 정보의 조합에 대한 정보를 포함할 수 있다. 상기 발화 인식 모듈은 발성에 관련된 정보 및 단위 음소 정보에 대한 정보를 이용하여 사용자 발화를 텍스트 데이터로 변환할 수 있다. 상기 음향 모델 및 언어 모델에 대한 정보는, 예를 들어, 자동 음성 인식 데이터베이스(automatic speech recognition database)(ASR DB)(1211)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 문법적 분석(syntactic analyze) 또는 의미적 분석(semantic analyze)을 수행하여 사용자 의도를 파악할 수 있다. 상기 문법적 분석은 사용자 입력을 문법적 단위(예: 단어, 구, 형태소 등)로 나누고, 상기 나누어진 단위가 어떤 문법적인 요소를 갖는지 파악할 수 있다. 상기 의미적 분석은 의미(semantic) 매칭, 룰(rule) 매칭, 포뮬러(formula) 매칭 등을 이용하여 수행할 수 있다. 이에 따라, 자연어 이해 모듈(1220)은 사용자 입력이 어느 도메인(domain), 의도(intent) 또는 상기 의도를 표현하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))를 얻을 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 도메인(domain), 의도(intend) 및 상기 의도를 파악하는데 필요한 파라미터(parameter)(또는, 슬롯(slot))로 나누어진 매칭 규칙을 이용하여 사용자의 의도 및 파라미터를 결정할 수 있다. 예를 들어, 상기 하나의 도메인(예: 알람)은 복수의 의도(예: 알람 설정, 알람 해제 등)를 포함할 수 있고, 하나의 의도는 복수의 파라미터(예: 시간, 반복 횟수, 알람음 등)을 포함할 수 있다. 복수의 룰은, 예를 들어, 하나 이상의 필수 요소 파라미터를 포함할 수 있다. 상기 매칭 규칙은 자연어 인식 데이터베이스(natural language understanding database)(NLU DB)(1221)에 저장될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 형태소, 구 등의 언어적 특징(예: 문법적 요소)을 이용하여 사용자 입력으로부터 추출된 단어의 의미를 파악하고, 상기 파악된 단어의 의미를 도메인 및 의도에 매칭시켜 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 각각의 도메인 및 의도에 사용자 입력에서 추출된 단어가 얼마나 포함되어 있는 지를 계산하여 사용자 의도를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)은 상기 의도를 파악하는데 기초가 된 단어를 이용하여 사용자 입력의 파라미터를 결정할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도를 파악하기 위한 언어적 특징이 저장된 자연어 인식 데이터베이스(1221)를 이용하여 사용자의 의도를 결정할 수 있다. 다른 실시 예에 따르면, 자연어 이해 모듈(1220)은 개인화 언어 모델(personal language model)(PLM)을 이용하여 사용자의 의도를 결정할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 개인화된 정보(예: 연락처 리스트, 음악 리스트)를 이용하여 사용자의 의도를 결정할 수 있다. 상기 개인화 언어 모델은, 예를 들어, 자연어 인식 데이터베이스(1221)에 저장될 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)뿐만 아니라 자동 음성 인식 모듈(1210)도 자연어 인식 데이터베이스(1221)에 저장된 개인화 언어 모델을 참고하여 사용자의 음성을 인식할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터에 기초하여 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력의 의도에 기초하여 실행될 앱을 선택하고, 상기 선택된 앱에서 수행될 동작을 결정할 수 있다. 상기 자연어 이해 모듈(1220)은 상기 결정된 동작에 대응되는 파라미터를 결정하여 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 자연어 이해 모듈(1220)에 의해 생성된 패스 룰은 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터를 기반으로 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 패스 플래너 모듈(1230)로부터 전자 장치(1200d)에 대응되는 패스 룰 셋을 수신하고, 사용자 입력의 의도 및 파라미터를 상기 수신된 패스 룰 셋에 맵핑하여 패스 룰을 결정할 수 있다.
다른 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력의 의도 및 파라미터에 기초하여 실행될 앱, 상기 앱에서 실행될 동작 및 상기 동작을 실행하는데 필요한 파라미터를 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 전자 장치(1200d)의 정보를 이용하여 상기 실행될 앱 및 상기 앱에서 실행될 동작을 사용자 입력의 의도에 따라 온톨로지(ontology) 또는 그래프 모델(graph model) 형태로 배열하여 패스 룰을 생성할 수 있다. 상기 생성된 패스 룰은, 예를 들어, 패스 플래너 모듈(1230)를 통해 패스 룰 데이터베이스(path rule database)(PR DB)(1231)에 저장될 수 있다. 상기 생성된 패스 룰은 데이터베이스(1231)의 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 생성된 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 상기 복수의 패스 룰 최적의 패스 룰을 선택할 수 있다. 다른 예를 들어, 자연어 이해 모듈(1220)은 사용자 발화에 기초하여 일부 동작만이 특정된 경우 복수의 패스 룰을 선택할 수 있다. 자연어 이해 모듈(1220)은 사용자의 추가 입력에 의해 상기 복수의 패스 룰 중 하나의 패스 룰을 결정할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220)은 사용자 입력에 대한 요청으로 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력에 대응되는 하나의 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 다른 예를 들어, 자연어 이해 모듈(1220)은 사용자 입력에 대응되는 복수의 패스 룰을 전자 장치(1200d)로 송신할 수 있다. 상기 복수의 패스 룰은, 예를 들어, 사용자 발화에 기초하여 일부 동작만이 특정된 경우 자연어 이해 모듈(1220)에 의해 생성될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 복수의 패스 룰 중 적어도 하나의 패스 룰을 선택할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 자연어 이해 모듈(1220)로 복수의 패스 룰을 포함하는 패스 룰 셋을 전달할 수 있다. 상기 패스 룰 셋의 복수의 패스 룰은 패스 플래너 모듈(1230)에 연결된 패스 룰 데이터베이스(1231)에 테이블 형태로 저장될 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 전자 장치(1222d)의 정보(예: OS 정보, 앱 정보)에 대응되는 패스 룰 셋을 자연어 이해 모듈(1220)로 전달할 수 있다. 상기 패스 룰 데이터베이스(1231)에 저장된 테이블은, 예를 들어, 도메인 또는 도메인의 버전 별로 저장될 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 패스 룰 셋에서 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(1220)로 전달할 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 사용자의 의도 및 파라미터를 전자 장치(1200d)에 대응되는 패스 룰 셋에 매칭하여 하나의 패스 룰, 또는 복수의 패스 룰을 선택하여 자연어 이해 모듈(1220)로 전달할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 사용자 의도 및 파라미터를 이용하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 예를 들어, 패스 플래너 모듈(1230)은 사용자 의도 및 파라미터에 기초하여 실행될 앱 및 상기 앱에서 실행될 동작을 결정하여 하나의 패스 룰, 또는 복수의 패스 룰을 생성할 수 있다. 일 실시 예에 따르면, 패스 플래너 모듈(1230)은 상기 생성된 패스 룰을 패스 룰 데이터베이스(1231)에 저장할 수 있다.
일 실시 예에 따르면, 패스 플래너 모듈(1230)은 자연어 이해 모듈(1220)에서 생성된 패스 룰을 패스 룰 데이터베이스(1231)에 저장할 수 있다. 상기 생성된 패스 룰은 패스 룰 데이터베이스(1231)에 저장된 패스 룰 셋에 추가될 수 있다.
일 실시 예에 따르면, 패스 룰 데이터베이스(1231)에 저장된 테이블에는 복수의 패스 룰 또는 복수의 패스 룰 셋을 포함할 수 있다. 복수의 패스 룰 또는 복수의 패스 룰 셋은 각 패스 룰을 수행하는 장치의 종류, 버전, 타입, 또는 특성을 반영할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(1240)은 자연어 이해 모듈(1220)에 의해 파악된 사용자의 의도가 명확한지 여부를 판단할 수 있다. 예를 들어, 대화 매니저 모듈(1240)은 파라미터의 정보가 충분하지 여부에 기초하여 사용자의 의도가 명확한지 여부를 판단할 수 있다. 대화 매니저 모듈(1240)는 자연어 이해 모듈(1220)에서 파악된 파라미터가 태스크를 수행하는데 충분한지 여부를 판단할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(1240)는 사용자의 의도가 명확하지 않은 경우 사용자에게 필요한 정보를 요청하는 피드백을 수행할 수 있다. 예를 들어, 대화 매니저 모듈(1240)는 사용자의 의도를 파악하기 위한 파라미터에 대한 정보를 요청하는 피드백을 수행할 수 있다.
일 실시 예에 따르면, 대화 매니저 모듈(1240)은 컨텐츠 제공(content provider) 모듈을 포함할 수 있다. 상기 컨텐츠 제공 모듈은 자연어 이해 모듈(1220)에서 파악된 의도 및 파라미터에 기초하여 동작을 수행할 수 있는 경우, 사용자 입력에 대응되는 태스크를 수행한 결과를 생성할 수 있다. 일 실시 예에 따르면, 대화 매니저 모듈(1240)은 사용자 입력에 대한 응답으로 상기 컨텐츠 제공 모듈에서 생성된 상기 결과를 전자 장치(1200d)로 송신할 수 있다.
일 실시 예에 따르면, 자연어 생성 모듈(NLG 모듈)(1250)은 지정된 정보를 텍스트 형태로 변경할 수 있다. 상기 텍스트 형태로 변경된 정보는 자연어 발화의 형태일 수 있다. 상기 지정된 정보는, 예를 들어, 추가 입력에 대한 정보, 사용자 입력에 대응되는 동작의 완료를 안내하는 정보 또는 사용자의 추가 입력을 안내하는 정보(예: 사용자 입력에 대한 피드백 정보)일 수 있다. 상기 텍스트 형태로 변경된 정보는 전자 장치(1200d)로 송신되어 디스플레이에 표시되거나, 텍스트 음성 변환 모듈(TTS 모듈)(1260)로 송신되어 음성 형태로 변경될 수 있다.
일 실시 예에 따르면, 텍스트 음성 변환 모듈(TTS 모듈)(1260)은 텍스트 형태의 정보를 음성 형태의 정보로 변경할 수 있다. 텍스트 음성 변환 모듈(1260)은 자연어 생성 모듈(1250)로부터 텍스트 형태의 정보를 수신하고, 상기 텍스트 형태의 정보를 음성 형태의 정보로 변경하여 전자 장치(1200d)로 송신할 수 있다. 전자 장치(1200d)는 상기 음성 형태의 정보를 스피커로 출력할 수 있다.
일 실시 예에 따르면, 자연어 이해 모듈(1220), 패스 플래너 모듈(1230) 및 대화 매니저 모듈(1240)은 하나의 모듈로 구현될 수 있다. 예를 들어, 자연어 이해 모듈(1220), 패스 플래너 모듈(1230) 및 대화 매니저 모듈(1240)은 하나의 모듈로 구현되어 사용자의 의도 및 파라미터를 결정하고, 상기 결정된 사용자의 의도 및 파라미터에 대응되는 응답(예: 패스 룰)을 생성할 수 있다. 이에 따라, 생성된 응답은 전자 장치(1200d)로 송신될 수 있다.
도 13은 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 도면이다. 한편 도 13에서 설명한 전자 장치는 상술한 게스트 장치(10)이며, 타 전자 장치는 상술한 사용자 장치(20)이다.
우선, 전자 장치는 타 전자 장치의 인공지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트 발생을 감지할 수 있다(S1310). 이때, 제1 모드의 설정을 요청하는 이벤트는 제1 모드의 설정을 요청하는 사용자 발화를 수신하는 이벤트(예로, "빅스비, 게스트 모드로 전환해줘"), 전자 장치에 구비된 특정 버튼을 선택하는 이벤트, 전자 장치에 표시된 메뉴 화면을 통해 제1 모드의 설정을 요청하는 사용자 입력을 수신하는 이벤트, 타 전자 장치를 포함하는 네트워크 시스템에 접속하는 이벤트 등이 포함될 수 있다. 이때, 전자 장치는 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 제2 통신 방식을 이용하여 식별 정보를 타 전자 장치에게 요청할 수 있다.
전자 장치는 인공지능 비서기능을 사용하기 위한 호출어를 포함하는 식별 정보를 타 전자 장치에게 요청할 수 있다(S1320). 즉, 전자 장치는 타 전자 장치가 사용하는 B 인공지능 비서기능을 사용하기 위한 호출어(예로, 빅스비)를 포함하는 식별 정보를 타 전자 장치에게 요청할 수 있다. 이때, 식별 정보에는 인공 지능 비서의 명칭, 인공 지능 비서의 계정 정보, 인공 지능 비서를 제조하는 제조사 명칭, 인공 지능 비서의 URL 정보 또는 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함할 수 있다.
전자 장치는 요청에 대한 응답으로서, 타 전자 장치로부터 식별 정보를 수신할 수 있다(S1330). 이때, 전자 장치는 제2 통신 방식을 이용하여 식별 정보를 수신할 수 있다. 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우, 전자 장치는 제2 통신 방식을 제1 통신 방식으로 재변경할 수 있다.
전자 장치는 인공지능 비서의 제1 모드로 동작하는 동안 사용자 명령을 수신할 수 있다(S1340). 일 실시예에서는, 전자 장치는 식별 정보에 포함된 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다. 예로, 전자 장치는 "빅스비, 어제 찍은 사진 보여줘"라는 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다. 다른 실시예에서는, 전자 장치는 전자 장치의 인공지능 비서기능의 호출어를 포함하는 사용자 발화 명령을 포함할 수 있다. 예로, 전자 장치의 인공지능 기능의 호출어가 "갤럭시"인 경우, 전자 장치는 "갤럭시, 어제 찍은 사진 보여줘"라는 호출어를 포함하는 사용자 발화 명령을 수신할 수 있다.
전자 장치는 식별 정보를 바탕으로 타 전자 장치로 사용자 명령을 전송할 수 있다(S1350). 특히, 전자 장치는 입력부를 이용하여 수신되는 사용자 명령에서 타 전자 장치가 수행할 동작을 구분하고, 식별 정보를 포함하여 타 전자 장치가 수행할 동작을 명령어(command)로 생성하고, 생성된 명령어를 타 전자 장치로 전송할 수 있다.
도 14는 본 개시의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 도면이다. 한편 도 13에서 설명한 전자 장치는 상술한 사용자 장치(20)이며, 타 전자 장치는 상술한 게스트 장치(10)이다.
전자 장치는 인공지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호를 수신할 수 있다(S1410). 이때, 전자 장치는 제1 통신 방식을 이용하여 식별 정보의 전송을 요청하는 신호를 수신할 수 있다.
전자 장치는 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스를 디스플레이에 표시할 수 있다(S1420). 예로, 전자 장치는 도 2 내지 도 4에서 설명한 방법을 통해 사용자 인터페이스를 통해 사용자의 확인을 수신할 수 있다.
전자 장치는 사용자의 확인에 대한 결과로서, 식별 정보를 타 전자 장치로 전송할 수 있다(S1430). 이때, 전자 장치는 제1 통신 방식을 이용하여 식별 정보를 전송할 수 있으며, 식별 정보를 전송한 후, 제1 통신 방식을 제2 통신 방식으로 변경할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)으로 제공될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체 또는 판매자 및 구매자 간에 거래되는 상품을 포함할 수 있다.
예를 들어, 컴퓨터 프로그램 제품은 전자 장치 또는 전자 장치 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 입력부;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하도록 상기 통신부를 제어하고,
    상기 요청에 대한 응답으로서, 상기 통신부를 통해 상기 타 전자 장치로부터 상기 식별 정보를 수신하며,
    상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는 명령어들(instructions)을 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 제1 모드의 설정을 요청하는 이벤트가 발생된 경우, 상기 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 상기 제2 통신 방식을 이용하여 상기 식별 정보를 상기 타 전자 장치에게 요청하는 명령어들을 포함하는, 전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우에, 상기 제2 통신 방식을 상기 제1 통신 방식으로 재변경하는 명령어들을 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 식별 정보는,
    상기 인공 지능 비서의 명칭, 상기 인공 지능 비서의 계정 정보, 상기 인공 지능 비서를 제조하는 제조사 명칭, 상기 인공 지능 비서의 URL 정보 또는 상기 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 입력부를 통해 상기 호출어를 포함하는 사용자 명령이 수신되는 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하도록 상기 통신부를 제어하는, 전자 장치.
  6. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 입력부를 이용하여 수신되는 사용자 명령에서 상기 타 전자 장치가 수행할 동작을 구분하고, 상기 식별 정보를 포함하여 상기 타 전자 장치가 수행할 동작을 명령어(command)로 생성하고, 생성된 명령어를 상기 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 메모리는, 상기 프로세서가,
    상기 입력부를 통해 상기 제1 모드의 종료를 요청하는 명령이 수신되는 경우, 상기 식별 정보 및 상기 인공 지능 비서의 제1 모드 동작 시에 수신된 데이터를 삭제하는 명령어들을 포함하는, 전자 장치.
  8. 디스플레이;
    통신부;
    프로세서; 및
    메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    상기 통신부를 통해 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보의 전송을 요청하는 신호가 수신되는 경우, 상기 식별 정보의 전송에 대한 사용자의 확인을 요청하는 사용자 인터페이스가 표시되도록 상기 디스플레이를 제어하고,
    상기 사용자 인터페이스를 통한 사용자의 확인에 대한 결과로서, 상기 식별 정보를 타 전자 장치로 전송하도록 상기 통신부를 제어하는 명령어들을 포함하는, 전자 장치.
  9. 타 전자 장치의 인공 지능 비서 기능을 사용할 수 있는 제1 모드의 설정을 요청하는 이벤트의 발생을 감지하는 동작;
    상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우, 상기 인공 지능 비서 기능을 사용하기 위한 호출어를 포함하는 식별 정보를 상기 타 전자 장치에게 요청하는 동작;
    상기 요청에 대한 응답으로서, 상기 타 전자 장치로부터 상기 식별 정보를 수신하는 동작; 및
    상기 인공 지능 비서의 제1 모드 동작 시 사용자 명령이 수신된 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작;을 포함하는, 전자 장치의 제어 방법.
  10. 제9항에 있어서,
    상기 제1 모드의 설정을 요청하는 이벤트의 발생이 감지된 경우,
    상기 통신부의 제1 통신 방식을 제2 통신 방식으로 변경하고, 상기 제2 통신 방식을 이용하여 상기 식별 정보를 상기 타 전자 장치에게 요청하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 제어 방법은,
    상기 제2 통신 방식을 이용하여 상기 식별 정보를 수신한 경우,
    상기 제2 통신 방식을 상기 제1 통신 방식으로 재변경하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  12. 제9항에 있어서,
    상기 식별 정보는,
    상기 인공 지능 비서의 명칭, 상기 인공 지능 비서의 계정 정보, 상기 인공 지능 비서를 제조하는 제조사 명칭 또는 상기 인공 지능 비서를 제공하는 플랫폼의 명칭 중 적어도 하나를 포함하는, 전자 장치의 제어 방법.
  13. 제9항에 있어서,
    상기 제어 방법은,
    상기 인공 지능 비서의 제1 모드 동작 시, 상기 호출어를 포함하는 사용자 명령이 수신되는 경우, 상기 식별 정보를 바탕으로 상기 타 전자 장치로 사용자 명령을 전송하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  14. 제9항에 있어서,
    상기 제어 방법은,
    상기 인공 지능 비서의 제1 동작 시, 사용자의 명령이 수신되는 경우, 수신된 사용자 명령에서 상기 타 전자 장치가 수행할 동작을 구분하고, 상기 식별 정보를 포함하여 상기 타 전자 장치가 수행할 동작을 명령어로 생성하고, 생성된 명령어를 상기 타 전자 장치로 전송하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  15. 제9항에 있어서,
    상기 제어 방법은,
    상기 제1 모드의 종료를 요청하는 명령이 수신되는 경우,
    상기 식별 정보 및 상기 인공 지능 비서의 제1 모드 동작 시에 수신된 데이터를 삭제하는 동작; 을 포함하는, 전자 장치의 제어 방법.
PCT/KR2018/010921 2017-09-15 2018-09-17 전자 장치 및 이의 제어 방법 WO2019054827A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP22193890.5A EP4117232A1 (en) 2017-09-15 2018-09-17 Electronic device and control method therefor
EP18856663.2A EP3633947B1 (en) 2017-09-15 2018-09-17 Electronic device and control method therefor
US16/629,399 US11874904B2 (en) 2017-09-15 2018-09-17 Electronic device including mode for using an artificial intelligence assistant function of another electronic device
CN202210639432.1A CN115016708A (zh) 2017-09-15 2018-09-17 电子装置及其控制方法
CN201880055363.1A CN111095892B (zh) 2017-09-15 2018-09-17 电子装置及其控制方法
US18/534,300 US20240111848A1 (en) 2017-09-15 2023-12-08 Electronic device and control method therefor

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762559095P 2017-09-15 2017-09-15
US62/559,095 2017-09-15
KR20170156173 2017-11-22
KR10-2017-0156173 2017-11-22
KR1020180109849A KR102489914B1 (ko) 2017-09-15 2018-09-13 전자 장치 및 이의 제어 방법
KR10-2018-0109849 2018-09-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/629,399 A-371-Of-International US11874904B2 (en) 2017-09-15 2018-09-17 Electronic device including mode for using an artificial intelligence assistant function of another electronic device
US18/534,300 Continuation US20240111848A1 (en) 2017-09-15 2023-12-08 Electronic device and control method therefor

Publications (1)

Publication Number Publication Date
WO2019054827A1 true WO2019054827A1 (ko) 2019-03-21

Family

ID=65724006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010921 WO2019054827A1 (ko) 2017-09-15 2018-09-17 전자 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US20240111848A1 (ko)
EP (1) EP4117232A1 (ko)
CN (1) CN115016708A (ko)
WO (1) WO2019054827A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
US20150379866A1 (en) * 2014-06-25 2015-12-31 Microsoft Corporation Remote control of a mobile computing device with an auxiliary device
US20160179462A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Connected device voice command support
KR20170056586A (ko) * 2014-09-09 2017-05-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2784774A1 (en) * 2013-03-29 2014-10-01 Orange Telephone voice personnal assistant
US9111214B1 (en) * 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
EP2930716B1 (en) * 2014-04-07 2018-10-31 Samsung Electronics Co., Ltd Speech recognition using electronic device and server
KR102261552B1 (ko) * 2014-06-30 2021-06-07 삼성전자주식회사 음성 명령어 제공 방법 및 이를 지원하는 전자 장치
US9661105B2 (en) * 2014-12-11 2017-05-23 Wand Labs, Inc. Virtual assistant system to enable actionable messaging
US9635164B2 (en) * 2015-05-14 2017-04-25 Otter Products, Llc Remote control for electronic device
KR102495523B1 (ko) * 2016-02-04 2023-02-03 삼성전자 주식회사 음성 명령을 처리하는 방법 및 이를 제공하는 전자 장치
CN106898349A (zh) * 2017-01-11 2017-06-27 梅其珍 一种语音控制计算机的方法和智能语音助手系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116107A (ko) * 2012-04-13 2013-10-23 삼성전자주식회사 단말의 원격 제어 방법 및 장치
US20150379866A1 (en) * 2014-06-25 2015-12-31 Microsoft Corporation Remote control of a mobile computing device with an auxiliary device
KR20170056586A (ko) * 2014-09-09 2017-05-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 근방에 있는 디바이스에 의한 디지털 개인 비서의 작동
US20160179462A1 (en) * 2014-12-22 2016-06-23 Intel Corporation Connected device voice command support

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREW SHUMAN: "Hey Cortana, open Alexa: Microsoft and Amazon's first-of-its-kind collaboration", 30 August 2017 (2017-08-30), pages 1 - 3, XP055658147, Retrieved from the Internet <URL:https://blogs.microsoft.com/blog/ 2017/08/30 /hey-cortana-open-alexa-microsoft-amazons-first-kind-collaboration> *

Also Published As

Publication number Publication date
CN115016708A (zh) 2022-09-06
EP4117232A1 (en) 2023-01-11
US20240111848A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
WO2021071115A1 (en) Electronic device for processing user utterance and method of operating same
WO2019182325A1 (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
WO2019078588A1 (ko) 전자 장치 및 그의 동작 방법
WO2020017849A1 (en) Electronic device and method for providing artificial intelligence services based on pre-gathered conversations
WO2019182226A1 (en) System for processing sound data and method of controlling system
WO2013168970A1 (en) Method and system for operating communication service
WO2019039834A1 (en) METHOD FOR PROCESSING VOICE DATA AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2020027498A1 (en) Electronic device and method for determining electronic device to perform speech recognition
WO2017146437A1 (en) Electronic device and method for operating the same
WO2018182270A1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
WO2021045447A1 (en) Apparatus and method for providing voice assistant service
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
AU2019319322B2 (en) Electronic device for performing task including call in response to user utterance and operation method thereof
WO2019112295A1 (ko) 외부 장치의 네트워크 셋업을 위한 전자 장치 및 그의 동작 방법
WO2020218650A1 (ko) 전자기기
WO2019212213A1 (en) Electronic device and method of executing function of electronic device
WO2019017715A1 (en) ELECTRONIC DEVICE AND SYSTEM FOR DETERMINING SPEECH INPUT RECEIVING TIME BASED ON CONTEXTUAL INFORMATION
WO2019078608A1 (ko) 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법
WO2020263016A1 (ko) 사용자 발화를 처리하는 전자 장치와 그 동작 방법
WO2018174445A1 (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
WO2019017665A1 (en) ELECTRONIC APPARATUS FOR PROCESSING A USER STATEMENT FOR CONTROLLING AN EXTERNAL ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THE APPARATUS
WO2020130498A1 (en) A command based interactive system and a method thereof
WO2019039873A1 (ko) Tts 모델을 생성하는 시스템 및 전자 장치
WO2020076089A1 (en) Electronic device processing user utterance and control method thereof
WO2019054827A1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18856663

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018856663

Country of ref document: EP

Effective date: 20200102

NENP Non-entry into the national phase

Ref country code: DE