WO2021080147A1 - Device for providing personalized virtual assistant - Google Patents

Device for providing personalized virtual assistant Download PDF

Info

Publication number
WO2021080147A1
WO2021080147A1 PCT/KR2020/011156 KR2020011156W WO2021080147A1 WO 2021080147 A1 WO2021080147 A1 WO 2021080147A1 KR 2020011156 W KR2020011156 W KR 2020011156W WO 2021080147 A1 WO2021080147 A1 WO 2021080147A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual assistant
processing
user profile
signal
personalized
Prior art date
Application number
PCT/KR2020/011156
Other languages
French (fr)
Korean (ko)
Inventor
방성철
Original Assignee
주식회사 유니온플레이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유니온플레이스 filed Critical 주식회사 유니온플레이스
Priority to JP2021560902A priority Critical patent/JP7372693B2/en
Publication of WO2021080147A1 publication Critical patent/WO2021080147A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase

Definitions

  • the present disclosure relates to an apparatus for providing a personalized virtual assistant.
  • virtual assistant refers to a software agent that performs a task or service for a user based on a command or question.
  • the virtual assistant is also referred to as an intelligent virtual assistant or intelligent personal assistant.
  • the virtual assistant can operate based on text or voice.
  • the virtual assistant may perform a task or service for a user based on a user's voice input input through an electronic device such as a so-called “smart speaker” and a terminal.
  • the smart speaker includes an audio input unit for inputting an audio signal such as a microphone, an audio output unit for outputting an audio signal such as a speaker, and a communication unit for wired or wireless communication connection with a virtual assistant.
  • the smart speaker may further include a display that outputs a video signal.
  • the terminal includes an audio input unit such as a microphone, an audio output unit such as a speaker, a communication unit providing a wired or wireless communication connection, and an operation processing unit such as a CPU for executing a virtual assistant.
  • the terminal preferably further includes a display unit for outputting a video signal.
  • the terminal may include, for example, a mobile communication terminal such as a smart phone, a portable terminal such as a notebook or tablet computer, and a computing device such as a personal computer.
  • Patent Document 1 entitled "Use of context information to facilitate command processing in a virtual assistant" filed by Apple and registered on November 30, 2016 is a virtual The secretary is opening.
  • a virtual assistant platform using artificial intelligence such as "Siri” from Apple, “Assistant” from Google, “Alexa” from Amazon, and “Bixby” from Samsung Electronics is provided.
  • artificial intelligence such as "Siri” from Apple, “Assistant” from Google, “Alexa” from Amazon, and “Bixby” from Samsung Electronics.
  • the conventional virtual assistant has the following disadvantages.
  • the virtual assistant of the existing smart speaker or terminal is subordinate to a specific virtual assistant platform.
  • a smart speaker for a "Siri” virtual assistant or a "Siri” virtual assistant running on a terminal is dependent on the "Siri" virtual assistant platform provided by Apple. Therefore, it is very difficult to use a virtual assistant platform provided by another company, such as Samsung Electronics' “Bixby” virtual assistant platform, using a smart speaker for, for example, a "Siri” virtual assistant.
  • the "Siri” virtual assistant in order for the terminal user to use the "Siri” virtual assistant, the "Siri” virtual assistant must be executed, and in order for the terminal user to use the "Bixby” virtual assistant, the "Bixby” virtual assistant must be executed.
  • the "Siri” virtual assistant running on the smart speaker or terminal for the assistant provides information acquired using the "Siri” virtual assistant platform provided by Apple.
  • the existing smart speaker or the virtual assistant of the terminal is activated based on a voice command such as a predetermined wakeup command.
  • the start command is also referred to as a trigger command.
  • the user in order to check the weather information using the "Siri" virtual assistant, the user must input a start command such as "Hey, Siri” and an instruction command "Check out the weather today.”
  • Patent Document 2 entitled “Electronic Device and Its Control Method” filed by LG Electronics Co., Ltd. and published on February 27, 2019.
  • Patent Document 2 entitled "Electronic Device and Its Control Method” filed by LG Electronics Co., Ltd. and published on February 27, 2019.
  • the electronic device when a voice including a start command and an instruction command is input, the electronic device generates a plurality of start commands corresponding to the plurality of virtual assistant platforms and instructs the plurality of start commands. A voice signal that combines commands is generated and then transmitted to each of the plurality of virtual assistant platforms. Thereafter, the electronic device receives and outputs result information corresponding to an instruction command from each of the plurality of virtual assistant platforms.
  • Patent Document 3 discloses a configuration for transmitting a startup command and an instruction command to a plurality of virtual assistant platforms.
  • Korean Laid-Open Patent Publication No. 10-2019-0019401 there is a disadvantage in that the instruction command is transmitted to the virtual assistant platform that the user does not want, and the result from the virtual assistant platform that the user does not want is also received and output.
  • Korean Patent Application Publication No. 10-2018-0115628 there is a disadvantage in that the user must explicitly specify the virtual assistant platform he/she wants. In other words, "Google. What is my schedule for today? And Siri. Play music from my playlist.”
  • the existing smart speaker or virtual assistant of the terminal only assumes a specific user and does not consider a number of users. Therefore, it is very difficult to provide a virtual assistant suitable for each of a plurality of users by using the existing smart speaker or the virtual assistant of the terminal.
  • Patent Document 1 Korean Patent Registration No. 10-1683083.
  • Patent Document 2 Korean Laid-Open Patent No. 10-2019-0019401.
  • Patent Document 3 Korean Laid-Open Patent No. 10-2018-0115628.
  • An object of the technology described herein is to provide a personalized virtual assistant using a user profile set for each user.
  • a communication unit for providing a wired or wireless communication interface; And (a) managing one or more user profiles each including voice characteristic information, service identification information, and virtual assistant platform identification information corresponding to the service identification information.
  • a personalized virtual assistant may be provided based on a user profile set for each user.
  • a personalized user profile may be obtained based on a voice signal transmitted from a smart speaker or a terminal, and a personalized virtual assistant may be provided for each user based on at least one of the voice signal or the personalized user profile.
  • FIG. 1 is a diagram showing an exemplary configuration of an apparatus for providing a personalized virtual assistant according to a first embodiment of the technology described herein.
  • Fig. 2 is a diagram showing an exemplary configuration of a system environment including an apparatus for providing a personalized virtual assistant according to the first embodiment.
  • FIG. 3 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the first embodiment.
  • FIG. 4 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing a personalized advertisement according to the first embodiment.
  • FIG. 5 is a diagram illustrating a user profile of a device providing personalized advertisements according to the first embodiment.
  • FIG. 6 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the second embodiment.
  • FIG. 1 is a diagram showing an exemplary configuration of an apparatus for providing a personalized virtual assistant according to a first embodiment of the technology described herein.
  • an apparatus 100 for providing a personalized virtual assistant includes a communication unit 110 and an operation processing unit 130. Also, referring to FIG. 1, the apparatus 100 for providing a personalized virtual assistant may further include a user profile storage unit 150.
  • the device 100 providing a personalized virtual assistant is also simply referred to as the device 100.
  • the device 100 may be implemented using computing devices such as, for example, a personal computer and a dedicated computer.
  • the communication unit 110 provides a wired or wireless communication interface.
  • the communication unit 110 provides a wired or wireless communication interface with the electronic device 200 in FIG. 2.
  • the communication unit 110 provides a wired or wireless communication interface with a virtual assistant platform (300 in FIG. 2).
  • the communication unit 110 may be implemented using a semiconductor chip that performs wired or wireless communication.
  • the operation processing unit 130 may be implemented by, for example, a semiconductor device such as a central processing unit (CPU). Some functions of the operation processing unit 130 may be implemented by a first CPU, and some other functions of the operation processing unit 130 may be implemented by a second CPU. The detailed configuration of the operation processing unit 130 will be described later.
  • CPU central processing unit
  • the user profile storage unit 150 stores one or more user profiles.
  • the user profile storage unit 150 may be implemented by, for example, a semiconductor device such as a semiconductor memory.
  • FIG. 2 is a diagram showing an exemplary configuration of a system environment including an apparatus for providing a personalized virtual assistant according to the first embodiment.
  • the system environment includes a device 100 for providing a personalized virtual assistant, an electronic device 200, and one or more virtual assistant platforms 300.
  • the electronic device 200 includes a smart speaker 210 or a terminal 230.
  • the smart speaker 210 includes an audio input unit for inputting an audio signal such as a microphone, an audio output unit for outputting an audio signal such as a speaker, and a communication unit for wired or wireless communication connection with a virtual assistant.
  • the terminal 230 includes an audio input unit such as a microphone, an audio output unit such as a speaker, a communication unit providing a wired or wireless communication connection, and an operation processing unit such as a CPU for executing a virtual assistant.
  • the one or more virtual assistant platforms 300 may include, for example, a virtual assistant platform 300-1, a virtual assistant platform 300-2, and a virtual assistant platform 300-n.
  • n is a natural number of 3 or more, for example.
  • the virtual assistant platform 300-1 is a platform for the "Siri" virtual assistant of Apple
  • the virtual assistant platform 300-2 is a platform for the "Assistant" virtual assistant of Google
  • the virtual assistant platform 300- n) May be a platform for Samsung's "Bixby" virtual assistant
  • 3 and 4 are views exemplarily showing processing performed by an operation processing unit of the apparatus for providing personalized advertisements according to the first embodiment.
  • the operation processing unit 130 performs a process S110 of managing one or more user profiles each including voice characteristic information, service identification information, and virtual assistant platform identification information corresponding to the service identification information.
  • Process S110 may include, for example, a process of generating a regular user profile based on an interface for user registration. Regular user profiles are managed as one of one or more user profiles.
  • a first user using the electronic device 200 inputs his/her voice using an interface for user registration of the electronic device 200, and the user profile of the first user, that is, the first user Profiles can be created. Since the first user profile is generated based on the interface for user registration, it is a regular user profile.
  • FIG. 5 is a diagram illustrating a user profile of a device that provides a personalized advertisement according to the first embodiment.
  • a first user profile to a third user profile are illustrated by way of example.
  • the first user profile of FIG. 5 is, that is, a regular user profile generated based on an interface for user registration.
  • the first user profile may include only an item corresponding to voice characteristic information.
  • the first user may input service identification information and virtual assistant platform identification information corresponding to the service identification information through an interface for user registration.
  • the first user may input service identification information and virtual assistant platform identification information corresponding to the service identification information through a voice input such as "tell me about weather information using an assistant.”
  • the first user profile may include service identification information automatically generated based on service preference information at the initial stage of creation and virtual assistant platform identification information corresponding to the service identification information. For example, when a general user prefers "Assistant” for a "weather information” service and a general user prefers "Siri” for a "movie reservation” service, as illustrated in FIG. 5, the service of the first user profile As the identification information and the virtual assistant platform identification information, a correspondence relationship between the service identification information and the virtual assistant platform identification information may be automatically generated, such as "weather information, assistant", "movie reservation, Siri".
  • service identification information of the first user profile and virtual assistant platform identification information corresponding to the service identification information may be generated or updated.
  • the service identification information of the first user profile and the virtual assistant platform identification information are The correspondence relationship may be created or updated, such as "weather information, Siri". That is, based on the first virtual assistant selected through processing S140 to be described later, service identification information and virtual assistant platform identification information corresponding to the service identification information may be generated or updated.
  • Process S110 may include, for example, a process of generating a temporary user profile based on a voice signal.
  • Temporary user profiles are managed as one of one or more user profiles.
  • a regular user profile is created for a family member
  • a temporary user profile is created for a temporary user such as a visitor, for example.
  • the third user profile is a temporary user profile. Initially, the third user profile may include only an item corresponding to voice characteristic information. Thereafter, as the temporary user uses the electronic device 200, service identification information of the third user profile and virtual assistant platform identification information corresponding to the service identification information may be generated or updated. For example, when a third user transmits a voice input such as "Siri. How is the weather today?" to the device 100 through the electronic device 200, the service identification information of the third user profile and the virtual assistant platform identification information are The correspondence relationship may be created or updated, such as "weather information, Siri".
  • the user profile may further include information on whether a service can be provided corresponding to the service identification information.
  • the third user profile is defined as "not available” for "refrigerator temperature control".
  • temporary users cannot use services such as "refrigerator temperature control”.
  • Service availability information may be set so that not only temporary users but also family members, that is, regular users, cannot use services such as "refrigerator temperature control". For example, even if a child is a family member, a service such as "refrigerator temperature control" may be set to be disabled.
  • the service availability information may be set as unavailable for, for example, a service providing sensitive information and a service controlling a dangerous home appliance.
  • Process S110 may include a process of converting a temporary user profile to a regular user profile or deleting a temporary user profile based on a predetermined condition.
  • a temporary user can be converted to a regular user through an interface for user registration.
  • the temporary user profile may be converted to a regular user profile.
  • the temporary user profile may be deleted.
  • the operation processing unit 130 performs a process S120 of receiving a voice signal including an instruction command for a first service from the electronic device 200 through the communication unit 110.
  • the processing of receiving the audio signal is similar to the conventional configuration, so a detailed description thereof is omitted.
  • the operation unit 130 performs a process S130 of obtaining a personalized user profile from among one or more user profiles based on the voice signal received through the process S120.
  • the operation unit 130 may select a personalized user profile from among one or more user profiles by comparing the voice signal received through the processing S120 with voice characteristic information of one or more user profiles, for example.
  • the operation processing unit 130 responds to an instruction command for a first service among one or more virtual assistants based on at least one of a voice signal received through processing S120 or a personalized user profile obtained through processing S130.
  • a process S140 of selecting a corresponding first virtual assistant is performed.
  • the process S140 may include a process of selecting a first virtual assistant corresponding to the start command.
  • the voice signal includes a start command specifying "Siri" as a first service, that is, a virtual assistant for weather information, such as "Siri. How is the weather today?"
  • the first service corresponding to the first service through processing S140 "Siri" is selected as the virtual assistant.
  • the process S140 is a first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile obtained through the process S130. It may include a process of selecting.
  • the operation processing unit 130 selects the first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile. For example, when the personalized user profile is the first user profile shown in FIG. 5, the operation processing unit 130 selects “Assistant” as a first service, that is, a first virtual assistant corresponding to “weather information” through processing S140. .
  • the first virtual assistant corresponding to the start command is selected, and the voice signal received through the process S120 is removed.
  • the first virtual assistant may be selected based on the service identification information and the virtual assistant platform identification information included in the personalized user profile.
  • the voice signal may include an electronic device start command. That is, in order to drive the electronic device 200, not to select a specific virtual assistant, the voice signal may include an electronic device start command.
  • the voice signal may include an electronic device start command such as "speaker. How is the weather today?"
  • the operation processing unit 130 may select the first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile obtained through processing S130. have.
  • the operation processing unit 130 performs a process S150 of converting the voice signal received through the process S120 into a first signal suitable for the first virtual assistant.
  • the process S150 may include, for example, a process of generating a first signal including a start command corresponding to the first virtual assistant and an instruction command for the first service.
  • the operation processing unit 130 is a first signal including a start command corresponding to the first virtual assistant selected through processing S140. Can be created. For example, when "Assistant" is selected as the first virtual assistant, the operation processing unit 130 includes a startup command corresponding to the first virtual assistant and an instruction command for the first service, such as "Assistant. How's the weather today?" 1 can generate signals.
  • the process S150 includes, for example, a process of converting an instruction command into text information using a speech to text (STT) function; Processing of generating corrected text information in which the text information is clearly corrected; And processing of generating a first signal including a correction instruction command obtained by converting the corrected text information using a text to speech (TTS) function.
  • STT speech to text
  • TTS text to speech
  • the operation processing unit 130 converts the instruction instruction into text information such as "weather today”. Thereafter, the operation processing unit 130 analyzes the text information and generates corrected text information more naturally and clearly, such as "how is the weather today?" Thereafter, the operation processing unit 130 may generate a first signal including a correction instruction command that converts the corrected text information using the TTS function.
  • the correction instruction command may be generated, for example, using the TTS function based on standard voice characteristics. That is, the correction instruction command may be generated similarly to the original voice of the user by using voice characteristic information included in the personalized user profile, but may be generated using standard voice characteristics.
  • the first virtual assistant platform may more accurately recognize the first signal.
  • the first signal including the modification instruction command may further include a start command corresponding to the first virtual assistant.
  • the first virtual assistant may be provided through the first virtual assistant platform without exposing the user's voice characteristic information.
  • the operation processing unit 130 may perform processing S150 using an artificial intelligence platform. That is, the operation processing unit 130 may perform processing such as speech recognition processing, natural language understanding processing, natural language generation processing and STT processing, and TTS processing using an artificial intelligence platform. By using the artificial intelligence platform to perform processing by the arithmetic processing unit 130, the arithmetic processing unit 130 may more efficiently generate the first signal.
  • the operation processing unit 130 transmits the first signal generated through processing S150 to the first virtual assistant platform through the communication unit 110, and transmits the first signal corresponding to the first signal from the first virtual assistant platform. 1 A process S160 of receiving a response signal through the communication unit 110 is performed.
  • the operation processing unit 130 uses the virtual assistant platform 300-2 as the first virtual assistant platform. And transmits a first signal to the virtual assistant platform 300-2. After that, the operation processing unit 130 receives a first response signal from the virtual assistant platform 300-2.
  • the user profile includes user identification information.
  • the user identification information may be information that absolutely identifies a user, but may also be information used to relatively identify a user of the electronic device 200.
  • the process S160 may include a process of transmitting the user identification information of the personalized user profile together with the first signal to the first virtual assistant platform through the communication unit 110.
  • the virtual assistant platform 300-2 receives the user identification information of the personalized user profile, it can confirm that a user corresponding to the user identification information of the electronic device 200 has requested a service.
  • the operation processing unit 130 performs a process S170 of transmitting the first response signal received through the process S160 to the electronic device 200.
  • a personalized virtual assistant may be provided based on a user profile set for each user even if the user does not input a startup command for the virtual assistant.
  • a startup command for the virtual assistant transmitted to the virtual assistant platform may be automatically generated by the operation processing unit 130.
  • FIG. 6 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the second embodiment.
  • the voice signal further includes an instruction command for the second service.
  • the voice signal is a command command for the first service, ie, "How is the weather today?", and a command command for the second service, ie, "Play music.” It may include.
  • the instruction command for the first service is processed similarly to the above-described first embodiment. That is, the operation processing unit 130 receives the first response signal from the first virtual assistant platform and transmits it to the electronic device 200.
  • the instruction command for the second service is also processed in the same manner as in the second embodiment described above.
  • the operation processing unit 130 includes processing S180 of selecting a second virtual assistant corresponding to an instruction command for a second service from among one or more virtual assistants based on at least one of a voice signal or a personalized user profile, and a voice signal.
  • a process S190 of converting the second signal into a second signal suitable for the second virtual assistant, and the second signal is transmitted through the communication unit 110 to a second virtual assistant platform providing a second virtual assistant, and the second virtual assistant platform transmits the second signal.
  • Processing S200 of receiving a second response signal corresponding to the signal through the communication unit 110 and processing S210 of transmitting the second response signal to the electronic device 200 are further performed.
  • the second virtual assistant may be the same as or different from the first virtual assistant. Since the processes S180 to S210 are substantially the same as the processes S140 to S170 described with reference to FIGS. 3 to 4, detailed descriptions are omitted.
  • the user profile set for each user is As a basis, a personalized virtual assistant may be provided for each of a plurality of services.
  • a startup command for a plurality of virtual assistants transmitted to the plurality of virtual assistant platforms may be automatically generated for each of the plurality of virtual assistants by the operation processing unit 130.
  • the service identification information illustrated with reference to FIG. 5 and the virtual assistant platform identification information corresponding to the service identification information are exemplary only, and the service identification information may be variously changed.
  • a personalized virtual assistant may be provided based on a user profile set for each user.
  • a personalized user profile may be obtained based on a voice signal transmitted from a smart speaker or a terminal, and a personalized virtual assistant may be provided for each user based on at least one of the voice signal or the personalized user profile.
  • 100 a device that provides a personalized virtual assistant

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Provided is a device for providing a personalized virtual assistant comprising a communication unit, and a calculation processing unit for (a) managing one or more user profiles, (b) receiving, through the communication unit, a voice signal including an instruction command for a first service, (c) acquiring a personalized user profile, (d) selecting, on the basis of the voice signal and/or the personalized user profile, a first virtual assistant corresponding to the instruction command, (e) converting the voice signal into a first signal suitable for the first virtual assistant, (f) transmitting the first signal to a first virtual assistant platform through the communication unit and receiving a first response signal from the first virtual assistant platform through the communication unit, and (g) transmitting the first response signal to the electronic device.

Description

개인화된 가상 비서를 제공하는 장치A device that provides a personalized virtual assistant
본 개시(開示)는 개인화된 가상 비서를 제공하는 장치에 관한 것이다.The present disclosure relates to an apparatus for providing a personalized virtual assistant.
일반적으로, "가상 비서"는 명령어 또는 질문을 기초로 사용자를 위한 임무(task) 또는 서비스를 수행하는 소프트웨어 에이전트를 지칭한다. 가상 비서는 지능형 가상 비서(intelligent virtual assistant) 또는 지능형 개인 비서(intelligent personal assistant)라고도 지칭된다. 가상 비서는 텍스트 기반으로 동작하거나 또는 음성 기반으로 동작할 수 있다. 예컨대 가상 비서는 소위 "스마트 스피커" 및 단말기와 같은 전자 장치를 통하여 입력되는 사용자의 음성 입력을 기초로 사용자를 위한 임무 또는 서비스를 수행할 수 있다. 스마트 스피커는 예컨대 마이크로폰과 같이 오디오 신호를 입력하기 위한 오디오 입력부, 스피커와 같이 오디오 신호를 출력하기 위한 오디오 출력부 및 가상 비서와의 유선 또는 무선 통신 연결을 위한 통신부를 포함한다. 스마트 스피커는 비디오 신호를 출력하는 디스플레이부를 더 포함할 수도 있다. 단말기는 마이크로폰과 같은 오디오 입력부, 스피커와 같은 오디오 출력부, 유선 또는 무선 통신 연결을 제공하는 통신부 및 가상 비서를 실행하기 위한 CPU와 같은 연산 처리부를 포함한다. 단말기는 바람직하게는 비디오 신호를 출력하는 디스플레이부를 더 포함한다. 단말기는 예컨대 스마트 폰과 같은 이동 통신 단말기, 노트북 또는 태블릿 컴퓨터와 같은 휴대 단말기 및 개인용 컴퓨터와 같은 컴퓨팅 장치를 포함할 수 있다.In general, "virtual assistant" refers to a software agent that performs a task or service for a user based on a command or question. The virtual assistant is also referred to as an intelligent virtual assistant or intelligent personal assistant. The virtual assistant can operate based on text or voice. For example, the virtual assistant may perform a task or service for a user based on a user's voice input input through an electronic device such as a so-called "smart speaker" and a terminal. The smart speaker includes an audio input unit for inputting an audio signal such as a microphone, an audio output unit for outputting an audio signal such as a speaker, and a communication unit for wired or wireless communication connection with a virtual assistant. The smart speaker may further include a display that outputs a video signal. The terminal includes an audio input unit such as a microphone, an audio output unit such as a speaker, a communication unit providing a wired or wireless communication connection, and an operation processing unit such as a CPU for executing a virtual assistant. The terminal preferably further includes a display unit for outputting a video signal. The terminal may include, for example, a mobile communication terminal such as a smart phone, a portable terminal such as a notebook or tablet computer, and a computing device such as a personal computer.
예컨대 애플 사에 의해서 출원되고 2016년 11월 30일자로 등록된 "가상 비서에서 커맨드 처리를 용이하게 하기 위한 컨텍스트 정보의 이용"이라는 명칭의 한국등록특허 제10-1683083호(특허문헌 1)는 가상 비서를 개시하고 있다.For example, Korean Patent Registration No. 10-1683083 (Patent Document 1) entitled "Use of context information to facilitate command processing in a virtual assistant" filed by Apple and registered on November 30, 2016 is a virtual The secretary is opening.
가상 비서를 구현하기 위해서, 예컨대 애플 사의 "Siri", 구글 사의 "Assistant", 아마존 사의 "Alexa" 및 삼성 전자의 "Bixby"와 같은 인공 지능을 이용한 가상 비서 플랫폼이 제공되고 있다. 특히 인공 지능 기술의 발달에 의해서, 가상 비서를 이용하는 사용자의 수가 증가하고 있다.In order to implement a virtual assistant, a virtual assistant platform using artificial intelligence such as "Siri" from Apple, "Assistant" from Google, "Alexa" from Amazon, and "Bixby" from Samsung Electronics is provided. In particular, with the development of artificial intelligence technology, the number of users using virtual assistants is increasing.
그러나 종래의 가상 비서는 다음과 같은 단점을 가진다.However, the conventional virtual assistant has the following disadvantages.
우선 기존의 스마트 스피커 또는 단말기의 가상 비서는 특정한 가상 비서 플랫폼에 종속적이다.First of all, the virtual assistant of the existing smart speaker or terminal is subordinate to a specific virtual assistant platform.
예컨대, "Siri" 가상 비서를 위한 스마트 스피커 또는 단말기에서 실행되는 "Siri" 가상 비서는 애플 사에서 제공하는 "Siri" 가상 비서 플랫폼에 종속적이다. 따라서, 예컨대 "Siri" 가상 비서를 위한 스마트 스피커를 이용하여 다른 회사에서 제공하는 가상 비서 플랫폼, 예컨대 삼성 전자의 "Bixby" 가상 비서 플랫폼을 이용하는 것은 매우 어렵다. 또한 단말기의 사용자가 "Siri" 가상 비서를 이용하기 위해서는 "Siri" 가상 비서를 실행하여야 하며, 단말기의 사용자가 "Bixby" 가상 비서를 이용하기 위해서는 "Bixby" 가상 비서를 실행하여야 한다. 예컨대 사용자가 날씨 정보는 구글 사의 "Assistant"를 이용하여 제공받고 음악 정보는 애플 사의 "Siri"를 이용하여 제공받고 도서 정보는 아마존 사의 "Alexa"를 이용하여 제공받고 싶은 경우라도, "Siri" 가상 비서를 위한 스마트 스피커 또는 단말기에서 실행되는 "Siri" 가상 비서는 애플 사에서 제공하는 "Siri" 가상 비서 플랫폼을 이용하여 획득되는 정보를 제공한다.For example, a smart speaker for a "Siri" virtual assistant or a "Siri" virtual assistant running on a terminal is dependent on the "Siri" virtual assistant platform provided by Apple. Therefore, it is very difficult to use a virtual assistant platform provided by another company, such as Samsung Electronics' "Bixby" virtual assistant platform, using a smart speaker for, for example, a "Siri" virtual assistant. In addition, in order for the terminal user to use the "Siri" virtual assistant, the "Siri" virtual assistant must be executed, and in order for the terminal user to use the "Bixby" virtual assistant, the "Bixby" virtual assistant must be executed. For example, even if a user wants to receive weather information using Google's "Assistant", music information using Apple's "Siri", and book information using Amazon's "Alexa", "Siri" virtual The "Siri" virtual assistant running on the smart speaker or terminal for the assistant provides information acquired using the "Siri" virtual assistant platform provided by Apple.
또한 기존의 스마트 스피커 또는 단말기의 가상 비서는 미리 지정된 시동 명령(wakeup command)과 같은 음성 명령어를 기초로 활성화된다. 시동 명령은 트리거 명령(trigger command)라고도 지칭된다. 예컨대, "Siri" 가상 비서를 이용하여 날씨 정보를 확인하기 위해서는, 사용자는 "헤이, 시리(Hey, siri)"와 같은 시동 명령 및 "오늘 날씨 알아봐줘."라는 지시 명령을 함께 입력하여야 한다.In addition, the existing smart speaker or the virtual assistant of the terminal is activated based on a voice command such as a predetermined wakeup command. The start command is also referred to as a trigger command. For example, in order to check the weather information using the "Siri" virtual assistant, the user must input a start command such as "Hey, Siri" and an instruction command "Check out the weather today."
이러한 단점들을 개선하기 위해서, 예컨대 엘지전자 주식회사에 의해서 출원되고 2019년 2월 27일자로 공개된 "전자 장치 및 그 제어 방법"이라는 명칭의 한국공개특허 제10-2019-0019401호(특허문헌 2)는 복수의 인공 지능 서버(즉 복수의 가상 비서 플랫폼)에 음성을 전송하는 구성을 개시한다.In order to improve these shortcomings, for example, Korean Patent Laid-Open Patent No. 10-2019-0019401 (Patent Document 2) entitled "Electronic Device and Its Control Method" filed by LG Electronics Co., Ltd. and published on February 27, 2019. Discloses a configuration for transmitting voice to a plurality of artificial intelligence servers (ie, a plurality of virtual assistant platforms).
한국공개특허 제10-2019-0019401호에 따르면, 시동 명령 및 지시 명령을 포함하는 음성이 입력되면, 전자 장치는 복수의 가상 비서 플랫폼에 대응되는 복수의 시동 명령을 생성하고 복수의 시동 명령에 지시 명령을 결합하는 음성 신호를 생성한 후 복수의 가상 비서 플랫폼 각각에 전송한다. 그 후 전자 장치는 복수의 가상 비서 플랫폼 각각으로부터의 지시 명령에 대응하는 결과 정보를 수신하여 출력한다.According to Korean Patent Publication No. 10-2019-0019401, when a voice including a start command and an instruction command is input, the electronic device generates a plurality of start commands corresponding to the plurality of virtual assistant platforms and instructs the plurality of start commands. A voice signal that combines commands is generated and then transmitted to each of the plurality of virtual assistant platforms. Thereafter, the electronic device receives and outputs result information corresponding to an instruction command from each of the plurality of virtual assistant platforms.
또한 예컨대 하만 인터내셔날 인더스트리스 인코포레이티드에 의해서 출원되고 2018년 10월 23일자로 공개된 "복수의 지능형 개인 비서 서비스를 위한 관리 계층"이라는 명칭의 한국공개특허 제10-2018-0115628호(특허문헌 3)는 복수의 가상 비서 플랫폼에 시동 명령 및 지시 명령을 전송하는 구성을 개시한다.In addition, for example, Korean Patent Publication No. 10-2018-0115628 entitled "Management Layer for Multiple Intelligent Personal Assistant Services" filed by Harman International Industries, Inc. and published on October 23, 2018 (Patent Document 3) discloses a configuration for transmitting a startup command and an instruction command to a plurality of virtual assistant platforms.
그러나 한국공개특허 제10-2019-0019401호에 따르면, 사용자가 원하지 않는 가상 비서 플랫폼에도 지시 명령이 전달되며, 또한 사용자가 원하지 않는 가상 비서 플랫폼으로부터의 결과도 수신 및 출력되는 단점이 있다. 또한 한국공개특허 제10-2018-0115628에 따르면, 사용자가 명시적으로 자신이 원하는 가상 비서 플랫폼을 특정해야 하는 단점이 있다. 즉 "구글. 오늘 내 스케쥴이 뭐야? 그리고 시리. 나의 플레이리스트로부터 음악을 재생해 줘."와 같은 형태로 사용자는 음성을 입력해야 한다.However, according to Korean Laid-Open Patent Publication No. 10-2019-0019401, there is a disadvantage in that the instruction command is transmitted to the virtual assistant platform that the user does not want, and the result from the virtual assistant platform that the user does not want is also received and output. In addition, according to Korean Patent Application Publication No. 10-2018-0115628, there is a disadvantage in that the user must explicitly specify the virtual assistant platform he/she wants. In other words, "Google. What is my schedule for today? And Siri. Play music from my playlist."
또한, 기존의 스마트 스피커 또는 단말기의 가상 비서는 특정한 사용자를 가정하고 있을 뿐이며, 다수의 사용자에 대해서 고려하지 않고 있다. 따라서 기존의 스마트 스피커 또는 단말기의 가상 비서를 이용하여 다수의 사용자 각각에 적합한 가상 비서를 제공하는 것은 매우 어렵다. In addition, the existing smart speaker or virtual assistant of the terminal only assumes a specific user and does not consider a number of users. Therefore, it is very difficult to provide a virtual assistant suitable for each of a plurality of users by using the existing smart speaker or the virtual assistant of the terminal.
예컨대, 가정 내에 배치된 스마트 스피커의 경우, 가족 구성원 모두가 사용할 수 있음에도 불구하고, 각 사용자에 적합한 가상 비서를 제공하는 것은 어렵다. 예컨대 노인과 같이 음성이 명확하지 않은 사용자의 경우, 해당 사용자의 음성을 인식하여 가상 비서를 제공하는 것은 매우 어렵다. 또한 가족 구성원이 아니라 일시 방문자에게 스마트 스피커를 통하여 가상 비서를 제공하는 경우에는, 방문자에게 제공할 수 없는 기능도 스마트 스피커를 통하여 제공될 수 있다. 예컨대, 가상 비서가 가정 내의 가전 제품을 제어하는 경우, 방문자에게 가정 내의 가전 제품을 제어하는 기능이 제한없이 제공될 수도 있다.For example, in the case of a smart speaker placed in a home, even though all members of the family can use it, it is difficult to provide a virtual assistant suitable for each user. For a user whose voice is not clear, such as an elderly person, it is very difficult to provide a virtual assistant by recognizing the user's voice. In addition, when a virtual assistant is provided to a temporary visitor, not a family member, through a smart speaker, functions that cannot be provided to the visitor may be provided through the smart speaker. For example, when the virtual assistant controls home appliances in the home, a function of controlling the home appliances in the home may be provided to the visitor without limitation.
[선행기술문헌][Prior technical literature]
[특허문헌][Patent Literature]
특허문헌 1. 한국등록특허 제10-1683083호.Patent Document 1. Korean Patent Registration No. 10-1683083.
특허문헌 2. 한국공개특허 제10-2019-0019401호.Patent Document 2. Korean Laid-Open Patent No. 10-2019-0019401.
특허문헌 3. 한국공개특허 제10-2018-0115628호.Patent Document 3. Korean Laid-Open Patent No. 10-2018-0115628.
본원에서 설명되는 기술의 목적은 사용자별로 설정되는 사용자 프로파일을 이용하여 개인화된 가상 비서를 제공하는 데 있다.An object of the technology described herein is to provide a personalized virtual assistant using a user profile set for each user.
상기 기술적 과제를 달성하기 위하여, 본원에서 설명되는 기술의 일 형태에 따르면, 유선 또는 무선 통신 인터페이스를 제공하는 통신부; 및 (a) 음성 특성 정보, 서비스 식별 정보 및 상기 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 각각 포함하는 하나 이상의 사용자 프로파일을 관리하는 처리; (b) 제1 서비스에 대한 지시 명령을 포함하는 음성 신호를 전자 장치로부터 상기 통신부를 통하여 수신하는 처리; (c) 상기 음성 신호를 기초로 상기 하나 이상의 사용자 프로파일 중에서 개인화 사용자 프로파일을 획득하는 처리; (d) 상기 음성 신호 또는 상기 개인화 사용자 프로파일 중 적어도 하나를 기초로 하나 이상의 가상 비서 중에서 상기 제1 서비스에 대한 상기 지시 명령에 대응하는 제1 가상 비서를 선택하는 처리; (e) 상기 음성 신호를 상기 제1 가상 비서에 적합한 제1 신호로 변환하는 처리; (f) 상기 제1 신호를 상기 제1 가상 비서를 제공하는 제1 가상 비서 플랫폼으로 상기 통신부를 통하여 전송하고 상기 제1 가상 비서 플랫폼으로부터 상기 제1 신호에 대응하는 제1 응답 신호를 상기 통신부를 통하여 수신하는 처리; 및 (g) 상기 제1 응답 신호를 상기 전자 장치로 전송하는 처리를 수행하는 연산 처리부를 포함하는 개인화된 가상 비서를 제공하는 장치가 제공된다.In order to achieve the above technical problem, according to an aspect of the technology described herein, a communication unit for providing a wired or wireless communication interface; And (a) managing one or more user profiles each including voice characteristic information, service identification information, and virtual assistant platform identification information corresponding to the service identification information. (b) a process of receiving a voice signal including an instruction command for a first service from an electronic device through the communication unit; (c) processing of obtaining a personalized user profile from among the one or more user profiles based on the voice signal; (d) processing for selecting a first virtual assistant corresponding to the instruction command for the first service from among one or more virtual assistants based on at least one of the voice signal and the personalized user profile; (e) processing for converting the voice signal into a first signal suitable for the first virtual assistant; (f) transmitting the first signal to a first virtual assistant platform providing the first virtual assistant through the communication unit, and transmitting a first response signal corresponding to the first signal from the first virtual assistant platform to the communication unit Processing received through; And (g) an operation processor configured to transmit the first response signal to the electronic device.
본원에서 설명되는 기술에 따르면, 사용자별로 설정되는 사용자 프로파일을 기초로 개인화된 가상 비서를 제공할 수 있다. 예컨대, 스마트 스피커 또는 단말기로부터 전송되는 음성 신호를 기초로 개인화 사용자 프로파일을 획득하고, 음성 신호 또는 개인화 사용자 프로파일 중 적어도 하나를 기초로 사용자별로 개인화된 가상 비서를 제공할 수 있다.According to the technology described herein, a personalized virtual assistant may be provided based on a user profile set for each user. For example, a personalized user profile may be obtained based on a voice signal transmitted from a smart speaker or a terminal, and a personalized virtual assistant may be provided for each user based on at least one of the voice signal or the personalized user profile.
도 1은 본원에서 설명되는 기술의 제1 실시예에 따른 개인화된 가상 비서를 제공하는 장치의 예시적인 구성을 나타내는 도면.1 is a diagram showing an exemplary configuration of an apparatus for providing a personalized virtual assistant according to a first embodiment of the technology described herein.
도 2는 제1 실시예에 따른 개인화된 가상 비서를 제공하는 장치를 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면.Fig. 2 is a diagram showing an exemplary configuration of a system environment including an apparatus for providing a personalized virtual assistant according to the first embodiment.
도 3은 제1 실시예에 따른 개인화 광고를 제공하는 장치의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면.3 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the first embodiment.
도 4는 제1 실시예에 따른 개인화 광고를 제공하는 장치의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면.4 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing a personalized advertisement according to the first embodiment.
도 5는 제1 실시예에 따른 개인화 광고를 제공하는 장치의 사용자 프로파일을 예시적으로 나타내는 도면.5 is a diagram illustrating a user profile of a device providing personalized advertisements according to the first embodiment.
도 6은 제2 실시예에 따른 개인화 광고를 제공하는 장치의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면.6 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the second embodiment.
이하, 본원에서 설명되는 기술에 따른 개인화된 가상 비서를 제공하는 장치의 실시예를 첨부한 도면을 참조로 보다 구체적으로 설명한다. 한편 본원에서 설명되는 기술의 실시예를 설명하기 위한 도면들에서, 설명의 편의를 위해서 실제 구성 중 일부만을 도시하거나 일부를 생략하여 도시하거나 변형하여 도시하거나 또는 축척이 다르게 도시될 수 있다.Hereinafter, an embodiment of an apparatus for providing a personalized virtual assistant according to the technology described herein will be described in more detail with reference to the accompanying drawings. Meanwhile, in the drawings for describing embodiments of the technology described herein, for convenience of description, only a part of the actual configuration may be shown, some of the actual components may be omitted, or modified, or a different scale may be shown.
<제1 실시예><First Example>
도 1은 본원에서 설명되는 기술의 제1 실시예에 따른 개인화된 가상 비서를 제공하는 장치의 예시적인 구성을 나타내는 도면이다.1 is a diagram showing an exemplary configuration of an apparatus for providing a personalized virtual assistant according to a first embodiment of the technology described herein.
도 1을 참조하면, 개인화된 가상 비서를 제공하는 장치(100)는 통신부(110) 및 연산 처리부(130)를 포함한다. 또한 도 1을 참조하면, 개인화된 가상 비서를 제공하는 장치(100)는 사용자 프로파일 저장부(150)를 더 포함할 수 있다. 이하 개인화된 가상 비서를 제공하는 장치(100)는 단순히 장치(100)라고도 지칭된다.Referring to FIG. 1, an apparatus 100 for providing a personalized virtual assistant includes a communication unit 110 and an operation processing unit 130. Also, referring to FIG. 1, the apparatus 100 for providing a personalized virtual assistant may further include a user profile storage unit 150. Hereinafter, the device 100 providing a personalized virtual assistant is also simply referred to as the device 100.
본원에서 설명되는 기술에 따른 장치(100)는 예컨대 개인용 컴퓨터 및 전용 컴퓨터와 같은 컴퓨팅 장치를 이용하여 구현될 수 있다.The device 100 according to the techniques described herein may be implemented using computing devices such as, for example, a personal computer and a dedicated computer.
통신부(110)는 유선 또는 무선 통신 인터페이스를 제공한다. 예컨대 통신부(110)는 전자 장치(도 2의 200)와의 유선 또는 무선 통신 인터페이스를 제공한다. 또한 통신부(110)는 가상 비서 플랫폼(도 2의 300)과의 유선 또는 무선 통신 인터페이스를 제공한다. 통신부(110)는 유무선 통신을 수행하는 반도체 칩을 이용하여 구현될 수 있다.The communication unit 110 provides a wired or wireless communication interface. For example, the communication unit 110 provides a wired or wireless communication interface with the electronic device 200 in FIG. 2. In addition, the communication unit 110 provides a wired or wireless communication interface with a virtual assistant platform (300 in FIG. 2). The communication unit 110 may be implemented using a semiconductor chip that performs wired or wireless communication.
연산 처리부(130)는 예컨대 CPU(central processing unit)와 같은 반도체 소자에 의해서 구현될 수 있다. 연산 처리부(130)의 일부 기능은 제1 CPU에 의해서 구현되고, 연산 처리부(130)의 다른 일부 기능은 제2 CPU에 의해서 구현될 수도 있다. 연산 처리부(130)의 상세한 구성은 후술한다.The operation processing unit 130 may be implemented by, for example, a semiconductor device such as a central processing unit (CPU). Some functions of the operation processing unit 130 may be implemented by a first CPU, and some other functions of the operation processing unit 130 may be implemented by a second CPU. The detailed configuration of the operation processing unit 130 will be described later.
사용자 프로파일 저장부(150)는 하나 이상의 사용자 프로파일을 저장한다. 사용자 프로파일 저장부(150)는 예컨대 반도체 메모리와 같은 반도체 소자에 의해서 구현될 수 있다.The user profile storage unit 150 stores one or more user profiles. The user profile storage unit 150 may be implemented by, for example, a semiconductor device such as a semiconductor memory.
도 2는 제1 실시예에 따른 개인화된 가상 비서를 제공하는 장치를 포함하는 시스템 환경의 예시적인 구성을 나타내는 도면이다.FIG. 2 is a diagram showing an exemplary configuration of a system environment including an apparatus for providing a personalized virtual assistant according to the first embodiment.
도 2를 참조하면, 시스템 환경은 개인화된 가상 비서를 제공하는 장치(100)와, 전자 장치(200)와, 하나 이상의 가상 비서 플랫폼(300)을 포함한다. 전자 장치(200)는 스마트 스피커(210) 또는 단말기(230)를 포함한다.Referring to FIG. 2, the system environment includes a device 100 for providing a personalized virtual assistant, an electronic device 200, and one or more virtual assistant platforms 300. The electronic device 200 includes a smart speaker 210 or a terminal 230.
스마트 스피커(210)는 전술한 바와 같이 예컨대 마이크로폰과 같이 오디오 신호를 입력하기 위한 오디오 입력부, 스피커와 같이 오디오 신호를 출력하기 위한 오디오 출력부 및 가상 비서와의 유선 또는 무선 통신 연결을 위한 통신부를 포함한다. 단말기(230)는 전술한 바와 같이 예컨대 마이크로폰과 같은 오디오 입력부, 스피커와 같은 오디오 출력부, 유선 또는 무선 통신 연결을 제공하는 통신부 및 가상 비서를 실행하기 위한 CPU와 같은 연산 처리부를 포함한다.As described above, the smart speaker 210 includes an audio input unit for inputting an audio signal such as a microphone, an audio output unit for outputting an audio signal such as a speaker, and a communication unit for wired or wireless communication connection with a virtual assistant. do. As described above, the terminal 230 includes an audio input unit such as a microphone, an audio output unit such as a speaker, a communication unit providing a wired or wireless communication connection, and an operation processing unit such as a CPU for executing a virtual assistant.
하나 이상의 가상 비서 플랫폼(300)은 예컨대 가상 비서 플랫폼(300-1), 가상 비서 플랫폼(300-2) 내지 가상 비서 플랫폼(300-n)으로 구성될 수 있다. n은 예컨대 3 이상의 자연수이다. 예컨대, 가상 비서 플랫폼(300-1)은 애플 사의 "Siri" 가상 비서를 위한 플랫폼이며, 가상 비서 플랫폼(300-2)은 구글 사의 "Assistant" 가상 비서를 위한 플랫폼이며, 가상 비서 플랫폼(300-n)은 삼성 전자의 "Bixby" 가상 비서를 위한 플랫폼일 수 있다The one or more virtual assistant platforms 300 may include, for example, a virtual assistant platform 300-1, a virtual assistant platform 300-2, and a virtual assistant platform 300-n. n is a natural number of 3 or more, for example. For example, the virtual assistant platform 300-1 is a platform for the "Siri" virtual assistant of Apple, and the virtual assistant platform 300-2 is a platform for the "Assistant" virtual assistant of Google, and the virtual assistant platform 300- n) May be a platform for Samsung's "Bixby" virtual assistant
이하 제1 실시예에 따른 연산 처리부(130)를 보다 상세하게 설명한다.Hereinafter, the operation processing unit 130 according to the first embodiment will be described in more detail.
도 3 및 도 4는 제1 실시예에 따른 개인화 광고를 제공하는 장치의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면이다.3 and 4 are views exemplarily showing processing performed by an operation processing unit of the apparatus for providing personalized advertisements according to the first embodiment.
도 3을 참조하면, 연산 처리부(130)는 음성 특성 정보, 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 각각 포함하는 하나 이상의 사용자 프로파일을 관리하는 처리 S110을 수행한다.Referring to FIG. 3, the operation processing unit 130 performs a process S110 of managing one or more user profiles each including voice characteristic information, service identification information, and virtual assistant platform identification information corresponding to the service identification information.
처리 S110은 예컨대 사용자 등록을 위한 인터페이스를 기초로 정규 사용자 프로파일을 생성하는 처리를 포함할 수 있다. 정규 사용자 프로파일은 하나 이상의 사용자 프로파일 중의 하나로서 관리된다.Process S110 may include, for example, a process of generating a regular user profile based on an interface for user registration. Regular user profiles are managed as one of one or more user profiles.
예컨대, 전자 장치(200)를 사용하는 제1 사용자는 전자 장치(200)의 사용자 등록을 위한 인터페이스를 이용하여 자신의 음성을 입력하며, 처리 S110에 의해서 제1 사용자의 사용자 프로파일, 즉 제1 사용자 프로파일이 생성될 수 있다. 제1 사용자 프로파일은 사용자 등록을 위한 인터페이스를 기초로 생성되므로 정규 사용자 프로파일이다.For example, a first user using the electronic device 200 inputs his/her voice using an interface for user registration of the electronic device 200, and the user profile of the first user, that is, the first user Profiles can be created. Since the first user profile is generated based on the interface for user registration, it is a regular user profile.
도 5는 제1 실시예에 따른 개인화 광고를 제공하는 장치의 사용자 프로파일을 예시적으로 나타내는 도면이다.5 is a diagram illustrating a user profile of a device that provides a personalized advertisement according to the first embodiment.
도 5를 참조하면, 제1 사용자 프로파일 내지 제3 사용자 프로파일이 예시적으로 도시된다.Referring to FIG. 5, a first user profile to a third user profile are illustrated by way of example.
도 5의 제1 사용자 프로파일은 즉 사용자 등록을 위한 인터페이스를 기초로 생성된 정규 사용자 프로파일이다.The first user profile of FIG. 5 is, that is, a regular user profile generated based on an interface for user registration.
제1 사용자 프로파일은 생성 초기에는 음성 특성 정보에 해당하는 항목만을 포함할 수 있다. 그 후 제1 사용자는 사용자 등록을 위한 인터페이스를 통하여 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 입력할 수 있다. 예컨대, 제1 사용자는 "날씨 정보는 Assistant를 이용해서 알려줘."와 같은 음성 입력을 통하여 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 입력할 수 있다.Initially, the first user profile may include only an item corresponding to voice characteristic information. Thereafter, the first user may input service identification information and virtual assistant platform identification information corresponding to the service identification information through an interface for user registration. For example, the first user may input service identification information and virtual assistant platform identification information corresponding to the service identification information through a voice input such as "tell me about weather information using an assistant."
한편 제1 사용자 프로파일은 생성 초기에 서비스 선호도 정보를 기초로 자동으로 생성되는 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 포함할 수도 있다. 예컨대, "날씨 정보" 서비스에 대해서 일반적인 사용자가 "Assistant"를 선호하고, "영화 예매" 서비스에 대해서 일반적인 사용자가 "Siri"를 선호하는 경우, 도 5에 예시되듯이, 제1 사용자 프로파일의 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보로서, 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보의 대응 관계는 "날씨 정보, Assistant", "영화 예매, Siri"와 같이 자동적으로 생성될 수도 있다.Meanwhile, the first user profile may include service identification information automatically generated based on service preference information at the initial stage of creation and virtual assistant platform identification information corresponding to the service identification information. For example, when a general user prefers "Assistant" for a "weather information" service and a general user prefers "Siri" for a "movie reservation" service, as illustrated in FIG. 5, the service of the first user profile As the identification information and the virtual assistant platform identification information, a correspondence relationship between the service identification information and the virtual assistant platform identification information may be automatically generated, such as "weather information, assistant", "movie reservation, Siri".
한편 제1 사용자 프로파일이 생성된 후 제1 사용자가 전자 장치(200)를 사용하는 것에 따라서 제1 사용자 프로파일의 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보가 생성 또는 갱신될 수도 있다. 예컨대, 제1 사용자가 "Siri. 오늘 날씨 어때?"와 같은 음성 입력을 전자 장치(200)를 통하여 장치(100)로 전송한 경우, 제1 사용자 프로파일의 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보의 대응 관계는 "날씨 정보, Siri"와 같이 생성되거나 갱신될 수 있다. 즉 후술하는 처리 S140을 통하여 선택되는 제1 가상 비서를 기초로, 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보가 생성 또는 갱신될 수도 있다.Meanwhile, after the first user profile is created, as the first user uses the electronic device 200, service identification information of the first user profile and virtual assistant platform identification information corresponding to the service identification information may be generated or updated. . For example, when the first user transmits a voice input such as "Siri. How is the weather today?" to the device 100 through the electronic device 200, the service identification information of the first user profile and the virtual assistant platform identification information are The correspondence relationship may be created or updated, such as "weather information, Siri". That is, based on the first virtual assistant selected through processing S140 to be described later, service identification information and virtual assistant platform identification information corresponding to the service identification information may be generated or updated.
처리 S110은 예컨대 음성 신호를 기초로 임시 사용자 프로파일을 생성하는 처리를 포함할 수 있다. 임시 사용자 프로파일은 하나 이상의 사용자 프로파일 중의 하나로서 관리된다.Process S110 may include, for example, a process of generating a temporary user profile based on a voice signal. Temporary user profiles are managed as one of one or more user profiles.
예컨대, 전자 장치(200)가 가정 내에 설치되고 가족 구성원이 사용하는 경우에는, 정규 사용자 프로파일은 가족 구성원에 대해서 생성되며, 임시 사용자 프로파일은 예컨대 방문자와 같이 임시적인 사용자를 위해서 생성된다.For example, when the electronic device 200 is installed in a home and used by a family member, a regular user profile is created for a family member, and a temporary user profile is created for a temporary user such as a visitor, for example.
도 5를 참조하면, 제3 사용자 프로파일은 임시 사용자 프로파일이다. 제3 사용자 프로파일은 생성 초기에는 음성 특성 정보에 해당하는 항목만을 포함할 수 있다. 그 후 임시 사용자가 전자 장치(200)를 사용하는 것에 따라서 제3 사용자 프로파일의 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보가 생성 또는 갱신될 수도 있다. 예컨대, 제3 사용자가 "Siri. 오늘 날씨 어때?"와 같은 음성 입력을 전자 장치(200)를 통하여 장치(100)로 전송한 경우, 제3 사용자 프로파일의 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보의 대응 관계는 "날씨 정보, Siri"와 같이 생성되거나 갱신될 수 있다.5, the third user profile is a temporary user profile. Initially, the third user profile may include only an item corresponding to voice characteristic information. Thereafter, as the temporary user uses the electronic device 200, service identification information of the third user profile and virtual assistant platform identification information corresponding to the service identification information may be generated or updated. For example, when a third user transmits a voice input such as "Siri. How is the weather today?" to the device 100 through the electronic device 200, the service identification information of the third user profile and the virtual assistant platform identification information are The correspondence relationship may be created or updated, such as "weather information, Siri".
한편 사용자 프로파일은 서비스 식별 정보에 대응하는 서비스 제공 가능 여부 정보를 더 포함할 수 있다. 예컨대, 도 5를 참조하면, 제3 사용자 프로파일은 "냉장고 온도 제어"에 대해서는 "사용 불가"로 정의되어 있다. 즉 임시 사용자는 "냉장고 온도 제어"와 같은 서비스는 사용할 수 없다. 임시 사용자 뿐만 아니라, 예컨대 가족 구성원, 즉 정규 사용자라고 하더라도 "냉장고 온도 제어"와 같은 서비스를 사용하지 못하도록 서비스 제공 가능 여부 정보가 설정될 수도 있다. 예컨대 어린이는 가족 구성원이라도 "냉장고 온도 제어"와 같은 서비스는 사용할 수 없도록 설정될 수 있다. 서비스 제공 가능 여부 정보는 예컨대 민감한 정보를 제공하는 서비스 및 위험성이 있는 가전 제품을 제어하는 서비스에 대해서 사용 불가로서 설정될 수 있다.Meanwhile, the user profile may further include information on whether a service can be provided corresponding to the service identification information. For example, referring to FIG. 5, the third user profile is defined as "not available" for "refrigerator temperature control". In other words, temporary users cannot use services such as "refrigerator temperature control". Service availability information may be set so that not only temporary users but also family members, that is, regular users, cannot use services such as "refrigerator temperature control". For example, even if a child is a family member, a service such as "refrigerator temperature control" may be set to be disabled. The service availability information may be set as unavailable for, for example, a service providing sensitive information and a service controlling a dangerous home appliance.
처리 S110은 미리 지정된 조건을 기초로 임시 사용자 프로파일을 정규 사용자 프로파일로 전환하거나 임시 사용자 프로파일을 삭제하는 처리를 포함할 수도 있다.Process S110 may include a process of converting a temporary user profile to a regular user profile or deleting a temporary user profile based on a predetermined condition.
즉 임시 사용자라 하더라도 사용자 등록을 위한 인터페이스를 통하여 정규 사용자로 전환될 수 있다. 또는 임시 사용자 프로파일로서 등록된 이후에 주기적으로 임시 사용자 프로파일에 대응하는 임시 사용자의 음성 입력이 전자 장치(200)를 통하여 수신된다면, 해당 임시 사용자 프로파일은 정규 사용자 프로파일로 전환될 수 있다. 또한, 임시 사용자 프로파일로서 등록된 이후 일정 기간 이상 임시 사용자 프로파일에 대응하는 임시 사용자의 음성 입력이 없었다면, 임시 사용자 프로파일을 삭제할 수 있다.That is, even a temporary user can be converted to a regular user through an interface for user registration. Alternatively, if a temporary user's voice input corresponding to the temporary user profile is periodically received through the electronic device 200 after being registered as a temporary user profile, the temporary user profile may be converted to a regular user profile. In addition, if there is no voice input of the temporary user corresponding to the temporary user profile for more than a certain period after being registered as the temporary user profile, the temporary user profile may be deleted.
다시 도 3을 참조하면, 연산 처리부(130)는 제1 서비스에 대한 지시 명령을 포함하는 음성 신호를 전자 장치(200)로부터 통신부(110)를 통하여 수신하는 처리 S120을 수행한다. 음성 신호를 수신하는 처리는 종래의 구성과 유사하므로 상세한 설명을 생략한다.Referring back to FIG. 3, the operation processing unit 130 performs a process S120 of receiving a voice signal including an instruction command for a first service from the electronic device 200 through the communication unit 110. The processing of receiving the audio signal is similar to the conventional configuration, so a detailed description thereof is omitted.
그 후 연산부(130)는 처리 S120을 통하여 수신한 음성 신호를 기초로 하나 이상의 사용자 프로파일 중에서 개인화 사용자 프로파일을 획득하는 처리 S130을 수행한다.Thereafter, the operation unit 130 performs a process S130 of obtaining a personalized user profile from among one or more user profiles based on the voice signal received through the process S120.
연산부(130)는 예컨대 처리 S120을 통하여 수신한 음성 신호와 하나 이상의 사용자 프로파일의 음성 특성 정보를 비교하여 하나 이상의 사용자 프로파일 중에서 개인화 사용자 프로파일을 선택할 수 있다. The operation unit 130 may select a personalized user profile from among one or more user profiles by comparing the voice signal received through the processing S120 with voice characteristic information of one or more user profiles, for example.
다시 도 3을 참조하면, 연산 처리부(130)는 처리 S120을 통하여 수신한 음성 신호 또는 처리 S130을 통하여 획득한 개인화 사용자 프로파일 중 적어도 하나를 기초로 하나 이상의 가상 비서 중에서 제1 서비스에 대한 지시 명령에 대응하는 제1 가상 비서를 선택하는 처리 S140을 수행한다.Referring back to FIG. 3, the operation processing unit 130 responds to an instruction command for a first service among one or more virtual assistants based on at least one of a voice signal received through processing S120 or a personalized user profile obtained through processing S130. A process S140 of selecting a corresponding first virtual assistant is performed.
처리 S120을 통하여 수신한 음성 신호가 시동 명령을 포함하는 경우, 처리 S140은 시동 명령에 대응되는 제1 가상 비서를 선택하는 처리를 포함할 수 있다.When the voice signal received through the process S120 includes a start command, the process S140 may include a process of selecting a first virtual assistant corresponding to the start command.
예컨대 음성 신호가 "Siri. 오늘 날씨 어때?"와 같이 "Siri"를 제1 서비스, 즉 날씨 정보에 대한 가상 비서로서 지정하는 시동 명령을 포함한다면, 처리 S140을 통하여 제1 서비스에 대응하는 제1 가상 비서로서 "Siri"가 선택된다.For example, if the voice signal includes a start command specifying "Siri" as a first service, that is, a virtual assistant for weather information, such as "Siri. How is the weather today?", the first service corresponding to the first service through processing S140 "Siri" is selected as the virtual assistant.
처리 S120을 통하여 수신한 음성 신호가 특정한 시동 명령을 포함하지 않는 경우에는, 처리 S140은 처리 S130을 통하여 획득한 개인화 사용자 프로파일에 포함된 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보를 기초로 제1 가상 비서를 선택하는 처리를 포함할 수 있다.If the voice signal received through the process S120 does not include a specific start command, the process S140 is a first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile obtained through the process S130. It may include a process of selecting.
즉, "오늘 날씨 어때?"와 같은 음성 신호를 수신하면, 연산 처리부(130)는 개인화 사용자 프로파일에 포함된 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보를 기초로 제1 가상 비서를 선택한다. 예컨대 개인화 사용자 프로파일이 도 5에 도시된 제1 사용자 프로파일인 경우, 연산 처리부(130)는 처리 S140을 통하여 제1 서비스, 즉 "날씨 정보"에 대응하는 제1 가상 비서로서 "Assistant"를 선택한다.That is, when receiving a voice signal such as "how is the weather today?", the operation processing unit 130 selects the first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile. For example, when the personalized user profile is the first user profile shown in FIG. 5, the operation processing unit 130 selects “Assistant” as a first service, that is, a first virtual assistant corresponding to “weather information” through processing S140. .
즉 처리 S140은, 처리 S120을 통하여 수신한 음성 신호가 제1 가상 비서에 대응하는 시동 명령을 포함하면, 시동 명령에 대응하는 제1 가상 비서를 선택하며, 처리 S120을 통하여 수신한 음성 신호가 제1 가상 비서에 대응하는 시동 명령을 포함하지 않으면, 개인화 사용자 프로파일에 포함된 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보를 기초로 제1 가상 비서를 선택할 수 있다.That is, in the process S140, if the voice signal received through the process S120 includes a start command corresponding to the first virtual assistant, the first virtual assistant corresponding to the start command is selected, and the voice signal received through the process S120 is removed. 1 If the startup command corresponding to the virtual assistant is not included, the first virtual assistant may be selected based on the service identification information and the virtual assistant platform identification information included in the personalized user profile.
한편, 음성 신호는 전자 장치 시동 명령을 포함할 수도 있다. 즉 특정한 가상 비서를 선택하기 위해서가 아니라 전자 장치(200)를 구동하기 위해서, 음성 신호는 전자 장치 시동 명령을 포함할 수 있다. 예컨대 스마트 스피커(210)의 시동 명령이 "스피커"로 정의된다면, 음성 신호는 "스피커. 오늘 날씨 어때?"와 같이 전자 장치 시동 명령을 포함할 수 있다. 음성 신호가 전자 장치 시동 명령을 포함하는 경우에는, 연산 처리부(130)는 처리 S130을 통하여 획득한 개인화 사용자 프로파일에 포함된 서비스 식별 정보 및 가상 비서 플랫폼 식별 정보를 기초로 제1 가상 비서를 선택할 수 있다.Meanwhile, the voice signal may include an electronic device start command. That is, in order to drive the electronic device 200, not to select a specific virtual assistant, the voice signal may include an electronic device start command. For example, if the start command of the smart speaker 210 is defined as "speaker", the voice signal may include an electronic device start command such as "speaker. How is the weather today?" When the voice signal includes an electronic device startup command, the operation processing unit 130 may select the first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile obtained through processing S130. have.
도 4를 참조하면, 연산 처리부(130)는 처리 S120을 통하여 수신한 음성 신호를 제1 가상 비서에 적합한 제1 신호로 변환하는 처리 S150을 수행한다.Referring to FIG. 4, the operation processing unit 130 performs a process S150 of converting the voice signal received through the process S120 into a first signal suitable for the first virtual assistant.
처리 S150은 예컨대 제1 가상 비서에 대응하는 시동 명령 및 제1 서비스에 대한 지시 명령을 포함하는 제1 신호를 생성하는 처리를 포함할 수 있다.The process S150 may include, for example, a process of generating a first signal including a start command corresponding to the first virtual assistant and an instruction command for the first service.
예컨대 음성 신호가 "오늘 날씨 어때?"와 같이 특정 가상 비서를 지정하지 않은 형태인 경우라도, 연산 처리부(130)는 처리 S140을 통하여 선택된 제1 가상 비서에 대응하는 시동 명령을 포함하는 제1 신호를 생성할 수 있다. 예컨대 제1 가상 비서로서 "Assistant"를 선택한 경우, 연산 처리부(130)는 "Assistant. 오늘 날씨 어때?"와 같이 제1 가상 비서에 대응하는 시동 명령 및 제1 서비스에 대한 지시 명령을 포함하는 제1 신호를 생성할 수 있다.For example, even if the voice signal is in a form in which a specific virtual assistant is not designated, such as "How is the weather today?", the operation processing unit 130 is a first signal including a start command corresponding to the first virtual assistant selected through processing S140. Can be created. For example, when "Assistant" is selected as the first virtual assistant, the operation processing unit 130 includes a startup command corresponding to the first virtual assistant and an instruction command for the first service, such as "Assistant. How's the weather today?" 1 can generate signals.
처리 S150은 예컨대 지시 명령을 STT(speech to text) 기능을 이용하여 텍스트 정보로 변환하는 처리; 텍스트 정보를 명확하게 수정한 수정 텍스트 정보를 생성하는 처리; 및 수정 텍스트 정보를 TTS(text to speech) 기능을 이용하여 변환한 수정 지시 명령을 포함하는 제1 신호를 생성하는 처리를 포함할 수 있다.The process S150 includes, for example, a process of converting an instruction command into text information using a speech to text (STT) function; Processing of generating corrected text information in which the text information is clearly corrected; And processing of generating a first signal including a correction instruction command obtained by converting the corrected text information using a text to speech (TTS) function.
예컨대 지시 명령이 "날씨 오늘"과 같이 문법적으로 명확하지 않은 경우 또는 사투리를 포함하는 경우에도, 연산 처리부(130)는 지시 명령을 "날씨 오늘"과 같이 텍스트 정보로 변환한다. 그 후 연산 처리부(130)는 텍스트 정보를 분석하여 "오늘 날씨 어때?"와 같이 보다 자연스럽고 명확하게 수정 텍스트 정보를 생성한다. 그 후 연산 처리부(130)는 수정 텍스트 정보를 TTS 기능을 이용하여 변환한 수정 지시 명령을 포함하는 제1 신호를 생성할 수 있다.For example, even when the instruction instruction is not grammatically clear such as "weather today" or includes dialect, the operation processing unit 130 converts the instruction instruction into text information such as "weather today". Thereafter, the operation processing unit 130 analyzes the text information and generates corrected text information more naturally and clearly, such as "how is the weather today?" Thereafter, the operation processing unit 130 may generate a first signal including a correction instruction command that converts the corrected text information using the TTS function.
수정 지시 명령은 예컨대 표준 음성 특성을 기초로 TTS 기능을 이용하여 생성될 수 있다. 즉 수정 지시 명령은 개인화 사용자 프로파일에 포함된 음성 특성 정보를 이용하여 사용자의 원래 음성과 유사하게 생성될 수도 있지만, 표준 음성 특성을 이용하여 생성될 수 있다. 표준 음성 특성을 이용하여 수정 지시 명령이 생성되는 경우, 제1 가상 비서 플랫폼은 보다 정확하게 제1 신호를 인식할 수 있다. 수정 지시 명령을 포함하는 제1 신호는 제1 가상 비서에 대응하는 시동 명령을 더 포함할 수도 있다.The correction instruction command may be generated, for example, using the TTS function based on standard voice characteristics. That is, the correction instruction command may be generated similarly to the original voice of the user by using voice characteristic information included in the personalized user profile, but may be generated using standard voice characteristics. When a correction instruction command is generated using standard voice characteristics, the first virtual assistant platform may more accurately recognize the first signal. The first signal including the modification instruction command may further include a start command corresponding to the first virtual assistant.
또한 표준 음성 특성을 기초로 TTS 기능을 이용하여 수정 지시 명령을 생성하는 경우, 사용자의 음성 특성 정보는 수정 지시 명령에 포함되지 않는다. 따라서 제1 가상 비서 플랫폼에는 사용자의 음성 특성 정보가 전달되지 않으므로, 사용자의 음성 특성 정보를 노출하지 않으면서도 제1 가상 비서 플랫폼을 통하여 제1 가상 비서를 제공받을 수 있다.In addition, when a correction instruction command is generated using the TTS function based on the standard voice characteristic, the user's voice characteristic information is not included in the correction instruction command. Therefore, since the user's voice characteristic information is not transmitted to the first virtual assistant platform, the first virtual assistant may be provided through the first virtual assistant platform without exposing the user's voice characteristic information.
연산 처리부(130)는 인공 지능 플랫폼을 이용하여 처리 S150을 수행할 수 있다. 즉 연산 처리부(130)는 음성 인식 처리, 자연어 이해 처리, 자연어 생성 처리 및 STT 처리, TTS 처리와 같은 처리를 인공 지능 플랫폼을 이용하여 수행할 수 있다. 인공 지능 플랫폼을 이용하여 연산 처리부(130)가 처리를 수행하는 것에 의해서, 연산 처리부(130)는 제1 신호를 보다 효율적으로 생성할 수 있다.The operation processing unit 130 may perform processing S150 using an artificial intelligence platform. That is, the operation processing unit 130 may perform processing such as speech recognition processing, natural language understanding processing, natural language generation processing and STT processing, and TTS processing using an artificial intelligence platform. By using the artificial intelligence platform to perform processing by the arithmetic processing unit 130, the arithmetic processing unit 130 may more efficiently generate the first signal.
다시 도 4를 참조하면, 연산 처리부(130)는 처리 S150을 통하여 생성된 제1 신호를 제1 가상 비서 플랫폼으로 통신부(110)를 통하여 전송하고 제1 가상 비서 플랫폼으로부터 제1 신호에 대응하는 제1 응답 신호를 통신부(110)를 통하여 수신하는 처리 S160을 수행한다.Referring back to FIG. 4, the operation processing unit 130 transmits the first signal generated through processing S150 to the first virtual assistant platform through the communication unit 110, and transmits the first signal corresponding to the first signal from the first virtual assistant platform. 1 A process S160 of receiving a response signal through the communication unit 110 is performed.
예컨대, 제1 가상 비서로서 "Assistant"를 선택한 경우, 제1 신호가 "Assistant. 오늘 날씨 어때?"인 경우, 연산 처리부(130)는 제1 가상 비서 플랫폼으로서 가상 비서 플랫폼(300-2)을 지정하고, 가상 비서 플랫폼(300-2)으로 제1 신호를 전송한다. 그 후, 연산 처리부(130)는 가상 비서 플랫폼(300-2)으로부터 제1 응답 신호를 수신한다.For example, when "Assistant" is selected as the first virtual assistant, when the first signal is "Assistant. How is the weather today?", the operation processing unit 130 uses the virtual assistant platform 300-2 as the first virtual assistant platform. And transmits a first signal to the virtual assistant platform 300-2. After that, the operation processing unit 130 receives a first response signal from the virtual assistant platform 300-2.
바람직하게는 사용자 프로파일은 사용자 식별 정보를 포함한다. 사용자 식별 정보는 절대적으로 사용자를 식별하는 정보일 수도 있지만, 전자 장치(200)의 사용자를 상대적으로 식별하기 위해서 사용되는 정보일 수도 있다.Preferably the user profile includes user identification information. The user identification information may be information that absolutely identifies a user, but may also be information used to relatively identify a user of the electronic device 200.
처리 S160은 개인화 사용자 프로파일의 사용자 식별 정보를 제1 신호와 함께 제1 가상 비서 플랫폼으로 통신부(110)를 통하여 전송하는 처리를 포함할 수 있다. 제1 가상 비서 플랫폼, 예컨대 가상 비서 플랫폼(300-2)은 개인화 사용자 프로파일의 사용자 식별 정보를 수신하면, 전자 장치(200)의 사용자 식별 정보에 해당하는 사용자가 서비스를 요청한 것을 확인할 수 있다.The process S160 may include a process of transmitting the user identification information of the personalized user profile together with the first signal to the first virtual assistant platform through the communication unit 110. When the first virtual assistant platform, for example, the virtual assistant platform 300-2 receives the user identification information of the personalized user profile, it can confirm that a user corresponding to the user identification information of the electronic device 200 has requested a service.
그 후 연산 처리부(130)는 처리 S160을 통하여 수신한 제1 응답 신호를 전자 장치(200)로 전송하는 처리 S170을 수행한다.Thereafter, the operation processing unit 130 performs a process S170 of transmitting the first response signal received through the process S160 to the electronic device 200.
이상에서 설명한 바와 같이 제1 실시예에 따르면, 사용자가 가상 비서에 대한 시동 명령을 입력하지 않더라도 사용자별로 설정되는 사용자 프로파일을 기초로 개인화된 가상 비서가 제공될 수 있다. 또한 가상 비서 플랫폼으로 전달되는 가상 비서에 대한 시동 명령은 연산 처리부(130)에 의해서 자동적으로 생성될 수 있다.As described above, according to the first embodiment, a personalized virtual assistant may be provided based on a user profile set for each user even if the user does not input a startup command for the virtual assistant. In addition, a startup command for the virtual assistant transmitted to the virtual assistant platform may be automatically generated by the operation processing unit 130.
<제2 실시예><Second Example>
도 6은 제2 실시예에 따른 개인화 광고를 제공하는 장치의 연산 처리부가 수행하는 처리를 예시적으로 나타내는 도면이다.6 is a diagram illustrating a process performed by an operation processing unit of the apparatus for providing personalized advertisements according to the second embodiment.
제2 실시예에 따르면, 음성 신호는 제2 서비스에 대한 지시 명령을 더 포함한다. 예컨대 "오늘 날씨 어때? 그리고 음악 재생해줘."와 같이, 음성 신호는 제1 서비스에 대한 지시 명령, 즉 "오늘 날씨 어때?"와, 제2 서비스에 대한 지시 명령, 즉 "음악 재생해줘."를 포함할 수 있다.According to the second embodiment, the voice signal further includes an instruction command for the second service. For example, "How's the weather today? And play music.", the voice signal is a command command for the first service, ie, "How is the weather today?", and a command command for the second service, ie, "Play music." It may include.
제1 서비스에 대한 지시 명령은 전술한 제1 실시예와 마찬가지로 처리된다. 즉 연산 처리부(130)는 제1 가상 비서 플랫폼으로부터 제1 응답 신호를 수신하여 전자 장치(200)로 전송한다.The instruction command for the first service is processed similarly to the above-described first embodiment. That is, the operation processing unit 130 receives the first response signal from the first virtual assistant platform and transmits it to the electronic device 200.
제2 서비스에 대한 지시 명령 역시 전술한 제2 실시예와 마찬가지로 처리된다. The instruction command for the second service is also processed in the same manner as in the second embodiment described above.
보다 구체적으로, 연산 처리부(130)는 음성 신호 또는 개인화 사용자 프로파일 중 적어도 하나를 기초로 하나 이상의 가상 비서 중에서 제2 서비스에 대한 지시 명령에 대응하는 제2 가상 비서를 선택하는 처리 S180과, 음성 신호를 제2 가상 비서에 적합한 제2 신호로 변환하는 처리 S190과, 제2 신호를 제2 가상 비서를 제공하는 제2 가상 비서 플랫폼으로 통신부(110)를 통하여 전송하고 제2 가상 비서 플랫폼으로부터 제2 신호에 대응하는 제2 응답 신호를 통신부(110)를 통하여 수신하는 처리 S200과, 제2 응답 신호를 전자 장치(200)로 전송하는 처리 S210을 더 수행한다. 제2 가상 비서는 제1 가상 비서와 동일하거나 또는 다를 수 있다. 처리 S180 내지 처리 S210은 도 3 내지 도 4를 참조로 설명된 처리 S140 내지 처리 S170과 실질적으로 동일하므로 상세한 설명을 생략한다.More specifically, the operation processing unit 130 includes processing S180 of selecting a second virtual assistant corresponding to an instruction command for a second service from among one or more virtual assistants based on at least one of a voice signal or a personalized user profile, and a voice signal. A process S190 of converting the second signal into a second signal suitable for the second virtual assistant, and the second signal is transmitted through the communication unit 110 to a second virtual assistant platform providing a second virtual assistant, and the second virtual assistant platform transmits the second signal. Processing S200 of receiving a second response signal corresponding to the signal through the communication unit 110 and processing S210 of transmitting the second response signal to the electronic device 200 are further performed. The second virtual assistant may be the same as or different from the first virtual assistant. Since the processes S180 to S210 are substantially the same as the processes S140 to S170 described with reference to FIGS. 3 to 4, detailed descriptions are omitted.
이상에서 설명한 바와 같이 제2 실시예에 따르면, 전술한 제1 실시예에 따른 효과에 더해서, 사용자가 복수의 서비스 각각에 대해서 가상 비서에 대한 시동 명령을 입력하지 않더라도, 사용자별로 설정되는 사용자 프로파일을 기초로 복수의 서비스 각각에 대해서 개인화된 가상 비서가 제공될 수 있다. 또한 복수의 가상 비서 플랫폼으로 전달되는 복수의 가상 비서에 대한 시동 명령은 연산 처리부(130)에 의해서 복수의 가상 비서 별로 자동적으로 생성될 수 있다.As described above, according to the second embodiment, in addition to the effects according to the above-described first embodiment, even if the user does not input a startup command for the virtual assistant for each of the plurality of services, the user profile set for each user is As a basis, a personalized virtual assistant may be provided for each of a plurality of services. In addition, a startup command for a plurality of virtual assistants transmitted to the plurality of virtual assistant platforms may be automatically generated for each of the plurality of virtual assistants by the operation processing unit 130.
<다른 실시예><Other Examples>
비록 본원에서 설명되는 기술의 실시예가 구체적으로 설명되었지만 이는 단지 본원에서 설명되는 기술을 예시적으로 설명한 것에 불과한 것으로, 본원에서 설명되는 기술이 속하는 기술 분야에서 통상의 지식을 가지는 자라면 본원에서 설명되는 기술의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 변형이 가능할 것이다.Although embodiments of the technology described herein have been specifically described, this is merely illustrative of the technology described herein, and those of ordinary skill in the art to which the technology described herein belongs Various modifications will be possible without departing from the essential characteristics of the technology.
예컨대 도 5를 참조로 예시된 서비스 식별 정보 및 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보는 예시적인 것일 뿐이며, 서비스 식별 정보는 다양하게 변경될 수 있다.For example, the service identification information illustrated with reference to FIG. 5 and the virtual assistant platform identification information corresponding to the service identification information are exemplary only, and the service identification information may be variously changed.
따라서 본 명세서에 설명된 실시예들은 본원에서 설명되는 기술을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본원에서 설명되는 기술의 사상과 범위가 한정되는 것은 아니다. 본원에서 설명되는 기술의 권리 범위는 아래의 청구범위에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술은 본원에서 설명되는 기술의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments described in the present specification are not intended to limit the technology described herein, but to describe it, and the spirit and scope of the technology described herein are not limited by these embodiments. The scope of the rights of the technology described herein should be construed by the claims below, and all technologies within the scope equivalent thereto are to be construed as being included in the scope of the technology described herein.
본원에서 설명되는 기술에 따르면, 사용자별로 설정되는 사용자 프로파일을 기초로 개인화된 가상 비서를 제공할 수 있다. 예컨대, 스마트 스피커 또는 단말기로부터 전송되는 음성 신호를 기초로 개인화 사용자 프로파일을 획득하고, 음성 신호 또는 개인화 사용자 프로파일 중 적어도 하나를 기초로 사용자별로 개인화된 가상 비서를 제공할 수 있다.According to the technology described herein, a personalized virtual assistant may be provided based on a user profile set for each user. For example, a personalized user profile may be obtained based on a voice signal transmitted from a smart speaker or a terminal, and a personalized virtual assistant may be provided for each user based on at least one of the voice signal or the personalized user profile.
[부호의 설명][Explanation of code]
100: 개인화된 가상 비서를 제공하는 장치100: a device that provides a personalized virtual assistant
110: 통신부 110: communication department
130: 연산 처리부130: operation processing unit
150: 사용자 프로파일 저장부150: user profile storage unit
200: 전자 장치200: electronic device
210: 스마트 스피커210: smart speaker
230: 단말기230: terminal
300: 가상 서비스 플랫폼300: virtual service platform

Claims (18)

  1. 유선 또는 무선 통신 인터페이스를 제공하는 통신부; 및A communication unit that provides a wired or wireless communication interface; And
    (a) 음성 특성 정보, 서비스 식별 정보 및 상기 서비스 식별 정보에 대응하는 가상 비서 플랫폼 식별 정보를 각각 포함하는 하나 이상의 사용자 프로파일을 관리하는 처리; (b) 제1 서비스에 대한 지시 명령을 포함하는 음성 신호를 전자 장치로부터 상기 통신부를 통하여 수신하는 처리; (c) 상기 음성 신호를 기초로 상기 하나 이상의 사용자 프로파일 중에서 개인화 사용자 프로파일을 획득하는 처리; (d) 상기 음성 신호 또는 상기 개인화 사용자 프로파일 중 적어도 하나를 기초로 하나 이상의 가상 비서 중에서 상기 제1 서비스에 대한 상기 지시 명령에 대응하는 제1 가상 비서를 선택하는 처리; (e) 상기 음성 신호를 상기 제1 가상 비서에 적합한 제1 신호로 변환하는 처리; (f) 상기 제1 신호를 상기 제1 가상 비서를 제공하는 제1 가상 비서 플랫폼으로 상기 통신부를 통하여 전송하고 상기 제1 가상 비서 플랫폼으로부터 상기 제1 신호에 대응하는 제1 응답 신호를 상기 통신부를 통하여 수신하는 처리; 및 (g) 상기 제1 응답 신호를 상기 전자 장치로 전송하는 처리를 수행하는 연산 처리부(a) processing of managing one or more user profiles each including voice characteristic information, service identification information, and virtual assistant platform identification information corresponding to the service identification information; (b) a process of receiving a voice signal including an instruction command for a first service from an electronic device through the communication unit; (c) processing of obtaining a personalized user profile from among the one or more user profiles based on the voice signal; (d) processing for selecting a first virtual assistant corresponding to the instruction command for the first service from among one or more virtual assistants based on at least one of the voice signal and the personalized user profile; (e) processing for converting the voice signal into a first signal suitable for the first virtual assistant; (f) transmitting the first signal to a first virtual assistant platform providing the first virtual assistant through the communication unit, and transmitting a first response signal corresponding to the first signal from the first virtual assistant platform to the communication unit Processing received through; And (g) an operation processing unit that transmits the first response signal to the electronic device.
    를 포함하는 개인화된 가상 비서를 제공하는 장치.Device for providing a personalized virtual assistant comprising a.
  2. 제1항에 있어서,The method of claim 1,
    상기 하나 이상의 사용자 프로파일은, 상기 서비스 식별 정보에 대응하는 서비스 제공 가능 여부 정보를 각각 더 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The apparatus for providing a personalized virtual assistant wherein the at least one user profile further includes information on whether or not a service is available corresponding to the service identification information.
  3. 제1항에 있어서,The method of claim 1,
    상기 처리 (a)는, (a-1) 사용자 등록을 위한 인터페이스를 기초로 정규 사용자 프로파일을 생성하여 상기 하나 이상의 사용자 프로파일에 추가하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (a) includes (a-1) generating a regular user profile based on an interface for user registration and adding it to the one or more user profiles.
  4. 제1항에 있어서,The method of claim 1,
    상기 처리 (a)는, (a-2) 서비스 선호도 정보를 기초로 상기 하나 이상의 사용자 프로파일을 관리하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (a) includes (a-2) managing the one or more user profiles based on service preference information.
  5. 제1항에 있어서,The method of claim 1,
    상기 처리 (a)는, (a-3) 상기 음성 신호를 기초로 임시 사용자 프로파일을 생성하여 상기 하나 이상의 사용자 프로파일에 추가하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (a) includes (a-3) generating a temporary user profile based on the voice signal and adding it to the one or more user profiles.
  6. 제5항에 있어서,The method of claim 5,
    상기 처리 (a)는, (a-4) 미리 지정된 조건을 기초로 상기 임시 사용자 프로파일을 정규 사용자 프로파일로 전환하거나 상기 임시 사용자 프로파일을 삭제하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (a) includes (a-4) converting the temporary user profile to a regular user profile or deleting the temporary user profile based on a predetermined condition. .
  7. 제1항에 있어서,The method of claim 1,
    상기 처리 (a)는, (a-5) 상기 제1 가상 비서를 기초로 상기 개인화 사용자 프로파일을 갱신하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (a) includes (a-5) updating the personalized user profile based on the first virtual assistant.
  8. 제1항에 있어서,The method of claim 1,
    상기 처리 (c)는, (c-1) 상기 음성 신호와 상기 하나 이상의 사용자 프로파일의 상기 음성 특성 정보를 비교하여 상기 하나 이상의 사용자 프로파일 중에서 상기 개인화 사용자 프로파일을 선택하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (c) includes (c-1) comparing the voice signal and the voice characteristic information of the one or more user profiles to select the personalized user profile from among the one or more user profiles. A device that provides a virtual assistant.
  9. 제1항에 있어서,The method of claim 1,
    상기 음성 신호는 상기 제1 가상 비서에 대응하는 시동 명령을 더 포함하는 것이고,The voice signal further includes a start command corresponding to the first virtual assistant,
    상기 처리 (d)는, (d-1) 상기 시동 명령에 대응되는 상기 제1 가상 비서를 선택하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The process (d) includes (d-1) a process of selecting the first virtual assistant corresponding to the start-up command.
  10. 제1항에 있어서,The method of claim 1,
    상기 처리 (d)는, (d-2) 상기 개인화 사용자 프로파일에 포함된 상기 서비스 식별 정보 및 상기 가상 비서 플랫폼 식별 정보를 기초로 상기 제1 가상 비서를 선택하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (d) includes processing (d-2) selecting the first virtual assistant based on the service identification information and the virtual assistant platform identification information included in the personalized user profile. A device that provides a secretary.
  11. 제10항에 있어서,The method of claim 10,
    상기 음성 신호는 전자 장치 시동 명령을 더 포함하는 것인 개인화된 가상 비서를 제공하는 장치.Wherein the voice signal further comprises an electronic device startup command.
  12. 제1항에 있어서,The method of claim 1,
    상기 처리 (e)는, (e-1) 상기 제1 가상 비서에 대응하는 시동 명령 및 상기 지시 명령을 포함하는 상기 제1 신호를 생성하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The process (e) includes (e-1) a process of generating the first signal including a start command corresponding to the first virtual assistant and the instruction command. .
  13. 제12항에 있어서,The method of claim 12,
    상기 처리 (e)는, (e-2) 상기 지시 명령을 STT(speech to text) 기능을 이용하여 텍스트 정보로 변환하는 처리; (e-3) 상기 텍스트 정보를 기초로 수정 텍스트 정보를 생성하는 처리; 및 (e-4) 상기 수정 텍스트 정보를 TTS(text to speech) 기능을 이용하여 변환한 수정 지시 명령을 포함하는 상기 제1 신호를 생성하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (e) includes: (e-2) a processing of converting the instruction command into text information using a speech to text (STT) function; (e-3) processing of generating corrected text information based on the text information; And (e-4) processing for generating the first signal including a correction instruction command obtained by converting the corrected text information using a text to speech (TTS) function. .
  14. 제13항에 있어서,The method of claim 13,
    상기 제1 신호는 상기 제1 가상 비서에 대응하는 시동 명령을 더 포함하는 것인 개인화된 가상 비서를 제공하는 장치.Wherein the first signal further comprises a start command corresponding to the first virtual assistant.
  15. 제13항에 있어서,The method of claim 13,
    상기 수정 지시 명령은 표준 음성 특성을 기초로 상기 TTS를 이용하여 생성되는 것인 개인화된 가상 비서를 제공하는 장치.The apparatus for providing a personalized virtual assistant wherein the modification instruction command is generated using the TTS based on standard voice characteristics.
  16. 제1항에 있어서,The method of claim 1,
    상기 하나 이상의 사용자 프로파일은, 사용자 식별 정보를 각각 더 포함하고,The one or more user profiles each further include user identification information,
    상기 처리 (f)는, (f-1) 상기 개인화 사용자 프로파일의 사용자 식별 정보를 상기 제1 신호와 함께 상기 제1 가상 비서 플랫폼으로 상기 통신부를 통하여 전송하는 처리를 포함하는 것인 개인화된 가상 비서를 제공하는 장치.The processing (f) includes (f-1) transmitting the user identification information of the personalized user profile together with the first signal to the first virtual assistant platform through the communication unit. A device that provides.
  17. 제1항에 있어서,The method of claim 1,
    상기 음성 신호는 제2 서비스에 대한 지시 명령을 더 포함하고,The voice signal further includes an instruction command for a second service,
    상기 연산 처리부는,The calculation processing unit,
    (h) 상기 음성 신호 또는 상기 개인화 사용자 프로파일 중 적어도 하나를 기초로 하나 이상의 가상 비서 중에서 상기 제2 서비스에 대한 상기 지시 명령에 대응하는 제2 가상 비서를 선택하는 처리; (i) 상기 음성 신호를 상기 제2 가상 비서에 적합한 제2 신호로 변환하는 처리; (j) 상기 제2 신호를 상기 제2 가상 비서를 제공하는 제2 가상 비서 플랫폼으로 상기 통신부를 통하여 전송하고 상기 제2 가상 비서 플랫폼으로부터 상기 제2 신호에 대응하는 제2 응답 신호를 상기 통신부를 통하여 수신하는 처리; 및 (k) 상기 제2 응답 신호를 상기 전자 장치로 전송하는 처리를 더 수행하는 것인 개인화된 가상 비서를 제공하는 장치.(h) processing for selecting a second virtual assistant corresponding to the instruction command for the second service from among one or more virtual assistants based on at least one of the voice signal and the personalized user profile; (i) processing of converting the voice signal into a second signal suitable for the second virtual assistant; (j) transmitting the second signal to a second virtual assistant platform providing the second virtual assistant through the communication unit, and transmitting a second response signal corresponding to the second signal from the second virtual assistant platform to the communication unit Processing received through; And (k) transmitting the second response signal to the electronic device.
  18. 제1항에 있어서,The method of claim 1,
    상기 하나 이상의 사용자 프로파일을 저장하는 사용자 프로파일 저장부User profile storage unit for storing the one or more user profiles
    를 더 포함하는 개인화된 가상 비서를 제공하는 장치.An apparatus for providing a personalized virtual assistant further comprising.
PCT/KR2020/011156 2019-10-24 2020-08-21 Device for providing personalized virtual assistant WO2021080147A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021560902A JP7372693B2 (en) 2019-10-24 2020-08-21 A device that provides a personalized virtual secretary

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0132838 2019-10-24
KR1020190132838A KR102135859B1 (en) 2019-10-24 2019-10-24 Apparatus of providing personalized virtual assistant

Publications (1)

Publication Number Publication Date
WO2021080147A1 true WO2021080147A1 (en) 2021-04-29

Family

ID=71831775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/011156 WO2021080147A1 (en) 2019-10-24 2020-08-21 Device for providing personalized virtual assistant

Country Status (3)

Country Link
JP (1) JP7372693B2 (en)
KR (1) KR102135859B1 (en)
WO (1) WO2021080147A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135859B1 (en) * 2019-10-24 2020-07-20 주식회사 유니온플레이스 Apparatus of providing personalized virtual assistant
WO2024123107A1 (en) * 2022-12-07 2024-06-13 삼성전자 주식회사 Electronic device, method, and non-transitory storage medium for providing artificial intelligence secretary

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124799A (en) * 2012-05-07 2013-11-15 고일권 Evolutionary vertual secretary service system at smart device
KR20170049817A (en) * 2015-10-29 2017-05-11 주식회사 엘지유플러스 Voice Recognition Device For Voice Recognizing At Home Network And Performance Method of Threof
KR101876262B1 (en) * 2017-12-14 2018-07-09 주식회사 솔루게이트 Multi-factor user authentication system
KR20180115628A (en) * 2017-04-13 2018-10-23 하만인터내셔날인더스트리스인코포레이티드 Management layer for multiple intelligent personal assistant services
KR20180135884A (en) * 2017-05-16 2018-12-21 애플 인크. Intelligent automation assistant for media navigation
KR102135859B1 (en) * 2019-10-24 2020-07-20 주식회사 유니온플레이스 Apparatus of providing personalized virtual assistant

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5698203B2 (en) 2011-09-30 2015-04-08 アップル インコーポレイテッド Using context information to facilitate virtual assistant command processing
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
WO2018067404A1 (en) * 2016-10-03 2018-04-12 Google Inc. Synthesized voice selection for computational agents
US10229680B1 (en) * 2016-12-29 2019-03-12 Amazon Technologies, Inc. Contextual entity resolution
KR102384643B1 (en) 2017-08-17 2022-04-08 엘지전자 주식회사 Electric terminal and method for controlling the same
JP7044415B2 (en) * 2017-12-31 2022-03-30 美的集団股▲フン▼有限公司 Methods and systems for controlling home assistant appliances

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124799A (en) * 2012-05-07 2013-11-15 고일권 Evolutionary vertual secretary service system at smart device
KR20170049817A (en) * 2015-10-29 2017-05-11 주식회사 엘지유플러스 Voice Recognition Device For Voice Recognizing At Home Network And Performance Method of Threof
KR20180115628A (en) * 2017-04-13 2018-10-23 하만인터내셔날인더스트리스인코포레이티드 Management layer for multiple intelligent personal assistant services
KR20180135884A (en) * 2017-05-16 2018-12-21 애플 인크. Intelligent automation assistant for media navigation
KR101876262B1 (en) * 2017-12-14 2018-07-09 주식회사 솔루게이트 Multi-factor user authentication system
KR102135859B1 (en) * 2019-10-24 2020-07-20 주식회사 유니온플레이스 Apparatus of providing personalized virtual assistant

Also Published As

Publication number Publication date
KR102135859B1 (en) 2020-07-20
JP7372693B2 (en) 2023-11-01
JP2022534648A (en) 2022-08-03

Similar Documents

Publication Publication Date Title
WO2016060480A1 (en) Electronic device and method for spoken interaction thereof
WO2016013811A1 (en) Subscriber identification module management method and electronic device supporting the same
WO2013047968A1 (en) User interface method and device
WO2019143022A1 (en) Method and electronic device for authenticating user by using voice command
WO2021080147A1 (en) Device for providing personalized virtual assistant
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2020017754A1 (en) Electronic device and method for operation thereof
WO2014042357A1 (en) Screen synchronization control system, and method and apparatus for synchronizing a screen using same
WO2020119062A1 (en) Pre-installed application management method, device and storage medium
WO2019112373A1 (en) Method for providing artificial intelligence service during phone call and electronic device thereof
WO2022119212A1 (en) Method for voice-based control of external device and electronic device thereof
WO2017142329A1 (en) Electronic device and method for processing audio data
WO2016013693A1 (en) Terminal apparatus and control method for terminal apparatus
WO2019112113A1 (en) Service-oriented internet of things platform and control method therefor
WO2021017332A1 (en) Voice control error reporting method, electrical appliance and computer-readable storage medium
WO2020233074A1 (en) Mobile terminal control method and apparatus, mobile terminal, and readable storage medium
WO2019203418A1 (en) Electronic device performing speech recognition and method of operating electronic device
WO2015093754A1 (en) Method and device for sharing connection information in electronic device
WO2020113850A1 (en) Implementation method for call-based authentication system, system, and readable storage medium
WO2020180008A1 (en) Method for processing plans having multiple end points and electronic device applying the same method
WO2019151667A1 (en) Apparatus and method for transmitting personal information using automatic response system
WO2014104579A1 (en) Method for controlling file name and electronic device thereof
WO2019177437A1 (en) Screen control method and electronic device supporting same
WO2018186685A1 (en) Electronic apparatus and method for control thereof
WO2019103200A1 (en) Method and device for providing integrated voice secretary service

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021560902

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880205

Country of ref document: EP

Kind code of ref document: A1